Ground Truth
Un ensemble de réponses correctes vérifiées, utilisé pour contrôler si le résultat produit par une IA est juste, un peu comme le corrigé qui sert à noter un examen.
Aucune carte bancaire requise
Ce que ça signifie en pratique
Quand un éditeur affirme que son outil d'extraction de documents a été validé par rapport à un ground truth, cela signifie que ses résultats ont été comparés à un ensemble organisé de réponses déjà vérifiées comme correctes : une pile de factures pour lesquelles une personne a confirmé le bon total, la bonne date et le bon nom de fournisseur, et la précision de l'outil a été mesurée par la fréquence à laquelle il correspondait à ce corrigé. C'est une affirmation plus restreinte, et plus significative, que « l'outil a été entraîné sur des millions de documents », qui ne décrit que le volume de contenu étudié, sans aucune garantie que quoi que ce soit ait été vérifié pour son exactitude. Un modèle peut être entraîné sur un immense volume de données non vérifiées et être malgré tout validé sur un petit ensemble de ground truth soigneusement contrôlé, et c'est cette étape de validation qui indique réellement si les résultats sont fiables.
Exemple
Un éditeur affirme que son outil de traitement des factures a été testé sur 500 exemples de ground truth. Cela signifie 500 factures pour lesquelles une personne avait déjà confirmé manuellement le bon total, la bonne date et le bon nom de fournisseur, et les valeurs extraites par l'outil ont été comparées une par une à ces réponses confirmées. Affirmer que l'outil a été « entraîné sur 2 millions de factures » ne dit rien sur le fait qu'une seule de ces 2 millions de factures ait un jour été vérifiée pour son exactitude.
À ne pas confondre avec
vs. Training Data
Les training data constituent le corpus, bien plus vaste, que le modèle étudie au départ pour apprendre des régularités : du texte, des images ou des documents rassemblés en masse, sans être organisés ni vérifiés comme le serait un corrigé. Le ground truth est un ensemble plus restreint, délibérément contrôlé, utilisé spécifiquement pour tester si le résultat du modèle est correct, chaque entrée étant confirmée par une personne ou une source fiable. Un modèle peut être entraîné sur des téraoctets de données non vérifiées et validé sur seulement quelques centaines d'exemples de ground truth, et c'est ce contrôle de ground truth, et non le volume des training data, qui indique réellement la fiabilité des résultats.
Frequently asked questions
Envie d'avoir ton contexte au même endroit ?
Flaibo conserve ton rôle, ta tonalité et ton travail passé au même endroit, et les intègre dans les prompts que tu emportes vers l'IA que tu utilises, pour qu'une nouvelle discussion n'ait pas à repartir d'une fenêtre de contexte vide.
Commence gratuitement