Confidence Score
L'estimation que le modèle rapporte lui-même quant à son degré de certitude sur une réponse, générée par le même système que celui qui a produit cette réponse au départ.
Aucune carte bancaire requise
Ce que ça signifie en pratique
Un outil de transcription renvoie une retranscription avec un score de confiance de 96 % à côté d'une phrase, et il est facile de lire ce chiffre comme une garantie que les mots sont corrects. Ce n'en est pas une. Le score est l'estimation interne propre du modèle quant à sa certitude, calculée à partir de schémas issus du même processus qui a généré le texte, et non une vérification par rapport à ce qui a réellement été dit. Un modèle peut être très confiant et tout simplement se tromper, en particulier sur un extrait audio étouffé, un accent inhabituel, ou du jargon sectoriel qu'il a rarement rencontré pendant l'entraînement. Se fier uniquement à un score de confiance élevé, sans vérifier ponctuellement la réponse réelle par rapport à la source, c'est ainsi qu'un chiffre erroné ou un nom mal entendu se glisse inaperçu dans un document destiné à un client.
Exemple
Un outil de transcription vocale retranscrit un appel client et marque une phrase comme fiable à 98 %. La phrase indique le budget est de douze mille dollars, mais le client a en réalité dit vingt mille. Le modèle était confiant parce que douze mille correspondait à ses attentes statistiques pour cette phrase, pas parce qu'il avait vérifié ce chiffre par rapport à quoi que ce soit de réel. Seul un humain qui vérifie l'enregistrement repère l'erreur.
À ne pas confondre avec
vs. Accuracy
L'exactitude est mesurée de manière externe, en comparant après coup la réponse d'un modèle à une réponse correcte vérifiée, l'enregistrement audio réel ou le document source réel. Un score de confiance est généré en interne, par le même système que celui qui a produit la réponse, avant que quiconque ne le vérifie par rapport à la réalité. Comme les deux proviennent de processus entièrement différents, un modèle peut annoncer une confiance de 99 % sur une réponse qui se révèle complètement fausse, et un score de confiance bas ne signifie pas non plus automatiquement que la réponse est mauvaise. Considère la confiance comme l'auto-évaluation du modèle, et l'exactitude comme le bilan réel, vérifié de manière externe.
Frequently asked questions
Envie d'avoir ton contexte au même endroit ?
Flaibo conserve ton rôle, ta tonalité et ton travail passé au même endroit, et les intègre dans les prompts que tu emportes vers l'IA que tu utilises, pour qu'une nouvelle discussion n'ait pas à repartir d'une fenêtre de contexte vide.
Commence gratuitement