flaibo
Glossar

Confidence Score

Die eigene, selbst angegebene Einschätzung des Modells, wie sicher es sich bei einer Antwort ist, erzeugt von demselben System, das die Antwort überhaupt erst hervorgebracht hat.

Keine Karte erforderlich

Was das in der Praxis bedeutet

Ein Transkriptionstool liefert ein Transkript, in dem neben einem Satz ein Konfidenzwert von 96 Prozent steht, und es ist leicht, diese Zahl als Garantie zu lesen, dass die Wörter korrekt sind. Das ist sie nicht. Der Wert ist die eigene interne Sicherheitseinschätzung des Modells, berechnet aus Mustern desselben Prozesses, der den Text erzeugt hat, kein Abgleich mit dem, was tatsächlich gesagt wurde. Ein Modell kann hochgradig zuversichtlich und trotzdem einfach falsch sein, besonders bei einem dumpfen Audioclip, einem ungewöhnlichen Akzent oder Branchenjargon, dem es während des Trainings selten begegnet ist. Sich allein auf einen hohen Konfidenzwert zu verlassen, ohne die tatsächliche Ausgabe stichprobenartig mit der Quelle abzugleichen, ist der Weg, wie eine falsche Zahl oder ein falsch verstandener Name unbemerkt in ein kundengerichtetes Dokument gelangt.

Beispiel

Ein Sprache-zu-Text-Tool transkribiert ein Kundengespräch und markiert einen Satz mit 98 Prozent Konfidenz. Der Satz lautet das Budget beträgt zwölftausend Dollar, aber der Kunde sagte tatsächlich zwanzigtausend. Das Modell war zuversichtlich, weil zwölftausend zu seinen statistischen Erwartungen für diesen Satz passte, nicht weil es die Zahl gegen irgendetwas Reales überprüft hat. Nur ein Mensch, der die Aufnahme prüft, entdeckt den Fehler.

Häufig verwechselt mit

vs. Accuracy

Genauigkeit wird extern gemessen, indem die Ausgabe eines Modells im Nachhinein mit einer verifizierten korrekten Antwort verglichen wird, der tatsächlichen Audioaufnahme oder dem tatsächlichen Quelldokument. Ein Konfidenzwert wird intern erzeugt, von demselben System, das die Antwort hervorgebracht hat, bevor irgendjemand sie mit der Realität abgleicht. Weil die beiden aus völlig unterschiedlichen Prozessen stammen, kann ein Modell 99 Prozent Konfidenz für eine Antwort angeben, die sich als völlig falsch herausstellt, und ein niedriger Konfidenzwert bedeutet auch nicht automatisch, dass die Antwort schlecht ist. Behandle Konfidenz als die Selbsteinschätzung des Modells und Genauigkeit als die tatsächliche, extern verifizierte Erfolgsbilanz.

Frequently asked questions

Willst du deinen Kontext an einem Ort?

Flaibo bewahrt deine Rolle, deinen Ton und deine bisherige Arbeit an einem Ort und baut sie in die Prompts ein, die du in jede KI mitnimmst, mit der du arbeitest, sodass ein neuer Chat nicht mit einem leeren Kontextfenster beginnen muss.

Kostenlos starten

Dein Kontext, überall