flaibo
Glossar

Precision vs Recall

Precision misst, wie viele der von einer KI als positiv markierten Elemente tatsächlich korrekt waren; Recall misst, wie viele der echten positiven Fälle sie tatsächlich erfasst hat, und die beiden stehen oft in einem Zielkonflikt zueinander.

Keine Karte erforderlich

Was das in der Praxis bedeutet

Nimm an, du setzt ein KI-Tool ein, um verdächtige Spesenabrechnungen zur Überprüfung zu markieren. Wenn es 100 Abrechnungen markiert und 90 sich als echte Probleme herausstellen, ist das hohe Precision, deine Prüfzeit wird nicht mit Fehlalarmen verschwendet. Wenn es aber tatsächlich 300 problematische Abrechnungen gab und es nur diese 90 erfasst hat, ist sein Recall schlecht, es hat zwei Drittel der echten Fälle übersehen. Eine einzelne „Accuracy"-Zahl kann in genau diesem Szenario großartig aussehen, weil das korrekte Ignorieren Tausender normaler, unproblematischer Abrechnungen ebenfalls in die Accuracy einfließt, sodass ein Tool 98 Prozent Accuracy melden kann, während es weiterhin den Großteil des tatsächlich relevanten Betrugs übersieht.

Beispiel

Ein Tool zur Lebenslaufprüfung, das nur 5 von 500 Kandidaten markiert, und alle 5 sind stark, hat perfekte Precision, kann aber katastrophalen Recall haben, wenn 40 weitere starke Kandidaten unangetastet im Ablehnungsstapel liegen geblieben sind. Ein Tool, das in die entgegengesetzte Richtung eingestellt ist, markiert vielleicht 200 Kandidaten, um sicherzustellen, dass es fast alle Qualifizierten erfasst, hoher Recall, aber ein Recruiter muss sich jetzt durch weit mehr falsch positive Treffer wühlen, niedrige Precision, um sie zu finden.

Häufig verwechselt mit

vs. Accuracy

Accuracy ist eine einzelne gemischte Zahl: der Anteil aller Vorhersagen, positive und negative zusammen, die das Modell richtig getroffen hat. Sie kann hoch bleiben, selbst wenn ein Tool im Stillen genau in der einen Sache schlecht ist, auf die es ankommt, weil das korrekte Ignorieren der großen Mehrheit normaler, nicht markierter Fälle die Zahl unabhängig davon stützt, wie viele echte positive Fälle übersehen wurden. Precision und Recall zerlegen diesen gemischten Wert in die zwei Fragen, die Screening- oder Erkennungsarbeit tatsächlich beantwortet haben muss: Von dem, was markiert wurde, wie viel war echt, und von dem, was es gab, wie viel wurde erfasst. Ein Tool mit 98 Prozent Accuracy kann bei den seltenen, folgenreichen Fällen wie Betrug immer noch schlechten Recall haben, genau das Versagen, das eine einzelne Accuracy-Zahl verbirgt.

Frequently asked questions

Willst du deinen Kontext an einem Ort?

Flaibo bewahrt deine Rolle, deinen Ton und deine bisherige Arbeit an einem Ort und baut sie in die Prompts ein, die du in jede KI mitnimmst, mit der du arbeitest, sodass ein neuer Chat nicht mit einem leeren Kontextfenster beginnen muss.

Kostenlos starten

Dein Kontext, überall