flaibo
Glossar

AI Audit

Eine unabhängige, formale Prüfung der Fairness, Sicherheit oder Rechtskonformität eines KI-Systems, durchgeführt von einer Partei außerhalb des Teams, das es gebaut hat, und darauf ausgelegt, externer Prüfung standzuhalten.

Keine Karte erforderlich

Was das in der Praxis bedeutet

Wenn ein Anbieter behauptet, sein Tool zur Bewerberauswahl sei geprüft worden, bedeutet dieses Wort nur etwas, wenn du weißt, wer die Prüfung durchgeführt hat und nach welchem Maßstab. Ein echtes KI-Audit wird von einer Partei durchgeführt, die unabhängig vom Team ist, das das System gebaut hat, gemessen an einem definierten externen Standard wie einem Fairness-Rahmenwerk oder einer Sicherheitsvorschrift, und erzeugt einen Bericht, der der Prüfung durch Regulierungsbehörden oder Kunden standhalten soll. Ein Anbieter, der sagt wir testen unser Produkt vor jeder Veröffentlichung, beschreibt etwas anderes: routinemäßige interne Qualitätskontrolle, die darauf abzielt, Bugs zu finden, kein unabhängiges Urteil über Fairness oder Rechtskonformität. Bevor du dem Wort geprüft vertraust, frag, wer die Prüfung durchgeführt hat und ob der Bericht zum Lesen verfügbar ist.

Beispiel

Ein Anbieter von Lebenslauf-Screening-Software bewirbt sein Tool als auf Verzerrung geprüft. Bei genauerem Hinsehen wurde die Prüfung vom eigenen Data-Science-Team des Anbieters mit dessen eigenen Erfolgsmetriken durchgeführt, ohne externen Standard und ohne öffentlichen Bericht. Eine wirklich geprüfte Version wäre stattdessen von einer unabhängigen dritten Partei gegen einen anerkannten Fairness-Standard bewertet worden, mit Ergebnissen, die ein Kunde oder eine Regulierungsbehörde tatsächlich anfordern und lesen könnte.

Häufig verwechselt mit

vs. Internal QA / Testing

Internes QA-Testing wird routinemäßig vom eigenen Engineering-Team des Anbieters durchgeführt, um Bugs vor einer Veröffentlichung zu finden, bewertet nach welchen Kriterien auch immer der Anbieter selbst für wichtig hält. Ein KI-Audit ist unabhängig von diesem Team, gemessen an einem externen Standard wie einer Vorschrift oder einem Fairness-Rahmenwerk, und erzeugt einen Bericht, den externe Parteien, Regulierungsbehörden, Kunden, Gerichte, tatsächlich einsehen können. Ein Tool kann das gesamte interne QA seines Anbieters bestehen und trotzdem nie einem echten Audit unterzogen worden sein, weshalb die beiden Aussagen keine austauschbaren Belege für dieselbe Sache sind.

Frequently asked questions

Willst du deinen Kontext an einem Ort?

Flaibo bewahrt deine Rolle, deinen Ton und deine bisherige Arbeit an einem Ort und baut sie in die Prompts ein, die du in jede KI mitnimmst, mit der du arbeitest, sodass ein neuer Chat nicht mit einem leeren Kontextfenster beginnen muss.

Kostenlos starten

Dein Kontext, überall