AI Audit
Un examen formel et indépendant de l'équité, de la sécurité ou de la conformité légale d'un système d'IA, mené par une partie extérieure à l'équipe qui l'a construit et destiné à résister à un examen extérieur.
Aucune carte bancaire requise
Ce que ça signifie en pratique
Quand un fournisseur affirme que son outil de présélection de candidats a été audité, ce mot ne veut dire quelque chose que si tu sais qui a mené l'examen et par rapport à quelle norme. Un véritable AI Audit est mené par une partie indépendante de l'équipe qui a construit le système, mesuré par rapport à une norme externe définie comme un cadre d'équité ou une réglementation de sécurité, et produit un rapport destiné à résister à l'examen des régulateurs ou des clients. Un fournisseur qui dit nous testons notre produit avant chaque publication décrit autre chose : un contrôle qualité interne de routine visant à attraper des bugs, pas un jugement indépendant sur l'équité ou la conformité légale. Avant de faire confiance au mot audité, demande qui a mené l'examen et si le rapport est disponible à la lecture.
Exemple
Un fournisseur d'outil de présélection de CV commercialise son outil comme audité contre le biais. En y regardant de plus près, l'audit a été réalisé par la propre équipe data science du fournisseur, en utilisant ses propres métriques de succès, sans norme extérieure ni rapport public. Une version réellement auditée aurait plutôt été examinée par un tiers indépendant par rapport à une norme d'équité reconnue, avec des conclusions qu'un client ou un régulateur pourrait effectivement demander et lire.
À ne pas confondre avec
vs. Internal QA / Testing
Les tests QA internes sont réalisés en routine par la propre équipe d'ingénierie du fournisseur pour attraper des bugs avant la sortie d'une version, jugés par rapport aux critères que le fournisseur lui-même juge importants. Un AI Audit est indépendant de cette équipe, mesuré par rapport à une norme externe comme une réglementation ou un cadre d'équité, et produit un rapport que des parties extérieures, régulateurs, clients, tribunaux, peuvent effectivement inspecter. Un outil peut réussir tous les tests QA internes de son fournisseur et n'avoir malgré tout jamais subi de véritable audit, si bien que les deux affirmations ne sont pas des preuves interchangeables de la même chose.
Termes associés
Frequently asked questions
Envie d'avoir ton contexte au même endroit ?
Flaibo conserve ton rôle, ta tonalité et ton travail passé au même endroit, et les intègre dans les prompts que tu emportes vers l'IA que tu utilises, pour qu'une nouvelle discussion n'ait pas à repartir d'une fenêtre de contexte vide.
Commence gratuitement