Toxicity
Le fait qu'une seule réponse d'IA soit nuisible, offensante ou dangereuse en elle-même, indépendamment du fait que ce même schéma nuisible se retrouve ailleurs ou non.
Aucune carte bancaire requise
Ce que ça signifie en pratique
Une entreprise qui évalue un chatbot IA pour son site web de support client a besoin de savoir qu'il ne produira jamais une seule réponse abusive, offensante ou dangereuse envers un client, même face à une question inhabituelle ou provocatrice. Ce risque, c'est la toxicité : une seule mauvaise réponse atterrissant devant un seul vrai client est déjà à elle seule un incident de sécurité de marque, indépendamment du fait que l'outil présente ou non un biais plus large ailleurs. Une équipe qui mène cette évaluation soumet généralement l'assistant à du red teaming avec des prompts limites et adversariaux visant spécifiquement à débusquer une seule réponse toxique, car même un seul cas, capturé en capture d'écran et partagé, peut causer un vrai dommage de réputation bien avant que quiconque n'ait rassemblé assez de réponses pour remarquer un schéma plus large.
Exemple
Un client tape un message agressif et insultant au chatbot de support d'une entreprise pour voir comment il réagit. Si l'assistant répond sur le même ton, avec quelque chose d'hostile ou d'offensant en retour, cet unique échange constitue de la toxicité, et c'est un problème de sécurité de marque dès l'instant où cela se produit, que ce même chatbot ait déjà fait quelque chose de semblable avant ou depuis, ou non.
À ne pas confondre avec
vs. Bias
Le biais est un déséquilibre systématique qui ne devient visible qu'à travers de nombreuses réponses, en comparant côte à côte les réponses données à différents groupes ou sujets, même quand chaque réponse prise isolément paraît acceptable. La toxicité vit entièrement dans une seule réponse : une réponse nuisible, offensante ou dangereuse est déjà à elle seule le problème, sans besoin de la comparer à quoi que ce soit d'autre. Une entreprise peut avoir une réponse toxique sans aucun schéma de biais plus large derrière, et elle peut tout aussi bien avoir un schéma de biais où aucune réponse prise isolément n'a jamais été assez toxique pour être signalée seule, ce qui explique pourquoi évaluer chacun de ces risques exige une méthode différente : auditer de nombreuses réponses ensemble pour le biais, faire du red teaming sur des réponses isolées pour la toxicité.
Termes associés
Frequently asked questions
Envie d'avoir ton contexte au même endroit ?
Flaibo conserve ton rôle, ta tonalité et ton travail passé au même endroit, et les intègre dans les prompts que tu emportes vers l'IA que tu utilises, pour qu'une nouvelle discussion n'ait pas à repartir d'une fenêtre de contexte vide.
Commence gratuitement