Data Poisoning
Une attaque qui corrompt les training data d'un modèle d'IA avant même que le modèle ne soit construit, en intégrant directement un défaut caché ou un biais dans le modèle lui-même.
Aucune carte bancaire requise
Ce que ça signifie en pratique
Le data poisoning se produit très en amont, bien avant que tu ne tapes le moindre prompt. Si des acteurs malveillants parviennent à glisser des exemples corrompus, mal étiquetés ou délibérément manipulés dans les immenses jeux de données utilisés pour entraîner un modèle, ce défaut devient partie intégrante du comportement appris par le modèle une fois l'entraînement terminé, et il se manifestera ensuite de façon imprévisible, d'une manière très difficile à retracer jusqu'à sa source. La plupart des professionnels n'y seront jamais directement confrontés, car il s'agit d'un risque qui se situe dans la façon dont un modèle est construit par l'organisation qui l'entraîne, et non dans les prompts pratiques et les outils quotidiens qu'un professionnel manipule au travail.
Exemple
Des chercheurs ont montré que corrompre ne serait-ce qu'une petite portion ciblée d'un jeu de données d'entraînement, par exemple en y insérant une phrase déclenchante rare associée à une mauvaise réponse, peut faire en sorte que le modèle qui en résulte se comporte mal discrètement chaque fois que cette phrase déclenchante réapparaît par la suite, sans aucun signe visible en usage ordinaire. Ce défaut se loge ensuite dans les poids du modèle, et il faudrait réentraîner le modèle sur des données nettoyées pour l'éliminer.
À ne pas confondre avec
vs. Prompt Injection
Le data poisoning se produit en amont, pendant l'entraînement : des exemples corrompus s'intègrent aux poids mêmes du modèle avant sa sortie, si bien que le défaut qui en résulte fait partie intégrante et permanente de ce modèle jusqu'à ce qu'il soit réentraîné. Le prompt injection se produit en aval, au moment de l'utilisation : des instructions cachées, enfouies dans une page web, un document ou un e-mail que lit un assistant, peuvent détourner une seule réponse, sans aucun changement du modèle sous-jacent lui-même, la conversation suivante n'étant pas affectée. La différence pratique tient à qui peut résoudre le problème et à quelle vitesse : un modèle empoisonné a besoin que son créateur le réentraîne, ce qui peut prendre des mois, alors qu'un risque de prompt injection peut souvent être neutralisé en filtrant mieux le contenu qu'un assistant est autorisé à lire.
Termes associés
Frequently asked questions
Envie d'avoir ton contexte au même endroit ?
Flaibo conserve ton rôle, ta tonalité et ton travail passé au même endroit, et les intègre dans les prompts que tu emportes vers l'IA que tu utilises, pour qu'une nouvelle discussion n'ait pas à repartir d'une fenêtre de contexte vide.
Commence gratuitement