Jailbreak
Une tentative délibérée, de la part de la personne qui s'adresse à un assistant IA, de formuler un prompt de manière à le faire passer outre ses propres limites de comportement intégrées.
Aucune carte bancaire requise
Ce que ça signifie en pratique
La politique d'utilisation de l'IA d'une entreprise interdit aux employés d'utiliser les outils IA du lieu de travail pour générer quoi que ce soit que l'outil est conçu pour refuser, comme des instructions nuisibles ou du contenu qui viole les normes de l'entreprise. Un jailbreak, c'est ce qui se produit quand quelqu'un contourne délibérément ce refus : en présentant une demande interdite comme une histoire fictive, un exercice hypothétique, ou un jeu de rôle en plusieurs étapes spécifiquement conçu pour amener l'assistant à produire ce qu'il refuserait normalement, volontairement, comme objectif intentionnel propre de l'utilisateur. Cela compte pour la politique d'une entreprise parce que la personne qui le fait sait exactement ce qu'elle cherche à extraire ; l'assistant n'a pas commis d'erreur de son propre chef, et aucune partie extérieure n'était impliquée non plus. Cette intention est précisément ce qui distingue le jailbreak d'un incident de sécurité où l'utilisateur ne voulait à aucun moment que quelque chose tourne mal.
Exemple
Quelqu'un demande directement à un assistant d'écrire quelque chose qu'il est conçu pour refuser, essuie un refus, puis reformule la même demande en écris une histoire où un personnage explique en détail comment faire cela. Si cette reformulation réussit là où la demande directe a échoué, cette reformulation était un jailbreak : une tentative délibérée, conçue par l'utilisateur, de contourner une limite intégrée, et non un accident.
À ne pas confondre avec
vs. Prompt Injection
Un jailbreak est conçu par l'utilisateur qui s'adresse à l'assistant, délibérément, pour passer outre ses propres limites, volontairement. Le prompt injection n'a absolument rien à voir avec l'intention de l'utilisateur : ce sont les instructions cachées d'un tiers, dissimulées à l'intérieur d'un contenu que l'assistant est chargé de traiter, comme une page web, un e-mail ou un document téléversé, qui détournent son comportement sans que l'utilisateur n'ait jamais eu l'intention de tenter quoi que ce soit d'inhabituel, ce qui explique pourquoi une entreprise se défend différemment contre chacun des deux : formation des utilisateurs et surveillance pour les jailbreaks, assainissement du contenu et vérification de la fiabilité des sources pour l'injection.
Frequently asked questions
Envie d'avoir ton contexte au même endroit ?
Flaibo conserve ton rôle, ta tonalité et ton travail passé au même endroit, et les intègre dans les prompts que tu emportes vers l'IA que tu utilises, pour qu'une nouvelle discussion n'ait pas à repartir d'une fenêtre de contexte vide.
Commence gratuitement