flaibo
Glossaire

Prompt Sensitivity (Prompt Brittleness)

Le phénomène par lequel un petit changement de formulation, comme réordonner une phrase ou changer un seul mot, produit une réponse sensiblement différente alors que la demande sous-jacente n'a pas changé.

Aucune carte bancaire requise

Ce que ça signifie en pratique

Tu demandes à un assistant de « résumer ce rapport en te concentrant sur les risques » et obtiens une réponse précise et utile. Le lendemain, tu lui demandes plutôt de « résumer ce rapport, en mettant l'accent sur les risques », une demande presque identique, et obtiens un résumé sensiblement différent, qui passe peut-être à côté d'un risque relevé par la première version. C'est ça, la prompt sensitivity : le modèle peut être étonnamment influencé par de petits changements de formulation en surface qui ne devraient rien changer pour un humain lisant les deux versions, mais qui modifient bel et bien la façon dont le modèle pondère la demande. Cela compte surtout pour les demandes longues et ouvertes, et beaucoup moins pour les demandes courtes, simples et sans ambiguïté.

Exemple

Demande « liste trois risques dans ce contrat », puis, dans une conversation séparée, demande « quels sont trois risques dans ce contrat ? ». Même intention, formulation différente, et tu pourrais obtenir deux listes de risques différentes en retour, non pas parce que le contrat a changé, mais parce que la formulation légèrement différente a orienté le modèle vers d'autres parties du texte.

À ne pas confondre avec

vs. AI Response Randomness (Non-determinism)

La prompt sensitivity concerne la formulation : change un mot ou réordonne une phrase, et la réponse change, même si exactement le même prompt n'a été tapé qu'une seule fois. Le non-determinism est une cause différente et distincte : tape le prompt littéralement identique deux fois de suite, et tu obtiens quand même deux réponses différentes, à cause de la façon dont le modèle échantillonne son mot suivant à chaque fois, sans rapport avec la formulation de la demande. La correction diffère aussi : réduire la prompt sensitivity consiste à resserrer ta formulation, tandis que réduire le caractère aléatoire consiste à ajuster un paramètre comme la temperature. Un professionnel confronté à une réponse incohérente ne peut souvent pas dire laquelle des deux causes est en jeu.

Frequently asked questions

Envie d'avoir ton contexte au même endroit ?

Flaibo conserve ton rôle, ta tonalité et ton travail passé au même endroit, et les intègre dans les prompts que tu emportes vers l'IA que tu utilises, pour qu'une nouvelle discussion n'ait pas à repartir d'une fenêtre de contexte vide.

Commence gratuitement

Ton contexte partout