Prompt Sensitivity (Prompt Brittleness)
Wenn eine kleine Änderung in der Formulierung, etwa das Umstellen eines Satzes oder das Austauschen eines Wortes, eine merklich andere Antwort hervorbringt, obwohl sich die zugrunde liegende Anfrage nicht geändert hat.
Keine Karte erforderlich
Was das in der Praxis bedeutet
Du bittest einen Assistenten, „fasse diesen Bericht mit Fokus auf die Risiken zusammen“, und bekommst eine präzise, nützliche Antwort. Am nächsten Tag bittest du ihn stattdessen, „fasse diesen Bericht zusammen, mit einem Fokus auf die Risiken“, eine fast identische Anfrage, und bekommst eine merklich andere Zusammenfassung, der vielleicht ein Risiko fehlt, das die erste Version erfasst hat. Das ist Prompt Sensitivity: Das Modell lässt sich überraschend stark von kleinen oberflächlichen Formulierungsänderungen beeinflussen, die für einen Menschen, der beide Versionen liest, keine Rolle spielen sollten, die aber verschieben, wie das Modell die Anfrage gewichtet. Das fällt am stärksten bei längeren, offeneren Anfragen ins Gewicht und weniger bei kurzen, einfachen, eindeutigen.
Beispiel
Frag „liste drei Risiken in diesem Vertrag auf“ und dann, in einem separaten Chat, frag „was sind drei Risiken in diesem Vertrag?“ Gleiche Absicht, unterschiedliche Formulierung, und du bekommst möglicherweise zwei unterschiedliche Risikolisten zurück, nicht weil sich der Vertrag geändert hat, sondern weil die leicht andere Formulierung das Modell zu unterschiedlichen Teilen des Textes gelenkt hat.
Häufig verwechselt mit
vs. AI Response Randomness (Non-determinism)
Prompt Sensitivity hat mit der Formulierung zu tun: Du änderst ein Wort oder stellst einen Satz um, und die Antwort verschiebt sich, obwohl genau derselbe Prompt nur einmal eingetippt wurde. Nichtdeterminismus ist eine andere, eigenständige Ursache: Du tippst denselben, identischen Prompt zweimal hintereinander ein und bekommst trotzdem zwei unterschiedliche Antworten, wegen der Art, wie das Modell jedes Mal sein nächstes Wort auswählt, nicht wegen irgendetwas an der Formulierung der Anfrage. Auch die Lösung unterscheidet sich: Prompt Sensitivity zu verringern bedeutet, deine Formulierung zu präzisieren, während das Verringern der Zufälligkeit bedeutet, eine Einstellung wie die Temperature anzupassen. Eine Fachkraft, die eine widersprüchliche Antwort bekommt, kann oft nicht erkennen, welche der beiden Ursachen dafür verantwortlich ist.
Verwandte Begriffe
Frequently asked questions
Willst du deinen Kontext an einem Ort?
Flaibo bewahrt deine Rolle, deinen Ton und deine bisherige Arbeit an einem Ort und baut sie in die Prompts ein, die du in jede KI mitnimmst, mit der du arbeitest, sodass ein neuer Chat nicht mit einem leeren Kontextfenster beginnen muss.
Kostenlos starten