Prompt Sensitivity (Prompt Brittleness)
Quando un piccolo cambiamento nella formulazione, come riordinare una frase o sostituire una parola, produce una risposta visibilmente diversa anche se la richiesta di fondo non è cambiata.
Nessuna carta richiesta
Cosa significa in pratica
Chiedi a un assistente di "riassumere questo report concentrandoti sui rischi" e ottieni una risposta puntuale e utile. Il giorno dopo gli chiedi invece di "riassumere questo report, con un focus sui rischi", una richiesta quasi identica, e ottieni un riepilogo visibilmente diverso, magari privo di un rischio che la prima versione aveva colto. Questa è la prompt sensitivity: il modello può essere sorprendentemente influenzato da piccoli cambiamenti superficiali nella formulazione che non dovrebbero contare per una persona che legge entrambe le versioni, ma che invece spostano il modo in cui il modello pesa la richiesta. Tende a contare di più sulle richieste più lunghe e aperte, e meno su quelle brevi, semplici e non ambigue.
Esempio
Chiedi "elenca tre rischi in questo contratto" e poi, in una chat separata, chiedi "quali sono tre rischi in questo contratto?" Stessa intenzione, formulazione diversa, e potresti ricevere indietro due elenchi di rischi diversi, non perché il contratto sia cambiato, ma perché la formulazione leggermente diversa ha spinto il modello verso parti diverse del testo.
Spesso confuso con
vs. AI Response Randomness (Non-determinism)
La prompt sensitivity riguarda la formulazione: cambia una parola o riordina una frase e la risposta si sposta, anche se lo stesso identico prompt è stato digitato una sola volta. Il non-determinismo è una causa diversa e separata: digita lo stesso identico prompt, parola per parola, due volte di fila e ottieni comunque due risposte diverse, per via di come il modello sceglie ogni volta la parola successiva, non per come è stata formulata la richiesta. Anche la soluzione è diversa: ridurre la prompt sensitivity significa affinare la formulazione, mentre ridurre la casualità significa regolare un parametro come la temperature. Un professionista che riceve una risposta incoerente spesso non riesce a capire quale delle due cause sia la responsabile.
Frequently asked questions
Vuoi il tuo contesto in un unico posto?
Flaibo conserva il tuo ruolo, il tuo tono e il tuo lavoro passato in un unico posto, e li inserisce nei prompt che porti in qualsiasi AI tu usi, così una nuova chat non deve ripartire da una finestra di contesto vuota.
Inizia gratis