Non-determinism (Output Variability)
Una proprietà intrinseca dei modelli AI per cui lo stesso prompt può produrre una risposta formulata in modo diverso, o persino con una conclusione diversa, ogni volta che viene eseguito.
Nessuna carta richiesta
Cosa significa in pratica
Un responsabile compliance esegue lo stesso identico prompt su un assistente AI due volte, verificando una clausola contrattuale rispetto alla stessa policy, e ottiene due risposte che non sono identiche parola per parola, occasionalmente con persino una conclusione diversa su un caso limite. L'istinto è pensare che qualcosa sia rotto, dato che una calcolatrice o una query su un database non si comportano mai così. Ma questo non è un bug da segnalare; è così che il modello funziona per progettazione. A ogni passaggio seleziona in modo in parte casuale tra diverse parole successive plausibili invece di restituire sempre un output fisso, quindi una formulazione leggermente diversa, e occasionalmente un giudizio diverso, sono comportamenti attesi. Per un compito che richiede una risposta ripetibile ogni volta, il rimedio è abbassare l'impostazione della casualità o aggiungere un passaggio di verifica, non aspettare un aggiornamento che lo risolva.
Esempio
Esegui lo stesso prompt di compliance sullo stesso documento tre volte di fila. La prima esecuzione segnala una clausola come conforme, la seconda segnala la stessa clausola come borderline, e la terza la segnala di nuovo conforme con una formulazione leggermente diversa ogni volta. Nulla si è bloccato e nessun errore è comparso: questa variazione è il modello che campiona tra risposte plausibili, non un difetto, e ripetere ancora l'esecuzione continuerebbe a produrre risultati simili ma non identici all'infinito.
Spesso confuso con
vs. A Software Bug
Un bug è un difetto non intenzionale: qualcosa che gli sviluppatori non intendevano far accadere e che correggerebbero una volta scoperto, e far girare lo stesso input attraverso codice fisso dovrebbe riprodurlo in modo affidabile ogni volta. Il non-determinismo è intenzionale e integrato: lo stesso prompt eseguito molte volte è previsto tornare formulato diversamente, o persino con una conclusione diversa, perché il modello sta campionando tra parole successive plausibili invece di eseguire un calcolo fisso, quindi qui non c'è nulla da correggere; il modo per ottenere un risultato ripetibile è abbassare l'impostazione della casualità o aggiungere un passaggio di verifica separato, non aprire una segnalazione di bug.
Termini correlati
Frequently asked questions
Vuoi il tuo contesto in un unico posto?
Flaibo conserva il tuo ruolo, il tuo tono e il tuo lavoro passato in un unico posto, e li inserisce nei prompt che porti in qualsiasi AI tu usi, così una nuova chat non deve ripartire da una finestra di contesto vuota.
Inizia gratis