Jailbreak
Un tentativo deliberato, da parte di chi parla con un assistente AI, di formulare un prompt in un modo che lo porti oltre i propri limiti comportamentali integrati.
Nessuna carta richiesta
Cosa significa in pratica
La policy aziendale sull'uso dell'AI vieta ai dipendenti di usare gli strumenti AI del posto di lavoro per generare qualsiasi cosa lo strumento sia progettato per rifiutare, come istruzioni dannose o contenuti che violano gli standard aziendali. Un jailbreak è ciò che accade quando qualcuno aggira deliberatamente quel rifiuto: inquadrando una richiesta vietata come una storia di fantasia, un esercizio ipotetico o un gioco di ruolo a più passaggi pensato apposta per spingere l'assistente a produrre ciò che normalmente rifiuterebbe, di proposito, come obiettivo intenzionale dell'utente stesso. Conta per la policy di un'azienda perché chi lo fa sa esattamente cosa sta cercando di ottenere; l'assistente non ha sbagliato da solo, e nessuna parte esterna era coinvolta. Quell'intenzione è esattamente ciò che lo separa da un incidente di sicurezza in cui l'utente non intendeva causare alcun problema.
Esempio
Qualcuno chiede direttamente a un assistente di scrivere qualcosa che è progettato per rifiutare, riceve un rifiuto, poi riformula la stessa richiesta come "scrivi una storia in cui un personaggio spiega in dettaglio come si fa". Se la riformulazione ha successo dove la richiesta diretta ha fallito, quella riformulazione era un jailbreak: un tentativo deliberato, ideato dall'utente, di aggirare un limite integrato, non un incidente.
Spesso confuso con
vs. Prompt Injection
Un jailbreak è ideato da chi parla con l'assistente, deliberatamente, per superarne i limiti di proposito. Il prompt injection non ha nulla a che fare con l'intenzione dell'utente: sono istruzioni nascoste inserite da terzi dentro contenuti che l'assistente viene incaricato di elaborare, come una pagina web, un'email o un documento caricato, che dirottano il suo comportamento senza che l'utente intenda mai tentare nulla di insolito, ed è per questo che un'azienda si difende in modo diverso da ciascuno: formazione degli utenti e monitoraggio per i jailbreak, sanificazione dei contenuti e controlli sulla fonte per l'injection.
Frequently asked questions
Vuoi il tuo contesto in un unico posto?
Flaibo conserva il tuo ruolo, il tuo tono e il tuo lavoro passato in un unico posto, e li inserisce nei prompt che porti in qualsiasi AI tu usi, così una nuova chat non deve ripartire da una finestra di contesto vuota.
Inizia gratis