flaibo
Glossario

Data Poisoning

Un attacco che corrompe i dati di addestramento di un modello di AI prima ancora che il modello venga costruito, incorporando un difetto o un bias nascosto direttamente nel modello stesso.

Nessuna carta richiesta

Cosa significa in pratica

Il data poisoning avviene molto a monte, ben prima che tu digiti mai un prompt. Se dei malintenzionati riescono a infilare esempi corrotti, etichettati male o manipolati deliberatamente nei giganteschi dataset usati per addestrare un modello, quel difetto diventa parte del comportamento appreso dal modello stesso una volta terminato l'addestramento, e si manifesterà in seguito in modo imprevedibile e molto difficile da ricondurre alla sua fonte. La maggior parte dei professionisti non lo incontrerà mai direttamente, perché è un rischio che risiede in come un modello viene costruito dall'organizzazione che lo addestra, non nei prompt pratici e negli strumenti quotidiani che un professionista tocca sul lavoro.

Esempio

I ricercatori hanno dimostrato che avvelenare anche solo una piccola porzione mirata di un dataset di addestramento, ad esempio inserendovi una rara frase trigger abbinata a una risposta sbagliata, può far sì che il modello risultante si comporti male in silenzio ogni volta che quella frase trigger compare in seguito, senza alcun segno evidente durante l'uso ordinario. Quel difetto risiede poi dentro i pesi del modello e per rimuoverlo servirebbe riaddestrare il modello su dati ripuliti.

Spesso confuso con

vs. Prompt Injection

Il data poisoning avviene a monte, durante l'addestramento: esempi corrotti vengono incorporati nei pesi stessi del modello prima ancora che venga rilasciato, quindi il difetto risultante è una parte permanente di quel modello finché non viene riaddestrato. Il prompt injection avviene a valle, nel momento dell'uso: istruzioni nascoste sepolte in una pagina web, un documento o un'email che un assistente legge possono dirottare una singola risposta, senza alcun cambiamento al modello sottostante, e la conversazione immediatamente successiva non ne risente. La differenza pratica riguarda chi può risolverlo e con quale rapidità: un modello avvelenato richiede che il suo creatore lo riaddestri, il che può richiedere mesi, mentre un rischio di prompt injection può spesso essere chiuso migliorando il filtraggio dei contenuti che un assistente può leggere.

Frequently asked questions

Vuoi il tuo contesto in un unico posto?

Flaibo conserva il tuo ruolo, il tuo tono e il tuo lavoro passato in un unico posto, e li inserisce nei prompt che porti in qualsiasi AI tu usi, così una nuova chat non deve ripartire da una finestra di contesto vuota.

Inizia gratis

Il tuo contesto, ovunque