flaibo
Glossar

Data Poisoning

Ein Angriff, der die Trainingsdaten eines KI-Modells korrumpiert, noch bevor das Modell überhaupt gebaut wird, und dabei einen versteckten Fehler oder eine Verzerrung direkt in das Modell selbst einbrennt.

Keine Karte erforderlich

Was das in der Praxis bedeutet

Data Poisoning passiert weit vorgelagert, lange bevor du jemals einen Prompt eintippst. Wenn es böswilligen Akteuren gelingt, korrumpierte, falsch beschriftete oder absichtlich manipulierte Beispiele in die riesigen Datensätze einzuschleusen, mit denen ein Modell trainiert wird, wird dieser Fehler nach Abschluss des Trainings Teil des gelernten Verhaltens des Modells selbst und zeigt sich danach unvorhersehbar, auf eine Weise, die sich nur sehr schwer bis zu ihrem Ursprung zurückverfolgen lässt. Die meisten Fachkräfte werden dem nie direkt begegnen, da es sich um ein Risiko handelt, das darin liegt, wie ein Modell von der Organisation gebaut wird, die es trainiert, nicht in den praktischen Prompts und alltäglichen Tools, mit denen eine Fachkraft bei der Arbeit zu tun hat.

Beispiel

Forschende haben gezeigt, dass das Vergiften schon eines kleinen, gezielten Ausschnitts eines Trainingsdatensatzes, etwa indem man ihn mit einer seltenen Auslösephrase gepaart mit einer falschen Antwort versetzt, dazu führen kann, dass sich das entstehende Modell später still und heimlich fehlverhält, sobald diese Auslösephrase auftaucht, ohne ein offensichtliches Anzeichen während der gewöhnlichen Nutzung. Dieser Fehler sitzt danach in den Gewichten des Modells und würde erfordern, dass das Modell mit bereinigten Daten neu trainiert wird, um ihn zu entfernen.

Häufig verwechselt mit

vs. Prompt Injection

Data Poisoning geschieht vorgelagert, während des Trainings: Korrumpierte Beispiele werden in die Gewichte des Modells selbst eingebrannt, bevor es überhaupt veröffentlicht wird, sodass der entstehende Fehler ein dauerhafter Bestandteil dieses Modells bleibt, bis es neu trainiert wird. Prompt Injection geschieht nachgelagert, im Moment der Nutzung: versteckte Anweisungen, die in einer Webseite, einem Dokument oder einer E-Mail verborgen sind, die ein Assistent liest, können eine einzelne Antwort kapern, ohne dass sich am zugrunde liegenden Modell selbst etwas ändert, die unmittelbar nächste Unterhaltung bleibt unberührt. Der praktische Unterschied liegt darin, wer es beheben kann und wie schnell: Ein vergiftetes Modell braucht seinen Hersteller, um es neu zu trainieren, was Monate dauern kann, während ein Prompt-Injection-Risiko oft durch besseres Filtern der Inhalte geschlossen werden kann, die ein Assistent lesen darf.

Frequently asked questions

Willst du deinen Kontext an einem Ort?

Flaibo bewahrt deine Rolle, deinen Ton und deine bisherige Arbeit an einem Ort und baut sie in die Prompts ein, die du in jede KI mitnimmst, mit der du arbeitest, sodass ein neuer Chat nicht mit einem leeren Kontextfenster beginnen muss.

Kostenlos starten

Dein Kontext, überall