Data Poisoning
Um ataque que corrompe os dados de treinamento de um modelo de IA antes mesmo de o modelo ser construído, incorporando uma falha oculta ou um viés diretamente no próprio modelo.
Nenhum cartão necessário
O que isso significa na prática
Data poisoning acontece bem lá no início da cadeia, muito antes de você sequer digitar um prompt. Se agentes mal-intencionados conseguem infiltrar exemplos corrompidos, mal rotulados ou deliberadamente manipulados nos enormes conjuntos de dados usados para treinar um modelo, essa falha passa a fazer parte do comportamento aprendido pelo próprio modelo assim que o treinamento termina, e vai aparecer depois de forma imprevisível, de um jeito muito difícil de rastrear até a origem. A maioria dos profissionais nunca vai encontrar isso diretamente, já que é um risco que existe na forma como um modelo é construído pela organização que o treina, não nos prompts práticos e nas ferramentas do dia a dia que um profissional usa no trabalho.
Exemplo
Pesquisadores já mostraram que envenenar até mesmo uma pequena fatia bem direcionada de um conjunto de dados de treinamento, por exemplo inserindo nele uma frase-gatilho rara emparelhada com uma resposta errada, pode fazer com que o modelo resultante se comporte mal silenciosamente sempre que essa frase-gatilho aparecer depois, sem nenhum sinal óbvio durante o uso normal. Essa falha fica alojada dentro dos pesos do modelo depois disso, e removê-la exigiria retreinar o modelo com dados limpos.
Frequentemente confundido com
vs. Prompt Injection
Data poisoning acontece no início da cadeia, durante o treinamento: exemplos corrompidos ficam incorporados nos próprios pesos do modelo antes mesmo de ele ser lançado, então a falha resultante é uma parte permanente daquele modelo até que ele seja retreinado. Prompt injection acontece no fim da cadeia, no momento do uso: instruções ocultas escondidas em uma página web, um documento ou um e-mail que um assistente lê podem sequestrar uma única resposta, sem nenhuma mudança no modelo subjacente em si, e a conversa seguinte não é afetada. A diferença prática está em quem consegue corrigir isso e com que rapidez: um modelo envenenado precisa que seu criador o retreine, o que pode levar meses, enquanto um risco de prompt injection muitas vezes pode ser resolvido com uma filtragem melhor do conteúdo que um assistente tem permissão para ler.
Termos relacionados
Frequently asked questions
Quer seu contexto em um só lugar?
Flaibo mantém seu papel, seu tom e seu trabalho anterior em um só lugar e os incorpora aos prompts que você leva para qualquer IA que você use, então um novo chat não precisa começar de uma janela de contexto vazia.
Comece grátis