Data Poisoning
Un ataque que corrompe los datos de entrenamiento de un modelo de IA antes incluso de que el modelo se construya, incorporando un defecto o un sesgo oculto directamente en el propio modelo.
No se requiere tarjeta
Qué significa en la práctica
El data poisoning ocurre mucho más arriba en la cadena, mucho antes de que escribas un prompt. Si actores malintencionados logran colar ejemplos corruptos, mal etiquetados o manipulados deliberadamente en los enormes conjuntos de datos usados para entrenar un modelo, ese defecto pasa a formar parte del comportamiento aprendido por el propio modelo una vez terminado el entrenamiento, y se manifestará después de forma impredecible y muy difícil de rastrear hasta su origen. La mayoría de los profesionales nunca se toparán con esto directamente, porque es un riesgo que reside en cómo la organización que lo entrena construye un modelo, no en los prompts prácticos ni en las herramientas cotidianas que un profesional usa en el trabajo.
Ejemplo
Los investigadores han demostrado que envenenar incluso una pequeña porción específica de un conjunto de datos de entrenamiento, por ejemplo introduciendo en él una frase gatillo poco común emparejada con una respuesta incorrecta, puede hacer que el modelo resultante se comporte mal de forma silenciosa cada vez que esa frase gatillo aparezca más adelante, sin ninguna señal evidente durante el uso normal. Ese defecto queda alojado luego dentro de los pesos del modelo, y para eliminarlo haría falta reentrenar el modelo con datos depurados.
No confundir con
vs. Prompt Injection
El data poisoning ocurre más arriba en la cadena, durante el entrenamiento: los ejemplos corruptos quedan incorporados en los propios pesos del modelo antes incluso de que se publique, así que el defecto resultante es una parte permanente de ese modelo hasta que se reentrena. El prompt injection ocurre más abajo en la cadena, en el momento del uso: instrucciones ocultas escondidas en una página web, un documento o un correo que un asistente lee pueden secuestrar una única respuesta, sin ningún cambio en el modelo subyacente en sí, y la conversación inmediatamente siguiente no se ve afectada. La diferencia práctica está en quién puede solucionarlo y con qué rapidez: un modelo envenenado necesita que su creador lo reentrene, lo cual puede tardar meses, mientras que un riesgo de prompt injection a menudo puede cerrarse mejorando el filtrado del contenido que un asistente tiene permitido leer.
Términos relacionados
Frequently asked questions
¿Quieres tu contexto en un solo lugar?
Flaibo guarda tu rol, tu tono y tu trabajo anterior en un solo lugar y los incorpora a los prompts que llevas a la IA que uses, así que un chat nuevo no tiene que empezar desde una ventana de contexto vacía.
Empieza gratis