Toxicity
Un único resultado de IA que resulta dañino, ofensivo o inseguro por sí mismo, independientemente de si ese mismo patrón dañino aparece en algún otro lugar.
No se requiere tarjeta
Qué significa en la práctica
Una empresa que evalúa un chatbot de IA para el sitio web de atención al cliente necesita saber que nunca producirá una sola respuesta abusiva, ofensiva o insegura hacia un cliente, incluso ante una pregunta inusual o provocadora. Ese riesgo es la toxicidad: un solo resultado negativo que llega frente a un cliente real ya es de por sí un incidente de seguridad de marca, sin importar si la herramienta tiene o no algún sesgo más amplio en otro lugar. Un equipo que realiza esta evaluación normalmente somete al asistente a un red teaming con prompts límite y adversariales, buscando específicamente una sola respuesta tóxica, ya que incluso un solo caso, capturado en una captura de pantalla y compartido, puede causar un daño real a la reputación mucho antes de que alguien haya reunido suficientes resultados para notar un patrón más amplio.
Ejemplo
Un cliente escribe un mensaje agresivo e insultante al chatbot de atención al cliente de una empresa para ver cómo reacciona. Si el asistente responde de la misma manera, con algo hostil u ofensivo a su vez, ese intercambio único es toxicidad, y es un problema de seguridad de marca en el momento en que ocurre, sin importar si ese mismo chatbot ha hecho algo parecido antes o después.
No confundir con
vs. Bias
El sesgo es una desviación sistemática que solo se vuelve visible al comparar muchos resultados en conjunto, poniendo lado a lado respuestas hacia distintos grupos o temas, incluso cuando cada respuesta individual parece aceptable por sí sola. La toxicidad vive por completo en un único resultado: una sola respuesta dañina, ofensiva o insegura ya es el problema, sin necesidad de compararla con nada más. Una empresa puede tener una única respuesta tóxica sin ningún patrón de sesgo más amplio detrás, y con la misma facilidad puede tener un patrón de sesgo en el que ninguna respuesta individual fue nunca lo bastante tóxica como para señalarse por sí sola, razón por la cual evaluar cada riesgo requiere un método distinto: auditar muchos resultados en conjunto para el sesgo, hacer red teaming de respuestas individuales para la toxicidad.
Términos relacionados
Frequently asked questions
¿Quieres tu contexto en un solo lugar?
Flaibo guarda tu rol, tu tono y tu trabajo anterior en un solo lugar y los incorpora a los prompts que llevas a la IA que uses, así que un chat nuevo no tiene que empezar desde una ventana de contexto vacía.
Empieza gratis