Prompt Sensitivity (Prompt Brittleness)
Cuando un pequeño cambio en la redacción, como reordenar una frase o cambiar una palabra, produce una respuesta notablemente distinta aunque la solicitud de fondo no haya cambiado.
No se requiere tarjeta
Qué significa en la práctica
Le pides a un asistente que "resuma este informe centrándose en los riesgos" y obtienes una respuesta precisa y útil. Al día siguiente le pides, en cambio, que "resuma este informe, con un enfoque en los riesgos", una solicitud casi idéntica, y obtienes un resumen notablemente distinto, quizá sin un riesgo que la primera versión sí había detectado. Eso es prompt sensitivity: el modelo puede verse sorprendentemente influido por pequeños cambios superficiales en la redacción que no deberían importarle a una persona que lea ambas versiones, pero que sí modifican cómo el modelo pondera la solicitud. Tiende a notarse más en peticiones largas y abiertas, y menos en las cortas, simples e inequívocas.
Ejemplo
Pregunta "enumera tres riesgos de este contrato" y luego, en un chat aparte, pregunta "¿cuáles son tres riesgos de este contrato?". Misma intención, redacción distinta, y es posible que recibas dos conjuntos de riesgos diferentes, no porque el contrato haya cambiado, sino porque la redacción ligeramente distinta empujó al modelo hacia partes diferentes del texto.
No confundir con
vs. AI Response Randomness (Non-determinism)
La prompt sensitivity tiene que ver con la redacción: cambias una palabra o reordenas una frase y la respuesta se desplaza, aunque el mismísimo prompt se haya escrito una sola vez. El no determinismo es una causa distinta y separada: escribe el mismo prompt, idéntico, literalmente dos veces seguidas y aun así obtendrás dos respuestas diferentes, por la forma en que el modelo elige cada vez su siguiente palabra, no por nada relacionado con cómo se redactó la solicitud. La solución también difiere: reducir la prompt sensitivity implica ajustar tu redacción, mientras que reducir la aleatoriedad implica ajustar un parámetro como la temperature. Un profesional que recibe una respuesta incoherente muchas veces no puede saber cuál de las dos causas es la responsable.
Términos relacionados
Frequently asked questions
¿Quieres tu contexto en un solo lugar?
Flaibo guarda tu rol, tu tono y tu trabajo anterior en un solo lugar y los incorpora a los prompts que llevas a la IA que uses, así que un chat nuevo no tiene que empezar desde una ventana de contexto vacía.
Empieza gratis