Prompt Sensitivity (Prompt Brittleness)
Quando uma pequena mudança na redação, como reordenar uma frase ou trocar uma palavra, produz uma resposta visivelmente diferente mesmo que o pedido de fundo não tenha mudado.
Nenhum cartão necessário
O que isso significa na prática
Você pede a um assistente para "resumir este relatório com foco nos riscos" e recebe uma resposta precisa e útil. No dia seguinte, você pede, em vez disso, para "resumir este relatório, com um foco nos riscos", um pedido quase idêntico, e recebe um resumo visivelmente diferente, talvez sem um risco que a primeira versão tinha capturado. Isso é prompt sensitivity: o modelo pode ser surpreendentemente influenciado por pequenas mudanças superficiais na redação que não deveriam importar para uma pessoa lendo as duas versões, mas que mudam sim como o modelo pondera o pedido. Isso costuma importar mais em pedidos mais longos e abertos, e menos em pedidos curtos, simples e sem ambiguidade.
Exemplo
Pergunte "liste três riscos neste contrato" e depois, em um chat separado, pergunte "quais são três riscos neste contrato?". Mesma intenção, redação diferente, e você pode receber dois conjuntos diferentes de riscos de volta, não porque o contrato mudou, mas porque a redação ligeiramente diferente empurrou o modelo para partes diferentes do texto.
Frequentemente confundido com
vs. AI Response Randomness (Non-determinism)
Prompt sensitivity tem a ver com redação: mude uma palavra ou reordene uma frase e a resposta muda, mesmo que o mesmíssimo prompt tenha sido digitado só uma vez. O não determinismo é uma causa diferente e separada: digite o prompt literalmente idêntico duas vezes seguidas e ainda assim você recebe duas respostas diferentes, por causa de como o modelo escolhe sua próxima palavra a cada vez, não por nada relacionado a como o pedido foi redigido. A correção também é diferente: reduzir a prompt sensitivity significa apertar sua redação, enquanto reduzir a aleatoriedade significa ajustar uma configuração como a temperature. Um profissional que recebe uma resposta inconsistente muitas vezes não consegue saber qual das duas causas é a responsável.
Termos relacionados
Frequently asked questions
Quer seu contexto em um só lugar?
Flaibo mantém seu papel, seu tom e seu trabalho anterior em um só lugar e os incorpora aos prompts que você leva para qualquer IA que você use, então um novo chat não precisa começar de uma janela de contexto vazia.
Comece grátis