flaibo
Glossário

Prompt Sensitivity (Prompt Brittleness)

Quando uma pequena mudança na redação, como reordenar uma frase ou trocar uma palavra, produz uma resposta visivelmente diferente mesmo que o pedido de fundo não tenha mudado.

Nenhum cartão necessário

O que isso significa na prática

Você pede a um assistente para "resumir este relatório com foco nos riscos" e recebe uma resposta precisa e útil. No dia seguinte, você pede, em vez disso, para "resumir este relatório, com um foco nos riscos", um pedido quase idêntico, e recebe um resumo visivelmente diferente, talvez sem um risco que a primeira versão tinha capturado. Isso é prompt sensitivity: o modelo pode ser surpreendentemente influenciado por pequenas mudanças superficiais na redação que não deveriam importar para uma pessoa lendo as duas versões, mas que mudam sim como o modelo pondera o pedido. Isso costuma importar mais em pedidos mais longos e abertos, e menos em pedidos curtos, simples e sem ambiguidade.

Exemplo

Pergunte "liste três riscos neste contrato" e depois, em um chat separado, pergunte "quais são três riscos neste contrato?". Mesma intenção, redação diferente, e você pode receber dois conjuntos diferentes de riscos de volta, não porque o contrato mudou, mas porque a redação ligeiramente diferente empurrou o modelo para partes diferentes do texto.

Frequentemente confundido com

vs. AI Response Randomness (Non-determinism)

Prompt sensitivity tem a ver com redação: mude uma palavra ou reordene uma frase e a resposta muda, mesmo que o mesmíssimo prompt tenha sido digitado só uma vez. O não determinismo é uma causa diferente e separada: digite o prompt literalmente idêntico duas vezes seguidas e ainda assim você recebe duas respostas diferentes, por causa de como o modelo escolhe sua próxima palavra a cada vez, não por nada relacionado a como o pedido foi redigido. A correção também é diferente: reduzir a prompt sensitivity significa apertar sua redação, enquanto reduzir a aleatoriedade significa ajustar uma configuração como a temperature. Um profissional que recebe uma resposta inconsistente muitas vezes não consegue saber qual das duas causas é a responsável.

Frequently asked questions

Quer seu contexto em um só lugar?

Flaibo mantém seu papel, seu tom e seu trabalho anterior em um só lugar e os incorpora aos prompts que você leva para qualquer IA que você use, então um novo chat não precisa começar de uma janela de contexto vazia.

Comece grátis

Seu contexto em todo lugar