flaibo
Glossário

Non-determinism (Output Variability)

Uma propriedade embutida nos modelos de IA em que o mesmo prompt pode produzir uma resposta formulada de forma diferente, ou até com uma conclusão diferente, cada vez que é executado.

Nenhum cartão necessário

O que isso significa na prática

Um profissional de compliance executa exatamente o mesmo prompt em um assistente de IA duas vezes, verificando uma cláusula contratual contra a mesma política, e recebe duas respostas que não são idênticas palavra por palavra, às vezes até com uma conclusão diferente em um caso limítrofe. O instinto é presumir que algo está quebrado, já que uma calculadora ou uma consulta a banco de dados nunca se comporta assim. Mas isso não é um bug para reportar; é como o modelo funciona por design. A cada etapa, ele seleciona de forma um tanto aleatória entre várias próximas palavras plausíveis, em vez de sempre retornar uma única saída fixa, então uma formulação ligeiramente diferente, e ocasionalmente um julgamento diferente, é um comportamento esperado. Para uma tarefa que precisa de uma resposta repetível toda vez, a solução é reduzir a configuração de aleatoriedade ou adicionar uma etapa de verificação, não esperar por uma atualização que resolva isso.

Exemplo

Execute o mesmo prompt de compliance sobre o mesmo documento três vezes seguidas. A primeira execução sinaliza uma cláusula como conforme, a segunda sinaliza a mesma cláusula como limítrofe, e a terceira a sinaliza como conforme de novo, com uma formulação ligeiramente diferente a cada vez. Nada travou e nenhum erro apareceu: essa variação é o modelo amostrando entre respostas plausíveis, não um defeito, e repetir a execução novamente continuaria produzindo resultados parecidos, mas não idênticos, indefinidamente.

Frequentemente confundido com

vs. A Software Bug

Um bug é um defeito não intencional: algo que os desenvolvedores não pretendiam que acontecesse e que corrigiriam assim que encontrado, e rodar a mesma entrada pelo mesmo código deveria reproduzi-lo de forma confiável todas as vezes. O não determinismo é intencional e embutido: espera-se que o mesmo prompt, executado várias vezes, volte formulado de forma diferente, ou até com uma conclusão diferente, porque o modelo está amostrando entre próximas palavras plausíveis em vez de executar um único cálculo fixo, então não há nada para corrigir aqui; a forma de obter um resultado repetível é reduzir a configuração de aleatoriedade ou adicionar uma etapa de verificação separada, não abrir um chamado de bug.

Frequently asked questions

Quer seu contexto em um só lugar?

Flaibo mantém seu papel, seu tom e seu trabalho anterior em um só lugar e os incorpora aos prompts que você leva para qualquer IA que você use, então um novo chat não precisa começar de uma janela de contexto vazia.

Comece grátis

Seu contexto em todo lugar