flaibo
Glossário

Confidence Score

A própria estimativa autodeclarada do modelo sobre o quão seguro ele está de uma resposta, gerada pelo mesmo sistema que produziu essa resposta em primeiro lugar.

Nenhum cartão necessário

O que isso significa na prática

Uma ferramenta de transcrição devolve uma transcrição com uma pontuação de confiança de 96% ao lado de uma frase, e é fácil ler esse número como uma garantia de que as palavras estão corretas. Não é. A pontuação é a estimativa interna do próprio modelo sobre a certeza, calculada a partir de padrões no mesmo processo que gerou o texto, e não uma verificação contra o que realmente foi dito. Um modelo pode estar altamente confiante e simplesmente errado, especialmente em um áudio abafado, um sotaque incomum, ou um jargão do setor que raramente encontrou durante o treinamento. Confiar apenas em uma pontuação de confiança alta, sem verificar pontualmente a resposta real contra a fonte, é como um número errado ou um nome mal ouvido acaba entrando despercebido em um documento voltado para o cliente.

Exemplo

Uma ferramenta de voz para texto transcreve uma ligação com cliente e marca uma frase como 98% confiante. A frase diz o orçamento é de doze mil dólares, mas o cliente na verdade disse vinte mil. O modelo estava confiante porque doze mil se encaixava nas suas expectativas estatísticas para aquela frase, não porque verificou o número contra algo real. Só uma pessoa checando a gravação percebe o erro.

Frequentemente confundido com

vs. Accuracy

A acurácia é medida externamente, comparando a resposta de um modelo com uma resposta correta verificada, a gravação de áudio real ou o documento-fonte real, depois do fato. Uma pontuação de confiança é gerada internamente, pelo mesmo sistema que produziu a resposta, antes de qualquer verificação contra a realidade. Como os dois vêm de processos totalmente diferentes, um modelo pode relatar 99% de confiança em uma resposta que acaba se revelando completamente errada, e uma pontuação de confiança baixa também não significa automaticamente que a resposta é ruim. Trate a confiança como a autoavaliação do modelo, e a acurácia como o histórico real e verificado externamente.

Frequently asked questions

Quer seu contexto em um só lugar?

Flaibo mantém seu papel, seu tom e seu trabalho anterior em um só lugar e os incorpora aos prompts que você leva para qualquer IA que você use, então um novo chat não precisa começar de uma janela de contexto vazia.

Comece grátis

Seu contexto em todo lugar