Confidence Score
A própria estimativa autodeclarada do modelo sobre o quão seguro ele está de uma resposta, gerada pelo mesmo sistema que produziu essa resposta em primeiro lugar.
Nenhum cartão necessário
O que isso significa na prática
Uma ferramenta de transcrição devolve uma transcrição com uma pontuação de confiança de 96% ao lado de uma frase, e é fácil ler esse número como uma garantia de que as palavras estão corretas. Não é. A pontuação é a estimativa interna do próprio modelo sobre a certeza, calculada a partir de padrões no mesmo processo que gerou o texto, e não uma verificação contra o que realmente foi dito. Um modelo pode estar altamente confiante e simplesmente errado, especialmente em um áudio abafado, um sotaque incomum, ou um jargão do setor que raramente encontrou durante o treinamento. Confiar apenas em uma pontuação de confiança alta, sem verificar pontualmente a resposta real contra a fonte, é como um número errado ou um nome mal ouvido acaba entrando despercebido em um documento voltado para o cliente.
Exemplo
Uma ferramenta de voz para texto transcreve uma ligação com cliente e marca uma frase como 98% confiante. A frase diz o orçamento é de doze mil dólares, mas o cliente na verdade disse vinte mil. O modelo estava confiante porque doze mil se encaixava nas suas expectativas estatísticas para aquela frase, não porque verificou o número contra algo real. Só uma pessoa checando a gravação percebe o erro.
Frequentemente confundido com
vs. Accuracy
A acurácia é medida externamente, comparando a resposta de um modelo com uma resposta correta verificada, a gravação de áudio real ou o documento-fonte real, depois do fato. Uma pontuação de confiança é gerada internamente, pelo mesmo sistema que produziu a resposta, antes de qualquer verificação contra a realidade. Como os dois vêm de processos totalmente diferentes, um modelo pode relatar 99% de confiança em uma resposta que acaba se revelando completamente errada, e uma pontuação de confiança baixa também não significa automaticamente que a resposta é ruim. Trate a confiança como a autoavaliação do modelo, e a acurácia como o histórico real e verificado externamente.
Frequently asked questions
Quer seu contexto em um só lugar?
Flaibo mantém seu papel, seu tom e seu trabalho anterior em um só lugar e os incorpora aos prompts que você leva para qualquer IA que você use, então um novo chat não precisa começar de uma janela de contexto vazia.
Comece grátis