flaibo
Glossário

Ground Truth

Um conjunto de respostas corretas verificadas, usado para checar se a resposta de uma IA está certa, funcionando como um gabarito para corrigir uma prova.

Nenhum cartão necessário

O que isso significa na prática

Quando um fornecedor diz que sua ferramenta de extração de documentos foi validada contra ground truth, isso significa que as respostas dela foram checadas contra um conjunto curado de respostas já verificadas como corretas: uma pilha de notas fiscais em que uma pessoa confirmou o valor total, a data e o nome do fornecedor corretos, e a acurácia da ferramenta foi medida por quão frequentemente ela correspondia a esse gabarito. Essa é uma afirmação mais restrita e mais significativa do que a ferramenta foi treinada em milhões de documentos, que só descreve o volume de material que ela estudou, sem nenhuma garantia de que algo ali tenha sido checado quanto à correção. Um modelo pode ser treinado em uma pilha enorme de dados não verificados e ainda assim ser validado contra um pequeno conjunto de ground truth cuidadosamente checado, e é essa etapa de validação que realmente diz se as respostas podem ser confiáveis.

Exemplo

Um fornecedor afirma que sua ferramenta de processamento de notas fiscais foi testada contra 500 exemplos de ground truth. Isso significa 500 notas fiscais em que uma pessoa já havia confirmado manualmente o valor total, a data e o nome do fornecedor corretos, e os valores extraídos pela ferramenta foram checados contra essas respostas confirmadas, uma por uma. Uma afirmação de treinado em 2 milhões de notas fiscais não diz nada sobre se alguma dessas 2 milhões foi alguma vez checada quanto à acurácia.

Frequentemente confundido com

vs. Training Data

Os dados de treinamento são o corpo de material muito maior que um modelo estuda para aprender padrões, textos, imagens ou documentos reunidos em massa, e não são curados nem verificados como um gabarito. O ground truth é um conjunto menor e deliberadamente checado, usado especificamente para testar se a resposta do modelo está correta, com cada item confirmado por uma pessoa ou por uma fonte confiável. Um modelo pode ser treinado em terabytes de dados não verificados e validado em apenas algumas centenas de exemplos de ground truth, e é a checagem de ground truth, não o volume de dados de treinamento, que realmente diz o quão confiáveis são as respostas.

Frequently asked questions

Quer seu contexto em um só lugar?

Flaibo mantém seu papel, seu tom e seu trabalho anterior em um só lugar e os incorpora aos prompts que você leva para qualquer IA que você use, então um novo chat não precisa começar de uma janela de contexto vazia.

Comece grátis

Seu contexto em todo lugar