flaibo
Glossário

Precision vs Recall

A precisão mede quantos dos itens que uma IA sinalizou como positivos eram realmente corretos; o recall mede quantos dos casos verdadeiramente positivos ela realmente capturou, e os dois costumam ter uma relação de troca entre si.

Nenhum cartão necessário

O que isso significa na prática

Digamos que você implemente uma ferramenta de IA para sinalizar relatórios de despesas suspeitos para revisão. Se ela sinalizar 100 relatórios e 90 realmente forem problemas de verdade, isso é alta precisão, seu tempo de revisão não é desperdiçado com alarmes falsos. Mas se na realidade existiam 300 relatórios problemáticos e ela só capturou esses 90, o recall dela é ruim, ela deixou passar dois terços dos casos reais. Um único número de "acurácia" pode parecer ótimo exatamente nesse cenário, porque ignorar corretamente milhares de relatórios normais, sem problema, também conta a favor da acurácia, então uma ferramenta pode reportar 98% de acurácia enquanto ainda deixa passar a maior parte da fraude que realmente importa.

Exemplo

Uma ferramenta de triagem de currículos que sinaliza apenas 5 candidatos entre 500, e os 5 são fortes, tem precisão perfeita, mas pode ter um recall péssimo se outros 40 candidatos igualmente fortes estivessem parados, intocados, na pilha dos rejeitados. Uma ferramenta calibrada no sentido oposto pode sinalizar 200 candidatos para garantir que capture quase todo mundo qualificado, alto recall, mas aí é preciso filtrar muito mais falsos positivos, baixa precisão, para encontrá-los.

Frequentemente confundido com

vs. Accuracy

Acurácia é um único número combinado: a proporção de todas as previsões, positivas e negativas juntas, que o modelo acertou. Ela pode continuar alta mesmo quando uma ferramenta é discretamente ruim na única coisa que importa, porque ignorar corretamente a grande maioria dos casos normais, não sinalizados, sustenta o número independentemente de quantos verdadeiros positivos tenham passado despercebidos. A precisão e o recall separam esse escore combinado nas duas perguntas que um trabalho de triagem ou detecção realmente precisa responder: do que foi sinalizado, quanto era real, e do que existia, quanto foi capturado. Uma ferramenta com 98% de acurácia ainda pode ter um recall ruim nos casos raros e de alto risco, como fraude, que é exatamente a falha que um único número de acurácia esconde.

Frequently asked questions

Quer seu contexto em um só lugar?

Flaibo mantém seu papel, seu tom e seu trabalho anterior em um só lugar e os incorpora aos prompts que você leva para qualquer IA que você use, então um novo chat não precisa começar de uma janela de contexto vazia.

Comece grátis

Seu contexto em todo lugar