Confidence Score
La estimación autodeclarada del propio modelo sobre cuán seguro está de una respuesta, generada por el mismo sistema que produjo esa respuesta en primer lugar.
No se requiere tarjeta
Qué significa en la práctica
Una herramienta de transcripción entrega una transcripción con una puntuación de confianza del 96 por ciento junto a una frase, y es fácil leer ese número como una garantía de que las palabras son correctas. No lo es. La puntuación es la propia estimación interna de certeza del modelo, calculada a partir de patrones del mismo proceso que generó el texto, no una verificación contra lo que realmente se dijo. Un modelo puede tener mucha confianza y simplemente estar equivocado, especialmente en un audio poco claro, un acento inusual o una jerga de industria que rara vez encontró durante el entrenamiento. Confiar solo en una puntuación de confianza alta, sin verificar el resultado real contra la fuente, es como un número equivocado o un nombre mal entendido se cuela sin ser detectado en un documento de cara al cliente.
Ejemplo
Una herramienta de voz a texto transcribe una llamada con un cliente y marca una frase como 98 por ciento segura. La frase dice el presupuesto es de doce mil dólares, pero el cliente en realidad dijo veinte mil. El modelo tenía confianza porque doce mil encajaba con sus expectativas estadísticas para esa frase, no porque hubiera verificado el número contra algo real. Solo una persona que revisa la grabación detecta el error.
No confundir con
vs. Accuracy
La exactitud se mide externamente, comparando el resultado de un modelo con una respuesta correcta verificada, la grabación de audio real o el documento fuente real, después del hecho. Una puntuación de confianza se genera internamente, por el mismo sistema que produjo la respuesta, antes de que nadie la compare con la realidad. Debido a que ambas provienen de procesos completamente distintos, un modelo puede declarar un 99 por ciento de confianza en una respuesta que resulta estar completamente equivocada, y una puntuación de confianza baja tampoco significa automáticamente que la respuesta sea mala. Trata la confianza como la autoevaluación del modelo, y la exactitud como el historial real, verificado externamente.
Términos relacionados
Frequently asked questions
¿Quieres tu contexto en un solo lugar?
Flaibo guarda tu rol, tu tono y tu trabajo anterior en un solo lugar y los incorpora a los prompts que llevas a la IA que uses, así que un chat nuevo no tiene que empezar desde una ventana de contexto vacía.
Empieza gratis