Confidence Score
La stima autodichiarata dal modello stesso di quanto sia sicuro di una risposta, generata dallo stesso sistema che ha prodotto quella risposta in primo luogo.
Nessuna carta richiesta
Cosa significa in pratica
Uno strumento di trascrizione restituisce una trascrizione con un punteggio di confidenza del 96 percento accanto a una frase, ed è facile leggere quel numero come una garanzia che le parole siano corrette. Non lo è. Il punteggio è la stima interna di certezza del modello stesso, calcolata sugli schemi dello stesso processo che ha generato il testo, non una verifica rispetto a ciò che è stato effettivamente detto. Un modello può essere altamente sicuro e semplicemente sbagliare, specialmente su una clip audio ovattata, un accento insolito, o un gergo di settore che ha incontrato raramente durante l'addestramento. Affidarsi solo a un punteggio di confidenza elevato, senza controllare a campione l'output reale rispetto alla fonte, è il modo in cui un numero sbagliato o un nome frainteso finiscono inosservati in un documento destinato a un cliente.
Esempio
Uno strumento di trascrizione vocale trascrive una chiamata con un cliente e segna una frase come sicura al 98 percento. La frase recita "il budget è di dodicimila dollari", ma il cliente in realtà aveva detto ventimila. Il modello era sicuro perché "dodicimila" rientrava nelle sue aspettative statistiche per quella frase, non perché avesse verificato il numero rispetto a qualcosa di reale. Solo un essere umano che controlla la registrazione individua l'errore.
Spesso confuso con
vs. Accuracy
L'accuratezza si misura esternamente, confrontando l'output di un modello con una risposta corretta verificata, la registrazione audio reale o il documento sorgente reale, dopo il fatto. Un punteggio di confidenza è generato internamente, dallo stesso sistema che ha prodotto la risposta, prima che chiunque la verifichi rispetto alla realtà. Poiché i due derivano da processi completamente diversi, un modello può dichiarare una confidenza del 99 percento su una risposta che si rivela completamente sbagliata, e un punteggio di confidenza basso non significa automaticamente che la risposta sia negativa. Considera la confidenza come l'autovalutazione del modello, e l'accuratezza come il resoconto reale, verificato esternamente.
Frequently asked questions
Vuoi il tuo contesto in un unico posto?
Flaibo conserva il tuo ruolo, il tuo tono e il tuo lavoro passato in un unico posto, e li inserisce nei prompt che porti in qualsiasi AI tu usi, così una nuova chat non deve ripartire da una finestra di contesto vuota.
Inizia gratis