Inference
L'atto, momento per momento, con cui un modello AI produce una risposta a ciò che hai appena digitato, usando conoscenze che possiede già invece di impararne di nuove.
Nessuna carta richiesta
Cosa significa in pratica
Un avvocato incolla la bozza di un contratto delicato in un assistente AI per avere un parere su una clausola, e poi si preoccupa che il modello abbia ormai appreso il contenuto del contratto e possa ripeterlo in seguito a qualche altro utente. In realtà, quella singola risposta è inferenza: il modello legge il testo incollato, genera una risposta e la sua conoscenza di fondo resta esattamente come prima, invariata. Nulla di quella conversazione cambia ciò che il modello stesso sa. Se un provider usa anche le conversazioni archiviate per addestrare una versione futura è una questione separata, che dipende dai termini di quel provider, ed è bene leggerli prima di incollare qualcosa di sensibile.
Esempio
Chiedi a un assistente di riassumere un report di lunedì, poi fai in modo che un collega ponga esattamente la stessa domanda allo stesso identico assistente martedì, senza alcuna cronologia di conversazione condivisa. Il modello non ha conservato nulla dello scambio di lunedì; ogni richiesta è un atto di inferenza a sé stante e indipendente, che attinge solo a ciò che era già incorporato nel modello durante l'addestramento, più qualsiasi testo incluso in quella specifica conversazione.
Spesso confuso con
vs. Training
L'addestramento è il processo separato e precedente in cui i pesi di un modello sono stati originariamente appresi da un enorme dataset, spesso nell'arco di settimane di tempo di calcolo, molto prima che chiunque digitasse un prompt al suo interno. L'inferenza è ciò che accade ogni volta dopo, quando quel modello già addestrato risponde a un input specifico: veloce, ordinaria, e lascia i pesi del modello completamente invariati. Anche il contesto salvato lavora nella fase di inferenza: qualsiasi contesto di sfondo tu fornisca è solo parte del testo che il modello legge in quella conversazione, non una modifica ai pesi del modello.
Termini correlati
Frequently asked questions
Vuoi il tuo contesto in un unico posto?
Flaibo conserva il tuo ruolo, il tuo tono e il tuo lavoro passato in un unico posto, e li inserisce nei prompt che porti in qualsiasi AI tu usi, così una nuova chat non deve ripartire da una finestra di contesto vuota.
Inizia gratis