Inference
O ato momentâneo de um modelo de IA produzir uma resposta a qualquer coisa que você acabou de digitar, usando o conhecimento que já possui, em vez de aprender algo novo.
Nenhum cartão necessário
O que isso significa na prática
Um profissional da área jurídica cola um rascunho sensível de contrato em um assistente de IA para obter feedback sobre uma cláusula e depois se preocupa achando que o modelo agora aprendeu o conteúdo do contrato e pode repeti-lo para outro usuário mais tarde. Na realidade, essa única resposta é inferência: o modelo lê o texto colado, gera uma resposta, e o conhecimento subjacente dele permanece exatamente como estava antes, inalterado. Nada dessa conversa muda o que o próprio modelo sabe. Se um provedor também usa conversas armazenadas para treinar uma versão futura é outra questão, que depende dos termos do próprio provedor, e vale a pena lê-los antes de colar qualquer coisa sensível.
Exemplo
Peça a um assistente para resumir um relatório na segunda-feira, e depois peça a um colega para fazer exatamente a mesma pergunta ao mesmo assistente na terça-feira, sem nenhum histórico de conversa compartilhado. O modelo não reteve nada da troca de segunda-feira; cada solicitação é seu próprio ato independente de inferência, baseando-se apenas no que já estava incorporado ao modelo durante o treinamento, mais qualquer texto incluído naquela conversa específica.
Frequentemente confundido com
vs. Training
O treinamento é o processo separado e anterior no qual os pesos de um modelo foram originalmente aprendidos a partir de um conjunto de dados enorme, muitas vezes ao longo de semanas de tempo de computação, bem antes de alguém digitar um prompt nele. A inferência é o que acontece a cada vez depois disso, quando esse modelo já treinado responde a uma entrada específica: rápida, comum, e deixa os pesos do modelo completamente inalterados. O contexto salvo também atua na etapa de inferência: qualquer informação de apoio que você fornece é apenas parte do texto que o modelo lê naquela conversa, e não uma mudança nos pesos do modelo.
Termos relacionados
Frequently asked questions
Quer seu contexto em um só lugar?
Flaibo mantém seu papel, seu tom e seu trabalho anterior em um só lugar e os incorpora aos prompts que você leva para qualquer IA que você use, então um novo chat não precisa começar de uma janela de contexto vazia.
Comece grátis