flaibo
Glossário

Inference

O ato momentâneo de um modelo de IA produzir uma resposta a qualquer coisa que você acabou de digitar, usando o conhecimento que já possui, em vez de aprender algo novo.

Nenhum cartão necessário

O que isso significa na prática

Um profissional da área jurídica cola um rascunho sensível de contrato em um assistente de IA para obter feedback sobre uma cláusula e depois se preocupa achando que o modelo agora aprendeu o conteúdo do contrato e pode repeti-lo para outro usuário mais tarde. Na realidade, essa única resposta é inferência: o modelo lê o texto colado, gera uma resposta, e o conhecimento subjacente dele permanece exatamente como estava antes, inalterado. Nada dessa conversa muda o que o próprio modelo sabe. Se um provedor também usa conversas armazenadas para treinar uma versão futura é outra questão, que depende dos termos do próprio provedor, e vale a pena lê-los antes de colar qualquer coisa sensível.

Exemplo

Peça a um assistente para resumir um relatório na segunda-feira, e depois peça a um colega para fazer exatamente a mesma pergunta ao mesmo assistente na terça-feira, sem nenhum histórico de conversa compartilhado. O modelo não reteve nada da troca de segunda-feira; cada solicitação é seu próprio ato independente de inferência, baseando-se apenas no que já estava incorporado ao modelo durante o treinamento, mais qualquer texto incluído naquela conversa específica.

Frequentemente confundido com

vs. Training

O treinamento é o processo separado e anterior no qual os pesos de um modelo foram originalmente aprendidos a partir de um conjunto de dados enorme, muitas vezes ao longo de semanas de tempo de computação, bem antes de alguém digitar um prompt nele. A inferência é o que acontece a cada vez depois disso, quando esse modelo já treinado responde a uma entrada específica: rápida, comum, e deixa os pesos do modelo completamente inalterados. O contexto salvo também atua na etapa de inferência: qualquer informação de apoio que você fornece é apenas parte do texto que o modelo lê naquela conversa, e não uma mudança nos pesos do modelo.

Frequently asked questions

Quer seu contexto em um só lugar?

Flaibo mantém seu papel, seu tom e seu trabalho anterior em um só lugar e os incorpora aos prompts que você leva para qualquer IA que você use, então um novo chat não precisa começar de uma janela de contexto vazia.

Comece grátis

Seu contexto em todo lugar