Token
A unidade básica em que um modelo de IA realmente lê e escreve: um pedaço de texto geralmente menor que uma palavra inteira, não uma palavra nem um caractere em si.
Nenhum cartão necessário
O que isso significa na prática
Os limites de modelo e os custos de uso de IA quase sempre são medidos em tokens, não em palavras ou caracteres, e é por isso que uma página que parece curta na tela ainda pode ser cara de processar ou esbarrar em um limite inesperadamente: um nome incomum, um número longo ou um texto em determinados idiomas pode se dividir em muito mais tokens do que o mesmo comprimento visível de um texto simples em inglês, mesmo que a contagem de caracteres não pareça nada fora do comum.
Exemplo
A palavra "unbelievable" pode ser um único token para um modelo, ou ser dividida em três ("un", "believ", "able") por outro; a mesma frase, exatamente igual, pode custar significativamente mais ou menos para processar dependendo de qual tokenizador de modelo está contando, mesmo que o texto na tela nunca tenha mudado.
Frequentemente confundido com
vs. Word / Character
Um token não é nem uma palavra nem um caractere: é um pedaço específico de cada modelo, em algum ponto intermediário, definido pela forma como o tokenizador daquele modelo foi treinado. Dois modelos diferentes podem dividir a mesma frase em um número diferente de tokens, e é por isso que "contagem de palavras" e "contagem de tokens" nunca são de fato o mesmo número e não devem ser tratadas como intercambiáveis quando um limite real ou um custo real está em jogo.
Termos relacionados
Frequently asked questions
Quer seu contexto em um só lugar?
Flaibo mantém seu papel, seu tom e seu trabalho anterior em um só lugar e os incorpora aos prompts que você leva para qualquer IA que você use, então um novo chat não precisa começar de uma janela de contexto vazia.
Comece grátis