flaibo
Glosario

Token

La unidad básica en la que un modelo de IA realmente lee y escribe: un fragmento de texto normalmente más corto que una palabra completa, y no una palabra ni un carácter en sí.

No se requiere tarjeta

Qué significa en la práctica

Los límites de los modelos y los costos de uso de la IA casi siempre se miden en tokens, no en palabras ni caracteres, razón por la cual una página que se ve corta en pantalla puede resultar cara de procesar o alcanzar un límite de forma inesperada: un nombre inusual, un número largo o un texto en ciertos idiomas puede dividirse en muchísimos más tokens que la misma extensión visible de prosa sencilla en inglés, aunque nada en el recuento de caracteres parezca fuera de lo común.

Ejemplo

La palabra "unbelievable" puede ser un único token para un modelo, o dividirse en tres ("un", "believ", "able") en otro; la misma frase exacta puede costar notablemente más o menos procesar según qué tokenizador de qué modelo esté contando, aunque el texto en pantalla nunca haya cambiado en absoluto.

No confundir con

vs. Word / Character

Un token no es ni una palabra ni un carácter: es un fragmento específico de cada modelo, en algún punto intermedio, determinado por cómo se entrenó el tokenizador de ese modelo en particular. Dos modelos distintos pueden dividir la misma frase idéntica en una cantidad diferente de tokens, razón por la cual el "recuento de palabras" y el "recuento de tokens" nunca son de fiar como el mismo número y no deben tratarse como intercambiables cuando hay un límite real o un costo real en juego.

Términos relacionados

Frequently asked questions

¿Quieres tu contexto en un solo lugar?

Flaibo guarda tu rol, tu tono y tu trabajo anterior en un solo lugar y los incorpora a los prompts que llevas a la IA que uses, así que un chat nuevo no tiene que empezar desde una ventana de contexto vacía.

Empieza gratis

Tu contexto en todas partes