Token
L'unité de base dans laquelle un modèle d'IA lit et écrit réellement : un fragment de texte généralement plus court qu'un mot entier, et non un mot ou un caractère en soi.
Aucune carte bancaire requise
Ce que ça signifie en pratique
Les limites des modèles et les coûts d'usage de l'IA se mesurent presque toujours en tokens, pas en mots ni en caractères, ce qui explique pourquoi une page qui paraît courte à l'écran peut malgré tout coûter cher à traiter ou atteindre une limite de façon inattendue : un nom inhabituel, un long nombre, ou du texte dans certaines langues peuvent se découper en bien plus de tokens que la même longueur visible de prose anglaise ordinaire, même si le nombre de caractères ne paraît en rien inhabituel.
Exemple
Le mot anglais "unbelievable" peut être un seul token pour un modèle, ou être découpé en trois ("un", "believ", "able") par un autre ; exactement la même phrase peut coûter sensiblement plus ou moins cher à traiter selon le tokenizer du modèle qui compte, alors même que le texte à l'écran n'a jamais changé.
À ne pas confondre avec
vs. Word / Character
Un token n'est ni un mot ni un caractère : c'est un fragment propre à chaque modèle, quelque part entre les deux, déterminé par la façon dont le tokenizer de ce modèle précis a été entraîné. Deux modèles différents peuvent découper la même phrase en un nombre de tokens différent, ce qui explique pourquoi le "nombre de mots" et le "nombre de tokens" ne coïncident jamais de façon fiable et ne doivent pas être traités comme interchangeables quand une vraie limite ou un vrai coût est en jeu.
Termes associés
Frequently asked questions
Envie d'avoir ton contexte au même endroit ?
Flaibo conserve ton rôle, ta tonalité et ton travail passé au même endroit, et les intègre dans les prompts que tu emportes vers l'IA que tu utilises, pour qu'une nouvelle discussion n'ait pas à repartir d'une fenêtre de contexte vide.
Commence gratuitement