flaibo
Glossar

Token

Die grundlegende Einheit, in der ein KI-Modell tatsächlich liest und schreibt: ein Textstück, das meist kürzer ist als ein ganzes Wort, und weder ein Wort noch ein Zeichen selbst.

Keine Karte erforderlich

Was das in der Praxis bedeutet

Modellgrenzen und KI-Nutzungskosten werden fast immer in Tokens gemessen, nicht in Wörtern oder Zeichen, weshalb eine Seite, die auf dem Bildschirm kurz aussieht, trotzdem teuer in der Verarbeitung sein oder unerwartet an eine Grenze stoßen kann: Ein ungewöhnlicher Name, eine lange Zahl oder Text in bestimmten Sprachen kann sich in weit mehr Tokens aufteilen, als dieselbe sichtbare Länge an einfacher englischer Prosa es täte, obwohl an der Zeichenzahl nichts ungewöhnlich aussieht.

Beispiel

Das Wort "unbelievable" könnte für ein Modell ein einzelner Token sein oder von einem anderen in drei Teile zerlegt werden ("un", "believ", "able"); derselbe Satz kann in der Verarbeitung deutlich mehr oder weniger kosten, je nachdem, welcher Tokenizer welches Modells gerade zählt, obwohl sich der Text auf dem Bildschirm nie im Geringsten verändert hat.

Häufig verwechselt mit

vs. Word / Character

Ein Token ist weder ein Wort noch ein Zeichen: Es ist ein modellspezifisches Stück irgendwo dazwischen, festgelegt dadurch, wie der Tokenizer dieses bestimmten Modells trainiert wurde. Zwei unterschiedliche Modelle können denselben Satz in eine unterschiedliche Anzahl von Tokens aufteilen, weshalb "Wortzahl" und "Tokenzahl" nie zuverlässig dieselbe Zahl ergeben und nicht als austauschbar behandelt werden sollten, wenn eine echte Grenze oder echte Kosten auf dem Spiel stehen.

Verwandte Begriffe

Frequently asked questions

Willst du deinen Kontext an einem Ort?

Flaibo bewahrt deine Rolle, deinen Ton und deine bisherige Arbeit an einem Ort und baut sie in die Prompts ein, die du in jede KI mitnimmst, mit der du arbeitest, sodass ein neuer Chat nicht mit einem leeren Kontextfenster beginnen muss.

Kostenlos starten

Dein Kontext, überall