Token

Eine Verarbeitungseinheit eines Modells, etwa ein Wortteil oder Zeichen.

In der Praxis

Ein Wort kann aus mehreren Tokens bestehen. Die Zerlegung hängt vom verwendeten Modell ab; auch Satzzeichen gehören dazu. Eine pauschale Umrechnung von Zeichen in Tokens ist nur eine Schätzung. Beispiel: «Druckmaschine» kann je nach Tokenizer in unterschiedliche Teile zerlegt werden.

Token sind nicht einfach Wörter.

Selbst ausprobieren

PromptBen KI verstehen, ausprobieren und selbst beurteilen: kurze Lernreisen, interaktive Labore und eine Werkstatt für deine eigenen KI-Anwendungen.

Token

In der Praxis

Selbst ausprobieren

Verwandte Begriffe