Was ist Token

Definition

Ein Token ist die grundlegende semantische Einheit (z. B. ein Wort, eine Silbe oder ein einzelnes Zeichen), in die ein Text zerlegt wird, damit ein Large Language Model ihn mathematisch verarbeiten kann.

Erklärung

Im Kontext von Large Language Models (LLMs) erfolgt die Textverarbeitung nicht in fertigen Wörtern, sondern über das sogenannte Tokenizing. Ein durchschnittliches Wort im Englischen entspricht etwa 1,3 Token, während im Deutschen aufgrund längerer Wortzusammensetzungen oft mehr Token pro Wort benötigt werden. Da die Preisgestaltung und die Kontextfenster von kommerziellen SaaS-KI-Modellen (z. B. Abrechnung pro 1.000 Token) direkt auf dieser Einheit basieren, ist das Verständnis von Token für B2B-Unternehmen wirtschaftlich essenziell. Die effiziente Nutzung von Prompts und die Optimierung des Token-Verbrauchs helfen dabei, die Betriebskosten von KI-gestützten CRM-Integrationen oder Support-Bots niedrig zu halten.