Token (KI)

Ein Token ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt – meist ein Wortteil, ein kurzes ganzes Wort oder ein Satzzeichen. KI-Modelle verarbeiten Sprache Token für Token. Die Zahl der Tokens bestimmt mit, wie viel eine KI-Anfrage kostet und wie viel Text ein Modell auf einmal verarbeiten kann.

Was ist ein Token?

Bevor ein Large Language Model Text verarbeitet, zerlegt es ihn in Tokens. Ein Token ist ein Sprachbaustein, oft ein Wortteil. Als Faustregel entspricht ein Token im Englischen etwa vier Zeichen oder rund drei Vierteln eines Wortes; im Deutschen werden längere und zusammengesetzte Wörter tendenziell in mehr Tokens zerlegt. Das Wort „Kundenservice“ kann also je nach Modell aus mehreren Tokens bestehen.

Die KI liest die Tokens der Eingabe und erzeugt ihre Antwort ebenfalls Token für Token. Tokens sind damit die eigentliche Währung, in der Sprachmodelle rechnen.

Warum Tokens wichtig sind

Tokens haben drei praktische Folgen:

• Kosten. Die meisten KI-Anbieter rechnen pro verarbeitetem Token ab. Lange Eingaben und lange Antworten kosten mehr.
• Geschwindigkeit. Mehr Tokens bedeuten mehr Rechenarbeit und damit etwas längere Antwortzeiten.
• Grenze. Jedes Modell hat ein Kontextfenster, also eine maximale Anzahl Tokens, die es gleichzeitig berücksichtigen kann.

Beispiel

Schickt ein Kunde eine kurze Frage von 20 Wörtern, sind das grob 30 bis 40 Tokens. Hängt das System zusätzlich einen langen Gesprächsverlauf und mehrere Dokumente aus der Wissensdatenbank an, können daraus schnell einige Tausend Tokens werden. Deshalb wählen gute Systeme gezielt nur die relevanten Stellen aus, statt alles mitzuschicken.

Tokens und SendSeven

SendSeven ist eine Unified-Messaging-Plattform mit integriertem KI-Assistenten. Damit Antworten schnell und treffend bleiben, schickt das RAG-Verfahren nicht Ihre gesamte Wissensdatenbank an das Modell, sondern nur die Stellen, die zur Frage passen. Das hält den Token-Verbrauch niedrig und die Antworten relevant. Wie Sie den KI-Assistenten einrichten, zeigt die Anleitung zum KI-Support-Bot. DSGVO-konform, Made in Germany. 14 Tage kostenlos testen.