Worum geht’s
Jedes Sprachmodell verarbeitet Text nicht zeichen-, sondern token-weise. Ein Token ist ein Wortbaustein — mal ein ganzes Wort, mal eine Silbe, mal ein Satzzeichen. Wie viele Tokens dein Text ergibt, entscheidet, ob er ins Kontextfenster des Modells passt und wie viel ein API-Aufruf kostet. In diesem Modul lernst du, eine grobe Tokenzahl im Kopf zu schätzen und das Ergebnis des Token-Zählers richtig zu deuten — keine Theorie über die Tokenisierung selbst.
Konzept
Eine brauchbare Faustregel für deutschen und englischen Fließtext:
- 1 Token ≈ 4 Zeichen (inkl. Leerzeichen), oder
- 100 Tokens ≈ 75 Wörter (≈ 0,75 Wörter pro Token).
Deutsch liegt wegen langer Komposita etwas darüber (mehr Tokens pro Wort), Code und viele Sonderzeichen ebenfalls. Die Zahl ist eine Schätzung, kein exakter Wert — verschiedene Modelle tokenisieren unterschiedlich.
Wichtig ist das Verhältnis zum Kontextfenster: Das ist die maximale Tokenzahl, die ein Modell gleichzeitig „sehen” kann — Eingabe plus Ausgabe zusammen. Beispiele:
- 4k-Kontext = 4096 Tokens (älteres/kleines Modell)
- 8k = 8192, 32k = 32768, 128k = 131072 Tokens
Faustregel: Reserviere immer Platz für die Antwort. Wenn dein Prompt das Fenster fast füllt, bleibt dem Modell kein Raum zum Antworten.
Kontextfenster verschiedener Modellklassen — Eingabe und Ausgabe teilen sich diesen Platz:
Beispiel-Fall
Gegeben: Du willst ein Support-Protokoll von 6000 Wörtern an ein Modell mit 8k-Kontext schicken und eine Zusammenfassung erhalten.
- Tokens schätzen: 6000 Wörter ÷ 0,75 ≈ 8000 Tokens allein für die Eingabe.
- Mit Fenster vergleichen: 8k-Fenster = 8192 Tokens. Die Eingabe füllt es schon fast komplett.
- Antwort einplanen: Für eine 300-Wort-Zusammenfassung brauchst du ≈ 400 Tokens Ausgabe — die passen nicht mehr dazu.
- Verdikt: Zu groß. Du musst entweder das Protokoll kürzen/aufteilen (Chunking) oder ein Modell mit größerem Fenster (z. B. 32k) wählen.
So liest man eine Tokenzahl: nicht als Selbstzweck, sondern immer gegen Fenster und benötigte Ausgabe.
Anwenden
Der Token-Zähler macht aus „gefühlt langem Text” eine konkrete Zahl, die du gegen das Kontextfenster halten kannst.
- Füge einen längeren Textabschnitt (z. B. eine Mail oder ein Protokoll) in den Token-Zähler ein.
- Lies die geschätzte Tokenzahl ab und vergleiche sie mit der Faustregel (Zeichen ÷ 4).
- Überlege: Passt Eingabe + erwartete Antwort in ein 4k- bzw. 8k-Fenster, oder musst du kürzen?
Selbsttest
Praxis-Challenge
Nimm einen echten Text (z. B. eine längere E-Mail). Schätze zuerst im Kopf die Tokenzahl über „Zeichen ÷ 4”, lies dann den Wert im Token-Zähler ab und vergleiche. Entscheide anschließend, ob Eingabe plus eine 200-Wort-Antwort in ein 4k-Fenster passen würden — und wenn nicht, wie du den Text kürzen würdest.