Kurz zusammengefasst
- Ein Token kann ein Wort, ein Wortteil, ein Satzzeichen oder eine andere codierte Einheit sein.
- Die Zahl der Tokens hängt von Sprache, Schreibweise und Modell-Tokenizer ab.
- Ein grosses Kontextfenster erlaubt mehr Material, garantiert aber weder vollständige Aufmerksamkeit noch korrekte Antworten.
- Lange Kontexte erhöhen meist Kosten und Laufzeit und brauchen eine bewusste Auswahl relevanter Inhalte.
Warum arbeiten Modelle mit Tokens?
Modelle verarbeiten Zahlen. Ein Tokenizer übersetzt Text in nummerierte Einheiten, die das Modell berechnen kann. Häufige Wörter können ein Token bilden, seltene oder zusammengesetzte Wörter mehrere. Deshalb lässt sich eine Seitenzahl nicht verlässlich in Tokens umrechnen.
- Anweisungen und Nutzereingaben zählen zum Token-Budget
- Mitgesendete Dokumentstellen und Tool-Ergebnisse zählen ebenfalls
- Die erzeugte Antwort benötigt einen reservierten Teil des Budgets
- Unterschiedliche Modelle können denselben Text anders zerlegen
Was gehört in das Kontextfenster?
Das Kontextfenster ist der aktuelle Arbeitsbereich eines Modellaufrufs. Es ist nicht dasselbe wie dauerhaftes Gedächtnis. Eine Anwendung entscheidet, welche Gesprächsteile, Regeln, Quellen und Systeminformationen bei jedem Aufruf erneut mitgesendet oder zusammengefasst werden.
Ein vereinfachtes Zahlenbeispiel macht sichtbar, dass alle Bestandteile dasselbe Budget verbrauchen. Die Werte sind keine Empfehlung, sondern zeigen die Planung eines Aufrufs mit maximal 32’000 Tokens. Welches Limit und Überlaufverhalten tatsächlich gilt, hängt vom Modell, der API und der Anwendung ab.
| Budgetanteil | Beispielbudget | Was darin steckt |
|---|---|---|
| System- und Sicherheitsanweisungen | 2’000 Tokens | Rolle, erlaubte Quellen, Ausgabe- und Sicherheitsregeln |
| Frage und Gesprächsverlauf | 4’000 Tokens | Aktuelle Eingabe sowie ausgewählte oder zusammengefasste frühere Nachrichten |
| Quellen und Dokumentauszüge | 17’000 Tokens | Berechtigte Treffer mit genügend Kontext und Fundstellen |
| Tool-Ergebnisse | 3’000 Tokens | API-Antworten, Berechnungen oder strukturierte Zwischenergebnisse |
| Antwortreserve | 5’000 Tokens | Platz für eine vollständige, belegte Ausgabe des Modells |
| Sicherheitsreserve | 1’000 Tokens | Puffer für schwankende Tokenisierung und unerwartet grosse Resultate |
Was geschieht, wenn das Budget nicht reicht?
Ein Überlauf darf nicht zufällig den wichtigsten Teil entfernen. Je nach Schnittstelle wird eine zu grosse Anfrage abgelehnt oder die Anwendung muss vor dem Aufruf kürzen. Ein sauberer Kontextmanager schützt Systemregeln und Antwortreserve, priorisiert aktuelle berechtigte Quellen und macht sichtbar, wenn Informationen ausgelassen wurden.
- Ältere Gesprächsteile kontrolliert zusammenfassen statt still abschneiden
- Quellen nach Relevanz, Gültigkeit und Berechtigung auswählen
- Sehr grosse Tool-Ergebnisse filtern oder in mehreren Schritten verarbeiten
- Anfrage ablehnen oder nachfragen, wenn notwendiger Kontext nicht vollständig hineinpasst
Warum ist ein grösseres Fenster nicht automatisch besser?
Mehr Kontext kann nützlich sein, wenn mehrere zusammengehörige Dokumente verglichen werden. Ungefiltertes Material kann aber relevante Fakten verdecken, widersprüchliche Versionen vermischen und unnötige Daten offenlegen. Auch innerhalb der technischen Grenze muss die Qualität mit realen langen Fällen geprüft werden.
- Mehr Eingabe verursacht höhere Kosten und oft längere Antwortzeiten
- Veraltete oder irrelevante Inhalte können die Antwort verschlechtern
- Berechtigungen gelten auch für Inhalte, die nur als Kontext mitgesendet werden
- Maximale Länge ist eine Kapazitätsangabe, kein Qualitätsversprechen
Wie plant man Kontext im Unternehmen?
Die Anwendung sollte den kleinsten ausreichenden Kontext zusammenstellen. Aktuelle Fakten kommen oft gezielt über Suche oder APIs, Gesprächsverläufe werden verdichtet und lange Dokumente in relevante Abschnitte geteilt. Für jede Aufgabe braucht es Messwerte für Qualität, Kosten und Laufzeit.
- Schritt 1
Bedarf definieren
Bestimmen, welche Informationen für die konkrete Aufgabe wirklich nötig sind.
- Schritt 2
Kontext auswählen
Nur berechtigte und relevante Abschnitte oder Live-Daten bereitstellen.
- Schritt 3
Budget reservieren
Genügend Platz für Tool-Ergebnisse und eine vollständige Antwort lassen.
- Schritt 4
Grenzfälle testen
Sehr lange, mehrsprachige und widersprüchliche Fälle gezielt evaluieren.
Beispiel: Vertragsvergleich
Eine Anwendung soll zwei lange Verträge vergleichen. Statt beide Dokumente zusammen mit der gesamten Chat-Historie ungefiltert zu senden, extrahiert sie Struktur und Klauseln, sucht passende Gegenstücke und liefert nur diese mit ihren Fundstellen an das Modell. Für einen Gesamtüberblick werden Teilergebnisse anschliessend kontrolliert zusammengeführt. So bleiben Kontext, Kosten und Nachvollziehbarkeit beherrschbar.
Was Sie mitnehmen sollten
Behandeln Sie Kontext als knappes, sensibles Arbeitsbudget. Relevante und aktuelle Informationen sind wertvoller als die grösstmögliche Textmenge.
Quellen und Vertiefung
Diese Primärquellen vertiefen Definitionen, technische Grundlagen oder verantwortlichen Einsatz.
Inhaltlich geprüft