Kurz zusammengefasst
- Halluzinationen entstehen aus der Funktionsweise generativer Modelle und lassen sich nicht vollständig wegprompten.
- Quellen, RAG, strukturierte Daten und klare Antwortgrenzen können das Risiko senken.
- Die nötige Kontrolle hängt von Fehlerfolge und Verwendung ab, nicht davon, wie überzeugend die Antwort klingt.
Warum entstehen falsche Antworten?
Ein Sprachmodell berechnet eine wahrscheinliche Fortsetzung. Es führt dabei nicht automatisch eine Faktenprüfung durch. Fehlt eine Information, ist eine Frage mehrdeutig oder enthält der bereitgestellte Kontext widersprüchliche Aussagen, kann das Modell die Lücke mit einem sprachlich passenden Muster füllen.
Auch eine korrekte Quelle garantiert keine korrekte Interpretation. Das Modell kann Zahlen vertauschen, Ausnahmen übersehen oder Inhalte verschiedener Dokumente falsch verbinden. Halluzination umfasst deshalb mehr als frei erfundene Fakten.
| Ursache | Sichtbares Symptom | Passende Massnahme |
|---|---|---|
| Aktuelle Information fehlt | Der Assistent nennt einen plausiblen, aber erfundenen Preis oder Vertragsstand. | Verbindlichen Wert per API oder aktuelle Quelle bereitstellen; ohne Treffer nicht antworten. |
| Frage oder Auftrag ist mehrdeutig | Das Modell entscheidet stillschweigend für ein Land, Produkt oder eine Kundengruppe. | Fehlende Angaben erkennen und gezielt nachfragen statt Annahmen zu verstecken. |
| Quellen widersprechen sich | Eine Antwort vermischt alte und neue Reisekostenregeln. | Gültigkeit und Vorrang der Quellen klären; Konflikt sichtbar machen und eskalieren. |
| Relevante Ausnahme geht im Kontext unter | Die Grundregel stimmt, eine Vertrags- oder Sicherheitsausnahme fehlt jedoch. | Kontext gezielter abrufen, Pflichtaussagen prüfen und Grenzfälle in Evals aufnehmen. |
| Tool- oder Suchergebnis wird falsch interpretiert | Ein fehlender Lagerwert wird als Bestand null oder verfügbar formuliert. | Strukturierte Statuswerte validieren und Fehlerzustände getrennt behandeln. |
Nicht jeder Fehler hat dieselbe Bedeutung
Ein unpassender Formulierungsvorschlag ist leicht erkennbar und korrigierbar. Eine falsche Dosierung, Vertragsaussage oder Zahlungsanweisung kann dagegen schwere Folgen haben. Qualität muss deshalb im Kontext der Aufgabe bewertet werden.
- Welche Art von Fehler kann auftreten?
- Wie wahrscheinlich wird er vor der Nutzung erkannt?
- Kann die Wirkung rückgängig gemacht werden?
- Wer muss das Ergebnis fachlich prüfen oder freigeben?
Welche Massnahmen senken das Risiko?
Es gibt keine einzelne Schutzmassnahme. Gute Lösungen kombinieren die passende technische Architektur mit organisatorischen Kontrollen und einer klaren Benutzerführung.
- Schritt 1
Begrenzen
Aufgabe, zulässige Quellen und Ausgabeformat eng definieren.
- Schritt 2
Erden
Aktuelle Fakten über RAG oder strukturierte Schnittstellen bereitstellen und Fundstellen anzeigen.
- Schritt 3
Prüfen
Mit repräsentativen Fällen inklusive Ausnahmen und unbeantwortbaren Fragen evaluieren.
- Schritt 4
Kontrollieren
Bei hohem Risiko menschliche Freigabe verlangen und Aktionen technisch begrenzen.
- Schritt 5
Überwachen
Fehler, Änderungen und Nutzerfeedback im Betrieb systematisch auswerten.
Wie hilft eine gute Benutzeroberfläche?
Die Oberfläche sollte Quellen, Datenstand und Unsicherheit verständlich zeigen. Sie darf nicht den Eindruck garantierter Richtigkeit erzeugen. Bei fehlender Evidenz ist ein klares «Dazu liegen keine ausreichenden Informationen vor» wertvoller als eine vollständige klingende Antwort.
Mitarbeitende brauchen zudem konkrete Anleitung: Welche Inhalte dürfen eingegeben werden, wie werden Ergebnisse geprüft und wohin wird ein Fehler gemeldet? AI Literacy ist Teil der Qualitätskontrolle.
Wie wird Qualität belastbar gemessen?
Eine Demo mit einigen guten Fragen reicht nicht. Ein Evaluationssatz sollte häufige Fälle, Grenzfälle, unterschiedliche Sprachen, veraltete Quellen und bewusst unbeantwortbare Fragen enthalten. Fachpersonen definieren erwartete Aussagen oder Fundstellen und bewerten Fehler nach ihrer Auswirkung.
Nach Modell-, Prompt-, Daten- oder Prozessänderungen müssen relevante Tests erneut laufen. Qualität ist ein Betriebsprozess, kein einmaliger Abnahmepunkt.
Beispiel: Auskunft zu internen Reiserichtlinien
Mitarbeitende fragen einen Assistenten nach zulässigen Hotelkosten. Die Anwendung antwortet nur, wenn sie einen passenden aktuellen Abschnitt findet, zeigt Land, Gültigkeitsdatum und Quelle und verweist bei einer Konferenzausnahme an Finance. Ein Test deckt normale und unbekannte Länder, alte Richtlinien und die Ausnahme ab. Eine plausible Zahl ohne Fundstelle gilt als Fehler.
Was Sie mitnehmen sollten
Definieren Sie zuerst, welche Fehler für den Anwendungsfall akzeptabel sind. Danach lassen sich Architektur, Tests und Freigaben so gestalten, dass das verbleibende Risiko transparent und verantwortbar ist.
Quellen und Vertiefung
Diese Primärquellen vertiefen Definitionen, technische Grundlagen oder verantwortlichen Einsatz.
Inhaltlich geprüft