Kurz zusammengefasst
- Der erforderliche Grad menschlicher Kontrolle richtet sich nach Wirkung und Umkehrbarkeit einer Entscheidung oder Aktion.
- Eine Person muss relevante Eingaben, Quellen, Unsicherheit und geplante Folgen sehen können.
- Hohe Fallzahlen, Zeitdruck und monotone Bestätigungen erzeugen Automation Bias und Scheinkontrolle.
- Freigaben werden technisch protokolliert, regelmässig überprüft und bei Bedarf durch automatische Grenzen ergänzt.
Welche Fälle brauchen menschliche Kontrolle?
Nicht jede Zusammenfassung braucht dieselbe Prüfung wie eine Kündigung, Zahlung oder medizinische Empfehlung. Das Unternehmen bewertet Fehlerfolge, betroffene Person, Umkehrbarkeit und gesetzliche oder interne Pflichten. Daraus entsteht eine abgestufte Kontrollregel.
| Fehlerfolge und Umkehrbarkeit | Passende Kontrolle | Prüfzeitpunkt | Beispiel und Eskalation |
|---|---|---|---|
| Geringe Folge, leicht korrigierbar | Stichprobe und nachträgliche Qualitätskontrolle | Nach der Nutzung, ergänzt durch laufende Evals | Interner Formulierungsentwurf; bei wiederholtem Fehlermuster an Product Owner. |
| Mittlere Folge oder externe Kommunikation | Pflichtprüfung durch fachlich zuständige Person | Vor Versand oder Übernahme in das führende System | Antwort an Kunden; bei fehlender Quelle oder Ausnahme an Fachspezialist. |
| Hohe Folge oder schwer reversibel | Explizite Freigabe, gegebenenfalls Vier-Augen-Prinzip | Unmittelbar vor der Aktion mit sichtbarer Änderung und Konsequenz | Zahlung, Löschung oder Vertragsänderung; Abweichungen an Prozess- oder Risk Owner. |
| Unbeherrschbare Folge oder keine wirksame Prüfung möglich | Keine Automatisierung dieses Entscheidungsschritts | Aufgabe bleibt ausserhalb des freigegebenen KI-Pfads | Alleinige Entscheidung über Beschäftigung oder medizinische Behandlung ohne tragfähige Rechts- und Prozessgrundlage. |
Was macht eine Prüfung wirklich wirksam?
Die prüfende Person muss verstehen, was die KI beigetragen hat, und darf nicht nur ein fertiges Ergebnis sehen. Belege, Änderungen, fehlende Informationen und mögliche Alternativen sollten so dargestellt werden, dass eine eigenständige Entscheidung möglich ist.
- Klare fachliche Verantwortung und Entscheidungsbefugnis
- Zugriff auf Originaldaten und Quellen statt nur auf die KI-Antwort
- Sichtbare Unsicherheiten, Konflikte und Systemgrenzen
- Genügend Zeit und Schulung für eine echte Beurteilung
- Möglichkeit zu ändern, abzulehnen, zu eskalieren oder abzubrechen
Wie wird eine Freigabe in den Prozess eingebaut?
Die Anwendung entscheidet nicht selbst, ob eine Kontrolle nötig ist. Freigaberegeln werden ausserhalb des Modells anhand von Aktion, Wert, Datenklasse und Risiko festgelegt. Bei mehreren Rollen trennt das System Vorbereitung und Genehmigung.
- Schritt 1
Auslöser definieren
Konkrete Aktionen, Grenzwerte und Risikofälle bestimmen, die eine Prüfung verlangen.
- Schritt 2
Kontext zeigen
Vorschlag, Belege, Änderungen und Konsequenzen übersichtlich darstellen.
- Schritt 3
Befugnis prüfen
Freigabe nur von einer authentifizierten, zuständigen Rolle akzeptieren.
- Schritt 4
Entscheidung protokollieren
Version, Person, Zeitpunkt, Korrektur und Begründung nachvollziehbar halten.
Wie erkennt man Scheinkontrolle?
Wenn fast alle Vorschläge ungelesen bestätigt werden, ist die Kontrolle möglicherweise falsch gestaltet. Das Team beobachtet Korrekturraten, Prüfzeit, Eskalationen und Fehler nach Freigabe und befragt die prüfenden Personen zu fehlendem Kontext.
- Automatische Zustimmung oder vorausgewählte Freigabe vermeiden
- Stichproben von bestätigten und abgelehnten Fällen fachlich prüfen
- Prüflast und Fallzahl an verfügbare Kapazität anpassen
- Wiederkehrende Fehler in System, Daten und Evals zurückführen
- Bei unbeherrschbarer Prüflast den Automatisierungsgrad reduzieren
Beispiel: Änderung einer Lieferantenbankverbindung
Ein Agent liest eine E-Mail und bereitet eine Änderung der Bankdaten vor. Die Anwendung zeigt alte und neue Angaben, die Originalnachricht, das erkannte Lieferantenkonto und einen Warnhinweis bei abweichender Domain. Nur eine berechtigte zweite Person kann nach einem unabhängigen Rückruf freigeben. Das Modell darf die notwendige Kontrolle weder überspringen noch selbst als erledigt markieren.
Was Sie mitnehmen sollten
Setzen Sie menschliche Kontrolle dort ein, wo Wirkung und Unsicherheit sie rechtfertigen. Gestalten und messen Sie die Prüfung als eigenständige Sicherheitsfunktion – nicht als letzte Schaltfläche im Prozess.
Quellen und Vertiefung
Diese Primärquellen vertiefen Definitionen, technische Grundlagen oder verantwortlichen Einsatz.
Inhaltlich geprüft