Kurz zusammengefasst
- Direkte Prompt Injection kommt aus der Eingabe einer nutzenden Person.
- Indirekte Prompt Injection steckt in gelesenen E-Mails, Webseiten, Dokumenten, Bildern oder Tool-Ergebnissen.
- RAG, Fine-Tuning und ein strenger Systemprompt beseitigen das Grundrisiko nicht vollständig.
- Wirksamer Schutz begrenzt vor allem Datenfluss, Rechte und mögliche Folgen eines erfolgreichen Angriffs.
Wie gelangt eine fremde Anweisung in das System?
Ein Sprachmodell verarbeitet Anweisungen und Nutzdaten im selben Kontext. Es kann deshalb eine Textstelle, die nur zusammengefasst werden sollte, als Handlungsauftrag interpretieren. Die Anweisung muss nicht sichtbar sein: Auch versteckter Text, codierte Zeichen oder Inhalte in einem Bild können relevant werden.
| Station im Angriffspfad | Was geschieht? | Mögliche Folge | Wirksame Grenze |
|---|---|---|---|
| 1. Nicht vertrauenswürdiger Inhalt | Eine Eingabe, E-Mail, Webseite, Datei oder ein Bild enthält eine sichtbare oder versteckte Anweisung. | Nutzdaten und fremde Steueranweisung gelangen gemeinsam in den Modellkontext. | Herkunft kennzeichnen, Inhalte minimieren und externe Daten nie als vertrauenswürdige Systemregel behandeln. |
| 2. Modell interpretiert | Das Modell gewichtet die fremde Anweisung stärker als den eigentlichen Auftrag. | Zusammenfassung, Auswahl oder nächster Schritt wird manipuliert. | Aufgabe eng begrenzen, Ausgabe strukturieren und sicherheitskritische Regeln ausserhalb des Modells durchsetzen. |
| 3. Daten oder Tools werden angefragt | Die manipulierte Antwort fordert weitere Quellen, Dateien, Empfänger oder Aktionen an. | Vertrauliche Daten könnten offengelegt oder eine unerlaubte Änderung vorbereitet werden. | Least Privilege, serverseitige Rechteprüfung, Ziel- und Parameterlisten sowie Mengenlimits. |
| 4. Aktion oder Weitergabe | Ein Folgesystem übernimmt den Vorschlag oder eine Person hält ihn für legitim. | E-Mail, Zahlung, Löschung oder falsche Entscheidung wird wirksam. | Freigabe für folgenreiche Aktionen, klare Darstellung der Quelle und protokollierbarer Abbruchweg. |
Welche Folgen kann ein Angriff haben?
Die Wirkung hängt nicht nur vom Modell ab, sondern von den angebundenen Daten und Werkzeugen. Ein reiner Textassistent kann eine falsche Antwort liefern. Ein Agent mit E-Mail-, Datei- oder Zahlungstools kann dagegen Informationen exfiltrieren oder eine folgenreiche Aktion vorbereiten.
- Offenlegung vertraulicher Kontext- oder Systeminformationen
- Manipulierte Zusammenfassungen und Entscheidungen
- Unberechtigte Tool-Aufrufe oder Änderung von Daten
- Umgehung von Inhalts- und Prozessregeln
- Weitergabe des Angriffs an nachgelagerte Systeme oder Personen
Welche Schutzschichten sind sinnvoll?
Kein einzelner Filter erkennt alle Varianten. Eine robuste Lösung nimmt an, dass manipulierte Inhalte gelegentlich durchkommen, und begrenzt dann deren Einfluss. Deterministische Sicherheitskontrollen dürfen nicht vom Modell selbst abhängen.
- Schritt 1
Inhalte als untrusted markieren
Externe Daten klar von internen Anweisungen trennen und nur für den vorgesehenen Zweck verarbeiten.
- Schritt 2
Zugriff minimieren
Nur notwendige Daten und eng geschnittene Werkzeuge bereitstellen.
- Schritt 3
Aufrufe validieren
Parameter, Nutzerrechte und Geschäftsregeln serverseitig prüfen.
- Schritt 4
Folgen begrenzen
Sensible oder irreversible Aktionen bestätigen lassen und Mengenlimits setzen.
- Schritt 5
Angriffe testen
Direkte, indirekte, mehrsprachige und versteckte Varianten regelmässig evaluieren.
Wie erkennt und behandelt man Versuche im Betrieb?
Detektoren, ungewöhnliche Tool-Sequenzen und Nutzerhinweise liefern Signale, aber auch Fehlalarme. Das Team braucht deshalb abgestufte Reaktionen: markieren, blockieren, Berechtigungen entziehen, einen Fall isolieren oder den Dienst vorübergehend begrenzen.
- Erkannte Angriffe und betroffene Datenquellen protokollieren
- Wiederholte Muster und neue Varianten in Tests übernehmen
- Tool-Aufrufe auf Abweichungen vom Nutzerziel überwachen
- Bei möglichem Datenabfluss den Vorfallprozess auslösen
- Schutzmassnahmen nach Änderungen erneut gegen Umgehungen testen
Beispiel: manipulierte Lieferanten-E-Mail
Ein Agent soll eingehende E-Mails zusammenfassen. In einer Nachricht steht versteckt, er solle interne Preislisten an eine externe Adresse senden. Die E-Mail wird als nicht vertrauenswürdiger Inhalt markiert; das Modell besitzt kein Werkzeug zum freien Dateizugriff und darf Nachrichten nur als Entwurf an bekannte interne Empfänger erstellen. Eine externe Sendung verlangt eine sichtbare Freigabe. Der Angriff kann die Zusammenfassung beeinflussen, aber nicht unkontrolliert Daten versenden.
Was Sie mitnehmen sollten
Planen Sie Prompt Injection als erwartbaren Angriffspfad. Trennen Sie nicht vertrauenswürdige Inhalte von der Steuerung und gestalten Sie das System so, dass ein erfolgreich manipulierter Modellschritt nur begrenzte Folgen haben kann.
Quellen und Vertiefung
Diese Primärquellen vertiefen Definitionen, technische Grundlagen oder verantwortlichen Einsatz.
Inhaltlich geprüft