Prompt Injection: Definition, Risiko und Schutz
Definition
Prompt Injection ist ein Angriff auf KI-Systeme, bei dem manipulierte Eingaben ein Sprachmodell dazu bringen, seine eigentlichen Anweisungen zu missachten. Die schädliche Anweisung kann in einer Nutzereingabe stecken oder versteckt in einem Dokument oder einer Website, die das System verarbeitet. Ziel ist meist, Daten abzugreifen, Regeln zu umgehen oder unerwünschte Ausgaben zu erzwingen.
Warum der Begriff zählt
Sobald ein KI-Assistent auf externe Inhalte oder Werkzeuge zugreift, wird Prompt Injection zum realen Risiko. Es reicht ein präparierter Text, um Schutzregeln auszuhebeln. Für uns als neutralen Berater gehört dieses Risiko in jede Einordnung, bevor ein System mit sensiblen Daten oder Systemzugriff live geht. Wer den Begriff kennt, plant Schutz von Anfang an mit, statt ihn nach dem ersten Vorfall nachzurüsten.
Wann es relevant ist
- Ein KI-Assistent verarbeitet Inhalte aus E-Mails, Dokumenten oder dem Web.
- Das System hat Zugriff auf sensible Daten oder auf Werkzeuge und Systeme.
- Nutzer außerhalb des Unternehmens können Eingaben liefern.
- Ausgaben des Systems lösen automatisch Aktionen aus.
Wann nicht
Ein rein internes System ohne externe Inhalte und ohne Systemzugriff hat eine kleine Angriffsfläche; hier ist der Aufwand entsprechend gering zu halten. Und ein reiner Prototyp ohne echte Daten braucht noch keinen vollen Schutz, wohl aber vor dem produktiven Einsatz. Der Schutz sollte zur Angriffsfläche und zum Schaden passen.
Branchen, die das nutzen
- Finanzdienstleister: Assistenten absichern, die auf Konten oder Transaktionen zugreifen, weil ein Angriff direkt Geld betrifft.
- Kundenservice: öffentlich erreichbare Bots schützen, die fremde Eingaben verarbeiten.
- Kanzleien: Systeme absichern, die vertrauliche Mandantendokumente lesen.
- Softwareunternehmen: KI-Funktionen prüfen, die Nutzerinhalte verarbeiten und Aktionen auslösen.
Typische Anwendungsfälle
- Eingaben und externe Inhalte prüfen, bevor ein Modell sie verarbeitet.
- Rechte des Systems begrenzen, sodass ein Angriff wenig anrichten kann.
- Kritische Aktionen an eine menschliche Freigabe binden.
- Versteckte Anweisungen in Dokumenten und Webinhalten erkennen und entschärfen.
- Vorfälle protokollieren und für die Nachvollziehbarkeit dokumentieren.
Entscheidungshilfe
| Signal | Schutz vor Prompt Injection nötig | Alternative |
|---|---|---|
| System verarbeitet externe Inhalte | ja, Angriffsfläche absichern | ungeschützt ist riskant |
| Zugriff auf sensible Daten | streng begrenzen | offener Zugriff gefährdet Daten |
| Rein interner Prototyp | schlank halten | voller Schutz noch nicht nötig |
| Aktionen laufen automatisch | Freigabe einbauen | automatisch ist angreifbar |
Beispiel
Ein Finanzdienstleister plant einen Assistenten mit Kontozugriff. Wir ordnen in der Beratung das Prompt-Injection-Risiko ein und empfehlen, Rechte zu begrenzen und kritische Aktionen an eine Freigabe zu binden, bevor das System live geht. Das Beispiel beschreibt die Methode, keine behauptete Kundenkennzahl.
Verbindung zu Services
Das Risiko ordnen wir im KI-Readiness-Check und in der EU-AI-Act-Beratung ein. Den Schutz planen wir als Teil der KI-Implementierung.
Verwandte Begriffe
Quellen
Diese Einordnung beschreibt gängige Sicherheitspraxis. Aussagen zu regulatorischen Pflichten sind allgemeine Orientierung und keine Rechtsberatung; sie müssen im Einzelfall gegen die aktuell geltenden Rechtstexte geprüft werden.