Prompt Injection bei KI-Agenten: Risiken begrenzen

Das Wichtigste in Kürze

• Prompt Injection sind Anweisungen, die ein KI-Modell dazu bringen sollen, seine Aufgabe oder Regeln anders auszulegen.
• Solche Anweisungen können direkt in einer Nutzereingabe stehen oder indirekt in E-Mails, Webseiten und Dokumenten auftauchen.
• Behandeln Sie abgerufene Inhalte als nicht vertrauenswürdige Daten. Sie dürfen nicht automatisch zu neuen Berechtigungen oder Aktionen führen.
• Begrenzen Sie den Zugriff des Agenten und prüfen Sie Werkzeugaufrufe unabhängig vom Modell.
• Testen und beobachten Sie nicht nur blockierte Angriffe, sondern auch unzulässige Aktionen und mögliche Datenabflussversuche.

Worum es geht

Ein KI-Agent verarbeitet Sprache und kann – je nach Aufbau – zusätzlich Informationen abrufen oder Werkzeuge verwenden. Prompt Injection versucht, diese Verarbeitung zu beeinflussen. Eine Eingabe könnte etwa verlangen, vorherige Vorgaben zu ignorieren. Eine indirekte Anweisung kann dagegen in einem Dokument stehen, das der Agent für eine ganz andere Aufgabe auswertet.

Das Risiko entsteht nicht allein dadurch, dass ein Modell eine unerwünschte Anweisung erkennt oder wiedergibt. Kritisch wird es, wenn daraus eine Aktion folgt: Der Agent könnte Informationen ausgeben, einen Datensatz verändern oder ein Werkzeug aufrufen, obwohl das für den vorgesehenen Ablauf nicht erlaubt ist. Wie wahrscheinlich das ist, lässt sich nicht mit einer einzelnen Prompt-Regel beurteilen. Wichtig sind der konkrete Aufgabenbereich, die verfügbaren Daten und die Rechte der angebundenen Werkzeuge.

Ein Prompt kann die gewünschte Rolle und Arbeitsweise beschreiben. Er ersetzt aber keine technische Zugriffskontrolle. Berechtigungen sollten deshalb außerhalb der Antwort des Modells geprüft werden.

Typische Ausgangslage

Stellen Sie sich ein Unternehmen vor, das einen Agenten E-Mails zusammenfassen und passende Informationen aus internen Dokumenten ergänzen lässt. In einer E-Mail steht neben dem eigentlichen Anliegen eine Anweisung an den Agenten, vertrauliche Inhalte aus den Dokumenten in die Antwort aufzunehmen. Der Agent könnte diese Passage als Text behandeln – oder sie als Anweisung missverstehen.

Entscheidend ist dann nicht nur, ob der Agent die Anweisung erkennt. Es zählt auch, ob er überhaupt auf vertrauliche Inhalte zugreifen kann, ob er selbstständig Antworten versendet und ob ein Versand geprüft werden muss. Werden diese Fragen erst nach dem Pilotbetrieb geklärt, ist der Agent möglicherweise mit mehr Zugriff ausgestattet, als seine Aufgabe verlangt.

So gehen Sie vor

1. Aufgabe und Grenzen festlegen. Beschreiben Sie, welche Eingaben der Agent verarbeitet, welche Ergebnisse er liefern soll und was ausdrücklich außerhalb seiner Aufgabe liegt. So lassen sich unnötige Zugriffe und Funktionen vermeiden.

2. Daten nach ihrer Vertrauenswürdigkeit trennen. Kennzeichnen Sie externe Inhalte wie E-Mails, Webseiten und hochgeladene Dokumente als Daten, nicht als verbindliche Steueranweisungen. Diese Unterscheidung sollte sich auch im technischen Ablauf widerspiegeln und nicht nur in einem Prompt stehen.

3. Rechte auf das Nötige beschränken. Geben Sie dem Agenten nur Zugriff auf die Daten und Werkzeuge, die für den definierten Ablauf erforderlich sind. Trennen Sie, wo sinnvoll, lesende Funktionen von schreibenden oder versendenden Aktionen. Ein manipulierter Inhalt kann dann weniger erreichen.

4. Aktionen außerhalb des Modells validieren. Prüfen Sie serverseitig, ob ein Werkzeugaufruf zulässig ist: etwa für welche Daten, welche Empfänger oder welche Änderungen. Verlassen Sie sich nicht darauf, dass der Agent eine Regel im Prompt zuverlässig einhält.

5. Menschliche Freigaben gezielt einsetzen. Aktionen mit größeren Folgen sollten vor ihrer Ausführung geprüft werden. Zeigen Sie der freigebenden Person, welche Daten verwendet und welche Änderung oder Nachricht ausgelöst werden soll. Eine pauschale Bestätigung ohne nachvollziehbaren Kontext bietet wenig Kontrolle.

6. Angriffsszenarien testen und nachverfolgen. Prüfen Sie direkte Eingaben, indirekte Anweisungen in abgerufenen Inhalten und mehrstufige Abläufe, bei denen ein Inhalt weitere Aktionen anstoßen könnte. Dokumentieren Sie, was blockiert wurde und was dennoch ausgeführt worden wäre.

Entscheidungskriterien und typische Fehler

Vor der Umsetzung sollten Sie klären, ob der Agent nur Informationen zusammenfasst oder auch Daten verändert, Nachrichten versendet und andere Systeme anstößt. Je mehr Handlungsmöglichkeiten vorhanden sind, desto wichtiger werden getrennte Berechtigungen, klare Prüfregeln und Freigaben. Auch die Art der verarbeiteten Daten beeinflusst, welche Kontrollen nötig sind.

Häufige Fehler sind:

• Mehr Rechte als nötig vergeben. Ein Agent für Recherche braucht nicht automatisch Schreibzugriff auf interne Systeme.
• Den Prompt als Sicherheitsmechanismus behandeln. Eine strengere Formulierung kann helfen, ersetzt aber keine technische Prüfung.
• Nur einzelne Beispieltexte testen. Angriffe können direkt, in abgerufenen Inhalten oder über mehrere Schritte auftreten.
• Freigaben zu allgemein gestalten. Eine Person kann eine Aktion nur sinnvoll prüfen, wenn klar ist, was der Agent tun will und auf welcher Grundlage.
• Nur erfolgreiche Blockaden zählen. Auch Fehlalarme und erlaubte Aktionen sollten betrachtet werden, damit Sicherheitsregeln die Arbeit nicht unnötig behindern.

Grenzen und Risiken

Prompt Injection lässt sich nicht allein durch eine bestimmte Formulierung im Prompt ausschließen. Modelle können Anweisungen und Inhalte unterschiedlich einordnen. Auch Tests bilden nicht alle möglichen Eingaben und Abläufe ab. Kontrollen verringern daher Risiken, sind aber keine Garantie, dass jede unerwünschte Aktion erkannt wird.

Ein Agent sollte keine weitreichenden Rechte besitzen, die ein manipulierter Inhalt missbrauchen könnte. Wo der Agent sensible Daten verarbeitet oder Handlungen mit rechtlichen, finanziellen oder betrieblichen Folgen auslösen kann, sind zusätzliche fachliche und technische Prüfungen wichtig. Datenschutz- und KI-rechtliche Anforderungen sind im Einzelfall zu prüfen; dieser Beitrag ersetzt keine Rechtsberatung.

Woran Sie den Nutzen erkennen

Erfassen Sie, wie oft verdächtige Anweisungen erkannt oder blockiert werden, wie viele Datenabflussversuche auffallen und ob unzulässige Werkzeugaufrufe verhindert werden. Betrachten Sie außerdem, ob berechtigte Aktionen irrtümlich gestoppt werden und ob Freigaben für Mitarbeitende nachvollziehbar sind.

Eine Kennzahl allein belegt keine Sicherheit. Prüfen Sie regelmäßig Stichproben aus den protokollierten Fällen und halten Sie fest, welche Regeln angepasst wurden. So wird sichtbar, ob die Kontrollen zum tatsächlichen Einsatz passen und wo der Agent weiterhin menschliche Prüfung braucht.

Häufige Fragen

Ist Prompt Injection dasselbe wie eine normale Fehlanweisung?

Nicht unbedingt. Eine normale Fehlanweisung kann unbeabsichtigt sein. Prompt Injection zielt darauf, das Modell durch eine manipulierte Eingabe oder einen abgerufenen Inhalt zu einer anderen Auslegung oder Aktion zu bewegen. Für die Absicherung zählt in beiden Fällen, welche Handlungsmöglichkeiten der Agent hat.

Reicht es, im System-Prompt vor fremden Anweisungen zu warnen?

Nein. Eine solche Vorgabe kann Teil des Designs sein, sollte aber nicht die einzige Schutzmaßnahme sein. Berechtigungen, Datenzugriffe und Werkzeugaufrufe müssen zusätzlich technisch begrenzt und geprüft werden.

Muss jede Aktion von einem Menschen freigegeben werden?

Das hängt von Aufgabe und möglichen Folgen ab. Für rein lesende, klar eingegrenzte Schritte kann eine laufende Freigabe unpraktisch sein. Änderungen, externe Nachrichten oder andere folgenreiche Aktionen sollten dagegen anhand transparenter Kriterien geprüft werden.

Was sollte ein erster Sicherheitstest enthalten?

Testen Sie direkte Anweisungen in Nutzereingaben, versteckte oder offene Anweisungen in abgerufenen Inhalten und mehrstufige Abläufe. Prüfen Sie dabei nicht nur die Antwort des Agenten, sondern auch, ob Daten zugänglich werden oder Werkzeuge unzulässig aufgerufen werden.