KI-Agent Sicherheit: Rechte, Werkzeuge und Tests

Das Wichtigste in Kürze

• Legen Sie genau fest, welche Aufgabe der KI-Agent übernehmen darf und welche nicht.
• Begrenzen Sie Datenzugriff und Werkzeugrechte technisch. Ein Systemprompt allein ist keine Zugriffskontrolle.
• Trennen Sie das Lesen von Informationen, das Erstellen eines Entwurfs und die Ausführung einer Aktion.
• Prüfen Sie direkte und indirekte Manipulationsversuche und protokollieren Sie relevante Aktionen.
• Messen Sie unter anderem unzulässige Aktionen, blockierte Angriffe, Sicherheitsfehler und die Zeit bis zur Erkennung.

Worum es geht

KI-Agenten können Informationen verarbeiten und über angebundene Werkzeuge weitere Schritte auslösen. Das kann nützlich sein, erhöht aber die Bedeutung der Frage, was ein Agent tatsächlich darf. Eine unerwartete Textausgabe ist etwas anderes als eine unerwartete Änderung in einem System.

Ein Agent kann eine Anfrage missverstehen oder Inhalte falsch gewichten. Auch Texte, die er während seiner Arbeit liest, können manipulierte Anweisungen enthalten. Wenn der Agent Werkzeuge aufrufen darf, kann aus einem solchen Fehler eine reale Aktion werden. Sicherheit beginnt deshalb nicht erst bei der Formulierung des Systemprompts, sondern bei Aufgabe, Datenzugriff, technischen Rechten und Freigaben.

Typische Ausgangslage

Stellen Sie sich ein Unternehmen vor, das einen Agenten interne Dokumente durchsuchen und daraus einen Antwortentwurf erstellen lässt. Die Mitarbeitenden möchten, dass der Agent zusätzlich Informationen aus einem angebundenen System übernimmt. Später kommt der Wunsch auf, dass er Änderungen dort auch selbst vornimmt.

Das sind unterschiedliche Handlungsspielräume. Lesen und Zusammenfassen kann zunächst ohne Schreibrecht erfolgen. Ein Entwurf lässt sich von einer Person prüfen. Eine Änderung im System sollte dagegen durch eine gesonderte Berechtigung und, wenn die Folgen relevant sind, durch eine menschliche Freigabe geschützt werden. Wird diese Trennung nicht geplant, kann der Agent mehr Zugriff erhalten, als seine Aufgabe erfordert.

So gehen Sie vor

1. Aufgabe und Grenzen beschreiben. Halten Sie fest, welche Eingaben der Agent verarbeitet, welches Ergebnis erwartet wird und welche Entscheidungen bei einer Person bleiben. Formulieren Sie auch, was der Agent nicht tun soll. Das macht spätere Tests und Kontrollen konkreter.

2. Datenzugriff auf das Erforderliche beschränken. Prüfen Sie, welche Dokumente und Felder für die Aufgabe nötig sind. Vermeiden Sie pauschalen Zugriff auf ganze Ablagen oder Systeme, wenn ein kleinerer Ausschnitt genügt. Klären Sie außerdem, ob vertrauliche oder personenbezogene Inhalte in den Ablauf gehören und lassen Sie Datenschutzfragen im Einzelfall prüfen.

3. Werkzeuge und Rechte getrennt festlegen. Entscheiden Sie für jedes Werkzeug, ob der Agent damit lesen, suchen, einen Entwurf erstellen oder Daten verändern kann. Vergeben Sie Rechte außerhalb des Modells, etwa über die angebundene Anwendung oder eine vermittelnde technische Schnittstelle. Ein Prompt kann Verhalten anleiten, ersetzt aber keine technische Berechtigung.

4. Werkzeugaufrufe unabhängig validieren. Prüfen Sie Parameter, bevor eine Aktion ausgeführt wird. Dazu gehören beispielsweise zulässige Werte, betroffene Datensätze und die Frage, ob die angeforderte Aktion zur freigegebenen Aufgabe passt. Verwerfen oder stoppen Sie Aufrufe, die außerhalb der festgelegten Grenzen liegen.

5. Freigaben passend zum Risiko gestalten. Ein Agent kann einen Vorschlag vorbereiten, während eine Person die Ausführung bestätigt. Legen Sie fest, welche Aktionen eine Freigabe benötigen und wer sie erteilen darf. Eine Freigabe sollte erkennen lassen, was geändert wird und auf welcher Grundlage.

6. Gezielt testen und nach Änderungen erneut prüfen. Testen Sie normale Eingaben, fehlerhafte oder widersprüchliche Anfragen sowie direkte Manipulationsversuche. Prüfen Sie auch indirekte Manipulation: etwa Anweisungen, die in einem Dokument stehen, das der Agent als Inhalt lesen soll. Wiederholen Sie relevante Tests, wenn Sie Werkzeuge, Rechte oder Abläufe ändern.

7. Protokollierung und Rückfallweg vorbereiten. Dokumentieren Sie, welche Aktionen ein Agent angefordert und welche das System ausgeführt oder blockiert hat. Legen Sie fest, wer Auffälligkeiten prüft. Testen Sie außerdem, wie der Agent gestoppt und der Ablauf vorübergehend auf einen manuellen oder bestehenden Prozess zurückgeführt werden kann.

Entscheidungskriterien und typische Fehler

Die passende Absicherung hängt davon ab, was bei einem Fehler passieren kann. Fragen Sie nicht nur, ob eine Antwort plausibel klingt. Prüfen Sie auch, ob sie vertrauliche Informationen enthalten, Änderungen anstoßen oder Entscheidungen vorbereiten könnte, für die der Agent nicht zuständig ist.

Häufige Fehler sind:

• Zu viele Rechte auf einmal: Der Agent erhält Schreibzugriff, obwohl zunächst ein Entwurf genügt.
• Prompt als Schutzmaßnahme: Eine Anweisung wie „Ändere keine Daten“ verhindert nicht zuverlässig, dass ein technischer Werkzeugzugriff genutzt wird.
• Zu breite Freigabe: Eine Person bestätigt eine Aktion, ohne die betroffenen Daten oder Folgen ausreichend zu sehen.
• Nur normale Fälle getestet: Der Ablauf funktioniert bei erwarteten Eingaben, aber es fehlt die Prüfung manipulierter Dokumente oder widersprüchlicher Anweisungen.
• Protokolle ohne Zuständigkeit: Aktionen werden erfasst, aber niemand ist dafür verantwortlich, Auffälligkeiten zu prüfen und darauf zu reagieren.

Grenzen und Risiken

Tests können typische Schwachstellen sichtbar machen, aber nicht jede künftige Eingabe und jede Kombination von Umständen abdecken. Ein Agent kann weiterhin unerwartete Ausgaben erzeugen. Auch technische Prüfungen können unpassend konfigurierte Rechte oder Lücken im umgebenden Prozess nicht automatisch ausgleichen.

Behandeln Sie Inhalte, die der Agent liest, nicht automatisch als vertrauenswürdige Anweisungen. Ein Dokument kann relevante Sachinformationen enthalten und zugleich versuchen, das Verhalten des Agenten zu beeinflussen. Die Anwendung sollte deshalb zwischen Dateninhalt und zulässigen Befehlen unterscheiden und Werkzeugzugriffe unabhängig davon begrenzen.

Protokolle helfen bei der Nachvollziehbarkeit, sollten aber selbst sorgfältig behandelt werden. Legen Sie fest, welche Informationen erfasst werden müssen, wer sie einsehen darf und wie lange sie gebraucht werden. Fragen zu Datenschutz und geltenden Anforderungen sind für den konkreten Einsatz gesondert zu prüfen; diese Einordnung ersetzt keine Rechtsberatung.

Woran Sie den Nutzen erkennen

Sicherheitskontrollen sollten überprüfbar sein. Erfassen Sie beispielsweise:

• wie viele unzulässige Aktionen angefordert und verhindert wurden,
• welche Manipulationsversuche erkannt oder blockiert wurden,
• welche Sicherheitsfehler bei Tests oder im Betrieb auftraten,
• wie viel Zeit zwischen einer Auffälligkeit und ihrer Erkennung liegt.

Betrachten Sie diese Werte zusammen mit dem fachlichen Ergebnis. Eine hohe Zahl blockierter Aktionen kann auf wirksame Schutzmaßnahmen hindeuten, aber auch darauf, dass die Aufgabe oder die Rechte unklar zugeschnitten sind. Entscheidend ist, ob Sie Abweichungen nachvollziehen und den Ablauf gezielt verbessern können.

Häufige Fragen

Reicht ein strenger Systemprompt aus?

Nein. Ein Prompt kann die gewünschte Arbeitsweise beschreiben, ist aber keine technische Zugriffskontrolle. Begrenzen Sie Berechtigungen an den angebundenen Werkzeugen und prüfen Sie Aufrufe außerhalb des Modells.

Muss jede Aktion von einer Person freigegeben werden?

Das hängt von Aufgabe und möglichen Folgen ab. Lesen oder ein interner Entwurf kann anders behandelt werden als eine Änderung, die weitere Arbeit auslöst. Legen Sie Freigaben anhand der konkreten Risiken fest und testen Sie den Ablauf.

Wie teste ich indirekte Manipulation?

Prüfen Sie, wie der Agent mit Dokumenten oder anderen Inhalten umgeht, die unpassende Anweisungen enthalten. Beobachten Sie, ob er diese als Inhalt behandelt oder dadurch versucht, andere Aufgaben auszuführen. Testen Sie dabei auch, ob die technischen Rechte unerlaubte Aktionen verhindern.

Was sollte passieren, wenn der Agent auffällig handelt?

Der Ablauf sollte einen klaren Stopp ermöglichen. Zuständigkeiten, Protokolle und ein getesteter Rückfall auf einen manuellen oder bestehenden Prozess helfen, eine Auffälligkeit zu untersuchen, ohne weitere Aktionen des Agenten auszuführen.