Das Wichtigste in Kürze
- Legen Sie fest, welche Aufgabe der Agent hat und welche Daten und Werkzeuge dafür erforderlich sind.
- Trennen Sie Leserechte, das Erstellen von Entwürfen und das Ausführen von Änderungen.
- Prüfen Sie bei jedem Werkzeugaufruf, ob der Nutzer und das Zielobjekt die Aktion erlauben.
- Planen Sie menschliche Freigaben für Aktionen ein, bei denen Fehler schwer rückgängig zu machen sind.
- Protokollieren Sie nachvollziehbar, aber datensparsam. Testen Sie auch Rollenwechsel, abgelaufene Zugänge und den Widerruf von Rechten.
Worum es geht
Ein KI-Agent kann Informationen suchen, Inhalte vorbereiten und – wenn er mit Werkzeugen verbunden ist – Aktionen in Anwendungen auslösen. Welche dieser Möglichkeiten tatsächlich verfügbar sind, hängt nicht allein von der Anweisung im Prompt ab. Entscheidend ist auch, mit welchen Konten, Schnittstellen und Berechtigungen der Agent arbeitet.
Werden weitreichende gemeinsame Konten verwendet, können bestehende Nutzerrechte umgangen werden. Der Agent erhält dann möglicherweise Zugriff, den die anfragende Person selbst nicht hat. Eine Rollen- und Aktionsmatrix macht sichtbar, wer welche Daten sehen und welche Schritte ausführen darf. Sie ist zugleich eine Grundlage für technische Prüfungen und Tests.
Typische Ausgangslage
Stellen Sie sich einen Agenten vor, der eingehende Anfragen sortiert und passende Antworten vorbereitet. Dafür könnte er Nachrichten lesen und einen Antwortentwurf erstellen. Soll er die Nachricht auch versenden, ändert sich das Risiko: Ein fehlerhafter Entwurf würde dann nicht nur vorbereitet, sondern nach außen übermittelt.
Wenn der Agent über ein gemeinsames Konto auf alle Nachrichten zugreift, ist außerdem womöglich nicht erkennbar, welche Inhalte für die jeweilige anfragende Person freigegeben waren. Die Aufgabe klingt eng begrenzt, doch die technischen Rechte können deutlich weiter reichen. Genau diese Lücke sollte die Planung schließen.
So gehen Sie vor
-
Aufgabe und Grenzen beschreiben. Formulieren Sie, was der Agent erledigen soll und was ausdrücklich außerhalb seiner Aufgabe liegt. Zum Beispiel kann er Informationen zusammenfassen, aber keine Nachricht selbst versenden. Eine klare Grenze erleichtert die spätere Prüfung.
-
Daten und Zielobjekte bestimmen. Erfassen Sie, welche Daten der Agent lesen oder bearbeiten muss und auf welche konkreten Objekte sich Aktionen beziehen können. Das Zielobjekt kann etwa ein bestimmter Vorgang oder ein Dokument sein. Vermeiden Sie pauschale Zugriffe, wenn die Aufgabe enger gefasst werden kann.
-
Eine Rollen- und Aktionsmatrix erstellen. Halten Sie fest, wer eine Aktion anstoßen darf, welche Rolle dafür erforderlich ist und welche Aktion zulässig ist. Unterscheiden Sie mindestens zwischen Lesen, Entwurf und Änderung. Ergänzen Sie, ob eine Aktion ohne Freigabe, erst nach menschlicher Prüfung oder gar nicht ausgeführt werden darf.
-
Rechte in der Anwendung durchsetzen. Prüfen Sie Nutzer und Zielobjekt bei jedem Werkzeugaufruf. Eine Anweisung im Modellprompt kann das gewünschte Verhalten beschreiben, ersetzt aber keine Berechtigungsprüfung in der Anwendung. Die technische Prüfung sollte die konkrete Aktion und das betroffene Objekt berücksichtigen.
-
Freigaben gezielt einbauen. Legen Sie fest, welche Schritte der Agent selbst ausführen kann und wo eine Person prüfen und bestätigen muss. Eine Freigabe sollte erkennen lassen, welche Aktion vorgesehen ist und worauf sie sich bezieht. So kann die prüfende Person den Schritt beurteilen, statt nur pauschal eine Empfehlung des Agenten abzunicken.
-
Änderungen und Ausnahmen testen. Prüfen Sie nicht nur den Normalfall. Testen Sie auch, ob Rechte nach einem Rollenwechsel angepasst werden, ob abgelaufene Zugänge abgewiesen werden und ob ein Widerruf greift. Halten Sie fest, welche erwarteten Ergebnisse die Tests haben.
Entscheidungskriterien und typische Fehler
Fragen Sie für jede Funktion: Ist sie für die Aufgabe erforderlich? Welche Rolle darf sie nutzen? Auf welche Daten und Zielobjekte darf sie zugreifen? Was passiert, wenn eine Berechtigungsprüfung fehlschlägt? Wenn diese Fragen offenbleiben, ist die Funktion noch nicht ausreichend beschrieben.
Ein häufiger Fehler ist, dem Agenten ein gemeinsames Konto mit umfangreichen Rechten zu geben und darauf zu vertrauen, dass der Prompt die Nutzung begrenzt. Ebenso problematisch ist es, Lese- und Änderungsrechte zusammenzufassen. Dann kann ein Agent, der nur Informationen aufbereiten soll, möglicherweise auch Daten verändern.
Prüfen Sie außerdem, ob die Freigabe zur möglichen Wirkung passt. Eine Bestätigung durch einen Menschen hilft nur, wenn klar ist, was geprüft wird und wer dafür zuständig ist. Unklare Zuständigkeiten können dazu führen, dass Freigaben zur Routine werden, ohne dass die konkrete Aktion ausreichend betrachtet wird.
Grenzen und Risiken
Berechtigungen lösen nicht jede Frage der Sicherheit und Verantwortung. Auch bei begrenzten Rechten kann ein Agent Inhalte falsch einordnen oder einen unpassenden Vorschlag machen. Deshalb sollte die Gestaltung der Aufgabe berücksichtigen, wie Fehler auffallen und wie sie korrigiert werden können.
Protokolle unterstützen die Nachvollziehbarkeit, sollten aber nicht mehr Informationen enthalten als für Kontrolle und Fehleranalyse nötig sind. Prüfen Sie, welche Aktionen erfasst werden, wer die Einträge einsehen darf und wie mit ihnen umgegangen wird. Datenschutz- und rechtliche Fragen müssen im jeweiligen Einsatz geprüft werden; dieser Beitrag ersetzt keine Rechtsberatung.
Woran Sie den Nutzen erkennen
Bewerten Sie nicht nur, ob der Agent seine Aufgabe erledigt. Prüfen Sie auch, ob er dabei innerhalb der vorgesehenen Grenzen bleibt. Geeignete Messgrößen sind übermäßige Rechte, fehlgeschlagene Autorisierungen und Aktionen, die sich keiner Person oder Rolle zuordnen lassen.
Ergänzen Sie diese Prüfung um konkrete Tests: Wird eine nicht erlaubte Aktion abgewiesen? Bleiben Daten bei einem Rollenwechsel geschützt? Funktioniert der Widerruf eines Zugangs? Die Ergebnisse sollten dokumentiert und bei Änderungen an Agent, Werkzeugen oder Rollen erneut betrachtet werden.
Häufige Fragen
Reicht eine klare Anweisung im Prompt aus?
Nein. Der Prompt kann die Aufgabe und gewünschtes Verhalten beschreiben, sollte aber nicht die technische Berechtigungsprüfung ersetzen. Prüfen Sie Nutzer, Aktion und Zielobjekt in der Anwendung, wenn der Agent ein Werkzeug aufruft.
Welche Rechte sollte ein KI-Agent bekommen?
Nur die Rechte, die für seine konkrete Aufgabe notwendig sind. Beginnen Sie mit der Frage, welche Daten er lesen muss und ob er etwas erstellen oder verändern soll. Trennen Sie diese Möglichkeiten, statt sie über ein umfassendes gemeinsames Konto bereitzustellen.
Wann ist eine menschliche Freigabe sinnvoll?
Wenn eine Aktion eine relevante Änderung auslöst oder sich nur schwer rückgängig machen lässt, kann eine Freigabe vor der Ausführung sinnvoll sein. Legen Sie fest, wer prüft und welche Informationen für diese Entscheidung sichtbar sein müssen.
Was sollte im Protokoll stehen?
Halten Sie die Informationen fest, die nötig sind, um Aktionen zuzuordnen und Berechtigungsentscheidungen zu prüfen. Begrenzen Sie den Umfang auf den jeweiligen Kontrollzweck und prüfen Sie, wer Zugriff auf die Protokolle erhält.
