Das Wichtigste in Kürze
- Eine Risikoanalyse betrachtet nicht nur die Antworten des Agenten, sondern auch Datenzugriffe, Werkzeuge und mögliche Aktionen.
- Beschreiben Sie konkrete Fehlerszenarien, vorhandene Schutzmaßnahmen und die dafür zuständigen Personen.
- Prüfen Sie die Risiken erneut, wenn sich Datenquellen, Werkzeuge, Nutzergruppen oder der Zweck des Agenten ändern.
- Eine Bewertungsskala kann beim Vergleichen helfen, bildet Unsicherheit aber nicht vollständig ab.
- Halten Sie offene Maßnahmen, Vorfälle, Auswirkungen und die Zeit bis zur Behebung fest.
Worum es geht
Ein KI-Agent kann Informationen verarbeiten und – abhängig von seiner Einrichtung – auf weitere Systeme zugreifen oder dort Aktionen anstoßen. Dadurch entstehen Risiken nicht nur durch eine falsche Antwort. Auch ungeeignete Daten, ein missverständlicher Auftrag, eine manipulierte Eingabe oder eine ungeprüfte Aktion können Folgen haben.
Eine Risikoanalyse für KI-Agenten im Unternehmen soll diese möglichen Folgen vor dem Einsatz sichtbar machen. Sie ist keine einmalige Freigabe und kann keine Fehler ausschließen. Sie hilft Ihnen vielmehr, den Einsatz passend zu begrenzen: Welche Aufgaben darf der Agent übernehmen? Welche Informationen braucht er? Wo ist eine menschliche Prüfung nötig?
Typische Ausgangslage
Stellen Sie sich ein Unternehmen vor, das einen Agenten für die interne Bearbeitung von Anfragen erprobt. Der Agent fasst eingehende Nachrichten zusammen und schlägt eine Antwort vor. Später soll er möglicherweise auch Informationen aus einem weiteren System beziehen oder Nachrichten selbst weiterleiten.
Schon zwischen diesen beiden Einsatzweisen verändert sich das Risiko. Ein ungenauer Entwurf, den eine zuständige Person vor dem Versand prüft, hat andere mögliche Folgen als eine Nachricht, die ohne Freigabe nach außen geht. Die Analyse sollte deshalb den konkreten Ablauf beschreiben, nicht nur das eingesetzte KI-System benennen.
So gehen Sie vor
-
Aufgabe und Grenzen festhalten. Beschreiben Sie, was der Agent erledigen soll und was ausdrücklich außerhalb seines Auftrags liegt. Eine klare Aufgabenbeschreibung erleichtert es, unerwartete Ausgaben oder Aktionen zu erkennen.
-
Daten und Zugriffe erfassen. Halten Sie fest, welche Informationen der Agent erhält, aus welchen Quellen sie stammen und welche Systeme er erreichen kann. Prüfen Sie, ob jeder Zugriff für die Aufgabe erforderlich ist und wer ihn freigibt.
-
Mögliche Fehlerszenarien beschreiben. Fragen Sie, was passieren könnte, wenn eine Antwort falsch oder unvollständig ist, eine Eingabe den Agenten in eine unerwünschte Richtung lenkt oder eine Aktion zu früh ausgeführt wird. Betrachten Sie auch, ob bestimmte Personen oder Gruppen durch die Ergebnisse benachteiligt werden könnten.
-
Folgen und Umkehrbarkeit einschätzen. Klären Sie, wen ein Fehler betrifft, wie er auffallen würde und ob er sich korrigieren lässt. Je schwerer eine Entscheidung oder Aktion rückgängig zu machen ist, desto mehr Begrenzungen und Prüfungen sind sinnvoll.
-
Schutzmaßnahmen und Zuständigkeiten festlegen. Ordnen Sie jedem wichtigen Risiko konkrete Maßnahmen zu. Dazu können begrenzte Zugriffsrechte, ein Test mit Beispielen, eine Freigabe vor folgenreichen Aktionen oder eine Möglichkeit zum Stoppen gehören. Benennen Sie, wer die Maßnahmen verantwortet und wer bei einem Vorfall entscheidet.
-
Im Betrieb beobachten und erneut prüfen. Erfassen Sie offene Maßnahmen, Fehler und deren Auswirkungen. Überarbeiten Sie die Analyse, wenn neue Datenquellen, Werkzeuge, Nutzergruppen oder Einsatzbereiche hinzukommen.
Aufgabe, Datenzugriff und Rechte
Die Rechte des Agenten sollten zur Aufgabe passen. Wenn er Informationen lediglich zusammenfassen soll, braucht er nicht automatisch die Berechtigung, Datensätze zu ändern oder Nachrichten zu versenden. Trennen Sie nach Möglichkeit das Lesen von Daten und das Auslösen von Aktionen. Prüfen Sie außerdem, welche Informationen für Nutzer sichtbar werden und ob der Agent Daten erhalten könnte, die für seine Aufgabe nicht erforderlich sind.
Auch Eingaben verdienen Aufmerksamkeit. Inhalte aus Dokumenten, Nachrichten oder anderen Quellen können fehlerhaft oder gezielt irreführend sein. Legen Sie fest, welche Quellen als vertrauenswürdig gelten, wie der Agent mit widersprüchlichen Informationen umgehen soll und wann er keine Antwort geben oder eine Person hinzuziehen soll.
Menschliche Freigabe und Kontrolle
Eine menschliche Freigabe ist besonders wichtig, wenn eine Aktion externe Personen betrifft, Daten verändert oder betriebliche Folgen auslösen kann. Die prüfende Person braucht dafür genug Kontext: Was hat der Agent vorgeschlagen, auf welche Informationen stützt sich der Vorschlag und welche Aktion würde folgen? Eine bloße Bestätigung ohne verständliche Grundlage ist keine wirksame Kontrolle.
Kontrolle endet nicht mit der Freigabe eines Piloten. Beobachten Sie, ob der Agent innerhalb seines Auftrags bleibt und ob sich Fehler wiederholen. Legen Sie fest, wie Mitarbeitende auffällige Ergebnisse melden, wer den Einsatz vorübergehend einschränken kann und wie Änderungen dokumentiert werden.
Entscheidungskriterien und typische Fehler
Eine einfache Skala kann helfen, Szenarien zu sortieren. Sie sollte aber keine scheinbare Genauigkeit erzeugen: Eine Zahl zeigt weder alle Unsicherheiten noch automatisch, welche Maßnahme angemessen ist. Notieren Sie deshalb auch, worauf eine Einschätzung beruht und was noch nicht geklärt ist.
Typische Fehler sind eine Analyse nur auf Ebene des verwendeten Modells, zu weitreichende Systemrechte und unklare Verantwortung im laufenden Betrieb. Ebenfalls problematisch ist es, einen zunächst begrenzten Einsatz später auf andere Aufgaben auszudehnen, ohne die Folgen neu zu prüfen. Bei rechtlich oder betrieblich folgenreichen Fragen sollten passende Fachleute einbezogen werden.
Grenzen und Risiken
Eine Risikoanalyse kann unbekannte Fehler nicht vollständig vorhersagen. Auch Tests bilden den späteren Betrieb nur teilweise ab: Daten können sich ändern, Nutzer stellen neue Fragen und Abläufe entwickeln sich weiter. Schutzmaßnahmen verringern Risiken, ersetzen aber keine laufende Aufmerksamkeit.
Bei personenbezogenen Daten und Anforderungen an den KI-Einsatz ist eine Prüfung des konkreten Vorhabens erforderlich. Dieser Beitrag ist keine Rechtsberatung. Beziehen Sie bei Bedarf Datenschutz-, IT-Sicherheits- und weitere zuständige Fachverantwortliche ein.
Woran Sie den Nutzen erkennen
Die Analyse ist hilfreich, wenn daraus nachvollziehbare Entscheidungen entstehen: Welche Aufgaben sind freigegeben, welche Rechte wurden begrenzt und bei welchen Schritten ist eine Person zuständig? Halten Sie außerdem offene Maßnahmen, gemeldete Vorfälle und deren Auswirkungen fest. Die Zeit bis zur Behebung zeigt, ob Zuständigkeiten und Abläufe im Ernstfall funktionieren.
Vergleichen Sie diese Informationen über die Zeit, ohne daraus vorschnell eine allgemeine Sicherheitszusage abzuleiten. Entscheidend ist, ob erkannte Schwachstellen bearbeitet werden und ob Kontrollen zum tatsächlichen Einsatz passen.
Häufige Fragen
Wann sollte ein KI-Agent eine neue Risikoanalyse bekommen?
Prüfen Sie die Einschätzung erneut, wenn sich Zweck, Datenquellen, Werkzeuge, Rechte oder Nutzerkreis verändern. Auch ein Vorfall oder wiederholt auffällige Ergebnisse können Anlass sein.
Muss jede Agentenantwort von einem Menschen geprüft werden?
Das hängt von Aufgabe und möglichen Folgen ab. Bei Entwürfen mit geringer Tragweite kann eine andere Kontrolle passen als bei Aktionen, die Daten verändern oder Entscheidungen mit erheblichen Auswirkungen vorbereiten.
Welche Rollen sollten an der Analyse beteiligt sein?
Binden Sie die Personen ein, die den Ablauf fachlich kennen, den Agenten technisch einrichten und die Folgen eines Fehlers einschätzen können. Je nach Vorhaben sollten Datenschutz, IT-Sicherheit oder weitere Fachverantwortliche hinzukommen.
Reicht eine Risikobewertung mit einer Zahl aus?
Nein. Eine Skala kann beim Sortieren helfen, sollte aber durch Szenarien, Begründungen, offene Fragen und festgelegte Maßnahmen ergänzt werden. Sie macht Unsicherheit nicht von selbst sichtbar.