KI Agent dokumentieren: Was in die technische Akte gehört

Das Wichtigste in Kürze

• Dokumentieren Sie, welche Aufgabe der KI-Agent übernimmt und welche ausdrücklich nicht.
• Halten Sie Modell, Wissensquellen, Werkzeuge und Anwendungscode mit ihren Versionen fest.
• Beschreiben Sie Datenflüsse, Zugriffsrechte, Freigaben und menschliche Kontrollpunkte.
• Notieren Sie Testfälle, bekannte Grenzen, Änderungen und den Rückfallweg.
• Prüfen Sie, ob eine andere verantwortliche Person den aktuellen Betrieb nachvollziehen kann.

Worum es geht

Ein KI-Agent besteht in der Regel nicht nur aus einer Anweisung an ein Sprachmodell. Sein Verhalten kann sich durch das Modell, den bereitgestellten Wissensstand, verbundene Werkzeuge und den Anwendungscode verändern. Auch Einstellungen wie Suchumfang oder Berechtigungen können beeinflussen, welche Antworten entstehen und welche Aktionen möglich sind.

Die technische Dokumentation hält fest, wie diese Teile zusammenspielen und wer für sie verantwortlich ist. Gemeint ist hier eine praktische Betriebsdokumentation. Ob darüber hinaus bestimmte formale Dokumentationspflichten gelten, muss für den jeweiligen Anwendungsfall gesondert geprüft werden. Dieser Beitrag ersetzt keine Rechtsberatung.

Typische Ausgangslage

Stellen Sie sich ein Unternehmen vor, das einen internen Agenten für die Bearbeitung von Serviceanfragen erprobt. Der Agent durchsucht freigegebene Unterlagen, schlägt eine Antwort vor und kann bei Bedarf Informationen in ein internes System übernehmen. Zunächst kennt das Projektteam die verwendete Wissenssammlung und die Einschränkungen aus der gemeinsamen Arbeit.

Nach einer Aktualisierung der Unterlagen oder einem Wechsel des Modells kann sich das Verhalten ändern. Kommt eine Rückfrage auf oder fällt ein Werkzeug aus, ist womöglich nicht mehr klar, welche Version im Einsatz war, wer die Änderung geprüft hat und ob eine menschliche Freigabe vorgesehen war. Eine strukturierte Dokumentation macht diese Zusammenhänge für Betrieb und Weiterentwicklung zugänglich.

So gehen Sie vor

1. Zweck und Aufgabenbereich festhalten. Beschreiben Sie den konkreten Arbeitsablauf, den der Agent unterstützt, seine Eingaben und erwarteten Ausgaben. Grenzen Sie ab, welche Entscheidungen weiterhin Menschen treffen. Eine klare Aufgabenbeschreibung verhindert, dass der Agent schrittweise für neue Zwecke eingesetzt wird, ohne dass Folgen geprüft werden.

2. Komponenten und Versionen erfassen. Notieren Sie das eingesetzte Modell, die relevante Konfiguration, den Prompt, die Wissensquellen, angebundene Werkzeuge und den Anwendungscode. Vermerken Sie jeweils den Versionsstand oder eine andere eindeutige Kennzeichnung sowie das Datum einer Änderung. So lässt sich eine beobachtete Verhaltensänderung besser einer möglichen Ursache zuordnen.

3. Quellen und Zuständigkeiten beschreiben. Geben Sie an, welche Dokumente oder Datenquellen der Agent nutzt, wer für deren Inhalt und Aktualisierung zuständig ist und wie veraltete oder unpassende Inhalte erkannt werden. Halten Sie auch fest, wer Modell, Anwendung und Schnittstellen betreut. Eine Quelle ohne benannte Verantwortung kann unbemerkt veralten.

4. Datenfluss und Rechte dokumentieren. Beschreiben Sie, welche Informationen in den Agenten eingehen, wohin sie zur Verarbeitung gelangen und welche Systeme Ergebnisse erhalten. Listen Sie auf, welche Lese- und Schreibrechte die Werkzeuge besitzen. Prüfen Sie, ob die Berechtigungen auf die Aufgabe begrenzt sind und ob sensible Informationen verarbeitet werden. Datenschutz und einschlägige rechtliche Anforderungen sind im Einzelfall zu prüfen.

5. Freigaben und Kontrollen festlegen. Unterscheiden Sie zwischen Vorschlägen, die ein Mensch prüft, und Aktionen, die der Agent selbst ausführen darf. Legen Sie fest, wann eine Freigabe erforderlich ist, wer sie erteilt und wie eine Aktion im Zweifel gestoppt werden kann. Je schwerwiegender eine mögliche Fehlentscheidung ist, desto wichtiger ist eine passende menschliche Kontrolle.

6. Tests und Grenzen festhalten. Beschreiben Sie typische Testfälle aus dem tatsächlichen Arbeitsablauf und die erwarteten Ergebnisse. Ergänzen Sie Fälle, in denen der Agent Informationen nicht findet, widersprüchliche Angaben erhält oder ein Werkzeug nicht verfügbar ist. Notieren Sie bekannte Fehlermuster und Situationen, in denen die Aufgabe an eine zuständige Person übergeben werden muss.

7. Änderungen und Rückfallweg dokumentieren. Führen Sie nachvollziehbar auf, was geändert wurde, warum die Änderung nötig war, wer sie geprüft und freigegeben hat und welche Tests danach erfolgten. Beschreiben Sie außerdem, wie der Betrieb pausiert, auf eine frühere Version zurückgestellt oder vorübergehend manuell fortgeführt wird.

Entscheidungskriterien und typische Fehler

Wie ausführlich die Dokumentation sein muss, hängt von Aufgabe, Datenzugriff und möglichen Folgen eines Fehlers ab. Ein Agent, der nur interne Textvorschläge macht, braucht andere Kontrollen als ein System, das Daten in Geschäftsanwendungen verändert. Beginnen Sie daher nicht mit einer möglichst langen Beschreibung, sondern mit den Fragen: Was kann der Agent tun? Welche Daten sieht er? Was muss vor einer Aktion geprüft werden?

Häufige Fehler sind:

• Nur den Prompt zu speichern, aber Modell, Wissensstand und Werkzeuge auszulassen.
• Änderungen vorzunehmen, ohne Tests und Freigabe zu dokumentieren.
• Rechte pauschal zu vergeben, statt sie an der konkreten Aufgabe auszurichten.
• Bekannte Grenzen nicht aufzuschreiben, weil sie dem Projektteam bereits bekannt sind.
• Sensible Nutzereingaben vorsorglich dauerhaft zu archivieren, ohne Zweck und Zugriff zu klären.

Grenzen und Risiken

Dokumentation macht einen KI-Agenten nicht automatisch zuverlässig. Sie hilft, Aufbau und Änderungen zu verstehen, ersetzt aber weder laufende Kontrollen noch die Prüfung der Ergebnisse. Tests decken außerdem nicht jede mögliche Eingabe oder Veränderung im Betrieb ab.

Achten Sie darauf, nur Informationen zu speichern, die für Betrieb, Sicherheit oder Nachvollziehbarkeit tatsächlich erforderlich sind. Für Nutzereingaben sollte es einen klaren Zweck und geregelte Zugriffe geben. Prüfen Sie im Einzelfall, welche Datenschutz- und KI-rechtlichen Anforderungen gelten. Die Dokumentation sollte auch zeigen, wo Unsicherheit bleibt und wer bei einem Problem entscheidet.

Woran Sie den Nutzen erkennen

Ein praktischer Test ist die Übergabe: Kann eine andere verantwortliche Person anhand der Unterlagen erkennen, wofür der Agent eingesetzt wird, welche Komponenten aktiv sind und wer eine Änderung zuletzt geprüft hat? Kann sie nachvollziehen, welche Daten der Agent nutzt, welche Aktionen er ausführen darf und wann ein Mensch übernehmen muss?

Halten Sie fest, wo Informationen fehlen oder Rückfragen entstehen. Diese Lücken zeigen, welche Betriebsabläufe noch nicht ausreichend beschrieben sind. So wird Dokumentation zu einem Arbeitsmittel für Wartung und Kontrolle – nicht nur zu einer Ablage für Projektunterlagen.

Häufige Fragen

Reicht es, den Prompt zu dokumentieren?

Nein. Der Prompt ist nur ein Bestandteil. Für die Nachvollziehbarkeit gehören auch Modell, Wissensquellen, Werkzeuge, Rechte, Tests, Änderungen und Betriebsverantwortung dazu.

Muss jede Änderung neu getestet werden?

Prüfen Sie Änderungen danach, ob sie das Verhalten, den Datenzugriff oder mögliche Aktionen beeinflussen. Halten Sie fest, welche Tests angemessen waren und wer die Änderung freigegeben hat. Der konkrete Prüfaufwand hängt von der Aufgabe und den möglichen Folgen ab.

Was sollte bei einer menschlichen Freigabe stehen?

Dokumentieren Sie, welche Ergebnisse geprüft werden müssen, wer freigeben darf und wie eine Freigabe erfolgt. Beschreiben Sie auch, was passiert, wenn eine Prüfung nicht möglich ist oder das Ergebnis unklar bleibt.

Wie gehe ich mit sensiblen Nutzereingaben um?

Speichern Sie solche Eingaben nicht allein aus Gewohnheit. Klären Sie, ob eine Aufbewahrung für einen bestimmten Zweck erforderlich ist, wer Zugriff erhält und wie lange die Informationen benötigt werden. Die datenschutzrechtliche Bewertung muss im Einzelfall erfolgen.