KI-Agenten überwachen: Monitoring und Logging

Das Wichtigste in Kürze

• Erfassen Sie nur Ereignisse, die Sie für Betrieb, Fehlersuche oder Qualitätskontrolle benötigen.
• Prüfen Sie neben technischen Fehlern auch, ob Antworten fachlich korrekt und für die vorgesehene Aufgabe nützlich sind.
• Regeln Sie Zugriff, Aufbewahrung und Umgang mit vertraulichen Inhalten, bevor Sie umfangreiche Logs sammeln.
• Jeder Alarm braucht eine zuständige Person, eine konkrete Reaktion und einen getesteten Rückfall.
• Beobachten Sie Fehlerquote, Auffälligkeiten, Antwortqualität, Kosten und Wiederherstellungszeit im Zusammenhang.

Worum es geht

KI-Agenten können Anfragen bearbeiten, Informationen abrufen und Werkzeuge oder interne Systeme ansprechen. Beim Monitoring geht es darum, diese Abläufe im Betrieb nachvollziehbar zu machen: Was wurde angestoßen, welche Schritte wurden ausgeführt, wo trat ein Fehler auf und wie wurde darauf reagiert?

Ein protokollierter erfolgreicher Ablauf sagt jedoch nicht automatisch etwas über den fachlichen Wert des Ergebnisses aus. Eine Antwort kann ohne technische Fehlermeldung entstehen und trotzdem unvollständig, missverständlich oder für den nächsten Arbeitsschritt ungeeignet sein. Deshalb sollten technische Betriebsdaten und eine fachliche Prüfung zusammen betrachtet werden.

Typische Ausgangslage

Stellen Sie sich einen Agenten vor, der eingehende Anfragen vorsortiert und passende Informationen aus einer internen Wissenssammlung zusammenstellt. Im Dashboard erscheinen die Verarbeitungsschritte als erfolgreich. Eine fachliche Stichprobe zeigt aber, dass bei einer bestimmten Art von Anfrage wichtige Angaben fehlen.

Wenn nur der technische Status erfasst wird, bleibt diese Schwäche möglicherweise unbemerkt. Werden dagegen vollständige Prompts und Antworten dauerhaft gespeichert, können Logs mehr vertrauliche Inhalte enthalten als für die Fehlersuche nötig sind. Die Aufgabe besteht darin, genug Einblick für Kontrolle zu schaffen, ohne unnötig sensible Daten anzusammeln.

So gehen Sie vor

1. Aufgabe und Fehlerbilder festlegen. Beschreiben Sie, wofür der Agent eingesetzt wird und welche Fehler für diesen Ablauf wichtig sind. Dazu können falsche Werkzeugaufrufe, fehlende Informationen, nicht bearbeitbare Anfragen oder unerwartete Abbrüche gehören. So richten Sie das Monitoring an tatsächlichen Risiken aus.

2. Notwendige Ereignisse definieren. Legen Sie fest, welche Schritte sichtbar sein müssen, etwa Start und Ende eines Vorgangs, verwendete Werkzeuge, Fehlerzustände, Laufzeit oder Kosten. Erfassen Sie Inhalte nur, wenn sie für einen klaren Prüfzweck gebraucht werden.

3. Zugriff und Aufbewahrung regeln. Bestimmen Sie, wer Logs einsehen darf, zu welchem Zweck und wie lange sie aufbewahrt werden. Prüfen Sie, ob vertrauliche Angaben gekürzt, ausgeblendet oder anderweitig geschützt werden können. Logs sind wie andere sensible Unternehmensdaten zu behandeln.

4. Qualitätsprüfung ergänzen. Wählen Sie geeignete Vorgänge für fachliche Stichproben aus. Prüfen Sie dabei nicht nur, ob eine Antwort plausibel klingt, sondern ob sie die Aufgabe erfüllt, relevante Informationen berücksichtigt und keine unzulässige Aktion ausgelöst hat.

5. Alarme mit Zuständigkeiten verbinden. Definieren Sie, welche Auffälligkeit einen Alarm auslöst, wer ihn prüft und welche nächsten Schritte vorgesehen sind. Ein Alarm ohne klare Zuständigkeit macht eine Störung sichtbar, löst sie aber nicht.

6. Rückfall testen und dokumentieren. Legen Sie fest, was geschieht, wenn der Agent nicht verfügbar ist oder Ergebnisse nicht verlässlich genug sind. Das kann beispielsweise eine manuelle Bearbeitung oder eine Freigabe vor der Weiterverarbeitung sein. Prüfen Sie den Ablauf und dokumentieren Sie, wie der Betrieb wieder aufgenommen wird.

Entscheidungskriterien und typische Fehler

Die passenden Messgrößen hängen davon ab, welche Aufgabe der Agent übernimmt. Für einen Agenten, der Informationen vorbereitet, können fachliche Vollständigkeit und Korrekturbedarf wichtig sein. Bei einem Agenten mit Werkzeugzugriff sollten zusätzlich die ausgelösten Aktionen, deren Ergebnis und mögliche Abbrüche nachvollziehbar sein.

Vermeiden Sie insbesondere diese Fehler:

• Nur auf technische Verfügbarkeit schauen: Erreichbarkeit und erfolgreiche Ausführung ersetzen keine Qualitätsprüfung.
• Alles vorsorglich protokollieren: Umfangreiche Inhaltslogs können unnötige sensible Informationen enthalten und erschweren die gezielte Fehlersuche.
• Alarme ohne Handlungsplan einrichten: Legen Sie fest, wer prüft, welche Entscheidung möglich ist und wann auf einen manuellen Ablauf gewechselt wird.
• Messwerte isoliert betrachten: Eine Veränderung bei Kosten oder Laufzeit muss im Kontext der Aufgabe und der Antwortqualität bewertet werden.
• Logs nicht prüfen: Ein Protokoll hilft nur, wenn es für konkrete Fragen lesbar und im Störungsfall auffindbar ist.

Grenzen und Risiken

Logs erklären nicht von selbst, ob eine fachliche Antwort richtig ist. Dafür braucht es geeignete Prüfkriterien und Menschen, die den Inhalt im jeweiligen Arbeitskontext beurteilen können. Auch Stichproben zeigen nicht automatisch alle Fehlerarten. Sie sollten deshalb durch die Betrachtung bekannter Auffälligkeiten und Rückmeldungen aus dem Betrieb ergänzt werden.

Je mehr Inhalte gespeichert werden, desto größer kann der Aufwand für Schutz, Zugriffskontrolle und Löschung werden. Prüfen Sie im Einzelfall, welche Datenschutzanforderungen gelten und ob die Erfassung dafür angemessen ist. Dieser Beitrag ist keine Rechtsberatung.

Woran Sie den Nutzen erkennen

Beobachten Sie über die Zeit, ob Fehler erkannt und eingeordnet werden können und ob sich die Antwortqualität in fachlichen Prüfungen nachvollziehen lässt. Ergänzend eignen sich Fehlerquote, auffällige Werkzeugaktionen, Laufzeit, Kosten und Wiederherstellungszeit. Legen Sie die Messgrößen so fest, dass sie zur Aufgabe des Agenten passen und Verantwortliche daraus konkrete Schritte ableiten können.

Der Nutzen zeigt sich auch darin, ob ein Vorfall eingegrenzt werden kann: Welche Art von Vorgang war betroffen? Welche Aktion hat der Agent ausgeführt? Wurde rechtzeitig auf eine menschliche Prüfung oder einen Rückfall umgestellt? Wenn diese Fragen mit den vorhandenen Informationen nicht beantwortbar sind, sollte die Protokollierung gezielt angepasst werden.

Häufige Fragen

Müssen alle Prompts und Antworten gespeichert werden?

Nicht grundsätzlich. Erfassen Sie nur die Inhalte, die für einen festgelegten Prüf- oder Betriebszweck erforderlich sind. Regeln Sie außerdem Zugriff und Aufbewahrung.

Reicht ein Dashboard mit Fehlerstatus?

Ein Dashboard kann technische Störungen sichtbar machen. Für die fachliche Qualität brauchen Sie zusätzliche Prüfungen, zum Beispiel Stichproben anhand klarer Kriterien.

Was sollte einen Alarm auslösen?

Das hängt von Aufgabe und möglichen Folgen ab. Legen Sie fest, welche Fehler oder Auffälligkeiten sofortiges Handeln erfordern und was bei weniger dringenden Abweichungen passiert.

Wie lässt sich die Wirkung des Monitorings beurteilen?

Prüfen Sie, ob Fehler auffindbar sind, Zuständigkeiten greifen und ein Rückfall funktioniert. Beobachten Sie dazu passende Größen wie Fehlerquote, Antwortqualität und Wiederherstellungszeit.