KI-Agent-Qualität messen: Kennzahlen und Tests

Das Wichtigste in Kürze

• Prüfen Sie nicht nur die Antwort, sondern auch Suche, Werkzeugnutzung, Übergabe und Abbruchverhalten.
• Ein fester Testkatalog mit typischen Fällen, Varianten und Fehlerbildern hilft, Änderungen vergleichbar zu machen.
• Legen Sie mit den Fachverantwortlichen fest, was eine gute, unvollständige oder unzulässige Antwort ist.
• Betrachten Sie neben Korrekturen und Quellenpassung auch Laufzeit und Nacharbeit.
• Bewerten Sie Folgen und Schwere kritischer Fehler gesondert. Ein Durchschnittswert kann sie verdecken.

Worum es geht

Ein KI-Agent kann eine flüssige Antwort formulieren und trotzdem die falsche Quelle verwenden, eine wichtige Einschränkung übersehen oder ein Werkzeug unpassend einsetzen. Deshalb lässt sich seine Qualität nicht mit einem einzelnen Genauigkeitswert beschreiben. Entscheidend ist, ob er die vorgesehene Aufgabe innerhalb klarer Grenzen erledigt.

Für die Einführung und den Betrieb sollten Sie Qualität in prüfbare Teile zerlegen. Dazu gehören die fachliche Richtigkeit, die Auswahl und Verwendung von Informationen, das Verhalten bei Unsicherheit sowie die Übergabe an einen Menschen. Auch der tatsächliche Aufwand im Prozess zählt: Eine Antwort, die regelmäßig geprüft und korrigiert werden muss, entlastet möglicherweise weniger als erwartet.

Typische Ausgangslage

Stellen Sie sich einen internen Agenten vor, der Anfragen anhand freigegebener Dokumente beantwortet und bei Bedarf Informationen in einem weiteren System nachschlägt. Im Test beantwortet er die üblichen Fragen gut. Im Alltag kommen jedoch unvollständige Angaben, ungewöhnliche Formulierungen und veraltete Dokumente hinzu. Manchmal ist außerdem nicht klar, ob der Agent antworten oder an eine zuständige Person übergeben soll.

Ohne festgelegte Testfälle werden solche Abweichungen leicht nur dann bemerkt, wenn jemand zufällig darüber stolpert. Wird die Anweisung, die Wissensbasis oder ein angebundenes Werkzeug geändert, ist außerdem unklar, ob sich andere Aufgaben verschlechtert haben. Ein strukturierter Test- und Kontrollprozess schafft dafür eine nachvollziehbare Grundlage.

So gehen Sie vor

1. Aufgabe und Grenzen festlegen. Beschreiben Sie, was der Agent erledigen darf, welche Informationen er verwenden soll und wann er stoppen muss. Klären Sie auch, welche Handlungen nur nach menschlicher Freigabe erfolgen dürfen. So wird Qualität an der tatsächlichen Aufgabe gemessen, nicht an einem allgemeinen Eindruck.

2. Erwartungen mit Fachverantwortlichen definieren. Halten Sie für typische Fälle fest, welche Informationen in einer guten Antwort enthalten sein müssen und welche Fehler nicht akzeptabel sind. Berücksichtigen Sie auch mehrere fachlich vertretbare Formulierungen. Fachverantwortliche können beurteilen, ob eine Antwort praktisch verwendbar ist; eine formal passende Formulierung allein genügt dafür nicht.

3. Einen festen Testkatalog aufbauen. Sammeln Sie typische Anfragen, unterschiedliche Formulierungen, fehlende oder widersprüchliche Angaben und bekannte Fehlerbilder. Ergänzen Sie Fälle, in denen der Agent eine Rückfrage stellen, sicher abbrechen oder an einen Menschen übergeben soll. Verwenden Sie dieselben Testfälle nach Änderungen erneut und ergänzen Sie sie, wenn im Betrieb neue Probleme auftreten.

4. Die einzelnen Schritte getrennt prüfen. Bewerten Sie, ob der Agent die passende Information findet, daraus eine korrekte Antwort ableitet, Werkzeuge wie vorgesehen nutzt und bei Bedarf richtig übergibt. Wenn nur die Endantwort betrachtet wird, bleibt oft verborgen, an welcher Stelle ein Fehler entstanden ist. Getrennte Prüfungen erleichtern die gezielte Verbesserung.

5. Freigaben und Kontrollpunkte bestimmen. Legen Sie fest, welche Ausgaben direkt verwendet werden dürfen und welche vor einer folgenreichen Aktion geprüft werden müssen. Prüfen Sie besonders Schreib-, Änderungs- oder Versandaktionen, wenn sie Teil des Ablaufs sind. Rechte sollten auf die notwendige Aufgabe begrenzt sein; nicht benötigte Zugriffe gehören nicht zum Testbetrieb.

6. Regressionen nach Änderungen testen. Wiederholen Sie den Testkatalog, wenn Sie Anweisungen, Quellen, Werkzeuge oder Abläufe verändern. Dokumentieren Sie, was geändert wurde und welche Fälle sich dadurch verbessert oder verschlechtert haben. So können Sie eine Änderung zurücknehmen oder nacharbeiten, wenn sie an anderer Stelle neue Fehler verursacht.

Entscheidungskriterien und typische Fehler

Wählen Sie Kennzahlen danach aus, welche Aufgabe der Agent übernimmt. Für einen Agenten, der Informationen recherchiert, sind etwa die Passung der gefundenen Quellen und die korrekte Wiedergabe relevanter Inhalte wichtig. Bei einem Agenten, der Arbeitsschritte vorbereitet, zählen zusätzlich die passende Werkzeugwahl, die Einhaltung von Berechtigungen und die Qualität der Übergabe.

Mögliche Messgrößen sind:

• Korrekturen: Wie oft müssen Fachpersonen eine Antwort oder einen vorbereiteten Schritt ändern?
• Quellenpassung: Stützen die verwendeten Quellen die Aussage, und sind sie für die Aufgabe freigegeben?
• Sichere Abbrüche: Erkennt der Agent fehlende Informationen oder unzulässige Anfragen und reagiert entsprechend?
• Werkzeugverhalten: Wählt er das richtige Werkzeug, übermittelt nur erforderliche Angaben und beachtet die vorgesehenen Grenzen?
• Laufzeit und Nacharbeit: Wie lange dauert der Ablauf, und welcher Aufwand entsteht durch Prüfung, Korrektur oder erneute Bearbeitung?

Ein häufiger Fehler ist, viele unterschiedliche Fälle zu einer einzigen Kennzahl zusammenzufassen. Ebenso problematisch ist ein Testkatalog, der nur einfache Standardfragen enthält. Nehmen Sie auch mehrdeutige Eingaben und Fälle auf, bei denen eine falsche Antwort erhebliche Folgen hätte. Definieren Sie vor dem Test, wie Sie diese Fehler gewichten und wer die Bewertung freigibt.

Grenzen und Risiken

Testergebnisse zeigen, wie sich ein Agent bei den geprüften Fällen verhält. Sie belegen nicht, dass jede zukünftige Anfrage korrekt bearbeitet wird. Neue Dokumente, geänderte Abläufe oder andere Formulierungen können zu neuen Ergebnissen führen. Testen Sie deshalb nicht nur vor der Einführung, sondern auch im laufenden Betrieb.

Ein Gesamtmittelwert kann kritische Ausnahmen verdecken. Bewerten Sie daher Fehlerarten und mögliche Folgen getrennt. Bei Aktionen mit spürbaren Konsequenzen sollte ein Mensch die Freigabe behalten, wenn die fachliche Verantwortung oder der mögliche Schaden das erfordert. Auch Zugriffsrechte, Datenverarbeitung und rechtliche Anforderungen sind im konkreten Einsatz zu prüfen; eine allgemeine Qualitätsmessung ersetzt diese Prüfung nicht.

Woran Sie den Nutzen erkennen

Der Nutzen zeigt sich nicht allein daran, dass der Agent mehr Antworten erzeugt. Vergleichen Sie den Ablauf mit dem Zustand vor der Einführung: Welche Arbeitsschritte fallen weg, welche bleiben bestehen und wo entsteht zusätzliche Prüfung? Legen Sie dafür eine Ausgangsbasis fest und betrachten Sie neben Laufzeit auch Korrekturen, Nacharbeit und sichere Übergaben.

Ein hilfreicher Testprozess macht außerdem Entscheidungen nachvollziehbar. Sie können erkennen, welche Änderungen Qualität verbessern, welche Fehler weiterhin auftreten und an welcher Stelle menschliche Kontrolle nötig bleibt. Wenn ein Agent zwar schneller antwortet, aber regelmäßig falsche Quellen nutzt oder umfangreiche Nacharbeit auslöst, sollte der Einsatzbereich angepasst werden.

Häufige Fragen

Reicht es, Antworten stichprobenartig zu prüfen?

Stichproben können im laufenden Betrieb Hinweise auf Probleme geben. Sie ersetzen keinen festen Testkatalog, denn ohne wiederkehrende Fälle lassen sich Änderungen nur schwer vergleichen. Kombinieren Sie beides: wiederholbare Tests für bekannte Risiken und zusätzliche Prüfungen für neue Auffälligkeiten.

Wie viele Testfälle brauche ich?

Eine pauschale Anzahl sagt wenig über die Qualität aus. Entscheidend ist, ob der Katalog die vorgesehene Aufgabe, typische Varianten und kritische Fehlerbilder abdeckt. Ergänzen Sie Fälle, sobald sich im Betrieb neue Muster zeigen.

Wer sollte Testergebnisse bewerten?

Die fachliche Bewertung sollte bei Personen liegen, die die Aufgabe und ihre Folgen kennen. Technische Verantwortliche können zusätzlich prüfen, ob Suche, Werkzeugaufrufe und Übergaben wie vorgesehen funktionieren. Für wichtige Entscheidungen sollten Rollen und Freigaben dokumentiert sein.

Wann sollte ein KI-Agent an einen Menschen übergeben?

Das hängt von Aufgabe und möglichen Folgen ab. Sinnvolle Auslöser können fehlende oder widersprüchliche Angaben, nicht passende Quellen oder eine Aktion außerhalb der festgelegten Berechtigungen sein. Legen Sie diese Grenzen vor dem Betrieb fest und testen Sie die Übergabe gezielt.