Das Wichtigste in Kürze
- Beginnen Sie mit der Aufgabe des Agenten und nicht mit einer allgemeinen Modellrangliste.
- Testen Sie alle Kandidaten mit demselben Katalog aus realistischen, gegebenenfalls anonymisierten Beispielen.
- Bewerten Sie neben der Antwortqualität auch Belege, Ausgabeformat, Geschwindigkeit, Kosten und Integrationsaufwand.
- Legen Sie fest, auf welche Daten und Werkzeuge der Agent zugreifen darf und wann ein Mensch entscheiden muss.
- Behandeln Sie Modell- und Versionswechsel als Änderung, die dokumentiert und erneut geprüft werden muss.
Worum es geht
Ein KI-Agent nutzt ein Modell, um Informationen zu verarbeiten, Entscheidungen innerhalb eines vorgegebenen Rahmens vorzubereiten oder Werkzeuge aufzurufen. Das Modell ist dabei ein Teil des Systems. Auch Anweisungen, Datenquellen, Schnittstellen, Rechte und Freigaberegeln beeinflussen das Ergebnis.
Ein Modell kann bei Zusammenfassungen überzeugend arbeiten und bei einem anderen Schritt weniger passend sein. Zum Beispiel kann es Schwierigkeiten mit fest vorgegebenen Antwortformaten, präzisen Werkzeugaufrufen oder unternehmensspezifischen Fachbegriffen haben. Deshalb beantwortet eine allgemeine Rangliste nicht zuverlässig die Frage, welches Modell zu Ihrem Ablauf passt.
Typische Ausgangslage
Stellen Sie sich ein Unternehmen vor, das eingehende Anfragen vorsortieren möchte. Der Agent soll Inhalte einer Anfrage erkennen, passende Informationen aus einer freigegebenen Wissensquelle ergänzen und einen Entwurf für die Antwort vorbereiten. Eine Person prüft den Entwurf, bevor er weiterverwendet wird.
Für diesen Ablauf zählen mehrere Dinge: Erkennt das Modell die Anliegen korrekt? Gibt es nachvollziehbare Belege aus der Wissensquelle an? Liefert es die benötigten Felder in einem verarbeitbaren Format? Und kann es bei Unsicherheit deutlich machen, dass eine Prüfung nötig ist? Ein Modell, das bei einer einzelnen Teilaufgabe gut wirkt, muss deshalb nicht automatisch für den vollständigen Ablauf geeignet sein.
So gehen Sie vor
-
Aufgabe und Grenzen beschreiben. Halten Sie fest, welche Eingaben der Agent erhält, was er ausgeben soll und welche Entscheidungen außerhalb seiner Zuständigkeit bleiben. Beschreiben Sie auch typische Sonderfälle. So vergleichen Sie Modelle anhand desselben Arbeitsauftrags.
-
Daten und Werkzeuge festlegen. Prüfen Sie, welche Quellen der Agent nutzen darf und welche Schnittstellen er benötigt. Geben Sie ihm nur die Rechte, die für die Aufgabe erforderlich sind. Schreibende oder auslösende Aktionen sollten gesondert betrachtet werden, weil sie Folgen im laufenden Betrieb haben können.
-
Einen Testkatalog zusammenstellen. Nutzen Sie repräsentative Beispiele aus dem vorgesehenen Ablauf: klare Fälle, unvollständige Angaben, mehrdeutige Eingaben und Fälle, in denen eine Antwort nicht aus den verfügbaren Informationen hervorgeht. Entfernen oder verändern Sie sensible Inhalte, soweit das für den Test erforderlich ist. Legen Sie fest, woran Sie eine akzeptable Antwort erkennen.
-
Kandidaten unter gleichen Bedingungen vergleichen. Verwenden Sie denselben Testkatalog, dieselben Anweisungen und möglichst dieselben Datenquellen. Prüfen Sie nicht nur, ob die Antwort plausibel klingt. Bewerten Sie auch, ob sie belegt ist, das verlangte Format einhält und Werkzeuge korrekt aufruft.
-
Ergebnisse gewichten. Erstellen Sie eine Bewertung aus Qualität, Kosten, Latenz und Wechselaufwand. Die Gewichtung richtet sich nach dem Einsatz: Bei einem internen Entwurf können andere Kriterien zählen als bei einem Agenten, der einen Ablauf anstößt. Berücksichtigen Sie Kosten pro erfolgreich erledigter Aufgabe statt nur Kosten pro einzelner Anfrage.
-
Im begrenzten Ablauf erproben. Testen Sie den ausgewählten Kandidaten zunächst in einem klar abgegrenzten Einsatz. Lassen Sie kritische Ausgaben von Menschen freigeben und erfassen Sie Fehler, Nacharbeit und nicht bearbeitbare Fälle. Erst diese Erprobung zeigt, ob die Integration im tatsächlichen Ablauf funktioniert.
-
Version und Änderungen dokumentieren. Halten Sie Modellversion, Anweisungen, Schnittstellen und Prüfergebnisse fest. Wenn Sie das Modell oder seine Version wechseln, wiederholen Sie die relevanten Tests. Übernehmen Sie Änderungen nicht ungeprüft in den produktiven Ablauf.
Entscheidungskriterien und typische Fehler
Qualität bedeutet mehr als eine flüssige Formulierung. Prüfen Sie fachliche Richtigkeit, Umgang mit fehlenden Informationen, Beleglage und die Fähigkeit, vorgegebene Grenzen einzuhalten. Bei strukturierten Antworten zählt auch, ob nachgelagerte Systeme das Format verarbeiten können.
Laufzeit und Kosten sollten im Zusammenhang mit dem Prozess betrachtet werden. Eine längere Antwort kann mehr Prüfung erfordern; eine günstige Einzelanfrage ist nicht automatisch günstig, wenn der Agent häufig scheitert oder Menschen viel nacharbeiten müssen. Halten Sie deshalb auch fest, wie oft ein Test als erfolgreich gilt und welche Korrekturen nötig sind.
Integration und Schutzbedarf betreffen verfügbare Schnittstellen, Datenflüsse, Zugriffsrechte und betriebliche Vorgaben. Prüfen Sie, wo Eingaben verarbeitet werden, welche Protokolle entstehen und wer darauf zugreifen kann. Anforderungen an Datenschutz und KI-Recht sind abhängig vom konkreten Einsatz und sollten im Einzelfall geprüft werden.
Ein häufiger Fehler ist, Kandidaten mit unterschiedlichen Aufgaben oder wechselnden Testbedingungen zu vergleichen. Ebenso wenig aussagekräftig ist ein Test, der nur einfache Standardfälle enthält. Dokumentieren Sie daher Bewertungskriterien vor dem Vergleich und beziehen Sie typische Fehlerfälle ein. Eine gewichtete Bewertung hilft, Zielkonflikte sichtbar zu machen; sie ersetzt nicht die fachliche Beurteilung.
Grenzen und Risiken
Auch ein gut getestetes Modell kann bei neuen Eingaben unerwartet reagieren. Ergebnisse hängen unter anderem von Anweisungen, Daten, Schnittstellen und der konkreten Modellversion ab. Ein Wechsel kann Antwortstil, Format oder Werkzeugaufrufe verändern und dadurch nachgelagerte Schritte beeinflussen.
Geben Sie dem Agenten nur notwendige Zugriffe. Für Aktionen mit spürbaren Folgen sollte eine passende menschliche Freigabe vorgesehen sein. Legen Sie außerdem fest, wie der Agent mit Unsicherheit umgeht: etwa durch Rückfrage, Kennzeichnung zur Prüfung oder Abbruch des betreffenden Schritts. Eine technische Auswahl ersetzt weder Prozessverantwortung noch die Prüfung rechtlicher und organisatorischer Anforderungen.
Woran Sie den Nutzen erkennen
Messen Sie nicht nur, ob der Agent eine Antwort erzeugt. Beobachten Sie, wie oft Aufgaben ohne Korrektur weitergegeben werden können, wie häufig Belege stimmen, ob das Ausgabeformat verarbeitet wird und wie viel Prüf- oder Nacharbeitsaufwand entsteht. Erfassen Sie auch Fälle, in denen der Agent korrekt an einen Menschen übergibt.
Vergleichen Sie diese Beobachtungen mit dem vorher festgelegten Ausgangszustand. So lässt sich erkennen, ob das Modell im konkreten Ablauf hilft und wo Anpassungen nötig sind. Die Bewertung sollte Qualität, Kosten, Latenz und Wechselaufwand gemeinsam berücksichtigen.
Häufige Fragen
Reicht ein Vergleich anhand öffentlicher Modellranglisten?
Ranglisten können eine erste Orientierung geben. Sie bilden aber Ihre Fachbegriffe, Daten, Schnittstellen und Fehlerfolgen nicht vollständig ab. Für die Auswahl brauchen Sie Tests mit Aufgaben aus Ihrem eigenen Ablauf.
Muss ein Agent immer das stärkste verfügbare Modell nutzen?
Nicht zwingend. Entscheidend ist, ob ein Kandidat die definierte Aufgabe mit ausreichender Qualität und passendem Aufwand erfüllt. Vergleichen Sie deshalb die Ergebnisse im vorgesehenen Prozess, statt eine allgemeine Rangfolge als Entscheidung zu übernehmen.
Wie oft sollte ich die Tests wiederholen?
Wiederholen Sie relevante Tests, wenn sich Modellversion, Anweisungen, Datenquellen oder Schnittstellen ändern. Auch bei Veränderungen im Ablauf kann eine erneute Prüfung sinnvoll sein. Legen Sie fest, wer Änderungen dokumentiert und freigibt.
Wann sollte ein Mensch die Entscheidung übernehmen?
Das hängt von möglichen Folgen und der Zuverlässigkeit des Ablaufs ab. Planen Sie eine Freigabe oder Übergabe ein, wenn Informationen fehlen, Belege nicht ausreichen oder ein Schritt wichtige Auswirkungen hat. Die Kriterien dafür sollten vor dem Einsatz festgelegt werden.