KI-Agent: Halluzinationen vermeiden und erkennen

Das Wichtigste in Kürze

• Ein KI-Agent kann falsche Aussagen erzeugen, obwohl die Antwort plausibel klingt.
• Fehler entstehen nicht nur beim Formulieren: Auch veraltete Dokumente, ungeeignete Suchtreffer oder missverstandene Inhalte können die Ursache sein.
• Eine Quellenanzeige hilft bei der Kontrolle, ersetzt aber weder eine gute Suche noch die Prüfung der Quelle.
• Legen Sie fest, welche Quellen und Daten der Agent verwenden darf und wann er keine Antwort geben soll.
• Messen Sie Fehler nach Ursache und möglichen Folgen, statt nur eine Gesamtquote zu betrachten.

Worum es geht

Von einer Halluzination spricht man, wenn ein KI-Agent etwas als Tatsache darstellt, das sich aus den verfügbaren Informationen nicht zuverlässig ableiten lässt. Die Aussage kann dabei sprachlich überzeugend wirken. Das macht eine Prüfung besonders wichtig.

Nicht jeder Fehler entsteht im selben Schritt. Der Agent kann eine veraltete Arbeitsanweisung finden, bei der Suche ein ähnliches, aber unpassendes Dokument auswählen oder eine korrekte Passage falsch zusammenfassen. Auch strukturierte Angaben wie Termine, Mengen oder Statuswerte können bei der Übertragung fehlerhaft sein.

Darum reicht es nicht, Antworten mit Quellenangaben zu versehen. Die angezeigte Quelle muss zur Frage passen, aktuell sein und die Aussage tatsächlich stützen. Sicherheit und Verantwortung beginnen bereits bei der Auswahl der Aufgabe und der Daten, nicht erst bei der Kontrolle des fertigen Textes.

Typische Ausgangslage

Stellen Sie sich ein Unternehmen vor, das einen KI-Agenten für interne Fragen zu Abläufen einsetzt. Eine beschäftigte Person fragt nach dem aktuell gültigen Vorgehen bei einer bestimmten Anfrage. Der Agent findet eine ältere Arbeitsanweisung und eine neuere Notiz, die nur einen Sonderfall beschreibt.

Eine Antwort mit Verweis auf die ältere Anweisung wäre nicht automatisch verlässlich, nur weil eine Quelle angezeigt wird. Der Agent könnte außerdem beide Texte vermischen und daraus eine Regel formulieren, die in keinem Dokument steht. Für die nutzende Person ist dann schwer zu erkennen, ob die Antwort belastbar ist.

So gehen Sie vor

1. Aufgabe und Folgen eines Fehlers festlegen. Beschreiben Sie, welche Frage der Agent beantworten soll und welche Handlungen er ausführen darf. Eine interne Orientierungshilfe braucht andere Kontrollen als eine Antwort, die einen verbindlichen Prozess auslöst.

2. Quellenbestand begrenzen und verantworten. Bestimmen Sie, welche Dokumente als Grundlage zugelassen sind. Legen Sie fest, wer Inhalte aktualisiert, veraltete Fassungen entfernt und bei widersprüchlichen Vorgaben entscheidet. Ein größerer Datenbestand ist nicht automatisch hilfreicher.

3. Suche und Quellenbezug prüfen. Der Agent sollte relevante Textstellen heranziehen und seine Antwort daran binden. Testen Sie, ob er auch dann die passende Quelle findet, wenn ähnlich benannte Dokumente, Ausnahmen oder ältere Fassungen vorhanden sind. Eine Quellenanzeige ist dabei ein Prüfhinweis, kein Gütesiegel.

4. Enthaltung und Rückfrage definieren. Regeln Sie, wann der Agent antworten darf und wann er Unsicherheit kenntlich machen, nachfragen oder an eine zuständige Person übergeben soll. Fehlende Informationen sollten nicht durch Vermutungen ergänzt werden.

5. Strukturierte Werte technisch kontrollieren. Wenn der Agent Felder wie Datum, Status oder Kennung ausgibt, prüfen Sie diese Werte mit passenden Regeln oder gegen die maßgebliche Datenquelle. Eine sprachlich passende Antwort kann trotzdem einen falschen Einzelwert enthalten.

6. Mit realistischen Fragen testen und Ergebnisse dokumentieren. Verwenden Sie auch mehrdeutige Fragen, veraltete Dokumente, fehlende Informationen und widersprüchliche Quellen. Halten Sie fest, welche Fehler auftreten, wie sie erkannt wurden und welche Änderungen daraus folgen.

7. Menschliche Freigabe passend zum Risiko einsetzen. Bei folgenreichen Entscheidungen oder externen Mitteilungen kann eine Prüfung vor der Ausführung sinnvoll sein. Legen Sie fest, wer freigibt und welche Informationen diese Person zur Kontrolle benötigt.

Entscheidungskriterien und typische Fehler

Vor dem Einsatz sollten Sie klären, ob die Aufgabe überhaupt mit vorhandenen, verlässlichen Informationen lösbar ist. Wichtig sind außerdem die Aktualität der Quellen, die Eindeutigkeit der Anfrage und die Folgen einer falschen Antwort. Je schwerer ein Fehler zu korrigieren wäre, desto enger sollten Aufgabe und Handlungsspielraum des Agenten gefasst sein.

Typische Fehler sind:

• alle verfügbaren Dokumente freizugeben, ohne Gültigkeit und Zuständigkeit zu klären;
• anzunehmen, ein Quellenverweis belege automatisch die gesamte Antwort;
• unklare Anfragen mit einer plausiblen Vermutung statt mit einer Rückfrage zu beantworten;
• generierte Zahlen oder Statuswerte ungeprüft in weitere Prozesse zu übernehmen;
• Tests nur mit eindeutigen Standardfragen durchzuführen;
• Fehler zu zählen, ohne ihre Ursache und mögliche Folgen zu unterscheiden.

Grenzen und Risiken

Auch mit guten Regeln bleibt ein Restrisiko. Inhalte können unvollständig, widersprüchlich oder veraltet sein. Eine Suche kann relevante Passagen übersehen. Und eine Zusammenfassung kann die Bedeutung einer korrekt gefundenen Stelle verändern.

Ein KI-Agent sollte deshalb nicht als alleinige Entscheidungsinstanz für Aufgaben eingesetzt werden, bei denen eine falsche Aussage erhebliche Folgen haben kann. Welche Prüfung erforderlich ist, hängt vom konkreten Einsatz, den Daten und den möglichen Auswirkungen ab. Datenschutz- und KI-rechtliche Anforderungen sind im Einzelfall zu prüfen; dieser Beitrag ersetzt keine Rechtsberatung.

Woran Sie den Nutzen erkennen

Betrachten Sie Fehler getrennt nach Ursache: Quelle, Suche, Interpretation beziehungsweise Generierung und technische Übertragung. Ergänzen Sie die Bewertung um die möglichen Folgen. So sehen Sie, ob etwa veraltete Dokumente das Problem sind oder ob der Agent trotz passender Belege zu weitreichende Schlüsse zieht.

Prüfen Sie außerdem, wie oft der Agent bei fehlender Evidenz korrekt innehält, nachfragt oder übergibt. Dokumentieren Sie Prüfaufwand, Korrekturen und wiederkehrende Fehlermuster. Eine einzelne Gesamtquote kann Unterschiede verdecken und sagt wenig darüber aus, ob ein seltener Fehler besonders schwer wiegt.

Häufige Fragen

Kann ich Halluzinationen bei einem KI-Agenten vollständig verhindern?

Nein. Sie können Fehlerquellen begrenzen und Kontrollen einrichten, aber keine Fehlerfreiheit versprechen. Entscheidend ist, dass der Agent Unsicherheit nicht als gesicherte Tatsache ausgibt und kritische Fälle erkennbar bleiben.

Reichen Quellenangaben in der Antwort aus?

Nein. Prüfen Sie, ob die Quelle aktuell und für die konkrete Frage geeignet ist und ob sie die jeweilige Aussage tatsächlich stützt. Zusätzlich sollten Suchverhalten und Antwortinhalt getestet werden.

Wann sollte der Agent keine Antwort geben?

Wenn eine wichtige Information fehlt, Quellen einander widersprechen oder die Frage außerhalb des freigegebenen Aufgabenbereichs liegt. Je nach Situation ist eine Rückfrage oder Übergabe an eine zuständige Person angemessener als eine Vermutung.

Wie sollte ein Unternehmen mit gefundenen Fehlern umgehen?

Ordnen Sie den Fehler seiner Ursache und möglichen Folge zu. Prüfen Sie dann, ob die Quelle, die Suche, die Antwortregeln, eine technische Validierung oder die menschliche Freigabe angepasst werden muss. Halten Sie Änderungen und erneute Tests nachvollziehbar fest.