KI-Agent Quellenangaben: Antworten nachvollziehbar machen

Das Wichtigste in Kürze

• Eine Quellenangabe sollte zur konkreten Aussage passen und eine Prüfung im Original ermöglichen.
• Dokumenttitel, Version und genaue Fundstelle sind hilfreicher als ein Link auf ein umfangreiches Dokument.
• Trennen Sie im Antwortformat zwischen belegter Information und Schlussfolgerung des Agenten.
• Bei veralteten, widersprüchlichen oder nicht auffindbaren Belegen sollte der Agent Unsicherheit anzeigen und an eine zuständige Person übergeben.
• Prüfen Sie Quellenpassung, Aktualität und unbelegte Aussagen regelmäßig anhand geeigneter Stichproben.

Worum es geht

Ein KI-Agent kann interne Dokumente durchsuchen und daraus eine Antwort formulieren. Bei Wissen & RAG – also der Verbindung von Sprachmodell und abrufbarem Wissensbestand – liefert die Suche dem Modell Textstellen, die als Grundlage für die Antwort dienen sollen. Eine Quellenangabe macht sichtbar, worauf sich die Antwort stützt.

Das ist wichtig, weil eine passende Fundstelle die Prüfung erleichtert, aber keine automatische Qualitätskontrolle ersetzt. Der Agent kann ein richtiges Dokument finden und eine Einschränkung übersehen, zwei Aussagen miteinander vermischen oder aus einer allgemeinen Beschreibung eine konkrete Zusage ableiten. Deshalb müssen Beleg und Schlussfolgerung auseinandergehalten werden.

Eine brauchbare Quellenangabe führt möglichst direkt zur relevanten Stelle. Je nach Dokument und technischer Umsetzung kann sie etwa Titel, Stand oder Version, Abschnitt und Seitenangabe enthalten. Bei veränderlichen Inhalten sollte auch erkennbar sein, auf welchen Stand sich die Antwort bezieht. Ob sich eine genaue Fundstelle technisch zuverlässig ausgeben lässt, hängt unter anderem davon ab, wie die Dokumente erschlossen und bereitgestellt werden.

Typische Ausgangslage

Stellen Sie sich ein Unternehmen vor, dessen Mitarbeitende einen KI-Agenten zu internen Arbeitsanweisungen befragen. Der Agent nennt eine Regel und verweist auf ein Handbuch. Die Nutzerin öffnet das Dokument, findet die passende Passage aber nicht sofort. Oder sie entdeckt, dass die zitierte Stelle eine Ausnahme enthält, die in der Antwort fehlt.

In diesem Fall liegt das Problem nicht zwingend darin, dass der Agent gar keine Quelle gefunden hat. Entscheidend ist, ob die angegebene Stelle die konkrete Aussage tatsächlich trägt, ob sie noch gültig ist und ob die Antwort wichtige Bedingungen ausgelassen hat. Ein Verweis auf ein Dokument ist daher nicht dasselbe wie ein belastbarer Beleg.

So gehen Sie vor

1. Legen Sie fest, was als Beleg zählt. Bestimmen Sie, welche internen Quellen der Agent nutzen darf und welche davon verbindlich sind. Wenn mehrere Fassungen im Umlauf sind, braucht es eine Regel, welche Version Vorrang hat.

2. Definieren Sie die erwartete Fundstelle. Entscheiden Sie, welche Angaben Mitarbeitende zur Prüfung benötigen. Ein Dokumenttitel kann bei kurzen, klar gegliederten Texten genügen. Bei langen Handbüchern sind Abschnitt oder Seitenangabe oft hilfreicher. Die Angabe muss zum Format der Quelle passen.

3. Trennen Sie Beleg und Schlussfolgerung. Lassen Sie den Agenten kenntlich machen, welche Aussage direkt aus einer Quelle stammt und welche er daraus ableitet. Wenn eine Antwort mehrere Aussagen enthält, sollten die Belege den einzelnen Aussagen zugeordnet werden können – nicht nur dem Text insgesamt.

4. Prüfen Sie die Aussage an der Originalstelle. Kontrollieren Sie, ob die zitierte Passage die Antwort wirklich stützt. Achten Sie dabei auch auf Bedingungen, Ausnahmen und den Zusammenhang mit benachbarten Abschnitten. Eine passende Textstelle kann falsch ausgelegt oder zu weit verallgemeinert werden.

5. Regeln Sie Umgang mit Unsicherheit. Wenn keine passende Fundstelle vorhanden ist, Quellen einander widersprechen oder ihr Stand unklar ist, sollte der Agent nicht so tun, als sei die Antwort gesichert. Legen Sie fest, wann er nachfragt, eine Einschränkung ausgibt oder die Frage an eine zuständige Person übergibt.

6. Testen Sie mit realistischen Fragen. Verwenden Sie Fragen, bei denen die Antwort in mehreren Dokumenten verteilt ist, eine Ausnahme enthält oder wegen veralteter Inhalte nicht eindeutig sein kann. Prüfen Sie nicht nur, ob eine Quelle angezeigt wird, sondern auch, ob sie die jeweilige Aussage stützt.

Entscheidungskriterien und typische Fehler

Klären Sie zuerst, welche Folgen eine falsche Antwort hätte. Bei unverbindlichen Orientierungsfragen kann ein Hinweis auf die Fundstelle zur Prüfung ausreichen. Wenn Mitarbeitende aus einer Antwort verbindliche Entscheidungen ableiten könnten, braucht es klarere Grenzen, eine passende Freigabe und einen verlässlichen Eskalationsweg.

Häufige Fehler sind:

• Ein Dokumentverweis gilt als Beweis. Ein Link kann zum richtigen Dokument führen, obwohl die konkrete Aussage dort nicht steht.
• Die gesamte Antwort erhält eine einzige Quellenangabe. Dadurch bleibt unklar, welche Stelle welche Aussage stützt.
• Versionsstände fehlen. Der Agent greift womöglich auf eine ältere Fassung zurück, während Nutzende eine aktuelle Regel erwarten.
• Widersprüche werden stillschweigend aufgelöst. Ohne festgelegte Priorität sollte der Agent unterschiedliche Aussagen sichtbar machen, statt selbst eine davon als gültig darzustellen.
• Zugriff wird nicht mitgedacht. Eine Fundstelle hilft nicht, wenn die fragende Person das Original nicht öffnen darf. Zugriffsrechte der Nutzerinnen und Nutzer müssen auch bei der Ausgabe von Quellen berücksichtigt werden.

Grenzen und Risiken

Quellenangaben können unvollständig oder ungenau sein. Bei schlecht strukturierten Dokumenten, Scans oder uneinheitlichen Ablagen kann die technische Zuordnung zu einer genauen Passage schwieriger sein. Auch ein präziser Verweis schützt nicht davor, dass der Agent die Passage missversteht oder relevante Informationen an anderer Stelle übersieht.

Der Agent sollte nur auf Daten zugreifen, die für seine Aufgabe vorgesehen sind. Prüfen Sie, wie Berechtigungen aus den Ursprungssystemen berücksichtigt werden und ob die Quellenangabe selbst vertrauliche Inhalte sichtbar machen könnte. Datenschutz und rechtliche Anforderungen sind im jeweiligen Einsatzfall zu prüfen; dieser Beitrag ersetzt keine Rechtsberatung.

Menschliche Freigabe ist besonders wichtig, wenn eine Antwort verbindliche Folgen haben kann, Belege einander widersprechen oder die Quelle nicht eindeutig ist. Legen Sie fest, wer solche Fälle prüft und wie die Entscheidung dokumentiert wird. Die passende Kontrolle hängt von Aufgabe, Daten und möglichen Folgen eines Fehlers ab.

Woran Sie den Nutzen erkennen

Messen Sie nicht nur, wie oft der Agent eine Quelle anzeigt. Prüfen Sie, ob sie zur konkreten Aussage passt, ob sie aktuell ist und ob wichtige Aussagen unbelegt bleiben. Legen Sie dafür vor dem Einsatz fest, wie Sie Stichproben auswählen und wer die Antworten bewertet.

Ergänzend können Sie beobachten, ob Nutzende die Originalstelle ohne unnötige Suche finden, wie oft der Agent Unsicherheit kenntlich macht und ob Fälle korrekt eskaliert werden. Diese Beobachtungen zeigen, wo Dokumente, Suchlogik, Antwortformat oder Berechtigungen nachgebessert werden müssen. Bewertet werden sollte sowohl die Antwort als auch der Weg, auf dem sie zustande kam.

Häufige Fragen

Reicht ein Link zum Dokument als Quellenangabe?

Nicht immer. Bei einem umfangreichen Dokument kann der Link zwar zum richtigen Original führen, aber die Prüfung bleibt aufwendig. Hilfreich ist eine Fundstelle, die möglichst genau auf den relevanten Abschnitt verweist und den Dokumentstand erkennen lässt.

Kann ein Agent garantieren, dass eine zitierte Antwort stimmt?

Nein. Die Quellenangabe unterstützt die Prüfung, sie bestätigt nicht automatisch die Auslegung. Prüfen Sie, ob die Passage die Aussage trägt und ob Einschränkungen oder weitere relevante Stellen berücksichtigt wurden.

Was sollte der Agent bei widersprüchlichen Dokumenten tun?

Er sollte den Widerspruch sichtbar machen und nicht eigenständig eine verbindliche Regel auswählen, wenn keine Priorität festgelegt ist. Je nach Bedeutung der Frage kann eine Rückfrage oder die Übergabe an eine zuständige Person nötig sein.

Wie lässt sich die Qualität von Quellenangaben prüfen?

Bewerten Sie anhand von Stichproben, ob die Fundstelle zur Aussage passt, aktuell und für die fragende Person zugänglich ist. Erfassen Sie außerdem, wie häufig wichtige Aussagen ohne ausreichenden Beleg ausgegeben werden.