Vom Dokument zur belegten Antwort
Ein RAG-System besteht aus mehr als einem Chatfenster und einer Vektordatenbank. Es braucht eine verlässliche Strecke vom Originaldokument bis zur Antwort – und einen Rückweg, wenn kein passender Beleg gefunden wird.
- 01
Quellen auswählen
Zum Beispiel freigegebene Handbücher, Richtlinien oder interne Anleitungen. Klären Sie Eigentümer, Gültigkeit und erlaubte Nutzergruppen.
- 02
Inhalte aufbereiten
Dateien werden gelesen und in kleinere Abschnitte zerlegt. Überschriften und Metadaten wie Dokumenttyp, Version oder Gültigkeitsdatum helfen, Textstellen später passend zuzuordnen.
- 03
Zur Frage suchen
Die Anfrage findet relevante Abschnitte, oft über eine Kombination aus Bedeutungs- und Stichwortsuche. Metadaten können die Suche etwa auf ein Produkt, einen Standort oder eine freigegebene Dokumentklasse begrenzen.
- 04
Antwort mit Belegen bilden
Das Modell erhält Frage und Fundstellen. Eine gute Oberfläche zeigt, aus welchem Dokument die Aussage stammt, und macht den Sprung zur Originalstelle möglich.
- 05
Nichtwissen behandeln
Fehlen passende oder eindeutige Belege, sollte das System das sagen oder an eine zuständige Person übergeben – statt eine Lücke plausibel zu füllen.
Eine Frage zum richtigen Anlagenmodell
„Welcher Prüfschritt gilt für Anlage Modell B nach dem Wartungseinsatz?“
Nur freigegebene Wartungsunterlagen für Modell B berücksichtigen, die gültige Version bevorzugen und die Fundstelle samt Abschnitt bereitstellen.
Den Prüfschritt knapp zusammenfassen, die Quelle verlinken und bei widersprüchlichen Versionen oder fehlendem Beleg keine eindeutige Anweisung geben.
Das Beispiel zeigt die nötigen Prüfungen, keinen garantierten Projekterfolg: Eine gute Formulierung kann eine falsche oder veraltete Fundstelle nicht reparieren.
Wann RAG sinnvoll ist – und wann ein direkter Datenzugriff besser passt
RAG ist einen Pilot wert, wenn …
- häufig Fragen zu einem überschaubaren Bestand an Dokumenten kommen;
- Antworten die passende Textstelle oder Quelle nennen sollen;
- Inhalte aktualisiert werden müssen, ohne das Sprachmodell neu zu trainieren;
- Dokumente für die jeweilige Nutzergruppe freigegeben und gepflegt werden können.
Prüfen Sie Alternativen, wenn …
- eine exakte Transaktion oder ein Live-Status aus ERP oder CRM gebraucht wird;
- eine feste Regel, Berechnung oder Abfrage zuverlässiger und einfacher wäre;
- die Quelle unvollständig, widersprüchlich oder keiner Stelle zur Pflege zugeordnet ist;
- eine falsche Antwort ohne menschliche Kontrolle hohe Folgen hätte.
Für Statuswerte und strukturierte Datensätze ist oft eine geprüfte API-Abfrage passender als eine Dokumentensuche. RAG kann damit kombiniert werden: Dokumente erklären Regeln, ein kontrollierter Systemaufruf liefert den aktuellen Einzelfall.
Suche und Antwort getrennt testen
Wenn eine Antwort falsch ist, muss klar werden, welcher Teil versagt hat. Wurde der richtige Abschnitt nicht gefunden? War der Beleg veraltet? Oder hat das Modell den Beleg falsch wiedergegeben? Prüfen Sie deshalb mindestens diese vier Punkte mit echten, typischen Fragen aus dem Arbeitsalltag:
Findet die Suche die richtige Quelle und den relevanten Abschnitt weit genug oben?
Bleiben Aussagen innerhalb der bereitgestellten Fundstellen? Lassen sich Zitate und Verweise dort wiederfinden?
Enthält die Antwort alle nötigen Bedingungen und Ausnahmen – ohne wichtige Einschränkung zu verlieren?
Erkennt das System Fragen ohne ausreichenden Beleg und antwortet dann vorsichtig oder übergibt?
Erstellen Sie dafür einen kleinen Prüfsatz: Frage, erwartete Quelle, erwartete Kernaussage und Fälle ohne Antwort. Testen Sie Änderungen an Dokumentaufbereitung, Suche oder Prompt erneut mit demselben Satz. Fachleute müssen die Ergebnisse bewerten; ein einzelner guter Demo-Dialog ist kein Qualitätsnachweis.
Berechtigungen gelten auch in der Suche
Eine Wissensbasis darf die Rechte des Ursprungssystems nicht stillschweigend aushebeln. Prüfen Sie, ob der Zugriff der angemeldeten Person bis zur Suche durchgereicht und vor der Antwort gefiltert wird. Eine nachträgliche Aufforderung an das Modell, geheime Inhalte nicht zu verraten, ersetzt keine technische Zugriffskontrolle.
- Dokumente besitzen: Für jede Quelle gibt es eine fachliche Stelle, die Versionen und Gültigkeit verantwortet.
- Änderungen übernehmen: Aktualisierung und Löschung gelangen nachvollziehbar in den Suchbestand; alte Fassungen werden nicht versehentlich weiter bevorzugt.
- Zugriff begrenzen: Rollen, Mandanten und vertrauliche Bereiche werden bei der Abfrage berücksichtigt und mit Testkonten geprüft.
- Antworten nachvollziehen: Protokolle enthalten genug Kontext für Fehleranalyse, aber keine unnötigen sensiblen Inhalte.
Metadaten können die Suche und Filterung unterstützen. Sie brauchen klare Werte und einen Prozess, der sie aktuell hält. Bei personenbezogenen oder vertraulichen Daten müssen Zweck, Zugriff, Speicherung und Löschung zusätzlich passend zum konkreten Einsatz geklärt werden.
Erst eine Wissensfrage lösen. Dann den Umfang erweitern.
Wählen Sie einen häufigen, klar abgrenzbaren Fragetyp und einen kleinen Satz geprüfter Dokumente. Legen Sie vorher fest, welche Fundstelle erwartet wird, wann das System schweigen soll und wer Fehler prüft. So zeigt der Pilot, ob Datenbasis und Suche tragen – bevor weitere Quellen angeschlossen werden.
KI-Agenten mit klaren Quellen planenWas Sie zu RAG wissen sollten
Ist RAG dasselbe wie ein Modell nachtrainieren?+
Nein. In einem üblichen RAG-Aufbau wird zur Anfrage passender externer Inhalt gesucht und dem Modell als Kontext übergeben. Die Dokumente werden dadurch nicht automatisch Teil der Modellgewichte. Feinabstimmung ist ein anderer Eingriff und löst ein anderes Problem.
Verhindert RAG erfundene Antworten?+
Nein. Es kann Antworten stärker an auffindbare Quellen binden, aber eine schlechte Suche, unklare Dokumente oder eine fehlerhafte Zusammenfassung bleiben möglich. Belege, Tests, klare Enthaltung und menschliche Prüfung für kritische Fälle bleiben wichtig.
Wie schnell erscheinen neue Dokumente in Antworten?+
Erst nach Verarbeitung und Aktualisierung des Suchbestands. Wie schnell das geht, hängt von der Datenanbindung und dem Synchronisationsablauf ab. Legen Sie fest, welche Verzögerung für Ihre Information noch akzeptabel ist, und testen Sie Änderungen gezielt.