Datenqualität für KI-Agenten im Unternehmen

Das Wichtigste in Kürze

• Die Qualität eines KI-Agenten hängt auch davon ab, welche Dokumente und Daten er verwenden darf.
• Prüfen Sie Quellen auf Aktualität, Zuständigkeit, Versionen, Zugriffsrechte und mögliche Überschneidungen.
• Bei widersprüchlichen Informationen sollte der Agent den Konflikt kenntlich machen oder eine zuständige Person einbeziehen.
• Beobachten Sie veraltete Treffer, Quellen ohne verantwortliche Person und Fragen, für die keine belastbare Antwort vorliegt.

Worum es geht

Bei Wissen und RAG erhält ein KI-Agent für eine konkrete Frage passende Inhalte aus bereitgestellten Quellen. RAG steht für Retrieval-Augmented Generation: Der Agent sucht relevante Informationen ab und nutzt sie als Grundlage für seine Antwort. Das kann helfen, internes Wissen nutzbar zu machen. Es macht die verwendeten Dokumente aber nicht automatisch richtig oder aktuell.

Datenqualität bedeutet hier mehr als fehlerfreie Texte. Wichtig ist auch, ob ein Inhalt gültig ist, für wen er gilt und ob der Agent ihn überhaupt verwenden darf. Eine klar benannte Richtlinie hilft wenig, wenn daneben eine ältere Fassung mit ähnlichem Titel liegt und beide für den Agenten erreichbar sind.

Typische Ausgangslage

Stellen Sie sich ein Unternehmen vor, in dem Arbeitsanweisungen in einem gemeinsamen Laufwerk liegen. Einige Dokumente sind freigegeben, andere sind Entwürfe. Eine überarbeitete Regel wurde zusätzlich per E-Mail verteilt, aber die frühere Datei nicht aus dem Suchbereich entfernt. Mitarbeitende wissen möglicherweise, welche Fassung gilt; der Agent sieht zunächst mehrere ähnlich passende Inhalte.

Die Folge muss nicht immer eine offensichtlich falsche Antwort sein. Der Agent kann auch einzelne Aussagen aus verschiedenen Fassungen kombinieren oder eine Einschränkung übersehen. Darum sollte die Prüfung vor dem Pilotprojekt klären, welches Wissen der Agent für welche Aufgabe verwenden soll.

So gehen Sie vor

1. Aufgabe und Antwortgrenzen festlegen. Beschreiben Sie, welche Fragen der Agent beantworten soll und welche nicht. Ein Agent für interne Prozessfragen benötigt andere Quellen als ein Werkzeug, das Beschäftigte bei der Suche nach Dokumenten unterstützt. Legen Sie auch fest, wann er auf eine zuständige Person verweisen soll.

2. Wichtige Quellen inventarisieren. Sammeln Sie die Dokumente und Ablagen, die für diese Aufgabe relevant sind. Notieren Sie je Quelle Zweck, Inhaltstyp und Status. Beginnen Sie mit den Informationen, die für den Pilot erforderlich sind, statt vorsorglich alle verfügbaren Dateien einzubeziehen.

3. Verantwortliche zuordnen. Jede wichtige Quelle braucht eine Person oder Rolle, die Inhalt und Gültigkeit prüfen kann. Klären Sie, wer Änderungen freigibt und wie neue Fassungen bekannt gemacht werden. Fehlt eine zuständige Stelle, sollte die Quelle nicht ungeprüft als verbindliche Grundlage gelten.

4. Regeln für Versionen und Konflikte vereinbaren. Bestimmen Sie, woran der Agent die gültige Fassung erkennen soll. Das kann eine gepflegte Ablage oder ein klarer Freigabestatus sein. Legen Sie außerdem fest, was bei widersprüchlichen Aussagen passiert: etwa den Konflikt offenzulegen, nicht eindeutig zu antworten oder eine menschliche Prüfung anzufordern.

5. Zugriff nach Aufgabe begrenzen. Prüfen Sie, welche Inhalte der Agent sehen darf und welche Personen seine Antworten nutzen dürfen. Vergeben Sie nicht pauschal Zugriff auf ganze Ablagen, wenn nur ein abgegrenzter Teil für die Aufgabe nötig ist. Datenschutz und rechtliche Anforderungen sind im konkreten Einsatz gesondert zu prüfen; dieser Beitrag ersetzt keine Rechtsberatung.

6. Mit realistischen Fragen testen. Nutzen Sie Fragen, die im Arbeitsalltag tatsächlich vorkommen. Prüfen Sie nicht nur, ob eine Antwort plausibel klingt, sondern auch, ob die angeführte Quelle passt, aktuell ist und die Aussage trägt. Testen Sie gezielt mehrdeutige Fragen und bekannte Konflikte.

7. Pflege und Kontrolle fest einplanen. Legen Sie fest, wie Änderungen an Quellen erfasst werden und wer Fehlerhinweise prüft. Halten Sie fest, welche Inhalte in den Agenten eingeflossen sind und wie sie bei Bedarf aktualisiert oder entfernt werden. Prüfen Sie nach Änderungen erneut, ob die erwarteten Antworten entstehen.

Entscheidungskriterien und typische Fehler

Eine Quelle eignet sich eher für den Agenten, wenn ihre Gültigkeit erkennbar ist, eine verantwortliche Stelle benannt wurde und der Inhalt zur vorgesehenen Aufgabe passt. Unklare Ablagen, persönliche Notizen und Entwürfe können trotzdem nützlich sein, sollten aber nicht automatisch denselben Status wie freigegebene Vorgaben erhalten.

Typische Fehler sind, alle verfügbaren Dokumente auf einmal einzubinden, Dateinamen als ausreichende Versionskontrolle zu behandeln oder die Pflege nach dem Start niemandem zuzuweisen. Auch eine gut formulierte Antwort ist kein Nachweis dafür, dass die zugrunde liegende Quelle stimmt. Entscheidend ist, ob sich die Aussage auf eine passende und gültige Information zurückführen lässt.

Grenzen und Risiken

Ein Agent kann helfen, Wissen schneller auffindbar zu machen. Er kann aber nicht eigenständig entscheiden, welche widersprüchliche interne Regel verbindlich ist, wenn diese Entscheidung in den Quellen und Arbeitsabläufen nicht festgelegt wurde. In solchen Fällen sollte er den Konflikt sichtbar machen, statt zufällig eine Aussage auszuwählen.

Auch die Bereinigung von Quellen hat Grenzen: Manche Inhalte sind nur in bestimmten Situationen gültig oder setzen fachliches Kontextwissen voraus. Entfernen Sie solche Informationen nicht vorschnell, sondern kennzeichnen Sie ihren Geltungsbereich. Wo falsche Antworten erhebliche Folgen haben können, sollte eine menschliche Freigabe vorgesehen sein. Wer freigibt und welche Punkte zu prüfen sind, gehört in die Prozessbeschreibung.

Woran Sie den Nutzen erkennen

Beobachten Sie, wie häufig veraltete oder unpassende Quellen in Antworten auftauchen und wie viele relevante Quellen noch keine verantwortliche Person haben. Erfassen Sie außerdem Fragen ohne belastbare Antwort und prüfen Sie, ob die Ursache eine fehlende Quelle, eine unklare Regel oder eine ungeeignete Frage ist.

Diese Beobachtungen helfen bei der Entscheidung, ob Sie Quellen nachpflegen, den Zugriff einschränken oder die Aufgabe des Agenten enger fassen sollten. Legen Sie vor dem Pilot fest, welche Veränderungen Sie erwarten. So bewerten Sie nicht nur, ob der Agent Antworten produziert, sondern ob diese im vorgesehenen Ablauf verlässlich weiterhelfen.

Häufige Fragen

Muss vor dem Pilot jede Quelle bereinigt sein?

Nicht zwingend. Grenzen Sie den Pilot auf einen überschaubaren Bestand ein und prüfen Sie die Quellen, die für die vereinbarte Aufgabe wichtig sind. Ungeprüfte Inhalte sollten nicht stillschweigend als verbindlich gelten.

Was passiert, wenn zwei Richtlinien einander widersprechen?

Der Konflikt sollte nach einer vorher festgelegten Regel behandelt werden. Wenn keine gültige Fassung erkennbar ist, sollte der Agent darauf hinweisen oder eine zuständige Person einbeziehen.

Wie oft müssen Quellen aktualisiert werden?

Das hängt davon ab, wie häufig sich Inhalte ändern und welche Folgen veraltete Informationen hätten. Legen Sie für jede relevante Quelle eine zuständige Stelle und einen passenden Prüf- oder Änderungsprozess fest.

Kann der Agent selbst erkennen, ob ein Dokument veraltet ist?

Er kann Hinweise aus bereitgestellten Informationen nutzen, etwa einen Status oder ein Änderungsdatum. Ob ein Inhalt fachlich noch gilt, muss jedoch durch eine zuständige Person oder einen klar definierten Prozess abgesichert werden.