Das Wichtigste in Kürze
- Eine Knowledge Base sollte verbindliche Informationen enthalten, nicht ungeprüft alle verfügbaren Dateien.
- Metadaten wie Thema, Gültigkeit, Zielgruppe und Eigentümer helfen dabei, Inhalte einzuordnen.
- Testen Sie die Suche mit konkreten Fragen und prüfen Sie, ob die erwarteten Fundstellen erscheinen.
- Begrenzen Sie den Datenzugriff und legen Sie fest, wann ein Mensch Antworten prüfen oder freigeben muss.
- Bewerten Sie Trefferrelevanz, Quellenalter und offene Wissenslücken regelmäßig.
Worum es geht
Wenn ein KI-Agent Fragen zu internen Abläufen oder bereitgestellten Informationen beantworten soll, benötigt er eine geeignete Wissensbasis. Sie kann aus freigegebenen Dokumenten, Anleitungen oder anderen gepflegten Quellen bestehen. Der Agent sucht darin nach passenden Inhalten und nutzt diese als Grundlage für eine Antwort.
Bei einem Verfahren wie RAG – kurz für Retrieval-Augmented Generation – werden passende Textstellen aus einer Wissensquelle abgerufen und in die Antwort einbezogen. Das macht die Qualität der Quellen und der Suche besonders wichtig. Eine flüssig formulierte Antwort ist kein Beleg dafür, dass die zugrunde liegende Information aktuell oder korrekt ist.
Eine Knowledge Base KI Agent aufzubauen heißt deshalb nicht, möglichst viele Dateien hochzuladen. Zuerst muss geklärt werden, welches Wissen gebraucht wird, welche Quellen dafür verbindlich sind und wer sie pflegt.
Typische Ausgangslage
Stellen Sie sich ein Unternehmen vor, in dem Mitarbeitende wiederholt nach internen Abläufen fragen. Informationen dazu liegen verteilt in Anleitungen, Vorlagen und älteren Dokumenten. Manche Dateien sind freigegeben, andere enthalten Entwürfe oder wurden seit einer Änderung nicht aktualisiert.
Ein ungeprüftes Dateiarchiv kann diese Unklarheit in die Antworten des Agenten übertragen. Sinnvoller ist es, zunächst häufige Fragen und die verbindlichen Quellen dafür zu erfassen. So wird sichtbar, welche Informationen fehlen, doppelt vorliegen oder erst geprüft werden müssen.
So gehen Sie vor
-
Aufgabe und Nutzerkreis festlegen. Bestimmen Sie, welche Fragen der Agent beantworten soll und für wen. Ein eng umrissener Einsatz lässt sich gezielter testen als ein allgemeiner Auftrag, „alles zu wissen“.
-
Häufige Fragen sammeln. Nutzen Sie konkrete Fragen, die im Arbeitsalltag tatsächlich vorkommen. Ordnen Sie jeder Frage möglichst eine erwartete Antwort oder Fundstelle zu. So entsteht ein erster Prüfmaßstab für die spätere Suche.
-
Verbindliche Quellen auswählen. Klären Sie, welche Dokumente freigegeben und für den Zweck geeignet sind. Prüfen Sie bei jeder Quelle, ob sie aktuell ist, wer sie verantwortet und ob ihre Nutzung für den vorgesehenen Nutzerkreis zulässig ist.
-
Inhalte mit Metadaten versehen. Ergänzen Sie Angaben zu Thema, Gültigkeit, Zielgruppe und Eigentümer. Je nach Einsatz können weitere Kennzeichnungen nötig sein, etwa zur Freigabe oder zum Dokumenttyp. Metadaten helfen dabei, passende Inhalte von veralteten oder nicht relevanten Informationen zu unterscheiden.
-
Zugriffe und Rechte festlegen. Der Agent sollte nur auf Informationen zugreifen, die er für seine Aufgabe benötigt und die für die jeweilige Nutzung freigegeben sind. Prüfen Sie auch, ob verschiedene Nutzergruppen unterschiedliche Inhalte sehen dürfen.
-
Suche und Antworten testen. Stellen Sie dem Agenten konkrete Fragen und vergleichen Sie die gefundenen Quellen mit den erwarteten Fundstellen. Prüfen Sie auch Fragen, für die keine ausreichende Information vorliegt. In solchen Fällen sollte der Agent eine Wissenslücke kenntlich machen, statt eine Antwort zu erfinden.
-
Pflege und Kontrolle vereinbaren. Legen Sie fest, wer Änderungen an Quellen prüft und wie veraltete Inhalte erkannt oder entfernt werden. Bestimmen Sie außerdem, welche Antworten menschlich geprüft oder freigegeben werden müssen.
Entscheidungskriterien und typische Fehler
Fragen Sie vor dem Aufbau, ob die Informationen ausreichend gepflegt sind und ob es eine erkennbare Zuständigkeit für ihre Aktualisierung gibt. Wenn niemand weiß, welche Quelle maßgeblich ist, löst eine technische Suche das Problem nicht. Zuerst braucht es eine Entscheidung darüber, welche Inhalte gelten.
Typische Fehler sind:
- alle verfügbaren Dateien ohne Prüfung einzubeziehen;
- Entwürfe, überholte Fassungen und freigegebene Dokumente gleich zu behandeln;
- Metadaten wegzulassen und dadurch Gültigkeit oder Zielgruppe nicht erkennen zu können;
- die Suche nur mit allgemeinen Fragen zu testen;
- die Antwortqualität zu beurteilen, ohne die verwendeten Quellen zu kontrollieren.
Prüfen Sie nicht nur, ob der Agent etwas findet. Entscheidend ist, ob er die passenden Fundstellen findet und seine Antwort darauf stützt.
Grenzen und Risiken
Eine Wissensbasis macht unvollständige, widersprüchliche oder veraltete Informationen nicht automatisch richtig. Wenn Quellen unterschiedliche Aussagen enthalten, muss geklärt werden, welche davon gilt. Auch eine gut formulierte Antwort kann irreführend sein, wenn der Agent eine unpassende Textstelle verwendet oder eine Wissenslücke nicht erkennt.
Dokumente ohne klaren Stand oder geklärte Nutzungsrechte sollten nicht ungeprüft in Antworten einfließen. Regeln Sie den Datenzugriff nach Aufgabe und Nutzerkreis. Welche Anforderungen für Datenschutz und den Einsatz eines KI-Systems gelten, ist im Einzelfall zu prüfen; dieser Beitrag ersetzt keine Rechtsberatung.
Bei Antworten mit weitreichenden Folgen sollte ein Mensch eingebunden werden. Legen Sie fest, ob eine Antwort nur als Orientierung dient, vor der Weitergabe geprüft werden muss oder überhaupt nicht automatisiert erstellt werden soll. Dokumentieren Sie diese Grenzen, damit Nutzende wissen, wie sie mit der Antwort umgehen sollen.
Woran Sie den Nutzen erkennen
Bewerten Sie die Wissensbasis anhand konkreter Prüffragen. Dazu gehören die Relevanz der gefundenen Treffer, das Alter der verwendeten Quellen und die Zahl der Fragen, für die noch keine belastbare Information vorliegt. Notieren Sie außerdem, ob Antworten auf die erwarteten Fundstellen verweisen und ob der Agent fehlendes Wissen offenlegt.
Wiederholen Sie diese Prüfung, wenn sich wichtige Inhalte oder die Aufgaben des Agenten ändern. So erkennen Sie, ob die Wissensbasis weiterhin zum tatsächlichen Bedarf passt. Ein sinnvoller Erfolg ist nicht möglichst viel gespeichertes Material, sondern eine nachvollziehbare Antwort auf klar abgegrenzte Fragen.
Häufige Fragen
Was gehört in eine Knowledge Base?
Nur Informationen, die für die Aufgabe des Agenten benötigt, freigegeben und ausreichend gepflegt sind. Dazu können Anleitungen, verbindliche interne Informationen oder andere geeignete Quellen gehören. Welche Inhalte passen, hängt vom Einsatzzweck ab.
Was bedeutet RAG?
RAG bezeichnet ein Vorgehen, bei dem ein System passende Informationen aus einer Wissensquelle abruft und sie bei der Antwort berücksichtigt. Die Qualität hängt unter anderem davon ab, ob die Quelle geeignet ist und die Suche die relevanten Inhalte findet.
Muss die Wissensbasis vor dem Start vollständig sein?
Nein. Ein begrenzter, gut geprüfter Themenbereich kann ein sinnvoller Einstieg sein. Wichtig ist, dass Sie offene Fragen erkennen und verhindern, dass der Agent fehlende Informationen durch unbelegte Aussagen ersetzt.
Wie oft müssen Quellen geprüft werden?
Das richtet sich danach, wie häufig sich die zugrunde liegenden Informationen ändern und wie schwerwiegend eine veraltete Antwort wäre. Legen Sie Zuständigkeiten und einen passenden Prüfablauf fest, statt Aktualität dem Zufall zu überlassen.