Die kurze Antwort vorab: RAG (Retrieval-Augmented Generation) ist die Technik hinter dem "Chat mit Ihren Daten". Statt dass eine KI aus ihrem antrainierten Wissen antwortet, sucht das System zuerst die passenden Stellen in Ihren eigenen Dokumenten heraus und lässt die KI dann ausschließlich auf dieser Grundlage antworten, inklusive Quellenangabe. Ihre Daten werden dafür nicht in das KI-Modell eintrainiert. Das ist der Grund, warum RAG für Unternehmen der praktikabelste Weg ist, KI mit internem Wissen arbeiten zu lassen. Fast jede Neukundenanfrage, die uns erreicht, läuft aktuell auf denselben Wunsch hinaus: "Unser Team soll der KI gezielte Fragen stellen können und Antworten aus unseren Unterlagen bekommen. Handbücher, Verträge, Projektdokumentation, Angebote, das ganze verstreute Wissen." Die benötigte Technik dahinter heißt Retrieval-Augmented Generation, kurz RAG, und sie ist einfacher zu verstehen, als der Name vermuten lässt.
Das Problem: ChatGPT kennt Ihr Unternehmen nicht
Ein Sprachmodell wie GPT oder Claude hat beim Training öffentliche Texte gelesen, aber keine einzige Ihrer internen Dateien. Fragt ein:e Mitarbeiter:in "Wie lang ist die Gewährleistungsfrist in unserem Rahmenvertrag mit Firma X?", kann das Modell nur raten. Und Sprachmodelle raten leider sehr überzeugend, das ist ihre gefährlichste Eigenschaft. Die Antwort klingt souverän und kann trotzdem frei erfunden sein. Der naheliegende Gedanke, kleinere Modelle einfach mit den eigenen Daten "nachzutrainieren", scheitert in der Praxis fast immer: teuer, langsam, bei jeder Dokumentänderung veraltet, und das Modell kann anschließend nicht sagen, woher eine Aussage stammt. Für Unternehmenswissen braucht es einen anderen Weg.
Die Lösung: erst nachschlagen, dann antworten
RAG dreht den Ablauf um. Statt das Modell auswendig lernen zu lassen, bekommt es zu jeder Frage die relevanten Textstellen frisch auf den Tisch gelegt. Der Ablauf in vier Schritten:
1. Vorbereitung: Ihre Dokumente werden auffindbar gemacht. Alle freigegebenen Quellen (Dateiablage, Wiki, E-Mail-Ordner, oder was immer in Ihrem Fall dazugehören soll) werden in kleine Abschnitte zerlegt und in einen durchsuchbaren Index überführt. Das Besondere: Dieser Index findet Inhalte nach ihrer Bedeutung, nicht nur nach einzelnen Stichworten die abgeglichen werden. Die Frage nach "Kündigungsfristen" findet also zum Beispiel auch den Absatz, der von "Vertragsbeendigung" spricht.
2. Suche: Zur Frage werden die passenden Stellen herausgesucht. Stellt ein:e Mitarbeiter:in eine Frage, sucht das System die zehn bis zwanzig relevantesten Textabschnitte aus dem im Vorfeld automatisch erstellten Index heraus. Dies dauert nur wenige Sekunden, da das LLM nicht alle Dokumente lesen muss, sondern nur nach Ähnlichkeiten im Index gesucht werden muss.
3. Antwort: Die KI arbeitet nur mit dem Gefundenen. Das Sprachmodell bekommt die Eingangs-Frage plus die gefundenen Abschnitte und die Anweisung, ausschließlich daraus zu antworten. Steht die Antwort nicht in den Unterlagen, sagt es genau das, anstatt zu raten.
4. Beleg: Jede Antwort nennt ihre Quellen. Die Mitarbeitenden sehen, aus welchem Dokument und welchem Abschnitt die Antwort stammt, und können mit einem Klick direkt auf die verlinkte Quelle springen. Das ist der Unterschied zwischen einem Werkzeug, dem man vertrauen kann, und einem Orakel.
Was das praktisch bedeutet
Ihre Daten bleiben Ihre Daten. Die Dokumente werden dabei nicht in ein großes Sprachmodell eintrainiert, sondern lediglich ein mathematischer Index in einer eigenen Datenbank mit einem Verweis auf das Original-Dokument abgelegt. Bei einem EU-gehosteten Setup bleibt der gesamte Ablauf, Index, Suche und Sprachmodell, auf europäischen Servern. Das ist DSGVO-seitig der entscheidende Punkt.
Berechtigungen lassen sich abbilden. Da sich die Nutzer:innen über EntraID in z.B. Atlas anmelden, gelten dort dieselben individuellen Zugriffsrechte wie in den angebundenen Systemen, zum Beispiel im Netzlaufwerk. Wer ein Dokument dort nicht öffnen darf, erhält deshalb auch keine Antworten aus dessen Inhalten.
Keine veralteten Ergebnisse. Wird ein Dokument geändert, wird der Index über Nacht automatisch aktualisiert, die nächste Frage arbeitet mit dem neuen Stand. Kein Nachtrainieren, kein Veralten.
Die Qualität steht und fällt mit den Quellen. RAG macht Ihre Dokumentation durchsuchbar, aber nicht besser. Nicht mehr gültige, widersprüchliche oder lückenhafte Unterlagen führen zu entsprechenden Antworten. Ein RAG-Projekt ist deshalb oft auch der Moment, in dem Unternehmen feststellen, dass ihre Dokumentation zunächst aufgeräumt werden muss.
Wo die Grenzen liegen
Natürlich ist RAG nicht die Lösung aller Probleme. Das Rechnen über viele Dokumente hinweg ("Wie hat sich unsere durchschnittliche Angebotssumme über drei Jahre entwickelt?") ist beispielsweise eine Auswertungsaufgabe, keine Nachschlagefrage, dafür gibt es andere Werkzeuge. Und bei Fragen, deren Antwort über Dutzende Dokumente verstreut ist, braucht es ein sauberes Systemdesign, damit nichts Wichtiges aus dem Suchschritt herausfällt. Beispielsweise sollten in einem Projekt Vertragsbedingungen über eine große Zahl einzelner Standortverträge hinweg verglichen werden. Eine einfache RAG-Suche hätte nur die ähnlichsten Fundstellen berücksichtigt und dadurch einzelne Verträge möglicherweise ausgelassen. Deshalb mussten wir die Dokumente zunächst nach Standort, Vertragsart und Gültigkeitszeitraum strukturieren und die Suche anschließend gezielt über alle relevanten Dokumente laufen lassen. Für vollständige Vergleiche sehr vieler Dokumente und Berechnungen lohnt es sich daher nicht, vollständig nur auf ein RAG-System zu setzen.
Was das kostet und wie schnell es geht
Als fertige Plattform (unsere Lösung Atlas, EU-gehostet) ab 1.000 Euro pro Monat, lauffähig innerhalb weniger Tage, wenn die Datenquellen klar sind. Als Individualentwicklung mit besonderen Anforderungen gilt, was wir im Kostenartikel beschrieben haben: Festpreis nach kostenloser Abschätzung. Wenn Sie ausprobieren wollen, wie sich das mit Ihren eigenen Dokumenten anfühlt: Das Erstgespräch kostet nichts, und eine Demo mit Beispieldaten dauert eine halbe Stunde.
Über den Autor: Florian Dietrichkeit ist AI Lead der they consulting GmbH und verantwortet die KI-Systeme hinter Atlas und weiteren KI-Systemen, die wir erfolgreich bei Kunden einführen durften.