RAG erklärt: Wie dein Unternehmenswissen zur KI-Datenquelle wird

Ein Muster, das ich immer wieder sehe: Teams haben ChatGPT oder Claude im Alltag etabliert. Sie schreiben bessere E-Mails, fassen Protokolle zusammen, bereiten Präsentationen vor. Alles läuft. Und dann fragt jemand: „Kann die KI mir auch sagen, was wir mit Kunde Müller letztes Quartal vereinbart haben?“

Die Antwort ist ernüchternd: Nein. ChatGPT weiß nichts über Kunde Müller. Es kennt weder deine Angebote noch deine Projektdokumentation noch die E-Mails, die dein Team letzte Woche verschickt hat. Ein allgemeiner KI-Chatbot ist wie ein brillanter neuer Mitarbeiter, der am ersten Tag alles kann, aber nichts über dein Unternehmen weiß.

Das fehlende Puzzlestück: dein eigenes Wissen

Das ist kein Fehler der KI. Es liegt daran, wie diese Modelle funktionieren. Sie wurden mit öffentlich verfügbaren Texten trainiert: Wikipedia, Bücher, Websites, Foren. Alles, was im Internet steht. Aber dein Unternehmenswissen steht nicht im Internet. Es steckt in internen Dokumenten, CRM-Einträgen, SharePoint-Ordnern, Confluence-Seiten, E-Mails und in den Köpfen deiner Mitarbeiter.

Genau hier kommt RAG ins Spiel. Die Abkürzung steht für „Retrieval-Augmented Generation“, auf Deutsch etwa: „abrufgestützte Textgenerierung“. Klingt technisch, ist aber im Kern eine einfache Idee.

RAG in 60 Sekunden erklärt

Stell dir vor, du stellst deinem KI-Assistenten eine Frage. Bevor die KI antwortet, passiert ein Zwischenschritt: Das System durchsucht deine internen Dokumente nach relevanten Informationen. Es findet die drei bis fünf passendsten Textstellen und reicht sie zusammen mit deiner Frage an die KI weiter. Die KI formuliert dann eine Antwort, die nicht nur auf ihrem allgemeinen Training basiert, sondern auf deinem konkreten Unternehmenswissen.

Das ist der ganze Trick. Keine Magie, kein eigenes Modelltraining, keine wochenlangen Projekte. RAG kombiniert zwei Dinge, die jeweils für sich schon gut funktionieren: eine intelligente Suche über deine Dokumente und ein Sprachmodell, das aus den Suchergebnissen eine brauchbare Antwort formuliert.

Der technische Kern: Deine Dokumente werden einmalig in sogenannte Vektoren umgewandelt. Das sind mathematische Darstellungen des Inhalts, die Bedeutungsähnlichkeit erfassen. Wenn du eine Frage stellst, wird auch sie in einen Vektor umgewandelt und mit den Dokumenten verglichen. So findet das System die relevantesten Passagen, auch wenn du andere Worte verwendest als im Originaldokument.

Ein konkretes Beispiel: das Architekturbüro

Nehmen wir ein kleines Architekturbüro mit acht Mitarbeitern. Über die Jahre haben sich hunderte von Projektordnern angesammelt: Leistungsverzeichnisse, Baubeschreibungen, Protokolle von Baustellenbesprechungen, Kostenschätzungen, Mängelberichte. Das Wissen ist da, aber es ist verteilt, unstrukturiert und schwer auffindbar.

Typische Situationen im Alltag: Ein Architekt arbeitet an einer Kostenschätzung für ein neues Einfamilienhaus und erinnert sich, dass das Team vor zwei Jahren ein ähnliches Projekt hatte. Aber in welchem Ordner liegt die Kalkulation? Wie hieß der Bauherr? Welche Sonderwünsche gab es? Die Suche dauert oft länger als die eigentliche Arbeit.

Mit RAG könnte das so aussehen: Der Architekt fragt das System: „Welche Kostenschätzungen haben wir für Einfamilienhäuser mit Holzrahmenbau in den letzten drei Jahren erstellt?“ Das System durchsucht alle Projektdokumente, findet die relevanten Kalkulationen und fasst die wichtigsten Eckdaten zusammen: Quadratmeterpreise, Materialkosten, besondere Posten. Der Architekt hat in zwei Minuten einen Überblick, für den er sonst einen halben Tag gebraucht hätte.

Was RAG gut kann und wo die Grenzen liegen

RAG ist stark, wenn es darum geht, vorhandenes Wissen auffindbar und nutzbar zu machen. Typische Anwendungen für KMU:

• Internes Wissensmanagement: Projektdokumentation, Prozesshandbücher, Best Practices durchsuchbar machen. Neue Mitarbeiter finden Antworten, ohne jedes Mal jemanden fragen zu müssen.
• Kundenkommunikation: Vergangene Angebote, Verträge und Korrespondenz durchsuchen, um schneller auf Anfragen zu reagieren.
• Angebotserstellung: Ähnliche vergangene Projekte finden, Kalkulationen vergleichen, Textbausteine aus früheren Angeboten wiederverwenden.
• Compliance und Qualitätssicherung: Richtlinien, Normen und interne Vorgaben sofort abrufbar machen, statt lange in Ordnern zu suchen.

Aber RAG hat auch klare Grenzen. Die Qualität der Antworten hängt direkt von der Qualität deiner Dokumente ab. Wenn deine Projektdokumentation lückenhaft ist, wird auch die KI keine vollständigen Antworten liefern. RAG erfindet kein Wissen. Es macht vorhandenes Wissen zugänglich. Das ist ein wichtiger Unterschied.

Außerdem: RAG ersetzt keine Datenbank. Wenn du exakte Zahlen brauchst, etwa den genauen Rechnungsbetrag von Projekt XY, ist eine direkte Datenbankabfrage zuverlässiger. RAG ist am stärksten bei Fragen, die Kontext und Zusammenhänge erfordern, nicht bei Punkt-Abfragen.

Was du brauchst, um loszulegen

Der Einstieg in RAG ist einfacher, als viele denken. Du brauchst keine eigene KI-Infrastruktur und kein Data-Science-Team. Die drei Bausteine sind:

Erstens: deine Dokumente in einem nutzbaren Format. PDFs, Word-Dateien, E-Mails, Confluence-Seiten. Vieles davon liegt bereits digital vor. Die Herausforderung ist eher organisatorisch: Welche Dokumente sollen durchsuchbar sein? Wie aktuell sind sie? Gibt es sensible Inhalte, die ausgeschlossen werden müssen?

Zweitens: eine Vektordatenbank. Das klingt komplizierter als es ist. Es gibt inzwischen einfache, gut dokumentierte Lösungen, die auch auf einem normalen Server laufen. Die Datenbank speichert die mathematischen Abbilder deiner Dokumente und ermöglicht die schnelle Ähnlichkeitssuche.

Drittens: ein Sprachmodell für die Antwortgenerierung. Das kann ein Cloud-Dienst wie die API von OpenAI oder Anthropic sein. Oder, wenn Datenschutz besonders wichtig ist, ein lokales Modell, das komplett auf deinem eigenen Server läuft. Beides funktioniert.

Datenschutz: ein berechtigtes Thema

Gerade für KMU in Deutschland ist Datenschutz keine Nebensache. Eine häufige Sorge: Wenn ich meine internen Dokumente an eine KI gebe, landen die dann im Training des Modells?

Bei RAG lässt sich das klar trennen. Die Dokumente bleiben in deiner eigenen Vektordatenbank. Sie werden nicht an das Sprachmodell zum Training geschickt. Das Modell bekommt nur die relevanten Textausschnitte als Kontext für die aktuelle Frage, genau wie wenn du einem Kollegen drei Seiten aus einem Ordner zeigst und ihn bittest, eine Zusammenfassung zu schreiben.

Wer maximale Kontrolle will, kann das Sprachmodell selbst lokal betreiben. Dann verlässt kein einziges Wort das eigene Netzwerk. Das ist technisch machbar und für sensible Branchen wie Recht, Gesundheit oder Finanzdienstleistung oft die richtige Wahl.

Der Weg von der Idee zur Umsetzung

RAG ist kein Großprojekt. Ein pragmatischer Einstieg sieht erfahrungsgemäß so aus: Mit einem klar abgegrenzten Dokumentenbestand starten, etwa der Projektdokumentation eines Jahres oder den FAQ-Dokumenten für den Kundensupport. Damit ein funktionierendes System aufbauen, testen und Erfahrungen sammeln. Und dann schrittweise erweitern.

Die wichtigste Voraussetzung ist nicht technisches Know-how. Es ist die Bereitschaft, das eigene Unternehmenswissen als das zu behandeln, was es ist: einer der wertvollsten Vermögenswerte, den ein kleines Unternehmen hat. RAG ist der Schlüssel, um diesen Vermögenswert nicht nur zu bewahren, sondern täglich nutzbar zu machen.