41 Prozent der deutschen Unternehmen setzen laut Bitkom KI-Studie 2026 (n=604) inzwischen aktiv KI ein. Beim internen Wissensmanagement sind es aber nur 11 Prozent, der niedrigste Wert unter allen abgefragten Anwendungsfeldern, weit hinter Kundenkontakt (88 Prozent) oder Marketing (57 Prozent). Dabei ist die Frage, die sich in fast jedem Unternehmen stellt, fast immer dieselbe: Kann die KI auch wissen, was bei uns in den Richtlinien, Verträgen und Handbüchern steht, statt nur allgemeines Trainingswissen wiederzugeben?
Die Antwort auf diese Frage heißt in den allermeisten Fällen RAG, Retrieval-Augmented Generation. Dieser Beitrag erklärt, wie die Technik funktioniert, wo sie im Mittelstand am meisten bringt, warum sie datenschutzrechtlich der praktikablere Weg ist als Fine-Tuning, und wie du einschätzt, ob eine fertige Lösung reicht oder eine eigene Architektur sinnvoll ist.
Kurzfassung
RAG lässt eine KI zur Laufzeit in deinen eigenen Dokumenten nachschlagen, statt sie mit deinem Wissen zu trainieren. Das Modell bleibt unverändert, die Antwort stützt sich auf abgerufene Textstellen aus einer Vektordatenbank. Für Unternehmenswissen ist das günstiger, schneller aktualisierbar und leichter zu kontrollieren als Fine-Tuning.
Was RAG eigentlich ist
Retrieval-Augmented Generation kombiniert zwei Schritte: erst suchen (Retrieval), dann formulieren (Generation). Bevor die KI eine Antwort schreibt, durchsucht das System deine hinterlegten Dokumente nach den Textstellen, die zur Frage passen, und legt sie dem Sprachmodell als zusätzlichen Kontext vor. Das Modell beantwortet die Frage dann auf Basis dieser konkreten Textausschnitte, nicht nur aus seinem allgemeinen Trainingswissen.
Der praktische Effekt: Fragst du ein Standardmodell wie ChatGPT nach eurer Kündigungsfrist im Servicevertrag, kennt es die Antwort nicht, weil sie nirgends im Training vorkam. Ein RAG-System durchsucht stattdessen euren tatsächlichen Vertragstext, findet den passenden Absatz und formuliert die Antwort auf dieser Grundlage. Fraunhofer IESE beschreibt das treffend als “Chat mit den eigenen Dokumenten”: Das Modell bleibt allgemein, das Wissen kommt aus deiner eigenen Ablage.
Wie die Architektur technisch aufgebaut ist
Ein RAG-System besteht aus vier Bausteinen, die zusammenspielen:
Chunking. Dokumente werden in kleinere, thematisch zusammenhängende Textabschnitte zerlegt, meist einige hundert Wörter lang. Ein ganzes Handbuch auf einmal in eine Anfrage zu packen, würde die Kontextgrenze sprengen und die Antwort ungenauer machen.
Embeddings. Jeder Textabschnitt wird über ein Embedding-Modell in einen Vektor umgerechnet, eine numerische Darstellung der Bedeutung des Textes. Ähnliche Inhalte liegen im Vektorraum nah beieinander, unabhängig von der genauen Wortwahl.
Vektordatenbank. Die Vektoren aller Textabschnitte werden in einer spezialisierten Datenbank gespeichert, etwa Qdrant, Weaviate oder pgvector. Bei einer Anfrage wird die Nutzerfrage ebenfalls in einen Vektor umgewandelt und mit den gespeicherten Vektoren verglichen, um die relevantesten Treffer zu finden.
Generation. Die gefundenen Textausschnitte werden zusammen mit der ursprünglichen Frage an das Sprachmodell übergeben. Das Modell formuliert daraus eine zusammenhängende Antwort und kann dabei auf die konkrete Quelle verweisen.
In der Praxis liefert eine reine Vektorsuche nicht immer die besten Treffer, etwa bei exakten Begriffen wie Artikelnummern oder Aktenzeichen. Deshalb kombinieren produktive RAG-Systeme zunehmend semantische Vektorsuche mit klassischer Stichwortsuche, um beide Schwächen auszugleichen.
Warum RAG statt Fine-Tuning
Ein verbreiteter Irrtum ist, dass eine KI erst auf die eigenen Daten trainiert werden muss, um sie zu kennen. Fine-Tuning verändert dafür die Gewichte eines Modells dauerhaft, mit einem eigenen Trainingslauf, eigener Infrastruktur und dem Risiko, dass sich das Modell in Randbereichen schlechter verhält als vorher.
Für Faktenwissen aus Dokumenten ist das der falsche Hebel. RAG erreicht das gleiche Ziel schneller und mit weniger Risiko:
| Kriterium | RAG | Fine-Tuning |
|---|---|---|
| Aktualisierung von Wissen | Dokument austauschen, sofort wirksam | Neuer Trainingslauf nötig |
| Nachvollziehbarkeit | Antwort verweist auf Quelldokument | Kein Bezug zur konkreten Quelle |
| Aufwand für den Einstieg | Gering bis mittel | Hoch, eigene Trainingsinfrastruktur |
| Geeignet für | Faktenwissen, Dokumente, Richtlinien | Sprachstil, Format, Spezialverhalten |
| Laufende Kosten | Vektordatenbank, Inferenz | Trainingsläufe bei jeder Aktualisierung |
Für die meisten Unternehmen gilt deshalb: zuerst RAG, dann Fine-Tuning nur dort, wo RAG an seine Grenzen stößt, etwa wenn ein Modell durchgängig ein bestimmtes Antwortformat einhalten oder in einer sehr spezifischen Fachsprache formulieren soll.
Wo RAG im Unternehmen am meisten bringt
Der größte Hebel liegt genau dort, wo die Bitkom-Zahlen die größte Lücke zeigen: internes Wissensmanagement. Konkret bewähren sich vier Anwendungsfelder:
Handbücher und Richtlinien. Mitarbeitende fragen in natürlicher Sprache statt im Intranet nach dem richtigen Dokument zu suchen. Laut einer Atlassian-Erhebung unter 12.000 Büroangestellten in sechs Ländern brauchen deutsche Büroangestellte im Schnitt zehn Stunden pro Woche für die Suche nach Informationen. Das ist die Zeit, die RAG-gestützte Wissenssuche direkt adressiert.
Kundensupport-Wissensdatenbank. Support-Teams beantworten wiederkehrende Fragen schneller, wenn die KI in FAQ, Produktdokumentation und früheren Ticketverläufen sucht, statt jede Anfrage manuell nachzuschlagen.
Vertrags- und Klauselwissen. Eine KI, die auf Basis früherer Vertragsentscheidungen und Standardklauseln antwortet, prüft neue Verträge an den eigenen Maßstäben statt an einem generischen Standard. Wie ein solcher Aufbau konkret aussieht, beschreibt der Beitrag KI-Vertragsanalyse: CLM-Tool-Feature oder eigene KI-Lösung?.
Angebots- und Wissens-Agenten. Ein RAG-System ist häufig die Grundlage für spezialisierte KI-Agenten, etwa einen Angebots-Agenten, der frühere Angebote und Preislisten durchsucht, oder einen Wissens-Agenten für interne Prozessfragen. Konkrete Beispiele dafür stehen in 3 KI-Agenten, die sich im Backoffice zuerst lohnen.
Datenschutz: der praktikablere Mittelweg
RAG ist datenschutzrechtlich kein Freibrief, aber praktisch leichter zu kontrollieren als die Alternativen. Der Grund liegt in der Architektur: Weil Dokumente in einer eigenen Wissensbasis liegen und nicht in die Modellgewichte einfließen, lassen sich drei Kontrollpunkte direkt auf Dokumentenebene umsetzen, die bei Fine-Tuning oder einem ungefilterten Cloud-Chatbot fehlen.
Zugriffssteuerung pro Dokument. Welche Nutzergruppe darf welche Wissensbasis durchsuchen? Personalakten, Mandantendaten und allgemeine Betriebsanleitungen brauchen unterschiedliche Rollen, die sich auf Ebene der Vektordatenbank abbilden lassen.
Löschbarkeit. Ein Dokument, das aus der Wissensbasis entfernt wird, taucht in künftigen Antworten nicht mehr auf. Bei einem fine-getunten Modell lässt sich einzelnes Wissen dagegen nicht gezielt wieder entfernen, ohne das Modell neu zu trainieren.
Nachvollziehbarkeit. Weil jede Antwort auf konkrete Textausschnitte zurückgeht, lässt sich im Zweifel prüfen, aus welchem Dokument eine Aussage stammt. Das erleichtert sowohl interne Qualitätssicherung als auch die Dokumentation für Auftragsverarbeitung und Löschkonzepte.
Nach EU AI Act fällt ein RAG-basierter Wissensassistent in aller Regel in die Kategorien minimales oder begrenztes Risiko, solange er keine automatisierten Entscheidungen mit Rechtswirkung trifft. Wird die Wissenssuche mit einer automatisierten Bewertung von Personen kombiniert, etwa einer Vorauswahl von Bewerbungen, gelten strengere Anforderungen. Die vollständige Einordnung nach Risikostufen erklärt KI Compliance im Unternehmen, und wie eine datenschutzkonforme Architektur insgesamt aufgebaut wird, zeigt Datenschutzkonforme KI für Kanzleien und Unternehmen.
Datenqualität entscheidet über die Antwortqualität
RAG kann nur so gut antworten wie die Dokumente, die es durchsucht. Zwei Probleme sind in der Praxis die häufigste Fehlerquelle: veraltete Dokumentenversionen, die parallel zur aktuellen Fassung im Netzlaufwerk liegen, und widersprüchliche Inhalte zwischen Abteilungen, etwa zwei unterschiedliche Fassungen derselben Preisliste.
Beides sind organisatorische, keine technischen Probleme. Vor dem Aufbau eines RAG-Systems lohnt sich deshalb eine kurze Bestandsaufnahme: Welche Dokumente sind die verbindliche Quelle? Wer pflegt sie? Wie wird eine veraltete Fassung aus der Wissensbasis entfernt, wenn ein neues Dokument erscheint? Wie unstrukturierte Datenbestände generell für KI-Auswertungen aufbereitet werden, beschreibt der Beitrag KI-Datenanalyse im Unternehmen.
Fertige Lösung oder eigene Architektur
Für den Einstieg gibt es zwei Wege, die sich vor allem im Grad der Kontrolle unterscheiden.
All-in-One-Plattformen wie AnythingLLM oder Open WebUI in Kombination mit einer Vektordatenbank bündeln Dokumenten-Upload, Suche und Chat-Oberfläche in einer Anwendung. Der Einstieg ist schnell, der Funktionsumfang für Standardfälle ausreichend. Ein Überblick über gängige Werkzeuge steht in KI-Tools für Unternehmen.
Eine eigene RAG-Architektur lohnt sich, sobald mehrere Wissensbasen mit unterschiedlichen Zugriffsrechten verbunden werden müssen, die Anbindung an bestehende Systeme wie DMS oder CRM gebraucht wird, oder besonders sensible Daten eine dedizierte, vom Anbieter unabhängige Infrastruktur verlangen. Die Deploymentpfade dafür, von verwalteter Private Cloud bis On-Premise, erklärt Private KI-Infrastruktur für Unternehmen, die Grundlage für einen produktiven Einstieg beschreibt Eigene KI-Infrastruktur.
Was jetzt zu tun ist
RAG ist kein Modellproblem, sondern eine Frage von Datenqualität, Zugriffssteuerung und einem eng abgegrenzten ersten Anwendungsfall. Wer noch nicht weiß, welche Wissensbasis sich als erstes lohnt und was dafür an Vorarbeit nötig ist, klärt das im KI-Prozess-Audit: 30 Minuten, erste Einschätzung, klare nächste Schritte.
