Retrieval-Augmented Generation

KI mit Unternehmenswissen

Was ist Retrieval-Augmented Generation (RAG)?

Retrieval-Augmented Generation (RAG) ist ein Verfahren, das künstliche Intelligenz mit externen Wissensquellen verbindet. Dabei werden relevante Informationen aus Dokumenten, Datenbanken oder anderen Informationssystemen abgerufen und einem KI-Sprachmodell zur Beantwortung einer Frage bereitgestellt.

Durch Retrieval-Augmented Generation können Unternehmen vorhandene Sprachmodelle nutzen, um Fragen zu internen Dokumenten, technischen Handbüchern oder betrieblichen Informationen zu beantworten. Das KI-Modell muss dafür nicht zwingend neu trainiert werden. RAG bildet damit eine wichtige technische Grundlage für unternehmensinterne KI-Assistenten, intelligente Dokumentensuchen und KI-gestützte Wissensmanagementsysteme.

Wie funktioniert Retrieval-Augmented Generation?

Der englische Begriff Retrieval-Augmented Generation setzt sich aus drei Bestandteilen zusammen:

• Retrieval: Abrufen relevanter Informationen aus einer Wissensquelle.
• Augmented: Ergänzen der Benutzeranfrage um die gefundenen Informationen.
• Generation: Erzeugen einer Antwort durch ein KI-Sprachmodell.

Ein RAG-System kombiniert somit die gezielte Informationssuche mit den sprachlichen Fähigkeiten eines Large Language Models (LLM) oder eines geeigneten Small Language Models (SLM). Stellt ein Mitarbeiter beispielsweise die Frage „Wie wird unsere Produktionsanlage regelmäßig gewartet?“, durchsucht das RAG-System die angebundenen technischen Dokumentationen nach passenden Informationen. Die gefundenen Textabschnitte werden zusammen mit der Frage an das Sprachmodell übergeben. Auf dieser Grundlage formuliert die KI eine verständliche Ant wort. Bei entsprechender Implementierung kann das System zusätzlich angeben, aus welchen Dokumenten die verwendeten Informationen stammen.

Die fünf Schritte einer RAG-Pipeline

Die technische Verarbeitung innerhalb einer RAG-Anwendung wird häufig als RAG-Pipeline bezeichnet. Ein typischer Ablauf besteht aus fünf Schritten.

1. Unternehmensdaten erfassen und vorbereiten

Zunächst werden die gewünschten Informationsquellen angebunden. Dazu können PDF-Dokumente, Office-Dateien, technische Handbücher, interne Wissensdatenbanken oder Informationen aus einem Dokumentenmanagementsystem gehören. Die Inhalte werden eingelesen, gegebenenfalls in ein geeignetes Textformat umgewandelt und häufig in kleinere, zusammenhängende Abschnitte unterteilt. Dieses Verfahren wird als Chunking bezeichnet.

2. Dokumente indexieren

Damit Informationen effizient gefunden werden können, erstellt das System einen durchsuchbaren Index. Bei vielen RAG-Lösungen werden die Textabschnitte mithilfe eines sogenannten Embedding-Modells in numerische Vektoren umgewandelt. Diese Vektoren repräsentieren sprachliche und inhaltliche Zusammenhänge. Die Ergebnisse können in einer Vektordatenbank gespeichert werden. Alternativ oder ergänzend kommen klassische Volltextindizes und hybride Suchverfahren zum Einsatz.

3. Benutzeranfrage verarbeiten

Stellt ein Mitarbeiter eine Frage, analysiert das RAG-System die Anfrage und sucht nach passenden Informationen. Dabei kann die Suche sowohl auf Schlüsselwörtern als auch auf semantischen Ähnlichkeiten beruhen. Eine semantische Suche ermöglicht es, inhaltlich verwandte Informationen zu finden, selbst wenn die verwendeten Wörter nicht vollständig übereinstimmen.

4. Relevante Informationen bereitstellen

Die gefundenen Dokumentenabschnitte werden zusammen mit der ursprünglichen Benutzerfrage an das Sprachmodell übergeben. Das Modell erhält dadurch zusätzlichen Kontext, der bei seinem ursprünglichen Training möglicherweise nicht vorhanden war. Abhängig von der Implementierung können die Suchergebnisse vor der Übergabe noch bewertet, gefiltert oder nach Relevanz sortiert werden.

5. Antwort generieren

Das KI-Sprachmodell verarbeitet die Benutzerfrage und die bereitgestellten Informationen. Anschließend formuliert es eine passende Antwort.

Ein professionell entwickeltes RAG-System kann dabei die verwendeten Quellen nennen und bei fehlenden Informationen darauf hinweisen, dass keine ausreichend belegte Antwort möglich ist. Die Antwortqualität hängt wesentlich von der Qualität der gefundenen Informationen und den Fähigkeiten des Sprachmodells ab.

Welche Komponenten benötigt ein RAG-System?

Eine RAG-Lösung besteht aus mehreren technischen Komponenten, die aufeinander abgestimmt werden müssen.

KI-Sprachmodell

Das Large Language Model oder Small Language Model übernimmt die sprachliche Verarbeitung und formuliert die Antwort. Je nach Einsatzgebiet kann hierfür ein cloudbasiertes oder lokal betriebenes Modell verwendet werden.

Unternehmensdaten und Wissensquellen

Die Wissensbasis enthält die Informationen, auf die das System zugreifen soll. Beispiele sind interne Dokumentationen, Produkthandbücher, Arbeitsanweisungen, Vertragsunterlagen und technische Wissensdatenbanken.

Suchindex oder Vektordatenbank

Ein Suchindex ermöglicht das schnelle Auffinden relevanter Inhalte. Häufig werden Vektordatenbanken verwendet, die mathematische Repräsentationen von Textabschnitten speichern und anhand ihrer inhaltlichen Ähnlichkeit durchsuchen können. Eine spezielle Vektordatenbank ist allerdings nicht für jede RAG-Anwendung zwingend erforderlich.

Embedding-Modell

Ein Embedding-Modell wandelt Texte in numerische Vektoren um. Dadurch lassen sich inhaltliche Zusammenhänge mathematisch vergleichen und passende Dokumentenabschnitte identifizieren.

Integrationssoftware

Die Integrationssoftware steuert den Informationsfluss zwischen Benutzeranfrage, Suchsystem und Sprachmodell. Sie sorgt unter anderem dafür, dass relevante Informationen gefunden, aufbereitet und dem KI-Modell in geeigneter Form übergeben werden.

Benutzeroberfläche und Berechtigungen

Über eine Benutzeroberfläche können Mitarbeiter ihre Fragen stellen. Im Unternehmensumfeld muss zusätzlich gewährleistet sein, dass Benutzer ausschließlich Informationen erhalten, für die sie entsprechende Zugriffsrechte besitzen.

Welche Vorteile bietet RAG für Unternehmen?

1. Unternehmenswissen mit KI nutzbar machen

Viele Unternehmen verfügen über umfangreiche Informationsbestände, die über verschiedene Ordner, Dateiserver und Fachanwendungen verteilt sind. Retrieval-Augmented Generation kann dazu beitragen, diese Informationen über eine zentrale KI-Anwendung zugänglich zu machen. Mitarbeiter müssen nicht mehr zwingend wissen, in welchem Dokument sich eine bestimmte Information befindet. Stattdessen können sie ihre Frage in natürlicher Sprache stellen.

2. Aktuelle Informationen verwenden

Das Wissen eines vortrainierten Sprachmodells ist durch seinen Trainingsstand begrenzt. Ein RAG-System kann dagegen auf aktualisierte Dokumente und Wissensquellen zugreifen. Ändert sich beispielsweise eine interne Arbeitsanweisung, kann die neue Version nach entsprechender Aktualisierung des Suchindexes in die Antworten einfließen. Dafür ist kein vollständiges erneutes Training des Sprachmodells erforderlich.

3. Nachvollziehbare Antworten ermöglichen

Eine wichtige Funktion professioneller RAG-Anwendungen ist die Angabe verwendeter Informationsquellen. So können Mitarbeiter nachvollziehen, auf welcher Dokumentation eine Antwort basiert. Dies ist insbesondere bei technischen, organisatorischen oder rechtlich relevanten Fragestellungen hilfreich. Allerdings müssen auch Quellenangaben überprüft werden, da KI-Systeme Dokumente falsch interpretieren oder unzutreffend zitieren können.

4. Halluzinationen reduzieren

KI-Sprachmodelle können überzeugend klingende, aber sachlich falsche Antworten erzeugen. Dieses Verhalten wird als Halluzination bezeichnet. Durch die Bereitstellung relevanter und überprüfbarer Informationen kann Retrieval-Augmented Generation dazu beitragen, solche Fehler zu verringern.

RAG verhindert Halluzinationen jedoch nicht vollständig.

5. Vorhandene KI-Modelle weiterverwenden

Unternehmen müssen für die Nutzung ihrer eigenen Dokumente nicht zwangsläufig ein spezielles Sprachmodell trainieren. Ein vorhandenes LLM oder SLM kann durch eine zusätzliche RAG-Komponente mit Unternehmenswissen verbunden werden. Das kann die Umsetzung vereinfachen und den Aufwand gegenüber bestimmten Trainingsverfahren reduzieren.

Praxisbeispiel: RAG als interner KI-Wissensassistent

Ein mittelständisches Maschinenbauunternehmen verfügt über mehrere tausend Seiten technischer Dokumentation. Die Unterlagen enthalten Wartungspläne, Fehlerbeschreibungen, Bedienungsanleitungen und Serviceinformationen. Im Arbeitsalltag müssen Techniker häufig Informationen aus unterschiedlichen Dokumenten zusammensuchen. Eine RAG-Anwendung könnte diese Unterlagen in einer zentralen Wissensbasis erfassen und durchsuchbar machen.

Ein Servicetechniker stellt beispielsweise die Frage:

„Welche Schritte sind bei der Fehlermeldung E42 an Maschine XY vorgesehen?“

Das System sucht nach den entsprechenden Informationen in den freigegebenen Dokumenten und übergibt die relevanten Abschnitte an das KI-Sprachmodell. Dieses formuliert eine verständliche Antwort und verweist idealerweise auf die zugrunde liegende Wartungsanleitung.

Der Techniker kann die Angaben prüfen und die vorgesehenen Arbeitsschritte schneller auffinden. Bei sicherheitskritischen Tätigkeiten müssen die verbindlichen Herstellervorgaben und betrieblichen Freigabeprozesse weiterhin beachtet werden.

Weitere Einsatzmöglichkeiten von RAG

IT-Support und Helpdesk

RAG-Systeme können interne Supportdokumentationen, Anleitungen und bekannte Fehlerlösungen durchsuchen. Damit lassen sich IT-Mitarbeiter bei der Bearbeitung wiederkehrender Probleme unterstützen.

Personalabteilung

Ein interner KI-Assistent kann Fragen zu betrieblichen Richtlinien, organisatorischen Abläufen oder freigegebenen Personalinformationen beantworten. Dabei sind besonders strenge Berechtigungen und Datenschutzmaßnahmen erforderlich.

Vertrieb und Kundenservice

Eine RAG-Anwendung kann Produktinformationen, technische Datenblätter und freigegebene Leistungsbeschreibungen zusammenführen. Mitarbeiter erhalten dadurch schnelleren Zugriff auf relevante Informationen.

Qualitätsmanagement

Arbeitsanweisungen, Prozessdokumentationen und Qualitätsrichtlinien können über eine KI-gestützte Suche zugänglich gemacht werden.

Verwaltung und Dokumentenmanagement

RAG kann dabei helfen, Informationen aus umfangreichen Dokumentensammlungen zu recherchieren, zu vergleichen und zusammenzufassen.

Kann Retrieval-Augmented Generation lokal betrieben werden?

Ja. Eine RAG-Anwendung kann vollständig auf unternehmenseigener Hardware betrieben werden. Dafür müssen das Sprachmodell, das Embedding-Modell, die Suchkomponenten und die benötigten Datenquellen innerhalb der eigenen IT-Infrastruktur bereitgestellt werden. Ein solches System wird häufig als lokale RAG-Lösung oder On-Premises-RAG bezeichnet.

Unternehmen können damit eine KI-Wissensdatenbank aufbauen, bei der vertrauliche Informationen innerhalb des eigenen Netzwerks verarbeitet werden.

Eine typische lokale Lösung besteht aus:

• Einem eigenen KI-Server oder einer leistungsfähigen Workstation
• Einem lokal betriebenen Sprachmodell
• Einer geeigneten KI-Laufzeitumgebung
• Einem Suchindex oder einer lokalen Vektordatenbank
• Einem lokal ausführbaren Embedding-Modell
• Schnittstellen zu freigegebenen Dokumenten
• Einer Benutzeroberfläche mit Zugriffskontrolle

Die konkrete Hardware hängt unter anderem von der Modellgröße, dem Dokumentenvolumen, der Sucharchitektur und der Anzahl gleichzeitiger Benutzer ab. Für klar begrenzte Aufgaben können auch kompakte KI-Systeme ausreichend sein.

Ist eine RAG-Lösung DSGVO-konform?

Retrieval-Augmented Generation ist nicht automatisch DSGVO-konform. Die datenschutzrechtliche Bewertung hängt insbesondere davon ab, welche Daten verarbeitet werden, welche Systeme beteiligt sind und wie die Zugriffsrechte geregelt werden. Bei einer lokalen RAG-Lösung können Unternehmen die Datenverarbeitung weitgehend innerhalb der eigenen IT-Infrastruktur organisieren. Das kann die Kontrolle über vertrauliche Informationen erleichtern.

Dennoch müssen unter anderem folgende Punkte berücksichtigt werden:

• Rechtmäßigkeit und Zweck der Datenverarbeitung
• Zugriffsbeschränkungen für Benutzer und Administratoren
• Schutz personenbezogener und vertraulicher Dokumente
• Verschlüsselung und sichere Speicherung
• Lösch- und Aufbewahrungskonzepte
• Protokollierung und technische Sicherheitsmaßnahmen
• Datenschutzrechtliche Bewertung der eingesetzten Software und Dienste

Besonders wichtig ist, dass das RAG-System keine Informationen aus Dokumenten offenlegt, für die ein Benutzer keine Berechtigung besitzt. Auch lokal gespeicherte Vektoren und Suchindizes müssen angemessen geschützt werden.

RAG oder Fine-Tuning – was ist der Unterschied?

Retrieval-Augmented Generation und Fine-Tuning verfolgen unterschiedliche technische Ansätze. Bei RAG werden Informationen aus externen Wissensquellen abgerufen und dem Sprachmodell zur Beantwortung einer Anfrage bereitgestellt. Die Modellparameter bleiben dabei normalerweise unverändert.

Beim Fine-Tuning wird ein bereits trainiertes KI-Modell durch zusätzliches Training gezielt angepasst. RAG eignet sich insbesondere für Anwendungen mit umfangreichen, aktuellen oder häufig veränderten Informationsbeständen. Fine-Tuning kann dagegen sinnvoll sein, wenn ein Modell bestimmte Aufgaben, Ausgabeformate oder fachliche Verhaltensweisen zuverlässiger beherrschen soll. Beide Verfahren können miteinander kombiniert werden.

Welche Herausforderungen gibt es bei RAG?

Trotz seiner Vorteile ist ein RAG-System nicht automatisch zuverlässig oder sicher.

Qualität der Wissensbasis

Veraltete, widersprüchliche oder unvollständige Dokumente können zu fehlerhaften Antworten führen. Eine gepflegte Wissensbasis ist deshalb eine wichtige Voraussetzung für den erfolgreichen Einsatz.

Qualität der Suche

Wenn das Suchsystem die falschen Dokumentenabschnitte auswählt, kann auch ein leistungsfähiges Sprachmodell keine verlässliche Antwort erzeugen. Die Auswahl der Suchverfahren, die Strukturierung der Dokumente und die Bewertung der Suchergebnisse sind daher entscheidend.

Dokumentenberechtigungen

Nicht jeder Mitarbeiter darf auf sämtliche Unternehmensinformationen zugreifen. Ein RAG-System muss deshalb geeignete Zugriffskontrollen umsetzen und diese möglichst bereits bei der Informationssuche berücksichtigen.

Manipulierte Dokumente

Auch Dokumente können gezielt manipulierte Anweisungen enthalten, die das Verhalten eines KI-Modells beeinflussen sollen. Solche Angriffe werden als indirekte Prompt Injection bezeichnet. Deshalb sollten abgerufene Inhalte als potenziell nicht vertrauenswürdig behandelt und durch geeignete Sicherheitsmechanismen kontrolliert werden.

Wartung und Aktualisierung

Neue, geänderte oder gelöschte Dokumente müssen zuverlässig in der Wissensbasis berücksichtigt werden. Zusätzlich sind die eingesetzten Softwarekomponenten regelmäßig zu aktualisieren und zu überwachen.

Was kostet eine RAG-Lösung?

Die Kosten hängen wesentlich vom gewünschten Funktionsumfang und der vorhandenen IT-Infrastruktur ab.

Wichtige Einflussfaktoren sind:

• Umfang und Struktur der Unternehmensdokumente
• Anzahl angebundener Datenquellen
• Verwendetes KI-Sprachmodell
• Lokaler Betrieb oder Cloud-Nutzung
• Erforderliche Server- und GPU-Leistung
• Benutzerzahl und gleichzeitige Anfragen
• Berechtigungs- und Sicherheitsanforderungen
• Integrations-, Wartungs- und Administrationsaufwand

Für kleinere Anwendungen kann eine kompakte KI-Infrastruktur ausreichen. Komplexere RAG-Systeme mit mehreren Datenquellen, umfangreichen Berechtigungskonzepten und hohen Verfügbarkeitsanforderungen benötigen dagegen mehr Planungs- und Betriebsaufwand.

Eine seriöse Kostenbewertung sollte deshalb immer auf dem konkreten Anwendungsfall basieren.

Häufige Fragen zu Retrieval-Augmented Generation

Was bedeutet RAG bei künstlicher Intelligenz?

RAG steht für Retrieval-Augmented Generation. Das Verfahren verbindet ein KI-Sprachmodell mit einer Informationssuche, sodass bei der Beantwortung von Fragen relevante Inhalte aus Dokumenten oder Datenbanken berücksichtigt werden können.

Benötigt RAG ein eigenes KI-Modell?

Nein. Ein RAG-System kann ein bereits vorhandenes Sprachmodell verwenden. Dieses wird mit einer Suchkomponente verbunden, die relevante Informationen bereitstellt. Ein zusätzliches Training des Sprachmodells ist dafür normalerweise nicht erforderlich.

Kann RAG auf PDF-Dateien zugreifen?

Ja. PDF-Dateien können als Informationsquelle dienen, sofern ihre Inhalte zuverlässig extrahiert und indexiert werden können. Bei gescannten Dokumenten kann zusätzlich eine Texterkennung erforderlich sein.

Braucht RAG eine Vektordatenbank?

Nicht zwingend. Viele RAG-Lösungen nutzen Vektordatenbanken für die semantische Suche. Abhängig vom Anwendungsfall können jedoch auch Volltextsuchsysteme oder hybride Suchverfahren eingesetzt werden.

Kann RAG vollständig offline funktionieren?

Ja. Wenn Sprachmodell, Suchindex, Embedding-Modell und sämtliche benötigten Softwarekomponenten lokal installiert sind, kann eine RAG-Anwendung ohne Internetverbindung betrieben werden.

Verhindert RAG falsche KI-Antworten?

Nein. RAG kann die Qualität und Nachvollziehbarkeit von Antworten verbessern, verhindert Halluzinationen aber nicht vollständig. Die Zuverlässigkeit hängt von den verwendeten Dokumenten, der Suche und dem Sprachmodell ab.

Können Mitarbeiter nur ihre freigegebenen Dokumente durchsuchen?

Ja, wenn die RAG-Anwendung mit einem entsprechenden Berechtigungskonzept entwickelt wurde. Die Zugriffsrechte müssen bei der Suche und Bereitstellung von Informationen technisch durchgesetzt werden.

Eignet sich RAG für kleine und mittelständische Unternehmen?

Ja. Besonders interessant ist RAG für Unternehmen mit umfangreichen Dokumentationen, internen Wissensbeständen oder wiederkehrenden Informationsanfragen. Der technische Aufwand kann an den tatsächlichen Bedarf angepasst werden.

Fazit: Retrieval-Augmented Generation macht Unternehmenswissen mit KI nutzbar

Retrieval-Augmented Generation ermöglicht es, die sprachlichen Fähigkeiten moderner KI-Modelle mit vorhandenen Unternehmensinformationen zu verbinden. Dadurch können Mitarbeiter interne Dokumentationen und Wissensbestände über natürliche Fragen erschließen, ohne dass ein Sprachmodell zwingend zusätzlich trainiert werden muss. Für kleine und mittelständische Unternehmen ist insbesondere die Kombination aus RAG, einem geeigneten Sprachmodell und einer lokal betriebenen KI-Infrastruktur interessant. Damit solche Systeme zuverlässig eingesetzt werden können, sind eine hochwertige Wissensbasis, geeignete Suchverfahren, konsequente Zugriffskontrollen und eine sorgfältige technische Umsetzung entscheidend.

Weiterführende Informationen:
Microsoft Learn
RAG Security Cheat Sheet