Retrieval-Augmented Generation (RAG): Definition, Anwendungsfälle und Praxisbeispiele

Mit Retrieval-Augmented Generation (RAG) können KI-Tools externe Informationen einbeziehen, um ihre Antworten zu fundieren. Dieser Leitfaden erklärt, wie es funktioniert, welche wichtigen Typen es gibt und wie es in der Praxis eingesetzt wird – von der Websuche bis hin zu Wissensdatenbanken in Unternehmen.

Diagram of a RAG pipeline: in the ingestion path, source data such as docs, databases, and files is chunked and embedded into a searchable index like a vector database; in the retrieval path, an orchestrator builds a query from the user prompt, retrieves results from the index, and passes the prompt plus context to an LLM to produce a grounded answer.

RAG (Retrieval-Augmented Generation) ist das Verfahren, mit dem LLM-basierte Tools auf externe Informationen zugreifen. Diese Informationen, die nicht in den Trainingsparametern des LLM enthalten sind, werden dem relevanten Eingabekontext hinzugefügt und bei der Generierung der Antwort verwendet.

RAG ist eine der wichtigsten Komponenten moderner KI-Systeme. Es wird von allen gängigen agentischen Tools (ChatGPT, Claude, Perplexity usw.) genutzt und bietet ein breites Spektrum an Anwendungsfällen für Privatnutzer und Unternehmen. Seit seiner weiten Verbreitung hat RAG mehrere Innovationen durchlaufen und entwickelt sich weiterhin auf spannende Weise weiter.

Was ist Retrieval-Augmented Generation (RAG)?

Retrieval-Augmented Generation (RAG) ist eine Methode zur Verbesserung der Ausgaben großer Sprachmodelle (LLMs), bei der ihnen relevante externe Informationen bereitgestellt werden.

Eine typische RAG-„Pipeline“ – ein Begriff für die übergreifende zugrunde liegende RAG-Architektur – hat zwei Pfade: einen Ingestion-Pfad und einen Retrieval-Pfad. Der Ingestion-Pfad nimmt Daten auf und wandelt sie in ein durchsuchbares Format um. Der Retrieval-Pfad erstellt auf Basis des Prompts eines Nutzers eine Anfrage und fragt die Informationsquelle ab.

Häufig werden RAG-Systeme rund um Vektordatenbanken aufgebaut. In diesem Szenario erzeugt die Orchestrator-Komponente eines LLM-Tools, die Nutzer-Prompts verwaltet, Abfragen sendet und Ergebnisse aus dem durchsuchbaren Index abruft, ein Vektor-Embedding. Damit fragt sie eine Datenbank mit Vektoren ab, die die aufgenommenen Daten repräsentieren. Anschließend fügt sie die abgerufenen Informationen dem bestehenden Eingabekontext für das LLM hinzu – zusammen mit Anweisungen, wie diese zur Generierung einer Ausgabe zu verwenden sind.

RAG bezieht sich nicht ausschließlich auf die oben beschriebene Art der Dense-Vektorsuche. Auch die Traversierung von Wissensgraphen, semantische Suche, klassische Datenbankabfragen oder eine beliebige Kombination dieser Methoden zählen dazu.

Vorteile von RAG

Einer der Gründe für die große Beliebtheit von RAG ist, dass es zwei zentrale Probleme der reinen LLM-basierten Antwortgenerierung löst: Halluzinationen und den fehlenden Zugriff auf Informationen, die nicht in den Trainingsmaterialien enthalten sind.

Faktenprüfung und Grounding

LLMs haben den Ruf, sich mit faktischer Genauigkeit schwerzutun. Wenn sie eine Frage nicht zuverlässig beantworten können, halluzinieren sie oft mit großer Überzeugung. Das kann daran liegen, dass die Informationen nicht in den Trainingsmaterialien enthalten waren oder dass die Trainingsmaterialien selbst Ungenauigkeiten enthalten. Bei der RAG-gestützten Faktenprüfung wird eine Antwort durch Grounding in Informationen aus einer vertrauenswürdigen Drittquelle verankert.

Aktuelle Informationen

LLMs können nur Fragen zu Themen beantworten, die bis zum Stichtag ihrer Trainingsdaten reichen – dem sogenannten Knowledge Cut-off. RAG-Systeme können sich mit hochaktuellen Informationsquellen verbinden, etwa mit Nachrichteninhalten über eine Websuch-API oder mit internen Datenbanken mit aktuellen Produktinformationen. So lassen sich Antworten zu Themen generieren, die in den Trainingsdaten nicht abgedeckt sind.

Zugriff auf private externe Daten

Mit RAG-Systemen können Unternehmen ihre KI-Infrastruktur mit Quellen sensibler, proprietärer und domänenspezifischer Informationen verbinden, die sie nicht öffentlich teilen können. Viele beliebte Tools wie Perplexity bieten inzwischen die Möglichkeit, vertrauliche Daten hochzuladen und private Wissensdatenbanken aufzubauen – ein gängiger Anwendungsfall in Unternehmen.

Überblick und Entwicklung von RAG: Die wichtigsten Architekturtypen

Der Begriff Retrieval-Augmented Generation tauchte zwar erstmals 2020 in einem vielbeachteten Fachartikel mit dem Titel Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks auf, doch Systeme zur Informationsbeschaffung waren bereits viele Jahrzehnte zuvor im Einsatz. Frühe Suchmaschinen sind ein gutes Beispiel dafür. Die eigentliche KI-Innovation bestand jedoch darin, parametrisches Modellwissen mit einem Dense-Vektorindex zu kombinieren (im Artikel wurde dieser mithilfe von Wikipedia erstellt).

Hier ein Überblick über die wichtigsten RAG-Typen:

  • Einfaches RAG: Einfaches RAG, auch naives RAG genannt, ist die simpelste Ausprägung einer RAG-Pipeline. Es folgt einem Ablauf aus Abrufen und Generieren, wobei die Suche in Vektordatenbanken der primäre Anwendungsfall ist. Es eignet sich nach wie vor für eine unkomplizierte RAG-Implementierung, insbesondere für eine begrenzte interne Nutzung.
  • Hybrides RAG: Hierbei wird mehr als eine Art von RAG kombiniert. Meist ist damit eine Kombination aus einfacher Stichwortsuche und Dense-Vektor-Retrieval gemeint.
  • Korrektives RAG: Eine Form von RAG, bei der abgerufene Informationen von einem feinabgestimmten Modell bewertet werden, um ihre Relevanz für den Nutzer-Prompt zu bestimmen.
  • Self-RAG: Self-RAG ähnelt zwar korrektivem RAG, doch hier bewertet das LLM seine eigenen Ausgaben und stößt bei Bedarf einen Abruf an. Dafür nutzt es spezielle Reflection-Tokens.
  • Agentisches RAG: Agentisches RAG beschreibt, wie agentische KI-Plattformen auf verschiedene Retrieval-Methoden zurückgreifen können. Das LLM kann über den Orchestrator Schlussfolgerungen ziehen und zwischen verschiedenen RAG-Optionen wählen.
  • Multimodales RAG: Diese Art von RAG bezieht andere Medienformen wie Bilder und Audio in ihre Ingestion- und Retrieval-Pipelines ein.
  • GraphRAG: GraphRAG nutzt die Traversierung von Wissensgraphen (Entitätssuche), um Informationen abzurufen. Dies kann in Kombination mit Dense-Vektor-Retrieval geschehen, muss es aber nicht.
  • Verzweigtes RAG: Bei dieser RAG-Architektur werden mehrere Retrieval-Abfragen gleichzeitig ausgeführt, oft mit unterschiedlichen Architekturmustern. Verzweigtes RAG ist eine gängige Funktion in KI-Tools, die komplexe Workflows ausführen.
  • HyDE (Hypothetical Document Embeddings): Hypothetical Document Embeddings sind KI-generierte Antworten, die simulieren, wie eine ideale Antwort auf einen Nutzer-Prompt aussehen könnte. Sie werden genutzt, um die RAG-Abfrage zu verfeinern und so die Genauigkeit der abgerufenen Informationen zu verbessern.

Die wichtigsten RAG-Anwendungsfälle mit Beispielen

Wie sieht RAG in der Praxis aus? Wenn Sie einem KI-Chatbot schon einmal eine Frage zu einem zeitkritischen Thema gestellt, einen Kundensupport-Bot befragt oder einen persönlichen Assistenten für Verwaltungsaufgaben genutzt haben, haben Sie RAG verwendet.

Die wichtigsten RAG-Beispiele im Privat- und Unternehmensumfeld sind Websuche, persönliche Assistenten (auch beim Programmieren), Coding-Assistenten, Kundensupport und Wissensmanagement in Unternehmen.

Websuche

Die Websuche ist eine weit verbreitete Form von RAG und wohl die allgegenwärtigste Anwendung für Endverbraucher. Alle gängigen Chatbots bieten eine Websuchfunktion, bei der das LLM aktuelle Quellen nutzt, um die Informationen aus seinen Trainingsmaterialien zu ergänzen.

Der Orchestrator im KI-Tool verbindet sich per API-Aufruf mit einer externen Suchmaschine, und die Ergebnisse werden in Form von Snippets dem Kontextfenster des LLM hinzugefügt. So erhalten Nutzer Zugang zu aktuellen Ereignissen, neuer Forschung, Produktinformationen und anderen Themen, bei denen sich Informationen häufig ändern.

In der Praxis könnte die API-Anfrage etwa so aussehen:

json
{ "query": "latest US inflation news", "max_results": 1, "language": "en", "country": "US" }

Die zurückgegebenen Informationen würden die Quelle und das Snippet enthalten:

json
{ "query": "latest US inflation news", "results": [ { "title": "US inflation rises slightly in latest report", "url": "https://example.com/us-inflation-report", "snippet": "Consumer prices increased in the latest monthly data, with housing and energy contributing to the rise.", "published_date": "2026-11-05" } ] }

Persönliche KI-Assistenten

Persönliche Assistenten nutzen RAG, um sich mit Informationsquellen in einer persönlichen oder gemeinsam genutzten Unternehmensumgebung zu verbinden. Beispiele für solche Informationsquellen sind E-Mails, Dateien, Kalender und Datenbanken eines Nutzers.

Da Informationen auf unterschiedliche Weise gespeichert sein können, lassen sich persönliche Assistenten am besten als vollständig agentische RAG-Systeme verstehen. Je nach Prompt nutzen sie API-Aufrufe, Stichwortsuche, Dense-Vektor-Retrieval oder die Traversierung von Wissensgraphen.

Zunehmend kodieren RAG-Systeme in Unternehmen Wissen in Vektordatenbanken, damit unternehmensweite persönliche Assistenten es einfach abrufen können – und viele KI-Produkte für Unternehmen sind genau darauf ausgelegt.

Coding-Assistenten sind ebenfalls bemerkenswert, da sie einen weiteren wichtigen Anwendungsfall darstellen. Ein Coding-Assistent wie GitHub Copilot kann sich mit einem Repository und projektspezifischer Dokumentation verbinden, um relevante Dateien, Funktionen, Symbole, Leitfäden, APIs und den Commit-Verlauf abzurufen.

Kundensupport

Kundensupport ist ein weiterer wichtiger RAG-Anwendungsfall, und die Nutzung von KI-Chatbots hat in den letzten Jahren rasant zugenommen. In seinem Bericht State of AI Customer Support stellte Crisp fest, dass 40 % der Unterhaltungen ohne menschliches Zutun gelöst werden – ein Zeichen für eine hohe Wirksamkeit.

Wenn ein Nutzer einem Kundensupport-Bot eine Frage stellt, durchsucht der Orchestrator in der Regel die interne Wissensdatenbank des Unternehmens. Um die Genauigkeit sicherzustellen, kommen häufig auch korrektives RAG und Self-RAG zum Einsatz, wobei bei Bedarf eine Übergabe an einen menschlichen Mitarbeiter erfolgt.

Wissensdatenbanken in Unternehmen

Die Einführung von KI-Workflows und generativen KI-Tools in mittleren und großen Unternehmen ging mit dem Aufbau interner Wissensdatenbanken einher. Dadurch können unternehmensweite Assistenten auf interne Daten zugreifen und gleichzeitig den Datenschutz wahren – ob es sich um sensible Kundeninformationen, private Unternehmensdaten oder spezialisiertes Fachwissen handelt.

Diese Systeme sind meist um Vektordatenbanken herum aufgebaut, es kommen aber auch andere RAG-Methoden zum Einsatz. Microsoft 365 Copilot verfügt beispielsweise über eine API-Schicht, die verschiedene Informationsquellen bereitstellt – darunter Vektordatenbanken, Wissensgraphen und semantische Indizes –, um umfassenden Zugriff auf die Daten eines Unternehmens zu ermöglichen.

Diese RAG-Systeme sind zudem typischerweise in die Unternehmenspakete universeller agentischer Tools integriert. Perplexity Enterprise ermöglicht es Nutzern beispielsweise, große Mengen an Dokumentation für die sichere interne Nutzung hochzuladen.

Nutzer können außerdem eigene Dateien in eigenständige Projekte hochladen und so im Grunde Mini-RAG-Systeme erstellen. Suchen lassen sich mit anderen Formen von RAG wie der Websuche kombinieren, um eine hybride Erweiterung zu erzielen.

Was ist der Unterschied zwischen RAG und einem LLM?

Ein großes Sprachmodell (LLM) kann Ausgaben nur auf Basis der Informationen generieren, die in seinen Parametern abgebildet sind. Es weist einem internen Vokabular Wahrscheinlichkeiten zu, um das nächste Wort bzw. Token in einer Sequenz vorherzusagen. Daher kann es keine genauen Antworten liefern, wenn seine Parameter nicht mit relevanten Informationen trainiert wurden.

In einer universellen oder spezialisierten KI-Plattform arbeiten RAG-Pipelines zusammen mit einem LLM oder einer Gruppe von LLMs. Sie verbinden sich mit externen Informationsquellen, um den Eingabekontext zu ergänzen, der dem Sprachmodell bereitgestellt wird – und genau darin liegt der zentrale Unterschied zwischen RAG und LLMs.

Die Entscheidung, ob zusätzliche Informationen abgerufen werden oder ausschließlich auf parametrisches Wissen zurückgegriffen wird, kann entweder auf Ebene des Orchestrators – meist mithilfe regelbasierter Logik – oder sogar vom LLM selbst getroffen werden.

Was ist der Unterschied zwischen RAG und MCP?

RAG und das Model Context Protocol (MCP) lassen sich am besten als komplementäre Technologien verstehen. MCP ist ein offener Standard zum Aufbau einer Architektur, über die KI-Tools mithilfe eines einzigen Endpunkts auf externe Funktionen, Ressourcen und Prompts zugreifen können.

Wenn sich ein KI-Tool mit einem MCP-Server verbindet, stellt der Server alle Primitive (MCP-Tools, Ressourcen und Prompts) bereit, auf die der Client zugreifen darf. Der Client ist die Komponente, die die Verbindung zwischen dem Orchestrator auf Client-Seite und dem Server herstellt. Mitunter werden dabei Datenbanken und Informationsquellen bereitgestellt; in diesem Fall fungiert MCP als Vermittler in der Retrieval-Schicht einer RAG-Pipeline.

Was ist der Unterschied zwischen RAG und einer API?

Eine API ist eine definierte Schnittstelle, über die zwei Anwendungen einander Anfragen senden können. RAG ist das Verfahren, mit dem LLMs auf externe Informationen zugreifen können, um ihre Ausgaben zu verbessern und zu erweitern.

RAG nutzt häufig API-Aufrufe, um Informationen abzurufen. Beim Informationsabruf über die Websuche formuliert der Orchestrator beispielsweise auf Basis des Nutzer-Prompts eine API-Anfrage an die jeweilige Suchmaschine.

Warum RAG wichtig ist und wie es sich weiterentwickeln wird

RAG ist wichtig, weil LLMs von Natur aus durch ihre Trainingsdaten begrenzt sind. Es gibt ganze Bereiche an Informationen – von aktuellen Ereignissen bis hin zu privatem Unternehmenswissen –, auf die sie keinen Zugriff haben. RAG löst dieses Problem, ohne unverhältnismäßig viele Ressourcen zu erfordern.

Informationsabruf allein reicht jedoch nicht aus, und deshalb wird sich RAG weiterentwickeln. RAG ist ein großer Bestandteil der aktuellen KI-Forschung und zielt darauf ab, Systeme so zu verbessern, dass sie über eine Vielzahl von Formaten hinweg die richtigen Informationen liefern und diese effektiv bewerten und priorisieren.

Je leistungsfähiger RAG wird, desto nützlicher werden KI-Systeme in wichtigen Anwendungen für Privatnutzer und Unternehmen. Dazu zählen Kundensupport, Websuche, Programmierung, persönliche Assistenten, spezialisierte Recherche und mehr.