9 RAG-Beispiele basierend auf realen Anwendungsfällen und Architekturen

RAG wird sowohl im Verbraucher- als auch im Unternehmenskontext häufig eingesetzt. Reale, alltägliche Beispiele für RAG sind Websuche, Kundensupport und KI-gestütztes Shopping. Der interne Zugriff auf Wissen und Programmierunterstützung gehören zu den prominentesten Anwendungsbeispielen in Unternehmen.

Die RAG-Architektur kann je nach Anwendungsfall auch variieren. Zwei der gängigsten Implementierungen sind das hybride RAG, das traditionelles Keyword-Matching mit Vektor- oder Wissensgraphensuche kombiniert, und das agentenbasierte RAG (Agentic RAG), bei dem ein LLM den Abrufprozess steuert.

Was ist Retrieval-Augmented Generation (RAG)?

RAG (Retrieval-Augmented Generation) ermöglicht es KI-Anwendungen, auf in externen Systemen gespeicherte Informationen zuzugreifen, um von LLMs generierte Antworten zu ergänzen.

Es ist eine leistungsstarke Technologie, da sie drei Hauptprobleme der generativen KI löst: Halluzinationen, veraltete Informationen und den Mangel an Zugriff auf Daten, die nicht im Eingabekontext enthalten sind.

So sieht ein grundlegender RAG-Prozess aus:

1. Der Nutzer gibt einen Prompt in natürlicher Sprache ein.
2. Die KI-Anwendung ermittelt, ob ein Grounding erforderlich ist, manchmal unter Einbindung eines LLMs.
3. Es wird eine Anfrage an eine externe Informationsquelle, wie etwa eine Datenbank, gesendet.
4. Die abgerufenen Informationen werden zur Kontexteingabe des LLMs hinzugefügt.
5. Das LLM generiert basierend auf dem angereicherten Prompt eine Antwort.

Obwohl sie in der konkreten Implementierung variieren können, repräsentieren diese Schritte einen typischen RAG-Workflow. Die Unterschiede zwischen den verschiedenen Architekturen konzentrieren sich meist darauf, wie Anfragen von der Client-Anwendung verarbeitet werden und welcher Art die abgerufenen Informationen sind.

Eine Übersicht der RAG-Architektur

Der Begriff „Retrieval-Augmented Generation“ tauchte erstmals 2020 in einem Papier namens Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks auf, das von Forschern bei Meta AI (damals Facebook AI Research) zusammen mit Koautoren vom University College London und der New York University veröffentlicht wurde.

Frühere Ansätze nach dem Prinzip „Erst abrufen, dann generieren“ (Retrieve-then-Generate), die lose als „naives RAG“ bezeichnet werden, haben sich seitdem zu einer Vielzahl verschiedener Architekturtypen entwickelt, von denen sich viele überschneiden.

Naives RAG

Naives RAG verwendet eine einfache Abruf- und Generierungspipeline, die für viele grundlegende Anfragen nach wie vor geeignet ist. Das häufigste Beispiel für naives RAG ist die Umwandlung einer Suchanfrage in eine geordnete Liste von Zahlen, Vektor-Embedding oder einfach Vektor genannt. Das Abfrage-Embedding wird dann mit anderen Vektoren abgeglichen, die Chunks repräsentieren – Inhaltsabschnitte in einer Datenbank oder einem Index (semantischer Index genannt).

Fortgeschrittenes RAG (Advanced RAG)

Fortgeschrittenes RAG optimiert die Phasen vor und nach dem Abruf. Zu den Techniken gehören Query Expansion, Metadatenfilterung und Kontextkomprimierung. Diese verbessern im Wesentlichen die Relevanz der abgerufenen Informationen und die Art und Weise, wie sie modifiziert werden, bevor sie zum Eingabekontext eines LLMs hinzugefügt werden.

Agentenbasiertes RAG (Agentic RAG)

Agentenbasiertes RAG ist die Ausführung von RAG-Pipelines durch einen LLM-basierten Agent. Der Agent „entscheidet“, welche Tools für einen bestimmten Prompt am besten geeignet sind, und steuert den Abruf – manchmal in einer Schleife –, um eine relevante Antwort zu generieren.

Graph RAG

Graph RAG ruft Informationen aus einem Wissensgraphen ab, der Entitäten (wie Objekte, Konzepte und Ereignisse) und die Beziehungen zwischen ihnen darstellt. Dies ist nützlich, wenn die Antwort auf einen Prompt erfordert, dass das LLM Informationen über verschiedene Entitäten verknüpft.

Multimodales RAG

Multimodales RAG erweitert den Abruf sowohl bei der Anfrage als auch beim Datenabruf auf Inhalte wie Bilder und Audio. Diese RAG-Pipelines verwenden spezielle Encoder, um Text, Bilder oder Audio in Embeddings zu konvertieren.

Hybrides RAG

Hybrides RAG kombiniert Keyword-Suche bzw. lexikalisches Retrieval mit Vektor-Retrieval oder Wissensgraphen und führt die Ergebnisse zusammen. Dies ist nützlich, da das Keyword-Matching in bestimmten Kontexten sehr präzise sein kann (mehr als andere Methoden).

Korrektives RAG (Corrective RAG)

Korrektives RAG bewertet zurückgegebene Informationen oder Daten hinsichtlich ihrer Relevanz für die Anfrage. Es kann abgerufene Passagen verfeinern, ergänzen oder durch die Ausführung einer weiteren Anfrage vollständig ersetzen.

RAG-Beispiele nach Anwendungsfall und Branchenbereich

Es gibt zahlreiche Beispiele für RAG sowohl im Verbraucher- als auch im Unternehmensbereich. Dies liegt zu einem großen Teil daran, dass RAG-Pipelines in die meisten Mainstream-Tools integriert wurden. Darüber hinaus bieten viele Anbieter sofort einsatzbereite Integrationen (Out-of-the-Box-Integrationen) an, beispielsweise für Kundenservice-Chatbots, was die Einführung erleichtert hat.

1. Websuche

Die Websuche ist eines der verbreitetsten Beispiele für RAG. Jeden Tag nutzen Millionen von Menschen KI-Tools, um Antworten zu generieren, die auf aus dem Web abgerufenen Informationen basieren.

Wie es funktioniert: Die KI-Anwendung durchsucht einen Web-Index, wie etwa den Google Search-Index, mithilfe von keywordbasiertem und semantischem Retrieval. Relevanter Seiteninhalt wird zusammen mit der Frage des Nutzers in die Eingabe des LLMs aufgenommen. Das LLM generiert dann eine Antwort, typischerweise mit Quellenangaben.

Reales Beispiel: Wenn ein Nutzer eine einfache Anfrage in die Chat-Oberfläche von Perplexity eingibt, wie etwa „Wie ist das Wetter in Chicago?“, führt das LLM eine Websuche durch, um aktuelle Informationen zu finden. Perplexity verwendet einen proprietären Web-Index in Verbindung mit Partner-Such-APIs.

Vergrößern

2. Kundensupport

Chatbots in Apps und auf Websites haben sich zu einem wichtigen Enterprise-Anwendungsfall für RAG entwickelt. Diese Systeme werden in der Regel mit herkömmlichen Routing-Pfaden gekoppelt, wodurch der Bedarf an Eingreifen durch Kundendienstmitarbeiter reduziert wird.

Wie es funktioniert: Wenn ein Kunde eine Frage stellt, durchsucht die Anwendung die Wissensbasis des Unternehmens, häufig mithilfe einer hybriden Pipeline. Die abgerufenen Passagen werden dem LLM bereitgestellt, das eine Antwort generiert. In der Regel gibt es zudem korrigierende und übernehmende Prozesse (Hand-off-Prozesse), um die Antwort zu validieren und bei Bedarf an einen Mitarbeiter weiterzuleiten.

Reales Beispiel: Verschiedene Kundenservice-Plattformen, darunter Zendesk (unten abgebildet) und Intercom, bieten sofort einsatzbereite Kundensupport-Chatbots an, die sich in bestehende Dokumentationen und Kundensupport-Datenbanken integrieren.

Vergrößern

3. Persönliche Assistenten

Persönliche Assistenten nutzen agentenbasiertes RAG (Agentic RAG), um auf E-Mails, Dateien und den Kalender eines Nutzers zuzugreifen. Diese Assistenten können typischerweise mehrere RAG-Pipelines ausführen.

Wie es funktioniert: Da persönliche Assistenten häufig Zugriff auf mehrere Informationsquellen benötigen, nutzen sie eine Mischung aus APIs, Keyword-Suche, Vektorsuche und Wissensgraphen. Verschiedene Tool-Beschreibungen werden von der Anwendung an das LLM gesendet, welches dann die am besten geeigneten auswählt.

Reales Beispiel: Google Gemini dient als gutes Beispiel für eine App, die als universeller und persönlicher KI-Assistent fungieren kann (wie es heutzutage bei den meisten Assistenten der Fall ist). Sie lässt sich in ein Ökosystem von Tools wie Gmail, Docs, Photos und Calendar integrieren.

Vergrößern

4. Enterprise-Wissensmanagement

Enterprise-Wissensmanagement ermöglicht es Mitarbeitern, Fragen über einen breiten Korpus von Unternehmensinformationen hinweg zu stellen, einschließlich Richtlinien, Berichten, Projektdokumenten, Rechtstexten und sogar internen Diskussionen.

Wie es funktioniert: Die Anwendung ruft relevante Inhalte mithilfe eines Vektorindex ab, der aktualisiert wird, wenn sich Quelldokumente ändern. Der Index enthält Embeddings, die Dokumenten-Chunks repräsentieren, mit Links zu ihrem Text und zugehörigen Metadaten.

Reales Beispiel: Microsoft 365 Copilot greift über Microsoft Graph auf Unternehmensinformationen zu, das verschiedene APIs für Datenquellen bereitstellt, und nutzt lexikalische und semantische Indizes, um relevante Inhalte abzurufen.

Vergrößern

5. Programmierassistenten

Programmierassistenten wenden RAG auf eine Codebasis an. Während der zugrundeliegende RAG-Prozess derselbe ist (meist agentenbasiertes RAG), besteht der Unterschied darin, dass sie sich speziell mit dem Code-Kontext befassen.

Wie es funktioniert: Programmierassistenten indizieren lokale Projektdateien und führen mehrere Suchdurchläufe durch, um bei entsprechenden Prompts relevante Code-Snippets zu finden. Diese Assistenten verfügen typischerweise auch über dedizierte Konnektoren zur Erweiterung des Zugriffs, beispielsweise auf unternehmensweite Wissensdatenbanken.

Reales Beispiel: GitHub Copilot ist ein bekanntes Beispiel für einen Programmierassistenten, der sich direkt in Entwicklungsprojekte integriert. Er kann auch auf öffentliche GitHub-Repositories verweisen, um die Genauigkeit der Antworten zu erhöhen.

Vergrößern

6. Technische Fehlerbehebung

Die technische Fehlerbehebung integriert eine RAG-Pipeline für das Wissensmanagement mit einer Diagnoseschleife. Ein Agent kann Ergebnisse auswerten, um Empfehlungen zur Fehlerbehebung bei Bedarf weiter zu verfeinern.

Wie es funktioniert: Eine Anwendung erfasst Symptome eines technischen Problems vom Benutzer oder erhält automatisierte Überwachungswarnungen. Sie löst eine Suche nach Fehlermeldungen, technischen Protokollen (Logs) und Leistungsmetriken aus, um die Symptome gegenzuprüfen. Anschließend ruft sie relevante Informationen aus einer internen Wissensbasis ab, um diese an das LLM weiterzuleiten. Die Diagnoseschleife findet statt, wenn die Ergebnisse eines versuchten Fixes in das LLM zurückgespeist werden – entweder durch den Benutzer oder ein Diagnose-Tool.

Reales Beispiel: Die Observability-Plattform Datadog (unten abgebildet) sammelt Daten aus allen Schichten eines Systems und markiert etwaige Probleme beim Auftreten. Diese werden dann an einen spezialisierten KI-Agent namens Bits AI übergeben, um potenzielle Korrekturen zu analysieren und zu beheben.

Vergrößern

7. Agentenbasierter Handel (Agentic Commerce)

Agentenbasierter Handel ist ein breiterer Anwendungsfall, der in der Regel RAG beinhaltet. Ein Shopping-Agent ruft Details wie Produktspezifikationen, Bewertungen, Preise und Verfügbarkeit ab, um Optionen zu vergleichen und Empfehlungen zu erläutern. Anschließend kann er den Kauf automatisch tätigen, ohne dass der Benutzer die Benutzeroberfläche verlassen muss.

Wie es funktioniert: Agentenbasierter Handel ist echtes agentenbasiertes RAG, da bestimmte Anfragen häufig unterschiedliche Formen des Retrievals erfordern, die vom Modell gesteuert werden. Ein Agent ruft möglicherweise rein textbasierte Produktdaten über die API eines Händlers ab oder nutzt multimodales RAG, um Produkte in einem semantischen Index anhand eines Benutzerfotos abzugleichen.

Reales Beispiel: Ein Allzweck-Agent wie Perplexity kann anhand eines Prompts mehrere Bilder und detaillierte Produktspezifikationen abrufen. Die „Instant Buy“-Checkout-Funktion ermöglicht es dem Benutzer, den Kauf nach der Auswahl eines Produkts abzuschließen.

Vergrößern

8. Spezialisierte Wissensdomänen

KI-Tools, die spezialisiertes Domänenwissen abrufen, müssen mit komplexen Inhaltsformaten umgehen. Darüber hinaus hat die Minimierung von Halluzinationen und Informationslücken oft oberste Priorität.

Wie es funktioniert: Der Hauptunterschied zwischen universellen und spezialisierten RAG-Architekturen betrifft das Quellmaterial und die Konfiguration des Abrufs. Typischerweise wird nur ein hochgradig autoritativer Index abgefragt, und die Anfrage wird so konfiguriert, dass sie spezifische Terminologie enthält, um Suchanfragen einzugrenzen.

Reales Beispiel: Das akademische Recherche-Tool Scite greift auf einen großen Index akademischer Arbeiten und Zitatdaten zu, der durch Verlagsvereinbarungen und Open-Access-Quellen aufgebaut wurde. Es wendet vor der Generierung einer vollständigen Antwort auch Prüfungen nach dem Abruf an, wie beispielsweise die Verifizierung von Quellen.

Vergrößern

9. Datenanalyse

RAG für die Datenanalyse hat sich zu einem besonders leistungsstarken Enterprise-Anwendungsfall entwickelt, da es einer Vielzahl von Fachleuten – insbesondere solchen ohne Ausbildung im Bereich Data Science – ermöglicht, Datensätze in natürlicher Sprache abzufragen. Dies erleichtert das Erstellen von Berichten und das Stellen hochspezifischer Fragen.

Wie es funktioniert: Bei einer Frage wie „Warum sind die Verkäufe im letzten Quartal gesunken?“ fragt die Anwendung möglicherweise Verkaufsaufzeichnungen ab und ruft Notizen zu Lagerengpässen oder Preisänderungen ab. Das LLM wählt die geeignete Berechnung (die in der Regel an ein Berechnungstool delegiert wird) für die abgerufenen Daten aus, bevor es eine Analyse generiert.

Reales Beispiel: Google Analytics bietet einen KI-Chatbot „Ask Advisor“, der auf Webanalysedaten zugreifen und hochspezifische, nuancierte Fragen von Benutzern beantworten kann. Dies ist eines der besten praxisnahen Beispiele für geschlossene System-RAG auf Unternehmensebene.

Vergrößern

Was kommt als Nächstes in der Entwicklung von RAG?

RAG war eine bedeutende Entwicklung, als es erstmals eingeführt wurde. Es trug dazu bei, viele der Probleme zu lösen, die eigenständigen LLMs inhärent sind.

Es ist jedoch alles andere als eine statische Technologie. Die aktuelle Recherche konzentriert sich auf ein tieferes multimodales Retrieval und eine rigorosere Verarbeitung des abgerufenen Kontexts im Hinblick auf Genauigkeit und Korrektheit. Darüber hinaus werden wir voraussichtlich eine stärkere Integration von RAG in Multi-Tool-Agenten erleben.

Selbst bei extrem großen Kontextfenstern gibt es wichtige Anwendungsfälle für RAG in persönlichen und professionellen Kontexten sowie viele Innovationen, die noch bevorstehen.