RAG vs. LLM: Technische Analyse (Definitionen, Unterschiede, Anwendungsfälle)

LLMs erzeugen Antworten mithilfe von Parametern, die aus Mustern in ihren Trainingsdaten gelernt wurden. Da diese Parameter möglicherweise keine aktuellen oder vollständigen Informationen widerspiegeln, ergänzt RAG, kurz für Retrieval-Augmented Generation, den Prozess, indem Daten aus externen Quellen zum Eingabekontext des LLM hinzugefügt werden. Ein KI-Tool ruft externe Informationen ab, um den Augmentierungs-prozess der Generierung des LLM zu erweitern.

In Wirklichkeit geht es bei Ihrer Wahl nicht um RAG oder ein LLM. Es geht um die Wahl zwischen einem hybriden Ansatz und einem Ansatz, der nur ein LLM verwendet.

RAG ist notwendig, wenn ein LLM Zugriff auf Unternehmensdokumentation, Datenbanken oder sich schnell ändernde Informationen benötigt. Ein LLM-only-Ansatz eignet sich für bestimmte administrative, datenverarbeitende und Content-Creation-Aufgaben, bei denen alle Eingaben vom Nutzer bereitgestellt werden können.

RAG vs. LLM: Was sind die wichtigsten Unterschiede?

• RAG und LLMs sind komplementäre Systeme. Sie können ein KI-Modell ohne RAG verwenden (wobei es ausschließlich auf seinen vorhandenen Parametern beruht), aber Sie können kein RAG-System ohne ein Modell verwenden.
• RAG wurde eingeführt, um drei zentrale Probleme von LLMs zu überwinden: veraltete Informationen, halluzinierte Antworten und fehlende Verifizierung gegenüber Drittquellen.
• RAG macht KI in realen Geschäftssituationen wesentlich effektiver, weil es LLMs mit verifizierter interner Dokumentation, Datenbanken und API-Endpunkten verbindet.
• Zu den wichtigsten RAG-Anwendungsfällen gehören Customer-Support-Chatbots, Abfragen auf Basis schnell wechselnder Daten (wie Branchennews) sowie spezialisierte Bereiche wie Medizin und Recht, in denen Genauigkeit und die Überprüfung von Quellen wichtig sind.
• Es gibt drei Hauptarten von RAG: naive RAG, modulare RAG und fortgeschrittene RAG. Naive RAG lässt sich am besten als unkomplizierte Informationsbeschaffung verstehen, während modulare und fortgeschrittene RAG zusätzliche Funktionen wie Query-Rewriting und Chunk-Optimierung bieten.

Was ist ein großes Sprachmodell (LLM)?

Ein LLM, also ein großes Sprachmodell, ist ein System, das Inhalte mithilfe fein abgestimmter Parameter erzeugt. Diese Parameter bestimmen die Wahrscheinlichkeiten, die allen Tokens im Vokabular eines LLM zugewiesen werden, und geben an, welches Token in einer gegebenen Sequenz am wahrscheinlichsten als Nächstes kommt.

Um besser zu verstehen, wie RAG funktioniert (und sich von) LLMs unterscheidet, ist es hilfreich, sich anzusehen, wie generative KI auf grundlegender Ebene funktioniert:

1. Tokenisierung: Der Prompt eines Nutzers wird in Tokens zerlegt, die Wörter, Wortteile oder einzelne Zeichen sein können.
2. Embedding: Tokens werden in Embeddings umgewandelt, also numerische Darstellungen (Zahlenfolgen), die als Vektoren bezeichnet werden und von dem neuronalen Netz, das einen Decoder umfasst, verarbeitet werden können.
3. Dekodierung: Die Schichten des Decoders (die einen großen Teil des neuronalen Netzes des LLM ausmachen) verarbeiten diese Vektoren mithilfe eines Verfahrens namens Attention , um Bedeutung zu erfassen. Dieser Prozess bestimmt, wie stark sich jedes Token auf andere Tokens in der Sequenz beziehen soll.
4. Bewertung: Das Modell weist jedem Token in seinem bereits vorhandenen Vokabular eine Kompatibilitätswahrscheinlichkeit zu und wählt ein wahrscheinliches nächstes Token für die Sequenz aus.

Der wichtige Punkt ist, dass ein LLM Ausgaben nur auf Grundlage seiner vorhandenen Parameter und der Tokens in seinem Context Window erzeugen kann. Während des Trainings wird ein LLM Milliarden Male dazu aufgefordert, Teile unvollständiger Texte zu vervollständigen, und seine Parameter werden so lange angepasst, bis es Token-Wahrscheinlichkeiten zuverlässig zuweist und dadurch den Text vervollständigt.

Stellen Sie sich zum Beispiel vor, Sie fragen ein KI-Modell: „Was sagt die Rückerstattungsrichtlinie unseres Unternehmens für 2026?“ Das LLM kann nur die nächsten Tokens auf Grundlage seiner vorhandenen Parameter vorhersagen, die nicht mithilfe Ihrer Support-Dokumentation feinabgestimmt wurden. Wenn Sie es ohne zusätzlichen Kontext mit dieser Frage konfrontieren, wird es schlicht nicht in der Lage sein, sinnvoll zu antworten, oder es halluziniert eine falsche Antwort.

Was ist Retrieval-Augmented Generation (RAG)?

RAG (Retrieval-Augmented Generation) ist der Prozess, bei dem Informationen aus externen Systemen in einen LLM-Prompt aufgenommen werden.

Der zugrunde liegende LLM-Prozess, der Embedding und probabilistischen Token-Abgleich umfasst, bleibt derselbe. RAG führt einen vorbereitenden Schritt ein, bei dem der Nutzerprompt um zusätzliche Daten erweitert wird.

Hier ist ein Überblick darüber, wie RAG funktioniert:

1. Wissensaufbereitung: Eine Wissensquelle wird vorbereitet. Dabei kann es sich um eine Gruppe von Dokumenten, eine Vektordatenbank, einen Knowledge Graph oder einen Live-Index (etwa für KI-Suche) handeln.
2. Prompting: Ein Nutzer gibt einen Prompt ein, zum Beispiel: „Sollte ich heute in London spazieren gehen?“
3. Abfrage: Die externe Informationsquelle wird vom Retriever des KI-Tools abgefragt. Er kann den Prompt einbetten, ihn also in einen Vektor umwandeln, und dann eine Vektordatenbank abfragen. Alternativ kann er eine andere Methode verwenden, etwa einen API-Aufruf, Keyword-Matching oder das Traversieren eines Knowledge Graphs.
4. Einfügung: Diese Informationen werden dem ursprünglichen Prompt des Nutzers hinzugefügt. Im Beispiel der Frage nach einem Spaziergang in London könnte dies Wetterinformationen in London und die aktuelle Zugänglichkeit beliebter Spazierwege umfassen.
5. Antwortgenerierung: Das LLM erzeugt eine Antwort auf die übliche Weise unter Verwendung des erweiterten Prompts.

Im Hintergrund wird der abgerufene Text dem Eingabekontext hinzugefügt, tokenisiert und eingebettet. Das Modell verarbeitet diesen zusätzlichen Kontext dann über seinen Decoder, wodurch sich die Token-Wahrscheinlichkeiten der Ausgabe ändern.

Im weitesten Sinne lässt sich RAG in drei Untertypen unterteilen. Naive RAG folgt dem grundlegenden RAG-Prozess und ruft Informationen ab, um sie in den Prompt einzuspeisen. Fortgeschrittene RAG ergänzt zusätzliche Funktionen wie Query-Rewriting und mehrere Query-Durchläufe. Modulare RAG bezeichnet eine Architektur, in der verschiedene fortgeschrittene Funktionen als Komponenten behandelt und bei Bedarf kombiniert werden können.

RAG vs. LLM: Überblick über Anwendungsfälle

RAG verschafft Nutzern Zugriff auf aktuelle Daten. Dadurch sind die Ausgaben von LLMs weniger anfällig für Halluzinationen und Informationslücken. Wenn Sie die Quellen der in einer Ausgabe verwendeten Informationen sehen müssen, ist RAG ebenfalls unverzichtbar, da nicht verankerte LLM-Antworten keine Quellenangaben enthalten.

Vergrößern

RAG-Anwendungsfälle

• Anfragen nach zeitkritischen Informationen: Jede Anfrage nach Informationen, die schnell veralten, was so einfach wie eine Wettervorhersage oder so komplex wie eine detaillierte Analyse eines aufkommenden Nachrichtenereignisses sein kann, muss auf validierten Drittquellen basieren.
• Unternehmensdokumentation: Interne oder kundenorientierte KI-Chatbots, bei denen Nutzer Fragen zu Unternehmens- oder Produktdokumentation stellen, sollten RAG-fähig sein, insbesondere wenn die Dokumentation häufig aktualisiert wird.
• Kundensupport: Customer-Chatbots benötigen Zugriff auf aktuelle, detaillierte Support-Dokumentation, um präzise Antworten zu liefern.
• Spezialisierte Bereiche (Medizin, Recht, Finanzen usw.): LLMs, die nicht auf domänenspezifischen Korpora trainiert wurden (insbesondere Mainstream-Modelle), haben typischerweise Schwierigkeiten mit den Nuancen spezialisierter Prompts.

LLM-Anwendungsfälle

• Administrative Aufgaben: LLMs können grundlegende Aufgaben mit minimaler Latenz erledigen. RAG ist für grundlegende Schreib- und Verwaltungsaufgaben, wie etwa Rechtschreibprüfung oder Zusammenfassung, bei denen keine externen Informationen erforderlich sind, unnötig.
• Kreative Aufgaben: Manche kreativen Aufgaben, wie das Erstellen einer Kurzgeschichte oder eines Bildes, benötigen nur die Informationen, die im ursprünglichen Prompt bereitgestellt werden.
• Reasoning- und datenbasierte Aufgaben: Wenn Sie mit einem großen Datensatz arbeiten, benötigt ein LLM keinen Zugriff auf externe Informationen, um Reasoning- und Analysefunktionen anzuwenden.
• Allgemeines Coding: Während ein Coding-Workflow Zugriff auf eine private Codebasis oder Dokumentation erfordern kann, sind LLMs sehr gut darin, allgemeine Coding-Aufgaben wie das Beheben von Fehlern und das Erstellen von Funktionen ohne Rückgriff auf externe Quellen auszuführen.

RAG vs. LLM mit langem Kontext, Agentic AI und Grounding

Es gibt drei verwandte Konzepte, die für die Unterscheidung zwischen RAG und LLMs relevant sind. Das sind LLMs mit langem Kontext, Agentic AI und Grounding.

LLMs mit langem Kontext können manchmal anstelle von RAG-fähigen Systemen verwendet werden, während Agentic AI und Grounding damit synonym sind oder parallel zu ihnen funktionieren.

LLMs mit langem Kontext

Dabei handelt es sich um Modelle mit großen Context Windows, wobei einige weit verbreitete kommerzielle Modelle bis zu einer Million Tokens verarbeiten können.

Wenn relevantes Material in das Context Window eines Modells passt und in einem Textformat vorliegt, kann ein LLM-only-Ansatz einige Vorteile bieten. Er kann die Wahrscheinlichkeit von Abruffehlern verringern, umfassenderen Kontext bereitstellen und den Aufwand für das Einrichten einer umfangreichen RAG-Architektur vermeiden.

Agentic AI

Ein Agent ist ein System, das auf mehrere Tools zurückgreift, darunter RAG-Funktionen, um komplexe Aufgaben auszuführen. RAG ist eine Komponente von Agentic AI, und ein Agent verwendet je nach Inhalt eines Prompts häufig unterschiedliche Arten von Abrufmethoden (z. B. Websuche vs. Vektorsuche).

Grounding

Grounding bezeichnet den umfassenderen Prozess, Belege oder Daten zu verwenden, um die Genauigkeit einer Antwort eines LLM zu verbessern oder sie zu verankern. RAG ist eine Form von Grounding, aber auch das Hinzufügen eines technischen Dokuments zu einem Context Window würde als Grounding gelten.

RAG vs. LLM: Praxisbeispiele

Um besser zu verstehen, wie RAG im Vergleich zur Verwendung von LLMs ohne RAG funktioniert, können wir uns ein einfaches reales Beispiel mit Perplexity und einem hypothetischen Unternehmensszenario ansehen, in dem eine Vektordatenbank abgefragt wird.

RAG vs. LLM mit einem einfachen Prompt

Hier ist die Ausgabe (auf zwei Sätze begrenzt), wenn Perplexity gefragt wird: „Sollte ich heute in London spazieren gehen?“ und die KI-Websuche (eine Form von RAG) deaktiviert ist:

Ja — wenn das Wetter einigermaßen trocken ist und Sie die Zeit haben, könnte ein Spaziergang in London heute eine erfrischende Abwechslung sein. Wählen Sie eine Route entlang der South Bank, des Regent’s Canal oder durch den Hyde Park und nehmen Sie für alle Fälle einen leichten Regenschutz mit.

Vergleichen Sie dies mit dem Prompt, wenn das LLM externe Quellen prüfen kann:

Ja, es ist ein guter Tag für einen Spaziergang in London: Die Vorhersage sagt milde Temperaturen um 19–21 °C, sonnige Abschnitte und nur eine sehr geringe Regenwahrscheinlichkeit voraus. Bei teilweise bewölktem Himmel und einer leichten Brise sind die Bedingungen angenehm, um Parks oder Uferwege wie die South Bank zu erkunden.

Zwischen den beiden gibt es Gemeinsamkeiten, da das LLM denselben zugrunde liegenden Prozess zur Token-Bewertung verwendet. Das zweite Beispiel enthält jedoch detaillierte Wetterinformationen, wodurch es wesentlich nützlicher ist.

RAG vs. LLM mit einer Unternehmens-Vektordatenbank

Stellen Sie sich vor, ein Nutzer stellt einem In-App-Chatbot für eine Banking-App die folgende Frage: „Wo kann ich meinen neuesten Kontoauszug herunterladen?“

Die Bank, die die App verwaltet, hat eine Datenbank mit Embeddings ihrer aktuellen Produktdokumentation erstellt und diese mit der RAG-Pipeline des Chatbots verbunden. Die Dokumentation besteht aus rund 1.000 Quelldokumenten, die in kleinere Chunks aufgeteilt und zur Abfrage in Vektoren umgewandelt wurden.

Die Anfrage des Nutzers wird an ein Embedding-Modell gesendet, und die Anwendung sendet diesen Vektor an die Datenbank, die die relevanten Chunks zurückgibt.

Das Embedding-Modell würde eine Anfrage wie diese erhalten:

Das Embedding-Modell gibt die folgende Vektor-Einbettung zurück:

Die Vektordatenbank erhält dann eine Anfrage wie die folgende:

In diesem (stark vereinfachten) Beispiel liefert die Datenbank die fünf Chunks zurück, die für die Anfrage des Nutzers am relevantesten sind; diese werden an die Anwendung gesendet und in den LLM-Prompt aufgenommen.

Wann man RAG vs. ein LLM wählt und wann man beides kombiniert

LLMs und RAG sind komplementäre Systeme. Daher ist die Frage „Wann sollte ich ein LLM wählen und wann RAG?“ fehl am Platz. Stattdessen sollten Sie fragen: „Wann reicht ein LLM aus und wann ist RAG optimal?“

Wann man ein LLM ohne aktiviertes RAG verwendet

• Ihr ausgewähltes KI-Modell hat ein großes Context Window: Wenn es einfacher ist, alle Informationen oder Daten, die für eine präzise Antwort erforderlich sind, in Ihren Prompt aufzunehmen, etwa durch das Hochladen eines Dokuments, kann dies die Latenz verringern und Probleme im Zusammenhang mit dem Abruf verhindern.
• Reasoning- und Datenanalyse-Workflows: Analyse- und Reasoning-Workflows, die sich nur auf die im Prompt bereitgestellten Daten beziehen, benötigen keine RAG-Funktionen.
• Codegenerierung: RAG ist für allgemeine Coding-Arbeiten in der Regel nicht erforderlich, wird jedoch meist für projektspezifische Aufgaben eingesetzt, etwa zum Abrufen früherer Fehlerbehebungen oder von APIs und Dokumentation von Anbietern.

Wann man ein LLM mit aktiviertem RAG verwendet

• Sie benötigen Zugriff auf aktuelle Informationen: Wenn eine KI-Anwendung auf externe Quellen aktueller Informationen zugreifen muss, um eine präzise Antwort zu erzeugen, sollten Sie immer sicherstellen, dass RAG-Funktionen aktiviert sind.
• Sie arbeiten in einem spezialisierten Bereich: Für Bereiche wie Medizin, Recht, Bildung und so weiter, in denen Genauigkeit, Detailtiefe und Quellprüfung wichtig sind, reicht eine reine LLM-Nutzung oft nicht aus.
• Die Ausgaben sollen auf interne Unternehmensdateien verweisen: Wenn Sie KI, entweder intern oder in einer kundenorientierten App, verwenden, um Inhalte auf Grundlage interner Unternehmensdokumente, ob Daten, ein Brand Kit, Dokumentation oder Dateien, zu generieren, bietet RAG Zugriff auf diese Informationen.

RAG und LLMs sind komplementäre, sich weiterentwickelnde Technologien

RAG markierte einen bedeutenden Innovationsschritt in der Entwicklung der KI. Es adressiert drei große Probleme: veraltete Informationen, begrenztes Modellgedächtnis und Informationslücken aufgrund fehlender relevanter Trainingsdaten, die oft zu Halluzinationen führten. Natürlich haben LLMs dies nicht vollständig überwunden, aber ihr Auftreten hat sich mit dem Aufkommen von RAG deutlich verringert.

RAG ist keine statische Technologie. Es wird erwartet, dass es sich in einer Reihe von Bereichen verbessert, darunter Reranking, Latenz bei der Abfrage und beim Tokenverbrauch, Sicherheitsmaßnahmen gegen gefährliche Datenquellen, die Integration abgerufener Daten aus mehreren Quellen und mehr. Während sich LLMs und Agentic AI weiterentwickeln, werden sich auch die RAG-Systeme, die sie unterstützen.