9 RAG-voorbeelden op basis van praktische gebruiksscenario's en architecturen

RAG wordt zowel in consumenten- als bedrijfscontexten veel gebruikt. Praktische en alledaagse voorbeelden van RAG zijn onder andere webzoekopdrachten, klantenservice en winkelen met AI. Toegang tot interne kennis en coderingshulp behoren tot de meest prominente zakelijke voorbeelden.

De RAG-architectuur kan ook variëren per gebruiksscenario. Twee van de meest voorkomende implementaties zijn hybride RAG, dat traditionele trefwoordmatching combineert met vector- of kennisgrafiekzoekopdrachten, en agentic RAG, waarbij een LLM het ophaalproces aanstuurt.

Wat is retrieval-augmented generation (RAG)?

RAG, of retrieval-augmented generation, stelt AI-toepassingen in staat om toegang te krijgen tot informatie die is opgeslagen in externe systemen om door LLM gegenereerde antwoorden aan te vullen.

Het is een krachtige technologie omdat het drie grote problemen met generatieve AI aanpakt: hallucinaties, verouderde informatie en een gebrek aan toegang tot gegevens die niet in de invoercontext zijn opgenomen.

Dit is hoe een basis RAG-proces eruitziet:

1. De gebruiker voert een prompt in in natuurlijke taal.
2. De AI-toepassing bepaalt of gronding vereist is, soms met betrokkenheid van een LLM.
3. Er wordt een verzoek verzonden naar een externe informatiebron, zoals een database.
4. De opgehaalde informatie wordt toegevoegd aan de invoercontext van de LLM.
5. De LLM genereert een antwoord op basis van de aangevulde prompt.

Hoewel ze kunnen verschillen in de specifieke implementatie, vertegenwoordigen deze stappen een typische RAG-workflow. Verschillen tussen de verschillende typen architectuur draaien meestal om hoe verzoeken worden afgehandeld door de clienttoepassing en de aard van de informatie die wordt opgehaald.

Een overzicht van de RAG-architectuur

De term "retrieval-augmented generation" verscheen voor het eerst in een paper uit 2020 genaamd Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, gepubliceerd door onderzoekers van Meta AI (toen Facebook AI Research) samen met collaborators van University College London en New York University.

Vroege 'retrieve-then-generate'-benaderingen, die losjes 'naive RAG' worden genoemd, zijn sindsdien uitgegroeid tot een assortiment van verschillende architectuurtypen, waarvan er vele elkaar overlappen.

Naive RAG

Naive RAG maakt gebruik van een eenvoudige pijplijn voor ophalen en genereren, wat nog steeds geschikt is voor veel basisverzoeken. Het meest voorkomende voorbeeld van naive RAG is de conversie van een zoekopdracht naar een geordende lijst van getallen, een vector-embedding genoemd, of simpelweg een vector. De query-embedding wordt vervolgens gematcht met andere vectoren die brokken vertegenwoordigen, gedeelten van inhoud in een database of index (een semantische index genoemd).

Geavanceerde RAG

Geavanceerde RAG optimaliseert de fasen voor en na het ophalen. Technieken omvatten query-expansie, metadatafiltering en contextcompressie. Deze verbeteren in wezen de relevantie van de informatie die wordt opgehaald en hoe deze wordt gewijzigd voordat deze wordt toegevoegd aan de invoercontext van een LLM.

Agentic RAG

Agentic RAG is de uitvoering van RAG-pijplijnen door een op LLM gebaseerde Agent. De Agent "beslist" welke tools het beste zijn voor een bepaalde prompt en stuurt het ophalen aan, soms in een lus, om een relevant antwoord te genereren.

Graph RAG

Graph RAG haalt informatie op uit een kennisgrafiek, die entiteiten (zoals objecten, concepten en gebeurtenissen) en de relaties daartussen vertegenwoordigt. Dit is nuttig wanneer een antwoord op een prompt vereist dat de LLM informatie over verschillende entiteiten combineert.

Multimodale RAG

Multimodale RAG breidt het ophalen uit naar inhoud zoals afbeeldingen en audio tijdens zowel zoekopdrachten als het ophalen. Deze RAG-pijplijnen gebruiken speciale encoders om tekst, afbeeldingen of audio te converteren naar embeddings.

Hybride RAG

Hybride RAG combineert trefwoordzoekopdrachten, of lexicaal ophalen, met vector-ophalen of kennisgrafieken en voegt de resultaten samen. Dit is handig omdat trefwoordmatching in bepaalde contexten zeer nauwkeurig kan zijn (meer dan andere methoden).

Corrective RAG

Corrective RAG evalueert geretourneerde informatie of gegevens op relevantie voor de zoekopdracht. Het kan de opgehaalde passages verfijnen of aanvullen, of ze volledig vervangen door een ander verzoek uit te voeren.

RAG-voorbeelden per gebruiksscenario en industriële toepassing

Er zijn meerdere voorbeelden van RAG in zowel de consumenten- als de zakelijke sfeer. Dit komt voor een groot deel doordat RAG-pijplijnen zijn geïntegreerd in de meeste reguliere tools. Bovendien bieden veel leveranciers kant-en-klare integraties, zoals voor chatbots voor de klantenservice, wat de adoptie heeft vergemakkelijkt.

1. Webzoekopdracht

Webzoekopdrachten zijn een van de meest voorkomende voorbeelden van RAG. Elke dag gebruiken miljoenen mensen AI-tools om antwoorden te genereren die zijn gebaseerd op informatie die van internet is opgehaald.

Hoe het werkt: De AI-toepassing doorzoekt een webindex, zoals de Google Search-index, met behulp van op trefwoorden gebaseerd en semantisch ophalen. Relevante pagina-inhoud wordt samen met de vraag van de gebruiker opgenomen in de invoer van de LLM. De LLM genereert vervolgens een antwoord, meestal met bronvermeldingen.

Praktisch voorbeeld: Als een gebruiker een eenvoudige zoekopdracht invoert in de chat-interface van Perplexity, zoals: "Wat is het weer in Chicago?", zal de LLM een webzoekopdracht uitvoeren om up-to-date informatie te vinden. Perplexity gebruikt een eigen webindex in combinatie met zoek-API's van partners.

Vergroten

2. Klantenservice

Chatbots in apps en op websites zijn uitgegroeid tot een belangrijk zakelijk gebruiksscenario van RAG. Deze systemen worden meestal gekoppeld aan traditionele routeringspaden, waardoor er minder interventie van medewerkers van de klantenservice nodig is.

Hoe het werkt: Wanneer een klant een vraag stelt, doorzoekt de toepassing de kennisbank van het bedrijf, vaak met behulp van een hybride pijplijn. De opgehaalde passages worden geleverd aan de LLM, die een antwoord genereert. Er zijn doorgaans ook correctie- en overdrachtsprocessen bij betrokken om het antwoord te valideren en, indien nodig, door te sturen naar een medewerker.

Praktisch voorbeeld: Verschillende klantenserviceplatforms, waaronder Zendesk (hieronder afgebeeld) en Intercom, bieden kant-en-klare chatbots voor de klantenservice die kunnen worden geïntegreerd met bestaande documentatie en klantenservicebases.

Vergroten

3. Persoonlijke assistenten

Persoonlijke assistenten gebruiken agentic RAG om toegang te krijgen tot e-mails, bestanden en de agenda van een gebruiker. Deze assistenten kunnen doorgaans meerdere RAG-pijplijnen uitvoeren.

Hoe het werkt: Omdat persoonlijke assistenten vaak toegang nodig hebben tot meerdere informatiebronnen, gebruiken ze een mix van API's, trefwoordzoekopdrachten, vectorzoekopdrachten en kennisgrafieken. Verschillende toolbeschrijvingen worden door de toepassing naar de LLM verzonden, die vervolgens de meest geschikte selecteert.

Praktisch voorbeeld: Google Gemini dient als een goed voorbeeld van een app die kan fungeren als een algemene en persoonlijke AI-assistent (zoals tegenwoordig het geval is bij de meeste assistenten). Het integreert met een ecosysteem van tools, zoals Gmail, Docs, Photos en Calendar.

Vergroten

4. Enterprise-kennisbeheer

Enterprise-kennisbeheer stelt werknemers in staat om vragen te stellen over een brede hoeveelheid bedrijfsinformatie, waaronder beleid, rapporten, projectdocumenten, juridische teksten en zelfs interne discussies.

Hoe het werkt: De toepassing haalt relevante inhoud op met behulp van een vectorindex die wordt bijgewerkt naarmate brondocumenten veranderen. De index bevat embeddings die documentchunks vertegenwoordigen, met links naar hun tekst en bijbehorende metagegevens.

Praktisch voorbeeld: Microsoft 365 Copilot heeft toegang tot organisatie-informatie via Microsoft Graph, dat verschillende API's voor gegevensbronnen beschikbaar stelt, en gebruikt lexicale en semantische indexen om relevante inhoud op te halen.

Vergroten

5. Codeerassistenten

Codeerassistenten passen RAG toe op een codebase. Hoewel het onderliggende RAG-proces hetzelfde is (meestal agentic RAG), is het verschil dat ze specifiek te maken hebben met codecontext.

Hoe het werkt: Codeerassistenten indexeren lokale projectbestanden en voeren meerdere zoekpassages uit om relevante codesnippets te vinden wanneer er om wordt gevraagd. Deze assistenten hebben doorgaans ook speciale connectors om de toegang uit te breiden, zoals tot zakelijke kennisbanken.

Praktisch voorbeeld: GitHub Copilot is een bekend voorbeeld van een codeerassistent die direct integratie heeft met ontwikkelingsprojecten. Het kan ook verwijzen naar openbare GitHub-opslagplaatsen om de nauwkeurigheid van antwoorden te vergroten.

Vergroten

6. Technische probleemoplossing

Technische probleemoplossing integreert een RAG-pijplijn voor kennisbeheer met een diagnostische lus. Een Agent kan resultaten evalueren om aanbevelingen voor probleemoplossing indien nodig verder te verfijnen.

Hoe het werkt: Een toepassing verzamelt symptomen van een technisch probleem bij de gebruiker of ontvangt geautomatiseerde bewakingswaarschuwingen. Het triggert een zoekopdracht naar foutmeldingen, technische logboeken en prestatiemetrics om de symptomen te controleren. Vervolgens haalt het relevante informatie op uit een interne kennisbank om deze door te geven aan de LLM. De diagnostische lus treedt op wanneer de resultaten van een geprobeerde fix terugkeren naar de LLM, hetzij van de gebruiker, hetzij van een diagnostische tool.

Praktisch voorbeeld: Het observability-platform Datadog (hieronder afgebeeld) verzamelt gegevens uit alle lagen van een systeem en markeert eventuele problemen wanneer deze zich voordoen. Deze worden vervolgens ingevoerd in een gespecialiseerde AI-Agent genaamd Bits AI om mogelijke oplossingen te onderzoeken.

Vergroten

7. Agentic commerce

Agentic commerce is een breder gebruiksscenario dat meestal RAG met zich meebrengt. Een winkel-Agent haalt details op zoals productspecificaties, recensies, prijzen en beschikbaarheid om opties te vergelijken en aanbevelingen toe te lichten. Vervolgens kan de aankoop automatisch worden gedaan zonder dat de gebruiker de interface verlaat.

Hoe het werkt: Agentic commerce is echte agentic RAG omdat specifieke zoekopdrachten vaak verschillende vormen van ophalen vereisen, die het model aanstuurt. Een Agent kan uitsluitend tekstuele productgegevens ophalen via de API van een winkelier, of het kan multimodale RAG gebruiken om producten in een semantische index te matchen op basis van een foto van de gebruiker.

Praktisch voorbeeld: Een voor algemene doeleinden geschikte Agent zoals Perplexity kan meerdere afbeeldingen en gedetailleerde productspecificaties ophalen op basis van een prompt. Met de afrekenfunctie Instant Buy kan de gebruiker de aankoop afronden nadat hij een product heeft geselecteerd.

Vergroten

8. Gespecialiseerde kennisdomeinen

AI-tools die gespecialiseerde domeinkennis ophalen, moeten omgaan met complexe inhoudsformaten. Bovendien is het minimaliseren van hallucinaties en hiaten in informatie vaak een prioriteit.

Hoe het werkt: Het belangrijkste verschil tussen RAG-architecturen voor algemene doeleinden en gespecialiseerde RAG-architecturen heeft betrekking op het bronmateriaal en de ophaalconfiguratie. Meestal wordt er alleen een zeer gezaghebbende index doorzocht en wordt het verzoek zo geconfigureerd dat specifieke terminologie wordt opgenomen om zoekopdrachten te verfijnen.

Praktisch voorbeeld: De academische Onderzoek-tool Scite heeft toegang tot een grote index van academische papers en citatiegegevens die is opgebouwd via overeenkomsten met uitgevers en open-accessbronnen. Het past ook controles toe na het ophalen, zoals bronverificatie, voordat er een volledig antwoord wordt gegenereerd.

Vergroten

9. Gegevensanalyse

RAG voor gegevensanalyse is uitgegroeid tot een bijzonder krachtig zakelijk gebruiksscenario omdat het een breed scala aan professionals, met name mensen zonder opleiding in data science, in staat stelt om datasets te doorzoeken met behulp van natuurlijke taal. Dit maakt het gemakkelijker om rapporten te genereren en zeer specifieke vragen te stellen.

Hoe het werkt: Voor een vraag als "Waarom daalde de verkoop vorig kwartaal?" kan de toepassing verkooprecords doorzoeken en notities ophalen over voorraadtekorten of prijswijzigingen. De LLM selecteert de juiste berekening (die meestal wordt uitbesteed aan een berekeningstool) voor de opgehaalde gegevens voordat er een analyse wordt gegenereerd.

Praktisch voorbeeld: Google Analytics biedt een AI-chatbot "Ask Advisor" die toegang heeft tot webanalysed gegevens en zeer specifieke, genuanceerde vragen van gebruikers kan beantwoorden. Het is een van de beste praktijkvoorbeelden van RAG op enterprise-niveau in een gesloten systeem.

Vergroten

Wat is de volgende stap in de evolutie van RAG?

RAG was een significante ontwikkeling toen het voor het eerst werd geïntroduceerd. Het hielp bij het aanpakken van veel problemen die inherent zijn aan zelfstandige LLM's.

Het is echter verre van een statische technologie. Huidig Onderzoek is gericht op diepere multimodale ophaalmethoden en strengere verwerking van opgehaalde context voor nauwkeurigheid en juistheid. Daarnaast zullen we waarschijnlijk een grotere integratie van RAG zien in Agents met meerdere tools.

Zelfs met extreem grote contextvensters zijn er belangrijke gebruiksscenario's voor RAG in zowel persoonlijke als professionele contexten en staan er nog veel innovaties te wachten.