9 RAG-eksempler baseret på reelle brugsscenarier og arkitekturer

RAG bruges i vid udstrækning i både forbruger- og virksomhedssammenhænge. Reelle, hverdagsagtige eksempler på RAG omfatter websøgning, kundesupport og AI-aktiveret shopping. Intern videnadgang og kodningsassistance er blandt de mest fremtrædende virksomhedseksempler.

RAG-arkitektur kan også variere på tværs af brugsscenarier. To af de mest almindelige implementeringer er hybrid RAG, som kombinerer traditionel nøgleordsmatchning med vektor- eller vidensgraffinding, og agentic RAG, hvor en LLM styrer hentningsprocessen.

Hvad er retrieval-augmented generation (RAG)?

RAG, eller retrieval-augmented generation, gør det muligt for AI-applikationer at få adgang til information, der er gemt i eksterne systemer, for at supplere LLM-genererede svar.

Det er en kraftfuld teknologi, fordi den løser tre store problemer ved generativ AI: hallucinationer, uaktuel information og manglende adgang til data, der ikke er inkluderet i inputkonteksten.

Her er hvordan en grundlæggende RAG-proces ser ud:

1. Brugeren indtaster en forespørgsel på naturligt sprog.
2. AI-applikationen bestemmer, om grounding er påkrævet, nogle gange med LLM-involvering.
3. En anmodning sendes til en ekstern informationskilde, såsom en database.
4. Den hentede information føjes til LLM'ens kontekstinput.
5. LLM'en genererer et svar baseret på den forstærkede forespørgsel.

Selvom de kan variere i specifik implementering, repræsenterer disse trin en typisk RAG-arbejdsproces. Forskelle mellem de forskellige arkitekturtyper har tendens til at dreje sig om, hvordan anmodninger håndteres af klientapplikationen, og karakteren af den information, der hentes.

Et overblik over RAG-arkitektur

Udtrykket "retrieval-augmented generation" optrådte først i et papir fra 2020 med titlen Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, udgivet af forskere hos Meta AI (dengang Facebook AI Research) sammen med samarbejdspartnere fra University College London og New York University.

Tidlige retrieve-then-generate-tilgange, løst omtalt som "naive RAG", har siden udviklet sig til et udvalg af forskellige arkitekturtyper, hvoraf mange overlapper hinanden.

Naive RAG

Naive RAG bruger en simpel retrieve-og-generate-pipeline, som stadig er velegnet til mange grundlæggende forespørgsler. Det mest almindelige eksempel på naive RAG er konverteringen af en forespørgsel til en ordnet liste af tal kaldet en vektorindlejring eller blot en vektor. Forespørgselsindlejringen matches derefter med andre vektorer, der repræsenterer bidder (dele af indhold i en database eller et indeks kaldet et semantisk indeks).

Avanceret RAG

Avanceret RAG optimerer stadierne før og efter hentning. Teknikker omfatter forespørgselsudvidelse, metadatafiltrering og kontekstkomprimering. Disse forbedrer dybest set relevansen af den information, der hentes, og hvordan den ændres, før den føjes til en LLM's inputkontekst.

Agentic RAG

Agentic RAG er udførelsen af RAG-pipelines af en LLM-baseret agent. Agenten "beslutter", hvilke værktøjer der er bedst til en given forespørgsel, og styrer hentningen, nogle gange i et loop, for at generere et relevant svar.

Graf RAG

Graf RAG henter information fra en vidensgraf, som repræsenterer enheder (såsom objekter, koncepter og hændelser) og relationerne mellem dem. Dette er nyttigt, når et svar på en forespørgsel kræver, at LLM'en kombinerer information om forskellige enheder.

Multimodal RAG

Multimodal RAG udvider hentning til indhold som billeder og lyd under både forespørgsel og hentning. Disse RAG-pipelines bruger specielle kodere til at konvertere tekst, billeder eller lyd til indlejringer.

Hybrid RAG

Hybrid RAG kombinerer nøgleordsøgning eller leksikalsk hentning med vektorhentning eller vidensgrafer og fletter resultaterne. Dette er nyttigt, fordi nøgleordsmatchning kan være meget nøjagtig (mere end andre metoder) i visse sammenhænge.

Korrigerende RAG

Korrigerende RAG evaluerer returneret information eller data for relevans i forhold til forespørgslen. Den kan finpudse eller supplere de hentede passager eller erstatte dem fuldstændigt ved at udføre en anden anmodning.

RAG-eksempler efter brugsscenarie og brancheapplikation

Der er flere eksempler på RAG på tværs af både forbruger- og virksomhedssfæren. Dette skyldes i vid udstrækning, at RAG-pipelines er blevet integreret i de fleste almindelige værktøjer. Derudover tilbyder mange leverandører færdige integrationer, såsom til kundeservicechatbots, hvilket har lettet vedtagelsen.

1. Websøgning

Websøgning er et af de mest udbredte eksempler på RAG. Hver dag bruger millioner af mennesker AI-værktøjer til at generere svar baseret på information hentet fra nettet.

Sådan fungerer det: AI-applikationen søger i et webindeks, såsom Google-søgeindekset, ved hjælp af nøgleordsbaseret og semantisk hentning. Relevant sideindhold inkluderes sammen med en brugers spørgsmål i LLM'ens input. LLM'en genererer derefter et svar, typisk med kildehenvisninger.

Reelt eksempel: Hvis en bruger indtaster en simpel forespørgsel i Perplexity's chatgrænseflade, såsom "Hvordan er vejret i Chicago?", vil LLM'en foretage en websøgning for at finde opdaterede oplysninger. Perplexity bruger et proprietært webindeks i forbindelse med partnersøgnings-API'er.

Udvid

2. Kundesupport

Chatbots i apps og på websteder er opstået som et vigtigt virksomhedsbrugsscenarie for RAG. Disse systemer kobles normalt sammen med traditionelle rutestier, hvilket reducerer behovet for involvering fra kunderepræsentanter.

Sådan fungerer det: Når en kunde stiller et spørgsmål, søger applikationen i virksomhedens vidensbase, ofte ved hjælp af en hybridpipeline. De hentede passager leveres til LLM'en, som genererer et svar. Der er også normalt korrigerende og overdragelsesprocesser involveret for at validere svaret og om nødvendigt dirigere til en repræsentant.

Reelt eksempel: Forskellige kundeserviceplatforme, herunder Zendesk (vist nedenfor) og Intercom, tilbyder plug-and-play-kundesupportchatbots, der integreres med eksisterende dokumentation og kundesupportbaser.

Udvid

3. Personlige assistenter

Personlige assistenter bruger agentic RAG til at få adgang til en brugers e-mails, filer og kalender. Disse assistenter kan typisk udføre flere RAG-pipelines.

Sådan fungerer det: Fordi personlige assistenter ofte kræver adgang til flere informationskilder, bruger de en blanding af API'er, nøgleordsøgning, vektorsøgning og vidensgrafer. Forskellige værktøjsbeskrivelser sendes af applikationen til LLM'en, som derefter vælger de mest passende.

Reelt eksempel: Google Gemini fungerer som et godt eksempel på en app, der kan fungere som en generel og personlig AI-assistent (som det er tilfældet med de fleste assistenter nu om dage). Den integreres med et økosystem af værktøjer, såsom Gmail, Docs, Photos og Calendar.

Udvid

4. Virksomhedsvidenstyring

Virksomhedsvidenstyring giver medarbejdere mulighed for at stille spørgsmål på tværs af en bred vifte af virksomhedsinformation, herunder politikker, rapporter, projektdokumenter, juridiske tekster og endda interne diskussioner.

Sådan fungerer det: Applikationen henter relevant indhold ved hjælp af et vektorindeks, der opdateres, efterhånden som kildedokumenter ændrer sig. Indekset indeholder indlejringer, der repræsenterer dokumentbidder, med links til deres tekst og tilhørende metadata.

Reelt eksempel: Microsoft 365 Copilot får adgang til organisationsinformation gennem Microsoft Graph, som eksponerer forskellige API'er for datakilder, og bruger leksikalske og semantiske indeks til at hente relevant indhold.

Udvid

5. Kodningsassistenter

Kodningsassistenter anvender RAG på en kodebase. Selvom den underliggende RAG-proces er den samme (normalt agentic RAG), er forskellen, at de specifikt beskæftiger sig med kodekontekst.

Sådan fungerer det: Kodningsassistenter indekserer lokale projektdokumenter og udfører flersøgningsgennemgange for at finde relevante kodestykker, når de bliver adspurgt. Disse assistenter har også typisk dedikerede connectors til at udvide adgangen, såsom til virksomhedens vidensbaser.

Reelt eksempel: GitHub Copilot er et velkendt eksempel på en kodningsassistent, der integreres direkte med udviklingsprojekter. Den kan også henvise til offentlige GitHub-arkiver for at øge svarpræcisionen.

Udvid

6. Teknisk fejlfinding

Teknisk fejlfinding integrerer en videnstyrings-RAG-pipeline med et diagnostisk loop. En agent kan evaluere resultater for yderligere at finpudse fejlfindingsanbefalinger efter behov.

Sådan fungerer det: En applikation indsamler symptomer på et teknisk problem fra brugeren eller modtager automatiserede overvågningsadvarsler. Den udløser en søgning efter fejlmeddelelser, tekniske logfiler og præstationsmetrikker for at krydstjekke symptomerne. Den henter derefter relevant information fra en intern vidensbase for at give den videre til LLM'en. Det diagnostiske loop opstår, når resultaterne af et forsøgt fix føres tilbage til LLM'en, enten fra brugeren eller et diagnostisk værktøj.

Reelt eksempel: Observabilitetsplatformen Datadog (vist nedenfor) indsamler data fra alle lag i et system og markerer eventuelle problemer, når de opstår. Disse føres derefter ind i en specialiseret AI agent kaldet Bits AI for at feilsøge potentielle rettelser.

Udvid

7. Agentic commerce

Agentic commerce er et bredere brugsscenarie, der normalt involverer RAG. En shoppingagent henter detaljer som produktspecifikationer, anmeldelser, priser og tilgængelighed for at sammenligne indstillinger og forklare anbefalinger. Den kan derefter automatisk foretage købet, uden at brugeren forlader grænsefladen.

Sådan fungerer det: Agentic commerce er ægte agentic RAG, fordi specifikke forespørgsler ofte kræver forskellige former for hentning, som modellen styrer. En agent kan hente rent tekstbaserede produktdata gennem en forhandlers API, eller den kan bruge multimodal RAG til at matche produkter i et semantisk indeks baseret på et brugerfotografi.

Reelt eksempel: En generel agent som Perplexity kan hente flere billeder og detaljerede produktspecifikationer baseret på en forespørgsel. Instant Buy-købsfunktionen giver brugeren mulighed for at fuldføre købet efter at have valgt et produkt.

Udvid

8. Specialiserede vidensdomæner

AI-værktøjer, der henter specialiseret domæneviden, skal håndtere komplekse indholdsformater. Derudover er det ofte en prioritet at minimere hallucinationer og informationsmangler.

Sådan fungerer det: Den vigtigste forskel mellem generelle og specialiserede RAG-arkitekturer vedrører kildemateriale og hentningskonfigurationen. Typisk vil der kun blive forespurgt på et yderst autoritativt indeks, og anmodningen vil blive konfigureret til at inkludere specifik terminologi for at indsnævre søgninger.

Reelt eksempel: Det akademiske forskningsværktøj Scite har adgang til et stort indeks over akademiske papirer og citationsdata, der er opbygget gennem udgiveraftaler og open access-kilder. Det anvender også efter-hentnings-tjek, såsom kildeverificering, før der genereres et fuldstændigt svar.

Udvid

9. Dataanalyse

RAG til dataanalyse er blevet et særligt kraftfuldt virksomhedsbrugsscenarie, fordi det gør det muligt for en lang række fagfolk, især dem uden uddannelse i datavidenskab, at forespørge i datasæt ved hjælp af naturligt sprog. Dette gør det lettere at generere rapporter og stille meget specifikke spørgsmål.

Sådan fungerer det: Til et spørgsmål som "Hvorfor faldt salget i det seneste kvartal?" kan applikationen forespørge i salgsoptegnelser og hente noter om lagerknap prisændringer. LLM'en vælger den passende beregning (som normalt delegeres til et beregningsværktøj) for de hentede data, før den genererer en analyse.

Reelt eksempel: Google Analytics tilbyder en AI “Ask Advisor” chatbot, der kan få adgang til webanalytiske data og besvare meget specifikke, nuancerede spørgsmål fra brugere. Det er et af de bedste reelle eksempler på virksomhedsklasse, lukket-system RAG.

Udvid

Hvad er det næste i RAG's udvikling?

RAG var en væsentlig udvikling, da det først blev introduceret. Det hjalp med at løse mange af de problemer, der er forbundet med frittstående LLM'er.

Det er dog langt fra en statisk teknologi. Aktuel forskning er fokuseret på dybere multimodal hentning og mere stringent behandling af hentet kontekst for nøjagtighed og korrekthed. Derudover vil vi sandsynligvis se større integration af RAG i multiværktøjsagenter.

Selv med ekstremt store kontekstvinduer er der vigtige brugsscenarier for RAG i både personlige og professionelle sammenhænge og mange innovationer, der endnu ikke er kommet.