RAG jämfört med LLM: Teknisk genomgång (definitioner, skillnader, användningsfall)

LLM:er genererar svar med hjälp av parametrar som de lärt sig från mönster i träningsdatan. Eftersom dessa parametrar kanske inte speglar aktuell eller fullständig information kompletterar RAG, som står för retrieval-augmented generation, processen genom att lägga till data från externa källor i LLM:ens inmatningskontext. Ett AI-verktyg hämtar extern information för att berika LLM:ens genereringsprocess.

I praktiken är valet inte mellan RAG eller en LLM. Det står mellan en hybridmetod och en som bara använder en LLM.

RAG är nödvändigt när en LLM behöver tillgång till företagsdokumentation, databaser eller information som snabbt förändras. En LLM-endast-metod är lämplig för vissa administrativa uppgifter, databehandlingsuppgifter och innehållsskapande uppgifter där all indata kan tillhandahållas av användaren.

RAG jämfört med LLM: Vilka är de viktigaste skillnaderna?

• RAG och LLM:er kompletterar varandra. Du kan använda en AI-modell utan RAG (där den förlitar sig uteslutande på sina befintliga parametrar), men du kan inte använda ett RAG-system utan en modell.
• RAG infördes för att övervinna tre centrala problem med LLM:er: inaktuell information, hallucinerade svar och brist på verifiering mot tredjepartskällor.
• RAG gör AI mycket mer effektiv i verkliga affärssituationer eftersom den kopplar LLM:er till verifierad intern dokumentation, databaser och API-slutpunkter.
• De främsta användningsfallen för RAG inkluderar kundsupportchatbotar, frågor baserade på snabbt föränderliga data (som branschnyheter) och specialiserade områden, som medicin och juridik, där noggrannhet och källkontroll är viktiga.
• Det finns tre huvudtyper av RAG: naiv RAG, modulär RAG och avancerad RAG. Naiv RAG kan bäst förstås som enkel informationshämtning, medan modulär och avancerad RAG tillför ytterligare funktionalitet som omskrivning av sökfrågor och optimering av textutdrag.

Vad är en stor språkmodell (LLM)?

En LLM, eller stor språkmodell, är ett system som genererar innehåll med hjälp av finjusterade parametrar. Dessa parametrar avgör sannolikheterna som tilldelas alla tokens i en LLM-vokabulär och visar vilken token som sannolikt kommer härnäst i en given sekvens.

För att bättre förstå hur RAG fungerar (och skiljer sig från) LLM:er är det hjälpsamt att titta på hur generativ AI fungerar på en grundläggande nivå:

1. Tokenisering: En användares prompt delas upp i tokens, som kan vara ord, delar av ord eller enstaka tecken.
2. Bäddning: Tokens omvandlas till inbäddningar, numeriska representationer (nummersträngar) som kallas vektorer, vilka det neurala nätverket, som inkluderar en avkodare, kan bearbeta.
3. Avkodning: Avkodarens lager (som utgör en stor del av LLM:ens neurala nätverk) manipulerar dessa vektorer och använder en process som kallas uppmärksamhet för att fånga betydelse. Denna process avgör hur starkt varje token ska relatera till andra tokens i sekvensen.
4. Poängsättning: Modellen tilldelar varje token i sitt befintliga ordförråd en sannolikhet för kompatibilitet och väljer en sannolik nästa token för sekvensen.

Det viktiga är att en LLM endast kan producera utdata baserat på sina befintliga parametrar och tokens i sitt kontextfönster. Under träningen uppmanas en LLM att slutföra delar av ofullständig text miljarder gånger, och dess parametrar justeras tills den tillförlitligt tilldelar tokens sannolikheter (och därmed slutför texten).

Föreställ dig till exempel att du frågar en AI-modell: ”Vad säger vårt företags återbetalningspolicy för 2026?” LLM:n kan bara förutsäga nästa tokens utifrån sina befintliga parametrar, som inte har finjusterats med hjälp av din supportdokumentation. Om du ställer den här frågan utan någon ytterligare kontext kommer den helt enkelt att inte kunna ge ett meningsfullt svar eller så kommer den att hallucinerar ett felaktigt svar.

Vad är retrieval-augmented generation (RAG)?

RAG (retrieval-augmented generation) är den process genom vilken information från externa system inkluderas i en LLM-prompt.

Den underliggande LLM-processen, som omfattar inbäddning och probabilistisk tokenmatchning, förblir densamma. RAG introducerar ett preliminärt steg där användarprompten utökas med ytterligare data.

Här är en översikt över hur RAG fungerar:

1. Kunskapsförberedelse: En kunskapskälla förbereds. Det kan vara en uppsättning dokument, en vektordatabas, en kunskapsgraf eller ett liveindex (som för AI-sökning).
2. Promptering: En användare skriver in en prompt, till exempel: ”Ska jag gå på en promenad i London idag?”
3. Hämtning: Den externa informationskällan frågas av AI-verktygets hämtare. Den kan bädda in prompten, omvandla den till en vektor och sedan fråga en vektordatabas. Alternativt kan den använda en annan metod, såsom ett API-anrop, sökordsmatchning eller traversal av kunskapsgraf.
4. Infogning: Denna information läggs till i användarens ursprungliga prompt. I exemplet med frågan om att promenera i London kan detta inkludera väderinformation i London och aktuell tillgänglighet för populära promenadrutter.
5. Svarsgenerering: LLM:n genererar ett svar på vanligt sätt med hjälp av den utökade prompten.

Bakom kulisserna läggs den hämtade texten till i inmatningskontexten, tokeniseras och bäddas in. Modellen bearbetar sedan den extra kontexten genom sin avkodare, vilket ändrar sannolikheterna för utdata-token.

I stora drag kan RAG delas in i tre undertyper. Naiv RAG följer den grundläggande RAG-processen genom att hämta information och mata in den i prompten. Avancerad RAG lägger till ytterligare funktioner som omskrivning av sökfrågor och flera sökfrågepasseringar. Modulär RAG syftar på en typ av arkitektur där olika avancerade funktioner kan behandlas som komponenter och kombineras efter behov.

RAG jämfört med LLM: Översikt över användningsfall

RAG ger användare tillgång till uppdaterade data. Detta resulterar i LLM-utdata som har mindre risk för hallucinationer och informationsluckor. Om du behöver se källorna till den information som används i en utdata är RAG också avgörande, eftersom ogrundade LLM-svar inte kommer med attributioner.

Förstora

Användningsfall för RAG

• Förfrågningar om tidskänslig information: Alla frågor om information som snabbt blir inaktuell, vilket kan vara något så enkelt som en väderprognos eller så komplext som en detaljerad analys av en nyhetshändelse under utveckling, behöver baseras på validerade tredjepartskällor.
• Företagsdokumentation: Interna eller kundvända AI-chatbotar där användare ställer frågor som rör företags- eller produktdokumentation bör vara RAG-aktiverade, särskilt om dokumentationen ofta uppdateras.
• Kundsupport: Kundchatbotar behöver tillgång till aktuell, detaljerad supportdokumentation för att kunna ge korrekta svar.
• Specialiserade områden (medicin, juridik, finans osv.): LLM:er som inte har tränats på domänspecifika korpusar (särskilt vanliga modeller) har vanligtvis svårt att fånga nyanserna i specialiserade promptar.

Användningsfall för LLM

• Administrativa uppgifter: LLM:er kan utföra grundläggande uppgifter med minimal fördröjning. RAG är onödigt för grundläggande skriv- och adminuppgifter, såsom stavningskontroll eller sammanfattning, där extern information inte krävs.
• Kreativa uppgifter: Vissa kreativa uppgifter, som att generera en kort berättelse eller en bild, behöver bara den information som anges i den ursprungliga prompten.
• Resonemang och databaserade uppgifter: Om du arbetar med en stor datamängd behöver en LLM inte tillgång till extern information för att tillämpa resonemangs- och analysfunktioner.
• Allmän kodning: Även om ett kodningsarbetsflöde kan kräva tillgång till en privat kodbas eller dokumentation, är LLM:er mycket kapabla att utföra allmänna kodningsuppgifter, som att rätta buggar och skapa funktioner, utan att behöva externa källor.

RAG jämfört med LLM med lång kontext, agentisk AI och underbyggnad

Det finns tre närliggande begrepp som är relevanta för skillnaden mellan RAG och LLM:er. Dessa är LLM:er med lång kontext, agentisk AI och underbyggnad.

LLM:er med lång kontext kan ibland användas i stället för RAG-aktiverade system, medan agentisk AI och underbyggnad är synonyma med dem eller fungerar tillsammans med dem.

LLM:er med lång kontext

Detta är modeller med stora kontextfönster, där vissa allmänt tillgängliga kommersiella modeller når upp till en miljon tokens.

Om relevant material får plats i en modells kontextfönster och finns tillgängligt i textformat finns det vissa fördelar med att använda en LLM-endast-metod. Det kan minska risken för hämtningsfel, ge mer omfattande kontext och eliminera behovet av omfattande uppsättning av RAG-arkitektur.

Agentisk AI

En agent är ett system som använder flera verktyg, inklusive RAG-funktioner, för att utföra komplexa uppgifter. RAG är en komponent i agentisk AI, och en agent använder ofta olika typer av hämtningsmetoder (t.ex. webbsökning kontra vektorsökning) beroende på innehållet i en prompt.

Underbyggnad

Underbyggnad syftar på den bredare processen att använda bevis eller data för att förbättra noggrannheten i en LLM:s svar. RAG är en form av underbyggnad, men att lägga till ett tekniskt dokument i ett kontextfönster skulle också räknas som underbyggnad.

RAG jämfört med LLM: Verkliga exempel

För att bättre förstå hur RAG fungerar jämfört med LLM-användning utan RAG kan vi titta på ett enkelt verkligt exempel med Perplexity och ett hypotetiskt företagsfall där en vektordatabas konsulteras.

RAG jämfört med LLM med en enkel prompt

Här är utdata (begränsad till två meningar) när Perplexity får frågan "Ska jag gå på en promenad i London idag?" med AI-webbsökning (en form av RAG) avstängd:

Ja—om vädret är någorlunda torrt och du har tid kan en promenad i London i dag bli ett uppfriskande miljöombyte. Välj en rutt längs South Bank, Regent’s Canal eller genom Hyde Park, och ta med en lätt regnjacka för säkerhets skull.

Jämför detta med prompten när LLM:n kan kontrollera externa källor:

Ja, det är en bra dag för en promenad i London: prognosen visar milda temperaturer kring 19–21 °C, soliga perioder och mycket låg risk för regn. Med delvis molnig himmel och en lätt bris är förhållandena behagliga för att utforska parker eller promenadstråk längs floden, som South Bank.

Det finns likheter mellan de två, eftersom LLM:n använder samma underliggande process för tokenscoring. Det andra exemplet innehåller dock detaljerad väderinformation, vilket gör det mycket mer användbart.

RAG jämfört med LLM med en företagsvektordatabas

Föreställ dig att en användare ställer följande fråga till en inbyggd chatbot i en bankapp: ”Var kan jag ladda ner mitt senaste kontoutdrag?”

Banken som hanterar appen har skapat en databas som innehåller inbäddningar av dess uppdaterade produktdokumentation och kopplat den till chatbotens RAG-pipeline. Dokumentationen består av omkring 1 000 källdokument, som delas upp i mindre textutdrag och har omvandlats till vektorer för hämtning.

Användarens fråga skickas till en inbäddningsmodell, och applikationen skickar den vektorn till databasen, som returnerar de relevanta textutdragen.

Inbäddningsmodellen skulle få en begäran som denna:

Inbäddningsmodellen returnerar följande vektor-inbäddning:

Vektordatabasen får sedan en begäran som följande:

I det här (mycket förenklade) exemplet returnerar databasen de fem textutdragen som är mest relevanta för användarens fråga, vilka skickas till applikationen och inkluderas i LLM-prompten.

När man ska välja RAG jämfört med en LLM, och när man ska kombinera dem

LLM:er och RAG kompletterar varandra. Därför är frågan ”När ska jag välja en LLM och när RAG?” felställd. I stället bör du fråga: ”När räcker en LLM och när är RAG optimalt?”

När man ska använda en LLM utan RAG aktiverat

• Din valda AI-modell har ett stort kontextfönster: Om det är enklare att i din prompt ta med all information eller data som behövs för ett korrekt svar, till exempel genom att ladda upp ett dokument, kan det minska fördröjningen och förhindra hämtningsrelaterade problem.
• Arbetsflöden för resonemang och dataanalys: Analys- och resonemangsarbetsflöden som endast refererar till data som tillhandahålls i en prompt behöver inte RAG-funktioner.
• Kodgenerering: RAG behövs vanligtvis inte för allmän kodning, även om det oftast används för projektspecifika uppgifter, som att hämta tidigare korrigeringar eller leverantörs-API:er och dokumentation.

När man ska använda en LLM med RAG aktiverat

• Du behöver tillgång till aktuell information: Om en AI-applikation behöver tillgång till externa källor med aktuell information för att generera ett korrekt svar, se alltid till att RAG-funktioner är aktiverade.
• Du arbetar inom ett specialiserat område: För domäner som medicin, juridik, utbildning och så vidare, där noggrannhet, detaljrikedom och källkontroll är viktiga, kommer LLM-endast-användning ofta att vara otillräcklig.
• Utdata bör referera till interna företagsfiler: Om du använder AI, antingen internt eller i en kundvänd app, för att generera innehåll baserat på interna företagsdokument, oavsett om det gäller data, ett varumärkespaket, dokumentation eller filer, ger RAG tillgång till den informationen.

RAG och LLM:er är kompletterande, utvecklande tekniker

RAG markerade en stor innovation i AI:ns utveckling. Den adresserar tre stora problem: föråldrad information, begränsat modellminne och informationsluckor på grund av brist på relevant träningsdata, vilket ofta ledde till hallucinationer. LLM:er har förstås inte helt övervunnit dessa problem, men deras förekomst har minskat avsevärt med RAG:s intåg.

RAG är inte en statisk teknik. Den förväntas förbättras inom en rad områden, inklusive rerankning, fördröjning vid hämtning och tokenanvändning, säkerhetsförsvar mot farliga datakällor, integrering av hämtad data från flera källor och mycket mer. I takt med att LLM:er och agentisk AI fortsätter att utvecklas kommer även de RAG-system som stödjer dem att göra det.