9 RAG-eksempler basert på bruksområder og arkitekturer i praksis

RAG brukes i utstrakt grad i både forbruker- og bedriftssammenheng. Eksempler på RAG i hverdagen og den virkelige verden er nettsøk, kundestøtte og KI-aktivert netthandel. Tilgang til intern kunnskap og kodehjelp er blant de mest framtredende bedriftseksemplene.

RAG-arkitektur kan også variere på tvers av bruksområder. To av de vanligste implementeringene er hybrid RAG, som kombinerer tradisjonell nøkkelordsøk med vektor- eller kunnskapsgrafsøk, og agentbasert RAG, der en språkmodell (LLM) styrer henteprosessen.

Hva er retrieval-augmented generation (RAG)?

RAG (retrieval-augmented generation) gjør det mulig for KI-applikasjoner å få tilgang til informasjon som er lagret i eksterne systemer, for å supplere svar generert av språkmodeller.

Det er en kraftig teknologi fordi den løser tre store problemer med generativ KI: hallusinasjoner, utdatert informasjon og manglende tilgang til data som ikke er inkludert i inndatakonteksten.

Slik ser en grunnleggende RAG-prosess ut:

1. Brukeren skriver inn en forespørsel på naturlig språk.
2. KI-applikasjonen avgjør om forankring er påkrevd, noen ganger ved hjelp av en språkmodell.
3. En forespørsel sendes til en ekstern informasjonskilde, slik som en database.
4. Den hentede informasjonen legges til i språkmodellens inndatakontekst.
5. Språkmodellen genererer et svar basert på den utvidede forespørselen.

Selv om de kan variere i spesifikk implementering, representerer disse trinnene en typisk RAG-arbeidsflyt. Forskjellene mellom de ulike arkitekturtypene har en tendens til å dreie seg om hvordan forespørsler håndteres av klientapplikasjonen, samt naturen til informasjonen som hentes.

En oversikt over RAG-arkitektur

Begrepet «retrieval-augmented generation» dukket først opp i en forskningsartikkel fra 2020 kalt Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, publisert av forskere ved Meta AI (den gang Facebook AI Research) sammen med bidragsytere fra University College London og New York University.

Tidlige hent-og-deretter-generer-tilnærminger, som løst omtales som «naiv RAG», har siden utviklet seg til et utvalg av forskjellige arkitekturtyper, hvor mange overlapper.

Naiv RAG

Naiv RAG bruker en enkel hent-og-generer-pipelining, som fremdeles passer for mange enkle forespørsler. Det vanligste eksemplet på naiv RAG er konverteringen av et søk til en ordnet liste med tall kalt en vektorembedding, eller enkelt sagt en vektor. Søkeembeddingen matches deretter mot andre vektorer som representerer biter, det vil si deler av innhold i en database eller indeks (kalt en semantisk indeks).

Avansert RAG

Avansert RAG optimerer trinnene før og etter henting. Teknikker inkluderer søkeutvidelse, metadatafiltrering og kontekstkomprimering. Disse forbedrer i bunn og grunn relevansen til informasjonen som hentes, samt hvordan den modifiseres før den legges til i en språkmodels inndatakontekst.

Agentbasert RAG

Agentbasert RAG er utførelsen av RAG-pipelines av en språkmodellbasert agent. Agenten «bestemmer» hvilke verktøy som egner seg best for en gitt forespørsel, og styrer hentingen, noen ganger i en løkke, for å generere et relevant svar.

Graf-RAG

Graf-RAG henter informasjon fra en kunnskapsgraf, som representerer enheter (som objekter, konsepter og hendelser) og relasjonene mellom dem. Dette er nyttig når et svar på en forespørsel krever at språkmodellen kombinerer informasjon om ulike enheter.

Multimodal RAG

Multimodal RAG utvider henting til innhold som bilder og lyd under både spørring og henting. Disse RAG-pipelinene bruker spesielle kodere for å konvertere tekst, bilder eller lyd til embeddinger.

Hybrid RAG

Hybrid RAG kombinerer nøkkelordsøk (eller leksikalsk henting) med vektorhenting eller kunnskapsgrafer, og fletter sammen resultatene. Dette er nyttig fordi nøkkelordsøk kan være svært nøyaktig (mer enn andre metoder) i visse sammenhenger.

Korrigerende RAG

Korrigerende RAG evaluerer returnert informasjon eller data med tanke på relevans for forespørselen. Den kan finjustere eller supplere de hentede avsnittene, eller erstatte dem fullstendig ved å utføre en ny forespørsel.

RAG-eksempler etter bruksområde og bransjeapplikasjon

Det finnes flere eksempler på RAG i både forbruker- og bedriftssfæren. Dette skyldes i stor grad at RAG-pipelines er integrert i de fleste vanlige verktøy. I tillegg tilbyr mange leverandører ferdige integrasjoner, for eksempel for kundeservicechatter, noe som har forenklet adopsjonen.

1. Nettsøk

Nettsøk er et av de mest utbredte eksemplene på RAG. Hver dag bruker millioner av mennesker KI-verktøy til å generere svar som er forankret i informasjon hentet fra nettet.

Slik fungerer det: KI-applikasjonen søker i en nettindeks, slik som Google Søk-indeksen, ved hjelp av nøkkelordbasert og semantisk henting. Relevant sideinnhold inkluderes sammen med brukerens spørsmål i språkmodellens inndata. Språkmodellen genererer deretter et svar, vanligvis med kildehenvisninger.

Eksempel fra den virkelige verden: Hvis en bruker skriver inn et enkelt søk i Perplexitys chatgrensesnitt, for eksempel «Hvordan er været i Chicago?», vil språkmodellen foreta et nettsøk for å finne oppdatert informasjon. Perplexity bruker en proprietær nettindeks i kombinasjon med søke-API-er fra partnere.

Forstørr

2. Kundestøtte

Chatroboter i apper og på nettsteder har blitt et viktig bedriftsbruksområde for RAG. Disse systemene kobles vanligvis sammen med tradisjonelle rutingveier, noe som reduserer behovet for involvering fra kundekonsulenter.

Slik fungerer det: Når en kunde stiller et spørsmål, søker applikasjonen i selskapets kunnskapsbase, ofte ved hjelp av en hybrid pipeline. De hentede avsnittene leveres til språkmodellen, som genererer et svar. Det er også vanlig med korrigerende prosesser og overleveringsprosesser for å validere svaret og eventuelt rute det videre til en konsulent.

Eksempel fra den virkelige verden: Ulike kundeserviceplattformer, inkludert Zendesk (bildet under) og Intercom, tilbyr ferdige kundestøttechatter som integreres med eksisterende dokumentasjon og kundestøttebaser.

Forstørr

3. Personlige assistenter

Personlige assistenter bruker agentbasert RAG for å få tilgang til en brukers e-poster, filer og kalender. Disse assistentene kan vanligvis utføre flere RAG-pipelines.

Slik fungerer det: Siden personlige assistenter ofte krever tilgang til flere informasjonskilder, bruker de en blanding av API-er, nøkkelordsøk, vektorsøk og kunnskapsgrafer. Ulike verktøybeskrivelser sendes av applikasjonen til språkmodellen, som deretter velger ut de mest passende.

Eksempel fra den virkelige verden: Google Gemini fungerer som et godt eksempel på en app som kan fungere som en generell og personlig KI-assistent (slik tilfellet er med de fleste assistenter i dag). Den integreres med et økosystem av verktøy, som Gmail, Docs, Photos og Calendar.

Forstørr

4. Kunnskapsforvaltning for Enterprise

Kunnskapsforvaltning for Enterprise lar ansatte stille spørsmål på tvers av et bredt spekter av bedriftsinformasjon, inkludert retningslinjer, rapporter, prosjektdokumenter, juridiske tekster og til og med interne diskusjoner.

Slik fungerer det: Applikasjonen henter relevant innhold ved hjelp av en vektorindeks som oppdateres i takt med at kildedokumentene endres. Indeksen inneholder embeddinger som representerer dokumentbiter, med lenker til teksten og tilhørende metadata.

Eksempel fra den virkelige verden: Microsoft 365 Copilot får tilgang til organisatorisk informasjon gjennom Microsoft Graph, som eksponerer ulike API-er for datakilder, og bruker leksikalske og semantiske indekser for å hente relevant innhold.

Forstørr

5. Kodingassistenter

Kodingassistenter bruker RAG på en kodebase. Selv om den underliggende RAG-prosessen er den samme (vanligvis agentbasert RAG), er forskjellen at de forholder seg spesifikt til kodekontekst.

Slik fungerer det: Kodingassistenter indekserer lokale prosjektfiler og utfører flere søkegjennomganger for å finne relevante kodesnutter når de blir bedt om det. Disse assistentene har også vanligvis dedikerte koblinger for å utvide tilgangen, for eksempel til bedriftens kunnskapsbaser.

Eksempel fra den virkelige verden: GitHub Copilot er et velkjent eksempel på en kodingassistent som integreres direkte med utviklingsprosjekter. Den kan også referere til offentlige GitHub-lagre for å øke nøyaktigheten på svarene.

Forstørr

6. Teknisk feilsøking

Teknisk feilsøking integrerer en kunnskapsforvaltnings-RAG-pipeline med en diagnostisk løkke. En agent kan evaluere resultater for å finjustere feilsøkingsanbefalingene ytterligere etter behov.

Slik fungerer det: En applikasjon samler inn symptomer på et teknisk problem fra brukeren eller mottar automatiserte overvåkingsvarsler. Den utløser et søk i feilmeldinger, tekniske logger og ytelsesmålinger for å krysssjekke symptomene. Deretter henter den relevant informasjon fra en intern kunnskapsbase som den sender videre til språkmodellen. Den diagnostiske løkken skjer når resultatene av et forsøkt tiltak mates tilbake til språkmodellen, enten fra brukeren eller et diagnostisk verktøy.

Eksempel fra den virkelige verden: Observerbarhetsplattformen Datadog (bildet under) samler inn data fra alle lag i et system og flagger eventuelle problemer når de oppstår. Disse mates deretter inn i en spesialisert KI-agent kalt Bits AI for å feilsøke mulige løsninger.

Forstørr

7. Agentbasert handel

Agentbasert handel er et bredere bruksområde som vanligvis involverer RAG. En handleagent henter detaljer som produktspesifikasjoner, anmeldelser, priser og tilgjengelighet for å sammenligne alternativer og forklare anbefalinger. Den kan deretter automatisk gjennomføre kjøpet uten at brukeren forlater grensesnittet.

Slik fungerer det: Agentbasert handel er ekte agentbasert RAG fordi spesifikke forespørsler ofte krever ulike former for henting, som modellen styrer. En agent kan hente ren tekstbasert produktdata gjennom en forhandlers API, eller den kan bruke multimodal RAG til å matche produkter i en semantisk indeks basert på et bilde fra brukeren.

Eksempel fra den virkelige verden: En generell agent som Perplexity kan hente flere bilder og detaljerte produktspesifikasjoner basert på en forespørsel. Kjøpsfunksjonen for øyeblikkelig kjøp lar brukeren fullføre kjøpet etter å ha valgt et produkt.

Forstørr

8. Spesialiserte kunnskapsdomener

KI-verktøy som henter spesialisert domenekunnskap må forholde seg til komplekse innholdsformater. I tillegg er det ofte en prioritet å minimere hallusinasjoner og informasjonsgap.

Slik fungerer det: Hovedforskjellen mellom generelle og spesialiserte RAG-arkitekturer knytter seg til kildemateriale og hentingskonfigurasjonen. Vanligvis vil det bare bli gjort forespørsler mot en svært autoritativ indeks, og forespørselen vil bli konfigurert til å inkludere spesifikk terminologi for å begrense søkene.

Eksempel fra den virkelige verden: Det akademiske forskningsverktøyet Scite har tilgang til en stor indeks over akademiske artikler og siteringsdata som er bygget gjennom avtaler med utgivere og kilder med åpen tilgang. Det bruker også kontroller etter henting, for eksempel kildeverifisering, før det genererer et fullstendig svar.

Forstørr

9. Dataanalyse

RAG for dataanalyse har blitt et spesielt kraftig bedriftsbruksområde fordi det lar et bredt spekter av fagfolk – spesielt de uten opplæring i datavitenskap – søke i datasett ved hjelp av naturlig språk. Dette gjør det enklere å generere rapporter og stille svært spesifikke spørsmål.

Slik fungerer det: For et spørsmål som «Hvorfor falt salget forrige kvartal?», kan applikasjonen søke i salgsregistre og hente merknader om vareknapphet eller prisendringer. Språkmodellen velger riktig utregning (som vanligvis delegeres til et beregningsverktøy) for de hentede dataene før den genererer en analyse.

Eksempel fra den virkelige verden: Google Analytics tilbyr en KI-chatbot kalt «Ask Advisor» som kan få tilgang til nettanalyseledata og svare på svært spesifikke og nyanserte spørsmål fra brukere. Det er et av de beste eksemplene fra den virkelige verden på RAG i et lukket system på bedriftsnivå.

Forstørr

Hva er det neste i utviklingen av RAG?

RAG var en betydelig utvikling da det først ble introdusert. Det hjalp til med å løse mange av de problemene som er naturlig knyttet til frittstående språkmodeller.

Det er imidlertid langt fra en statisk teknologi. Dagens forskning er rettet mot dypere multimodal henting og mer grundig prosessering av hentet kontekst for å sikre nøyaktighet og korrekthet. I tillegg vil vi sannsynligvis se en større integrering av RAG i agenter med flere verktøy.

Selv med ekstremt store kontekstvinduer finnes det viktige bruksområder for RAG i både personlige og profesjonelle sammenhenger, og det er mange innovasjoner i vente.