9 RAG-i näidet reaalsete kasutusjuhtude ja arhitektuuride põhjal

RAG-i kasutatakse laialdaselt nii tava- kui ka ärikontekstis. Reaalsed igapäevased näited RAG-ist on veebiotsing, klienditugi ja tehisintellektil põhinevad sisseostud. Ettevõtete silmapaistvamate näidete hulka kuuluvad siseandmetele juurdepääs ja programmeerimisabi.

RAG-i arhitektuur võib kasutusjuhtude lõikes samuti erineda. Kaks levinumat teostust on hübriid-RAG, mis ühendab traditsioonilise märksõnaotsingu vektori- või teadmiste graafi otsinguga, ja agentne RAG, kus LLM juhib teabeotsingu protsessi.

Mis on viitega täiendatud genereerimine (RAG)?

RAG ehk viitega täiendatud genereerimine võimaldab tehisintellekti rakendustel pääseda juurde välistes süsteemides salvestatud teabele, et täiendada LLM-i genereeritud vastuseid.

See on võimas tehnoloogia, kuna see lahendab generatiivse tehisintellekti kolm peamist probleemi: hallutsinatsioonid, aegunud teabe ja juurdepääsu puudumise andmetele, mida sisendkontekstis ei ole.

Põhiline RAG-i protsess näeb välja selline:

1. Kasutaja sisestab loomulikus keeles päringu.
2. Tehisintellekti rakendus teeb kindlaks, kas valideerimine on vajalik, kaasates mõnikord ka LLM-i.
3. Välisele teabeallikale, näiteks andmebaasile, saadetakse päring.
4. Leitud teave lisatakse LLM-i sisendkontekstile.
5. LLM genereerib täiendatud päringu põhjal vastuse.

Kuigi nende konkreetne teostus võib erineda, esindavad need sammud tüüpilist RAG-i töövoogu. Erinevused eri arhitektuuritüüpide vahel keskenduvad tavaliselt sellele, kuidas klientrakendus päringuid töötleb, ja otsitava teabe olemusele.

Ülevaade RAG-i arhitektuurist

Mõiste "viitega täiendatud genereerimine" ilmus esmakordselt 2020. aasta teadustöös Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, mille avaldasid Meta AI (tollase Facebook AI Researchi) teadlased koos kaastöötajatega University College Londonist ja New Yorgi Ülikoolist.

Varajased otsi-ja-genereeri lähenemised, mida vabalt nimetatakse "lihtsaks RAG-iks", on sellest ajast peale arenenud mitmesugusteks arhitektuuritüüpideks, millest paljud kattuvad.

Lihtne RAG

Lihtne RAG kasutab lihtsat otsingu- ja genereerimistoru, mis sobib endiselt paljude põhipäringute jaoks. Lihtsa RAG-i kõige levinum näide on päringu teisendamine tellitud numbrite loendiks, mida nimetatakse vektorembeddinguks ehk lihtsalt vektoriks. Päringu embedding sobitatakse seejärel teiste vektoritega, mis esindavad andmebaasis või indeksis olevaid sisuosi (tuntud kui semantiline indeks).

Täiustatud RAG

Täiustatud RAG optimeerib etappe enne otsingut ja pärast seda. Tehnikad hõlmavad päringu laiendamist, metaandmete filtreerimist ja konteksti tihendamist. Need parandavad oluliselt otsitava teabe asjakohasust ja seda, kuidas seda enne LLM-i sisendkontekstile lisamist muudetakse.

Agentne RAG

Agentne RAG on RAG-torude käitamine LLM-põhise agendi poolt. Agent "otsustab", millised tööriistad on antud päringu jaoks parimad, ja juhib teabeotsingut (mõnikord tsüklis), et genereerida asjakohane vastus.

Graafi RAG

Graafi RAG otsib teavet teadmiste graafist, mis esindab olemusi (nagu objektid, kontseptsioonid ja sündmused) ning nende vahelisi seoseid. See on kasulik, kui päringule vastamine nõuab LLM-ilt eri olemite teabe kombineerimist.

Multimodaalne RAG

Multimodaalne RAG laiendab teabeotsingu sellisele sisule nagu pildid ja heli nii päringu kui ka otsingu ajal. Need RAG-torud kasutavad teksti, piltide või heli embeddinguteks teisendamiseks spetsiaalseid enkoodereid.

Hübriid-RAG

Hübriid-RAG ühendab märksõnaotsingu ehk leksikaalse otsingu vektoriotsingu või teadmiste graafidega ning liidab tulemused. See on kasulik, kuna märksõnade sobitamine võib teatud kontekstis olla väga täpne (enamgi kui muud meetodid).

Parandav RAG

Parandav RAG hindab tagastatud teabe või andmete asjakohasust päringu suhtes. See võib otsitud lõike täpsustada või täiendada või need uue päringu abil täielikult asendada.

RAG-i näited kasutusjuhtude ja tööstusharude kaupa

RAG-ist on mitu näidet nii tarbija- kui ka ärisfääris. Suures osas on see tingitud sellest, et RAG-torud on integreeritud enamikesse peamistesse tööriistadesse. Lisaks pakuvad paljud müüjad kasutusvalmis integratsioone (näiteks klienditeeninduse vestlusrobotite jaoks), mis on soodustanud kasutuselevõttu.

1. Veebiotsing

Veebiotsing on RAG-i üks levinumaid näiteid. Miljonid inimesed kasutavad iga päev tehisintellekti tööriistu, et genereerida vastuseid, mis põhinevad veebist leitud teabel.

Kuidas see toimib: Tehisintellekti rakendus otsib veebiindeksist (näiteks Google'i otsinguindeksist), kasutades märksõnapõhist ja semantilist otsingut. Asjakohane lehe sisu kaasatakse LLM-i sisendisse koos kasutaja küsimusega. Seejärel genereerib LLM vastuse, tavaliselt koos allikaviidetega.

Reaalne näide: Kui kasutaja sisestab Perplexity vestlusliidesesse lihtsa päringu, näiteks "Milline on Chicago ilm?", teeb LLM värske teabe leidmiseks veebiotsingu. Perplexity kasutab patenteeritud veebindeksit koos partnerite otsingu-API-dega.

Suurenda

2. Klienditugi

Rakendusesisesed ja veebisaidi vestlusrobotid on kujunenud RAG-i peamiseks äriliseks kasutusjuhuks. Need süsteemid ühendatakse tavaliselt traditsiooniliste suunamisteedega, vähendades vajadust klienditeenindajate sekkumise järele.

Kuidas see toimib: Kui klient esitab küsimuse, otsib rakendus ettevõtte teadmistebaasist, kasutades sageli hübriidtoru. Leitud lõiked edastatakse LLM-ile, mis genereerib vastuse. Tavaliselt on kaasatud ka parandus- ja üleandmisprotsessid, et vastust kinnitada ja vajadusel teenindajale suunata.

Reaalne näide: Erinevad klienditeenindusplatvormid, sealhulgas Zendesk (pildil allpool) ja Intercom, pakuvad kohe kasutatavaid klienditoe vestlusroboteid, mis integreeruvad olemasoleva dokumentatsiooni ja klienditoe andmebaasidega.

Suurenda

3. Isiklikud assistendid

Isiklikud assistendid kasutavad kasutaja e-kirjadele, failidele ja kalendrile juurdepääsemiseks agentset RAG-i. Need assistendid saavad tavaliselt käivitada mitu RAG-toru.

Kuidas see toimib: Kuna isiklikud assistendid vajavad sageli juurdepääsu mitmele teabeallikale, kasutavad nad API-de, märksõnaotsingu, vektoriotsingu ja teadmiste graafide segu. Rakendus saadab LLM-ile erinevad tööriistakirjeldused ning LLM valib neist sobivaimad.

Reaalne näide: Google Gemini on heaks näiteks rakendusest, mis saab toimida üldotstarbelise ja isikliku tehisintellekti assistendina (nagu enamiku assistentide puhul tänapäeval). See integreerub tööriistade ökosüsteemiga, nagu Gmail, Docs, Photos ja Calendar.

Suurenda

4. Enterprise-haldus

Enterprise-haldus võimaldab töötajatel esitada küsimusi laia ettevõtteteabe hulgas, sealhulgas eeskirjad, aruanded, projektidokumendid, juriidilised tekstid ja isegi sisesed arutelud.

Kuidas see toimib: Rakendus otsib asjakohast sisu vektoriindeksi abil, mida värskendatakse lähteandmete muutumisel. Indeks sisaldab dokumentide tükke esindavaid embeddinguid koos linkidega nende tekstile ja seotud metaandmetele.

Reaalne näide: Microsoft 365 Copilot pääseb organisatsiooni teabele juurde Microsoft Graphi kaudu, mis pakub andmeallikate jaoks erinevaid API-sid, ning kasutab asjakohase sisu hankimiseks leksikaalseid ja semantilisi indekseid.

Suurenda

5. Programmeerimisassistendid

Programmeerimisassistendid rakendavad RAG-i koodibaasile. Kuigi aluseks olev RAG-i protsess on sama (tavaliselt agentne RAG), seisneb erinevus selles, et need tegelevad spetsiaalselt koodikontekstiga.

Kuidas see toimib: Programmeerimisassistendid indekseerivad kohalikud projektifailid ja teevad päringu korral asjakohaste koodilõikude leidmiseks mitu otsingukäiku. Nendel assistentidel on tavaliselt ka spetsiaalsed konnektorid juurdepääsu laiendamiseks, näiteks ettevõtte teadmistebaasidele.

Reaalne näide: GitHub Copilot on tuntud näide programmeerimisassistendist, mis integreerub otse arendusprojektidega. Vastuste täpsuse suurendamiseks võib see viidata ka avalikele GitHubi repositooriumidele.

Suurenda

6. Tehniline tõrkeotsing

Tehniline tõrkeotsing ühendab teadmistehalduse RAG-toru diagnostikatsükliga. Agent saab tulemusi hinnata, et tõrkeotsingu soovitusi vastavalt vajadusele edasi täpsustada.

Kuidas see toimib: Rakendus kogub kasutajalt tehnilise probleemi sümptomeid või võtab vastu automatiseeritud seirehoiatusi. See käivitab veateadete, tehniliste logide ja jõudlusmõõdikute otsingu sümptomite ristkontrollimiseks. Seejärel otsib see sisesest teadmistebaasist asjakohase teabe, mida LLM-ile edasi anda. Diagnostikatsükkel toimub siis, katsetatud paranduse tulemused söödetakse tagasi LLM-i, kas kasutajalt või diagnostikatööriistalt.

Reaalne näide: Jälgitavusplatvorm Datadog (pildil allpool) kogub andmeid süsteemi kõigist kihtidest ja annab probleemidest ilmnemisel märku. Seejärel suunatakse need potentsiaalsete paranduste tõrkeotsinguks spetsiaalsesse tehisintellekti agenti nimega Bits AI.

Suurenda

7. Agentne kaubandus

Agentne kaubandus on laiem kasutusjuht, mis hõlmab tavaliselt RAG-i. Ostuagent otsib toote spetsifikatsioone, arvustusi, hindu ja saadavust, et võrrelda valikuid ja selgitada soovitusi. Seejärel saab ta ostu automaatselt sooritada ilma, et kasutaja liidesest lahkuks.

Kuidas see toimib: Agentne kaubandus on tõeline agentne RAG, kuna teatud päringud nõuavad sageli erineva kujuga teabeotsingut, mida mudel juhib. Agent võib jaemüüja API kaudu hankida ainult tekstipõhiseid tooteandmeid või kasutada multimodaalset RAG-i, et sobitada kasutaja foto põhjal semantilises indeksis olevaid tooteid.

Reaalne näide: Üldotstarbeline agent nagu Perplexity saab päringu põhjal otsida mitu pilti ja üksikasjalikud toote spetsifikatsioonid. Instant Buy ostufunktsioon võimaldab kasutajal pärast toote valimist ostu lõpule viia.

Suurenda

8. Spetsialiseeritud teadmiste valdkonnad

Tehisintellekti tööriistad, mis otsivad spetsialiseeritud valdkonnateadmisi, peavad toime tulema keeruliste sisuvormingutega. Lisaks on sageli prioriteediks hallutsinatsioonide ja teabelünkade minimeerimine.

Kuidas see toimib: Peamine erinevus üldotstarbeliste ja spetsialiseeritud RAG-i arhitektuuride vahel on seotud lähteaine ja otsingukonfiguratsiooniga. Tavaliselt päritakse teavet ainult väga usaldusväärsest indeksist ja päring konfigureeritakse nii, et see sisaldaks otsingute kitsendamiseks kindlat terminoloogiat.

Reaalne näide: Akadeemiline teadustööriist Scite pääseb juurde suurele teadusartiklite ja viiteandmete indeksile, mis on loodud väljaandjate kokkulepete ja avatud juurdepääsuga allikate kaudu. Enne täieliku vastuse genereerimist rakendab see ka otsingujärgseid kontrollimisi, näiteks allikate verifitseerimist.

Suurenda

9. Andmeanalüüs

Andmeanalüüsi RAG on muutunud eriti võimsaks ärikasutusjuhuks, kuna see võimaldab paljudel spetsialistidel, eriti ilma andmeteaduse väljaõppeta inimestel, pärida andmestikke loomulikus keeles. See lihtsustab aruannete koostamist ja väga spetsiifiliste küsimuste esitamist.

Kuidas see toimib: Küsimuse puhul nagu "Miks müük eelmisel kvartalil langes?" võib rakendus teha päringu müügiarvestusse ja hankida märkmeid laopuudujääkide või hinnamuutuste kohta. LLM valib enne analüüsi genereerimist hangitud andmete jaoks sobiva arvutuse (mis tavaliselt delegeeritakse arvutustööriistale).

Reaalne näide: Google Analytics pakub tehisintellektil põhinevat vestlusrobotit „Ask Advisor“, mis pääseb juurde veebianalüüsi andmetele ning vastab kasutajate väga spetsiifilistele ja nüansseeritud küsimustele. See on üks parimaid reaalseid näiteid ettevõtte tasemel suletud süsteemi RAG-ist.

Suurenda

Mis saab RAG-i arengus edasi?

RAG oli selle esmakordsel kasutuselevõtul märkimisväärne samm. See aitas lahendada paljusid eraldiseisvatele LLM-idele omaseid probleeme.

See on siiski kõike muud kui staatiline tehnoloogia. Praegused uuringud keskenduvad põhjalikumale multimodaalsele teabeotsingule ning otsitud konteksti rangemale töötlemisele täpsuse ja õigsuse tagamiseks. Lisaks on oodata RAG-i suuremat integreerimist mitme tööriistaga agentidesse.

Isegi äärmiselt suurte kontekstiakende korral on RAG-il olulised kasutusjuhud nii isiklikus kui ka professionaalses kontekstis ning palju uuendusi on alles ees.