Otsinguga täiendatud genereerimine (RAG): definitsioon, kasutusjuhud ja praktilised näited

Otsinguga täiendatud genereerimine (RAG) võimaldab tehisintellekti tööriistadel kaasata välist teavet, millele oma vastustes tugineda. See juhend selgitab, kuidas RAG töötab, millised on selle peamised tüübid ja reaalsed kasutusjuhud alates veebiotsingust kuni ettevõtete teadmusbaasideni.

Diagram of a RAG pipeline: in the ingestion path, source data such as docs, databases, and files is chunked and embedded into a searchable index like a vector database; in the retrieval path, an orchestrator builds a query from the user prompt, retrieves results from the index, and passes the prompt plus context to an LLM to produce a grounded answer.

RAG ehk otsinguga täiendatud genereerimine on protsess, mille abil LLM-põhised tööriistad pääsevad ligi välisele teabele. See teave, mis ei sisaldu LLM-i treeningparameetrites, lisatakse asjakohasesse sisendkonteksti ja seda kasutatakse vastuse genereerimisel.

RAG on tänapäevaste tehisintellektisüsteemide üks olulisemaid komponente. Seda kasutavad kõik levinud agentsed tööriistad (ChatGPT, Claude, Perplexity jne) ning sellel on lai valik tarbija- ja ettevõttekasutusjuhte. RAG on pärast laialdaseks muutumist läbi teinud mitu uuendust ja areneb jätkuvalt põnevates suundades.

Mis on otsinguga täiendatud genereerimine (RAG)?

Otsinguga täiendatud genereerimine (RAG) on meetod suurte keelemudelite (LLM-ide) väljundite parandamiseks, andes neile asjakohast välist teavet.

Tüüpilisel RAG-i „konveieril“ – terminiga viidatakse laiemale RAG-i aluseks olevale arhitektuurile – on kaks rada: sissevõturada ja otsingurada. Sissevõturada võtab andmed ja teisendab need otsitavasse vormingusse. Otsingurada koostab kasutaja viiba põhjal päringu ja pärib teavet teabeallikast.

Sageli ehitatakse RAG-süsteemid vektorandmebaaside ümber. Sel juhul genereerib LLM-tööriista orkestreerija komponent, mis haldab kasutaja viipasid, saadab päringuid ja hangib tulemusi otsitavast indeksist, vektormanuse. Selle abil teeb see päringu andmebaasi, mille vektorid esindavad sissevõetud andmeid. Seejärel lisab see hangitud teabe LLM-i olemasolevale sisendkontekstile koos juhistega, kuidas seda väljundi genereerimiseks kasutada.

RAG ei tähenda üksnes eespool kirjeldatud tihedat vektorotsingut. RAG-i alla kuuluvad ka teadmusgraafi läbimine, semantiline otsing, traditsioonilised andmebaasipäringud või nende meetodite mis tahes kombinatsioon.

RAG-i eelised

Üks põhjus, miks RAG on nii populaarseks muutunud, on see, et see lahendab kaks peamist probleemi, mis kaasnevad üksnes LLM-il põhineva vastuste genereerimisega: hallutsinatsioonid ja juurdepääsu puudumine teabele, mida treeningmaterjalides ei ole.

Faktikontroll ja ankurdamine

LLM-id on tuntud selle poolest, et neil on raskusi faktitäpsusega. Kui nad ei suuda küsimusele usaldusväärselt vastata, hallutsineerivad nad sageli enesekindlalt. Põhjus võib olla selles, et teave ei sisaldunud treeningmaterjalides või et treeningmaterjalid ise sisaldavad ebatäpsusi. RAG-põhine faktikontroll tähendab vastuse ankurdamist usaldusväärse kolmanda osapoole allika teabesse.

Ajakohane teave

LLM-id saavad vastata ainult küsimustele teemadel, mis jäävad nende treeningandmete ajalise piiri ehk nn teadmiste piiri ette. RAG-süsteemid saavad ühenduda väga värskete teabeallikatega, näiteks uudismaterjalidega veebiotsingu API kaudu või sisemiste andmebaasidega, kus on ajakohane tooteteave. Nii on võimalik luua vastuseid teemadel, mida treeningandmed ei kata.

Juurdepääs privaatsetele välistele andmetele

RAG-süsteemid võimaldavad ettevõtetel ühendada tehisintellekti taristu tundliku, ärisaladust sisaldava ja valdkonnaspetsiifilise teabe allikatega, mida nad ei saa avalikult jagada. Paljud populaarsed tööriistad, näiteks Perplexity, pakuvad nüüd võimalust laadida üles konfidentsiaalseid andmeid ja luua privaatseid teadmusbaase – see on levinud ettevõtete kasutusjuht.

RAG-i ülevaade ja areng: peamised arhitektuuritüübid

Kuigi konkreetne termin otsinguga täiendatud genereerimine (ingl retrieval-augmented generation) ilmus esmakordselt 2020. aasta olulises artiklis pealkirjaga Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, olid teabeotsingusüsteemid kasutusel juba aastakümneid varem. Hea näide on varased otsingumootorid. Tõeline tehisintellekti uuendus seisnes aga mudeli parameetriliste teadmiste ühendamises tiheda vektorindeksiga (artiklis kasutati selle loomiseks Vikipeediat).

Siin on ülevaade RAG-i peamistest tüüpidest:

  • Põhiline RAG: Põhiline RAG, mida nimetatakse ka naiivseks RAG-iks, on RAG-i konveieri lihtsaim variant. See järgib hangi-ja-genereeri voogu, mille peamine kasutusjuht on vektorandmebaasi otsing. See sobib endiselt lihtsa RAG-i juurutuse loomiseks, eriti piiratud sisekasutuseks.
  • Hübriid-RAG: See tähendab rohkem kui ühe RAG-i tüübi kombineerimist. Tavaliselt viitab see lihtsa märksõnaotsingu ja tiheda vektorotsingu kombinatsioonile.
  • Korrigeeriv RAG: RAG-i vorm, mille puhul peenhäälestatud mudel hindab hangitud teavet, et teha kindlaks selle asjakohasus kasutaja viiba suhtes.
  • Self-RAG: Kuigi self-RAG sarnaneb korrigeeriva RAG-iga, hindab selles LLM ise oma väljundeid ja algatab vajaduse korral otsingu. Selleks kasutab see spetsiaalseid refleksioonitokeneid.
  • Agentne RAG: Agentne RAG viitab sellele, kuidas agentse tehisintellekti platvormid saavad kasutada eri otsingumeetodeid. LLM saab orkestreerija kaudu arutleda ja valida erinevate RAG-i võimaluste vahel.
  • Multimodaalne RAG: Seda tüüpi RAG kaasab oma sissevõtu- ja otsingukonveieritesse ka muid meediavorme, näiteks pilte ja heli.
  • GraphRAG: GraphRAG kasutab teabe hankimiseks teadmusgraafi läbimist (olemiotsingut). Seda võib teha koos tiheda vektorotsinguga, kuid see pole kohustuslik.
  • Hargnev RAG: See RAG-i arhitektuur hõlmab mitme otsingupäringu samaaegset käivitamist, sageli eri arhitektuurimustreid kasutades. Hargnev RAG on levinud funktsioon tehisintellekti tööriistades, mis käitavad keerukaid töövooge.
  • HyDE (Hypothetical Document Embeddings ehk hüpoteetiliste dokumentide manused): Hüpoteetiliste dokumentide manused on tehisintellekti loodud vastused, mis simuleerivad, milline võiks olla ideaalne vastus kasutaja viibale. Neid kasutatakse RAG-i päringu täpsustamiseks, mis parandab hangitud teabe täpsust.

RAG-i peamised kasutusjuhud koos näidetega

Kuidas RAG päriselus välja näeb? Kui olete esitanud tehisintellekti vestlusrobotile küsimuse ajatundliku teema kohta, pöördunud klienditoe roboti poole või kasutanud isiklikku assistenti haldusülesanneteks, olete RAG-i kasutanud.

Peamised RAG-i näited tarbija- ja ettevõttekontekstis on veebiotsing, isiklikud assistendid (sh programmeerimisel), programmeerimisassistendid, klienditugi ja ettevõtte teadmusjuhtimine.

Veebiotsing

Veebiotsing on RAG-i laialt kasutatav vorm ja arvatavasti kõige levinum tarbijale suunatud rakendus. Kõik levinud vestlusrobotid pakuvad veebiotsingu funktsiooni, mille puhul LLM kasutab ajakohaseid allikaid, et täiendada oma treeningmaterjalides sisalduvat teavet.

Tehisintellekti tööriista orkestreerija ühendub API-kutse abil kolmanda osapoole otsingumootoriga ning tulemused lisatakse katkenditena LLM-i kontekstiaknasse. See võimaldab kasutajatel saada teavet päevasündmuste, hiljutiste uuringute, tooteteabe ja muude sageli muutuva teabega teemade kohta.

Praktikas võib API-päring näha välja selline:

json
{ "query": "latest US inflation news", "max_results": 1, "language": "en", "country": "US" }

Tagastatud teave sisaldaks allikat ja katkendit:

json
{ "query": "latest US inflation news", "results": [ { "title": "US inflation rises slightly in latest report", "url": "https://example.com/us-inflation-report", "snippet": "Consumer prices increased in the latest monthly data, with housing and energy contributing to the rise.", "published_date": "2026-11-05" } ] }

Isiklikud tehisintellekti assistendid

Isiklikud assistendid kasutavad RAG-i, et ühenduda teabeallikatega isiklikus või jagatud ettevõttekeskkonnas. Teabeallikad on näiteks kasutaja e-kirjad, failid, kalender ja andmebaasid.

Kuna teavet saab salvestada mitmel viisil, on isiklikke assistente kõige parem käsitleda täielikult agentsete RAG-süsteemidena. Olenevalt viibast võivad nad kasutada API-kutseid, märksõnaotsingut, tihedat vektorotsingut või teadmusgraafi läbimist.

Ettevõtete RAG-süsteemid kodeerivad teadmisi üha sagedamini vektorandmebaasidesse, et kogu ettevõtet teenindavad isiklikud assistendid saaksid neid hõlpsasti hankida, ning paljud ettevõtetele mõeldud tehisintellektitooted on loodud seda silmas pidades.

Programmeerimisassistendid väärivad samuti esiletõstmist, sest need esindavad veel üht olulist kasutusjuhtu. Programmeerimisassistent, näiteks GitHub Copilot, saab ühenduda hoidla ja projektipõhise dokumentatsiooniga, et hankida asjakohaseid faile, funktsioone, sümboleid, juhiseid, API-sid ja commit'ide ajalugu.

Klienditugi

Klienditugi on veel üks oluline RAG-i kasutusjuht ning tehisintellekti vestlusrobotite kasutuselevõtt on viimastel aastatel kiiresti kasvanud. Crisp leidis oma aruandes State of AI Customer Support, et 40% vestlustest lahendatakse ilma inimese abita, mis näitab suurt tõhusust.

Kui kasutaja esitab klienditoe robotile küsimuse, otsib orkestreerija tavaliselt ettevõtte sisemisest teadmusbaasist. Täpsuse tagamiseks kasutatakse sageli ka korrigeerivat RAG-i ja self-RAG-i ning vajaduse korral antakse vestlus üle inimesest klienditeenindajale.

Ettevõtte teadmusbaasid

Tehisintellekti töövoogude ja generatiivse tehisintellekti tööriistade kasutuselevõtt keskmistes ja suurtes ettevõtetes on käinud käsikäes sisemiste teadmusbaaside loomisega. See võimaldab kogu ettevõtet teenindavatel assistentidel pääseda ligi sisemistele andmetele, säilitades samal ajal privaatsuse – olgu tegu tundliku kliendiinfo, privaatsete ettevõtteandmete või spetsiifiliste valdkonnateadmistega.

Need süsteemid on tavaliselt ehitatud vektorandmebaaside ümber, kuid kasutatakse ka muid RAG-i meetodeid. Näiteks Microsoft 365 Copilotil on API-kiht, mis teeb kättesaadavaks mitmesugused teabeallikad, sealhulgas vektorandmebaasid, teadmusgraafid ja semantilised indeksid, et pakkuda laia juurdepääsu ettevõtte andmetele.

Need RAG-süsteemid on tavaliselt sisse ehitatud ka üldotstarbeliste agentsete tööriistade ettevõttepakettidesse. Näiteks Perplexity Enterprise võimaldab kasutajatel laadida turvaliseks sisekasutuseks üles suures koguses dokumentatsiooni.

Kasutajad saavad oma faile üles laadida ka eraldiseisvates projektides, luues sisuliselt mini-RAG-süsteeme. Otsinguid saab hübriidse täiendamise jaoks kombineerida teiste RAG-i vormidega, näiteks veebiotsinguga.

Mis vahe on RAG-il ja LLM-il?

Suur keelemudel (LLM) saab väljundeid genereerida ainult oma parameetrites esindatud teabe põhjal. See omistab sisemise sõnavara elementidele tõenäosused, et ennustada jada järgmist sõna ehk tokenit. Seetõttu ei suuda see anda täpseid vastuseid, kui selle parameetreid pole asjakohase teabe põhjal treenitud.

Üldotstarbelisel või spetsialiseeritud tehisintellekti platvormil töötavad RAG-konveierid koos LLM-i või LLM-ide rühmaga. Need ühenduvad väliste teabeallikatega, et täiendada keelemudelile antavat sisendkonteksti, ja see ongi peamine erinevus RAG-i ja LLM-ide vahel.

Otsustada, kas hankida lisateavet või tugineda üksnes parameetrilistele teadmistele, saab kas orkestreerija tasemel, tavaliselt reeglipõhise loogika abil, või võib selle otsuse teha isegi LLM ise.

Mis vahe on RAG-il ja MCP-l?

RAG-i ja mudelikonteksti protokolli (MCP) on kõige parem käsitleda üksteist täiendavate tehnoloogiatena. MCP on avatud standard arhitektuuri loomiseks, mis võimaldab tehisintellekti tööriistadel pääseda ühe lõpp-punkti kaudu ligi välistele funktsioonidele, ressurssidele ja viipadele.

Kui tehisintellekti tööriist ühendub MCP-serveriga, teeb server kättesaadavaks kõik primitiivid (MCP-tööriistad, ressursid ja viibad), millele kliendil on juurdepääsuõigus. Klient on komponent, mis loob ühenduse kliendipoolse orkestreerija ja serveri vahel. Mõnikord võib see hõlmata andmebaaside ja teabeallikate kättesaadavaks tegemist – sel juhul toimib MCP vahendajana RAG-konveieri otsingukihis.

Mis vahe on RAG-il ja API-l?

API on määratletud liides, mille kaudu kaks rakendust saavad teineteisele päringuid saata. RAG on protsess, mille abil LLM-id pääsevad ligi välisele teabele, et oma väljundeid parandada ja laiendada.

RAG kasutab teabe hankimiseks sageli API-kutseid. Näiteks veebiotsingul põhineva teabeotsingu korral koostab orkestreerija kasutaja viiba põhjal API-päringu asjakohasele otsingumootorile.

Miks RAG on oluline ja kuidas see edasi areneb

RAG on oluline, sest LLM-e piiravad olemuslikult nende treeningandmed. On terveid teabevaldkondi alates päevasündmustest kuni ettevõtete privaatsete teadmisteni, millele neil puudub juurdepääs. RAG lahendab selle probleemi, ilma et see nõuaks ülemäära palju ressursse.

Teabeotsingust üksi aga ei piisa ja seetõttu RAG areneb edasi. RAG moodustab suure osa praegusest tehisintellekti uurimistööst, mille eesmärk on täiustada süsteeme nii, et need tagastaksid õiget teavet väga erinevates vormingutes ning hindaksid ja prioriseeriksid seda tõhusalt.

Mida võimsamaks RAG muutub, seda kasulikumaks muutuvad tehisintellektisüsteemid olulistes tarbija- ja ettevõtterakendustes. Nende hulka kuuluvad klienditugi, veebiotsing, programmeerimine, isiklikud assistendid, spetsialiseeritud uurimistöö ja palju muud.