Paieška papildytas generavimas (RAG): apibrėžimas, panaudojimo atvejai ir praktiniai pavyzdžiai

Paieška papildytas generavimas (RAG) leidžia DI įrankiams pasitelkti išorinę informaciją savo atsakymams pagrįsti, o šiame vadove aptariama, kaip jis veikia, pagrindiniai jo tipai ir realūs panaudojimo atvejai – nuo žiniatinklio paieškos iki įmonių žinių bazių.

Diagram of a RAG pipeline: in the ingestion path, source data such as docs, databases, and files is chunked and embedded into a searchable index like a vector database; in the retrieval path, an orchestrator builds a query from the user prompt, retrieves results from the index, and passes the prompt plus context to an LLM to produce a grounded answer.

RAG, arba paieška papildytas generavimas (angl. retrieval-augmented generation), – tai procesas, kurio metu LLM pagrindu veikiantys įrankiai pasiekia išorinę informaciją. Ši informacija, kurios nėra LLM mokymo parametruose, pridedama prie atitinkamo įvesties konteksto ir naudojama generuojant atsakymą.

RAG – vienas svarbiausių šiuolaikinių DI sistemų komponentų. Jį naudoja visi pagrindiniai agentiniai įrankiai (ChatGPT, Claude, Perplexity ir kt.), o jo panaudojimo atvejų gausu tiek vartotojų, tiek įmonių srityje. Nuo tada, kai RAG pirmą kartą išpopuliarėjo, jis patyrė ne vieną naujovę ir toliau įdomiai tobulėja.

Kas yra paieška papildytas generavimas (RAG)?

Paieška papildytas generavimas (RAG) – tai metodas, kuriuo gerinami didžiųjų kalbos modelių (LLM) rezultatai, pateikiant jiems aktualią išorinę informaciją.

Įprastas RAG „konvejeris“ – terminas, kuriuo apibūdinama plačioji pagrindinė RAG architektūra, – turi du kelius: įtraukimo ir išgavimo. Įtraukimo kelias paima duomenis ir paverčia juos formatu, kuriame galima ieškoti. Išgavimo kelias pagal naudotojo raginimą suformuoja užklausą ir kreipiasi į informacijos šaltinį.

Dažnai RAG sistemos kuriamos remiantis vektorinėmis duomenų bazėmis. Tokiu atveju LLM įrankio orkestratorius – komponentas, kuris valdo naudotojų raginimus, siunčia užklausas ir išgauna rezultatus iš paieškos indekso, – sugeneruoja vektorinį įterpinį. Juo remdamasis jis pateikia užklausą vektorių duomenų bazei, kurios vektoriai atspindi įtrauktus duomenis. Tada jis prideda išgautą informaciją prie esamos LLM konteksto įvesties kartu su instrukcijomis, kaip ją panaudoti generuojant rezultatą.

RAG nereiškia vien aukščiau aprašytos tankiosios vektorinės paieškos. Šiai sąvokai taip pat priskiriamas žinių grafo naršymas, semantinė paieška, tradicinės duomenų bazių užklausos ar bet koks šių metodų derinys.

RAG privalumai

Viena iš priežasčių, kodėl RAG tapo toks populiarus, – jis išsprendžia dvi pagrindines problemas, susijusias su atsakymų generavimu vien LLM pagrindu: haliucinacijas ir prieigos prie informacijos, kurios nėra mokymo medžiagoje, trūkumą.

Faktų tikrinimas ir pagrindimas

LLM garsėja tuo, kad jiems sunkiai sekasi užtikrinti faktinį tikslumą. Dažnai, negalėdami patikimai atsakyti į klausimą, jie užtikrintai haliucinuoja. Taip gali nutikti todėl, kad informacijos nebuvo mokymo medžiagoje, arba todėl, kad pačioje mokymo medžiagoje yra netikslumų. RAG pagrįstas faktų tikrinimas apima atsakymo pagrindimą informacija iš patikimo trečiosios šalies šaltinio.

Naujausia informacija

LLM gali atsakyti tik į klausimus temomis, kurios neperžengia jų mokymo duomenų ribos, vadinamos žinių riba. RAG sistemos gali prisijungti prie itin aktualių informacijos šaltinių, pavyzdžiui, naujienų per žiniatinklio paieškos API ar vidinių duomenų bazių su naujausia produktų informacija. Tai leidžia generuoti atsakymus temomis, kurių nėra mokymo duomenyse.

Prieiga prie privačių išorinių duomenų

RAG sistemos leidžia įmonėms prijungti DI infrastruktūrą prie jautrios, nuosavybinės ir konkrečiai sričiai būdingos informacijos šaltinių, kuriais jos negali dalytis viešai. Daugelis populiarių įrankių, pavyzdžiui, Perplexity, dabar siūlo galimybę įkelti konfidencialius duomenis ir kurti privačias žinių bazes – tai dažnas įmonių panaudojimo atvejis.

RAG apžvalga ir raida: pagrindiniai architektūros tipai

Nors konkretus terminas paieška papildytas generavimas pirmą kartą pasirodė svarbiame 2020 m. straipsnyje Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, informacijos išgavimo sistemos buvo naudojamos daugelį dešimtmečių iki tol. Geras pavyzdys – ankstyvieji paieškos varikliai. Vis dėlto tikroji DI naujovė buvo parametrinių modelio žinių derinimas su tankiuoju vektoriniu indeksu (straipsnyje jam sukurti panaudota Vikipedija).

Štai pagrindinių RAG tipų apžvalga:

  • Bazinis RAG: Bazinis RAG, dar vadinamas naiviuoju RAG, yra paprasčiausia RAG konvejerio versija. Jis veikia pagal principą „išgauti ir generuoti“, o pagrindinis jo panaudojimo atvejis – paieška vektorinėje duomenų bazėje. Jis vis dar tinka paprastam RAG įgyvendinimui, ypač ribotam vidiniam naudojimui.
  • Hibridinis RAG: Tai daugiau nei vieno RAG tipo derinimas. Paprastai turimas omenyje paprastos raktažodžių paieškos ir tankiojo vektorinio išgavimo derinys.
  • Korekcinis RAG: RAG forma, kai išgautą informaciją įvertina papildomai apmokytas modelis, kad nustatytų jos aktualumą naudotojo raginimui.
  • Self-RAG: Nors self-RAG panašus į korekcinį RAG, jame LLM pats vertina savo rezultatus ir prireikus inicijuoja išgavimą. Tam jis naudoja specialius refleksijos žetonus.
  • Agentinis RAG: Agentinis RAG apibūdina, kaip agentinio DI platformos gali pasitelkti skirtingus išgavimo metodus. Per orkestratorių LLM gali samprotauti ir rinktis iš įvairių RAG galimybių.
  • Multimodalinis RAG: Šis RAG tipas į savo įtraukimo ir išgavimo konvejerius įtraukia kitų formų mediją, pavyzdžiui, vaizdus ir garsą.
  • GraphRAG: GraphRAG informacijai išgauti naudoja žinių grafo naršymą (esybių paiešką). Tai gali būti derinama su tankiuoju vektoriniu išgavimu, bet nebūtinai.
  • Šakotasis RAG: Ši RAG architektūra apima kelių išgavimo užklausų vykdymą vienu metu, dažnai naudojant skirtingus architektūros modelius. Šakotasis RAG – dažna DI įrankių, vykdančių sudėtingas darbo eigas, funkcija.
  • HyDE (hipotetinių dokumentų įterpiniai): Hipotetinių dokumentų įterpiniai – tai DI sugeneruoti atsakymai, imituojantys, koks galėtų būti idealus atsakymas į naudotojo raginimą. Jie naudojami RAG užklausai patikslinti ir taip pagerinti išgautos informacijos tikslumą.

Populiariausi RAG panaudojimo atvejai su pavyzdžiais

Kaip RAG atrodo realiame pasaulyje? Jei esate uždavę DI pokalbių robotui klausimą apie laiko atžvilgiu jautrią temą, kreipęsi į klientų aptarnavimo robotą ar naudojęsi asmeniniu asistentu administracinėms užduotims atlikti, jūs pasinaudojote RAG.

Populiariausi RAG pavyzdžiai vartotojų ir įmonių kontekste – žiniatinklio paieška, asmeniniai asistentai (įskaitant programavimą), programavimo asistentai, klientų aptarnavimas ir įmonės žinių valdymas.

Žiniatinklio paieška

Žiniatinklio paieška – plačiai naudojama RAG forma ir, ko gero, labiausiai paplitusi vartotojams skirta taikomoji programa. Visi pagrindiniai pokalbių robotai siūlo žiniatinklio paieškos funkciją, kai LLM naudoja naujausius šaltinius, kad papildytų savo mokymo medžiagoje esančią informaciją.

DI įrankio orkestratorius per API iškvietimą prisijungia prie trečiosios šalies paieškos variklio, o rezultatai ištraukų pavidalu pridedami prie LLM konteksto lango. Tai leidžia naudotojams gauti informacijos apie dabartinius įvykius, naujausius tyrimus, produktus ir kitas temas, kuriose informacija dažnai keičiasi.

Praktiškai API užklausa galėtų atrodyti taip:

json
{ "query": "latest US inflation news", "max_results": 1, "language": "en", "country": "US" }

Grąžinamoje informacijoje būtų šaltinis ir ištrauka:

json
{ "query": "latest US inflation news", "results": [ { "title": "US inflation rises slightly in latest report", "url": "https://example.com/us-inflation-report", "snippet": "Consumer prices increased in the latest monthly data, with housing and energy contributing to the rise.", "published_date": "2026-11-05" } ] }

Asmeniniai DI asistentai

Asmeniniai asistentai naudoja RAG, kad prisijungtų prie informacijos šaltinių asmeninėje arba bendroje įmonės aplinkoje. Informacijos šaltinių pavyzdžiai – naudotojo el. laiškai, failai, kalendorius ir duomenų bazės.

Kadangi informacija gali būti saugoma įvairiais būdais, asmeninius asistentus geriausia laikyti visiškai agentinėmis RAG sistemomis. Priklausomai nuo raginimo, jie gali naudoti API iškvietimus, raktažodžių paiešką, tankųjį vektorinį išgavimą ar žinių grafo naršymą.

Įmonių RAG sistemos vis dažniau koduoja žinias į vektorines duomenų bazes, kad jas galėtų lengvai išgauti visos įmonės asmeniniai asistentai, ir daugelis įmonėms skirtų DI produktų kuriami atsižvelgiant į tai.

Programavimo asistentai taip pat verti dėmesio, nes jie yra dar vienas svarbus panaudojimo atvejis. Programavimo asistentas, pavyzdžiui, GitHub Copilot, gali prisijungti prie saugyklos ir konkretaus projekto dokumentacijos, kad išgautų susijusius failus, funkcijas, simbolius, gaires, API ir commit istoriją.

Klientų aptarnavimas

Klientų aptarnavimas – dar vienas svarbus RAG panaudojimo atvejis, o DI pokalbių robotų naudojimas pastaraisiais metais sparčiai išaugo. Savo ataskaitoje State of AI Customer Support bendrovė Crisp nustatė, kad 40 % pokalbių išsprendžiami be žmogaus pagalbos, o tai rodo didelį efektyvumą.

Kai naudotojas užduoda klausimą klientų aptarnavimo robotui, orkestratorius paprastai ieško įmonės vidinėje žinių bazėje. Siekiant užtikrinti tikslumą, taip pat dažnai taikomi korekcinis RAG ir self-RAG, o prireikus pokalbis perduodamas aptarnavimo atstovui žmogui.

Įmonių žinių bazės

DI darbo eigų ir generatyviojo DI įrankių diegimas vidutinėse ir didelėse įmonėse vyko kartu su vidinių žinių bazių kūrimu. Tai leidžia visos įmonės asistentams pasiekti vidinius duomenis išsaugant privatumą – nesvarbu, ar tai jautri klientų informacija, privatūs įmonės duomenys, ar specializuotos srities žinios.

Šios sistemos paprastai kuriamos remiantis vektorinėmis duomenų bazėmis, tačiau naudojami ir kiti RAG metodai. Pavyzdžiui, Microsoft 365 Copilot turi API sluoksnį, kuris atveria įvairius informacijos šaltinius, įskaitant vektorines duomenų bazes, žinių grafus ir semantinius indeksus, kad suteiktų plačią prieigą prie įmonės duomenų.

Tokios RAG sistemos taip pat paprastai integruojamos į bendrosios paskirties agentinių įrankių įmonėms skirtus paketus. Pavyzdžiui, Perplexity Enterprise leidžia naudotojams įkelti didelius dokumentacijos kiekius saugiam vidiniam naudojimui.

Naudotojai taip pat gali įkelti savo failus į atskirus projektus ir taip iš esmės sukurti mini RAG sistemas. Paieškas galima derinti su kitomis RAG formomis, pavyzdžiui, žiniatinklio paieška, siekiant hibridinio papildymo.

Kuo RAG skiriasi nuo LLM?

Didysis kalbos modelis (LLM) gali generuoti rezultatus tik naudodamas informaciją, atspindėtą jo parametruose. Jis priskiria tikimybes vidiniam žodynui, kad nuspėtų kitą sekos žodį arba žetoną. Todėl jis negali pateikti tikslių atsakymų, jei jo parametrai nebuvo apmokyti naudojant aktualią informaciją.

Bendrosios paskirties arba specializuotoje DI platformoje RAG konvejeriai veikia kartu su LLM ar LLM grupe. Jie jungiasi prie išorinių informacijos šaltinių, kad papildytų kalbos modeliui pateikiamą įvesties kontekstą, – tai ir yra pagrindinis RAG ir LLM skirtumas.

Sprendimą, ar išgauti papildomos informacijos, ar remtis vien parametrinėmis žiniomis, gali priimti orkestratorius, paprastai taikydamas taisyklėmis grįstą logiką, arba net pats LLM.

Kuo RAG skiriasi nuo MCP?

RAG ir modelio konteksto protokolą (MCP) geriausia laikyti vienas kitą papildančiomis technologijomis. MCP – tai atvirasis standartas, skirtas kurti architektūrą, kuri leidžia DI įrankiams per vieną galinį tašką pasiekti išorines funkcijas, išteklius ir raginimus.

Kai DI įrankis prisijungia prie MCP serverio, serveris atveria visus primityvus (MCP įrankius, išteklius ir raginimus), kuriuos klientas turi teisę pasiekti. Klientas – tai komponentas, kuris užmezga ryšį tarp kliento pusėje esančio orkestratoriaus ir serverio. Kartais tai gali apimti duomenų bazių ir informacijos šaltinių atvėrimą – tokiu atveju MCP veikia kaip tarpininkas RAG konvejerio išgavimo sluoksnyje.

Kuo RAG skiriasi nuo API?

API – tai apibrėžta sąsaja, kurią dvi programos gali naudoti siųsdamos užklausas viena kitai. RAG – tai procesas, kurio metu LLM gali pasiekti išorinę informaciją, kad pagerintų ir praplėstų savo rezultatus.

RAG informacijai išgauti dažnai naudoja API iškvietimus. Pavyzdžiui, išgaunant informaciją žiniatinklio paieškoje, orkestratorius pagal naudotojo raginimą suformuluoja API užklausą atitinkamam paieškos varikliui.

Kodėl RAG svarbus ir kaip jis toliau tobulės

RAG svarbus todėl, kad LLM iš prigimties riboja jų mokymo duomenys. Yra ištisi informacijos klodai – nuo dabartinių įvykių iki privačių įmonės žinių, – prie kurių jie neturi prieigos. RAG išsprendžia šią problemą nereikalaudamas pernelyg didelių išteklių.

Vis dėlto vien informacijos išgavimo nepakanka, todėl RAG ir toliau tobulės. RAG sudaro didelę dabartinių DI tyrimų dalį, o jo tobulinimas orientuotas į tai, kad sistemos pateiktų tinkamą informaciją įvairiausiais formatais ir veiksmingai ją vertintų bei nustatytų jos prioritetus.

RAG tampant vis galingesniam, auga ir DI sistemų nauda svarbiose vartotojams ir įmonėms skirtose taikomosiose programose. Tai klientų aptarnavimas, žiniatinklio paieška, programavimas, asmeniniai asistentai, specializuoti tyrimai ir kt.