RAG vs. LLM: tehniline ülevaade (definitsioonid, erinevused, kasutusjuhtumid)

LLM-id genereerivad vastuseid, kasutades parameetreid, mis on õpitud nende treeningandmete mustritest. Kuna need parameetrid ei pruugi kajastada hiljutist või täielikku teavet, täiendab RAG, mis tähendab retrieval-augmented generation’it, protsessi, lisades LLM-i sisendkonteksti andmeid välistest allikatest. AI-tööriist otsib välja välise teabe, et LLM-i genereerimisprotsessi täiendada .

Tegelikult ei ole valik RAG-i ja LLM-i vahel. Valik on hübriidlähenemise ja ainult LLM-i kasutava lähenemise vahel.

RAG on vajalik siis, kui LLM vajab juurdepääsu ettevõtte dokumentatsioonile, andmebaasidele või kiiresti muutuvatele andmetele. Ainult LLM-i kasutav lähenemine sobib teatud haldus-, andmetöötlus- ja sisuloomeülesannete jaoks, kus kõik sisendid saab kasutaja esitada.

RAG vs. LLM: mis on peamised erinevused?

• RAG ja LLM-id on teineteist täiendavad süsteemid. Te võite kasutada AI-mudelit ilma RAG-ita (sel juhul tugineb see ainult oma olemasolevatele parameetritele), kuid RAG-süsteemi ei saa kasutada ilma mudelita.
• RAG võeti kasutusele selleks, et ületada LLM-ide kolm peamist probleemi: aegunud teave, hallutsineeritud vastused ja kolmandate osapoolte allikate vastu kontrollimise puudumine.
• RAG muudab tehisintellekti reaalsetes ärisituatsioonides palju tõhusamaks, kuna ühendab LLM-id kontrollitud sisemiste dokumentide, andmebaaside ja API-lõpp-punktidega.
• Olulisemate RAG-i kasutusjuhtude hulka kuuluvad klienditoe vestlusrobotid, kiiresti muutuvatel andmetel põhinevad päringud (nagu valdkonnauudised) ning erivaldkonnad, nagu meditsiin ja õigus, kus täpsus ja allikate kontrollimine on olulised.
• RAG-i on kolm peamist tüüpi: lihtne RAG, moodul-RAG ja täiustatud RAG. Lihtsat RAG-i saab kõige paremini mõista kui otsest teabeotsingut, samas kui moodul- ja täiustatud RAG lisavad lisafunktsioone, nagu päringu ümberkirjutamine ja tükkide optimeerimine.

Mis on suur keelemudel (LLM)?

LLM ehk suur keelemudel on süsteem, mis genereerib sisu peenhäälestatud parameetrite abil. Need parameetrid määravad kõigile LLM-i sõnavaras olevatele tokenitele omistatud tõenäosused, näidates, milline token on antud järjestuses kõige tõenäolisem järgmisena tulema.

Et paremini mõista, kuidas RAG töötab (ja mille poolest see erineb) LLM-idest, on kasulik vaadata, kuidas generatiivne tehisintellekt toimib põhitasandil:

1. Tokeniseerimine: Kasutaja päring jagatakse tokeniteks, milleks võivad olla sõnad, sõnaosad või üksikud tähemärgid.
2. Embedding: Tokenid teisendatakse embedding’uteks ehk arvulisteks esindusteks (arvujadadeks), mida nimetatakse vektoriteks ja mida närvivõrk, mis sisaldab dekoodrit, saab töödelda.
3. Dekodeerimine: Dekoodri kihid (mis moodustavad suure osa LLM-i närvivõrgust) manipuleerivad neid vektoreid, kasutades tähenduse tabamiseks protsessi nimega attention . See protsess määrab, kui tugevalt iga token peaks olema seotud järjestuse teiste tokenitega.
4. Skoorimine: Mudel määrab oma olemasolevas sõnavaras igale tokenile sobivuse tõenäosuse ja valib järjestuse jaoks tõenäolise järgmise tokeni.

Oluline on see, et LLM saab väljundeid luua ainult oma olemasolevate parameetrite ja kontekstiaknas olevate tokenite põhjal. Treenimise ajal palutakse LLM-il miljardeid kordi lõpetada mittetäieliku teksti osi ning selle parameetreid kohandatakse seni, kuni see omistab tokenitele (ja seega lõpetab teksti) usaldusväärselt tõenäosusi.

Kujutage näiteks ette, et küsite AI-mudelilt küsimuse: „Mida ütleb meie ettevõtte 2026. aasta tagastamispoliitika?” LLM suudab prognoosida ainult järgmisi tokeneid oma olemasolevate parameetrite põhjal, mida ei ole teie tugidokumentatsiooni abil peenhäälestatud. Kui te küsite seda küsimust ilma täiendava kontekstita, ei suuda see lihtsalt sisukalt vastata või hallutsineerib vale vastuse.

Mis on teabeotsinguga täiustatud genereerimine (RAG)?

RAG (teabeotsinguga täiustatud genereerimine) on protsess, mille käigus välistest süsteemidest pärit teave kaasatakse LLM-i päringusse.

Aluspõhine LLM-i protsess, mis hõlmab embedding’ut ja tõenäosuslikku tokenite vastendamist, jääb samaks. RAG lisab eelastme, mille käigus kasutaja päringut laiendatakse täiendavate andmetega.

Siin on ülevaade sellest, kuidas RAG töötab:

1. Teadmiste ettevalmistamine: Teadmiste allikas valmistatakse ette. See võib olla dokumentide kogum, vektorandmebaas, teadmusgraaf või reaalajas indeks (näiteks AI-otsingu jaoks).
2. Päringu esitamine: Kasutaja sisestab päringu, näiteks „Kas ma peaksin täna Londonis jalutama?”
3. Teabeotsing: AI-tööriista otsija pärib välise teabeallika käest. See võib päringu embedding’uks teisendada, muutes selle vektoriks, ja seejärel küsida vektorandmebaasist. Alternatiivina saab see kasutada muud meetodit, näiteks API-kutset, märksõnavastet või teadmusgraafi läbimist.
4. Sisestamine: See teave lisatakse kasutaja algsele päringule. Londoni jalutuskäigu küsimuse näites võiks see sisaldada Londonis valitsevat ilma ja populaarsete jalutusmarsruutide hetke ligipääsetavust.
5. Vastuse genereerimine: LLM genereerib vastuse tavapärasel viisil, kasutades laiendatud päringut.

Taustal lisatakse otsitud tekst sisendkonteksti, tokeniseeritakse ja teisendatakse embedding’uteks. Seejärel töötleb mudel selle lisakonteksti oma dekoodri kaudu, mis muudab väljundi tokenite tõenäosusi.

Laias laastus saab RAG-i jagada kolmeks alamtüübiks. Lihtne RAG järgib põhilist RAG-protsessi, otsides teavet ja söötes selle päringusse. Täiustatud RAG lisab lisafunktsioone, nagu päringu ümberkirjutamine ja mitu päringupassi. Moodul-RAG viitab arhitektuuritüübile, milles erinevaid täiustatud funktsioone saab käsitleda komponentidena ja vajaduse korral kombineerida.

RAG vs. LLM: kasutusjuhtude ülevaade

RAG annab kasutajatele juurdepääsu ajakohastele andmetele. Selle tulemusel on LLM-i väljundites väiksem tõenäosus hallutsinatsioonide ja infolünkade tekkeks. Kui teil on vaja näha väljundis kasutatud teabe allikaid, on ka RAG hädavajalik, sest põhjendamata LLM-i vastustega ei kaasne viiteid allikatele.

Suurenda

RAG-i kasutusjuhtumid

• Ajakriitilise teabe päringud: Kõik päringud teabe kohta, mis aegub kiiresti, olgu see nii lihtne kui ilmaprognoos või nii keerukas kui tekkiva uudisloo üksikasjalik analüüs, peavad põhinema valideeritud kolmandate osapoolte allikatel.
• Ettevõtte dokumentatsioon: Sise- või kliendile suunatud AI-vestlusrobotid, kus kasutajad küsivad ettevõtte või tootedokumentatsiooniga seotud küsimusi, peaksid olema RAG-toega, eriti kui dokumentatsiooni uuendatakse sageli.
• Klienditugi: Kliendivestlusrobotid vajavad juurdepääsu ajakohasele ja üksikasjalikule tugidokumentatsioonile, et anda täpseid vastuseid.
• Erivaldkonnad (meditsiin, õigus, rahandus jne): LLM-id, mida ei ole treenitud valdkonnaspetsiifilistel korpustel (eriti peamudelid), jäävad tavaliselt hätta spetsiaalsete päringute nüanssidega.

LLM-i kasutusjuhtumid

• Haldusülesanded: LLM-id suudavad põhitoiminguid täita minimaalse latentsusega. RAG-i pole lihtsate kirjutamis- ja haldusülesannete, näiteks õigekirjakontrolli või kokkuvõtete tegemise puhul vaja, kui välist teavet ei ole tarvis.
• Loovülesanded: Mõned loovülesanded, nagu lühijutu või pildi genereerimine, vajavad ainult algses päringus esitatud teavet.
• Arutlus- ja andmeanalüüsi töövood: Analüüsi- ja arutlustöövood, mis viitavad ainult päringus esitatud andmetele, ei vaja RAG-i võimalusi.
• Üldine kodeerimine: Kuigi kodeerimistöövoog võib vajada juurdepääsu privaatsele koodibaasile või dokumentatsioonile, on LLM-id väga võimekad üldiste kodeerimisülesannete täitmisel, nagu vigade parandamine ja funktsioonide loomine, ilma väliste allikate abita.

RAG vs. pika kontekstiga LLM, agentne tehisintellekt ja põhjendatus

RAG-i ja LLM-ide eristamisel on asjakohased kolm seotud mõistet. Need on pika kontekstiga LLM-id, agentne tehisintellekt ja põhjendatus.

Pika kontekstiga LLM-e saab mõnikord kasutada RAG-toega süsteemide asemel, samas kui agentne tehisintellekt ja põhjendatus on nendega sünonüümid või töötavad koos nendega.

Pika kontekstiga LLM-id

Need on suure kontekstiaknaga mudelid, millest mõned laialdaselt kättesaadavad kommertsiaalsed mudelid töötavad kuni ühe miljoni tokeniga.

Kui asjakohane materjal mahub mudeli kontekstiaknasse ja on saadaval tekstivormingus, on LLM-i ainult kasutamisel mõned eelised. See võib vähendada otsinguvigade riski, pakkuda põhjalikumat konteksti ja kõrvaldada vajaduse ulatusliku RAG-arhitektuuri seadistamise järele.

Agentne tehisintellekt

Agent on süsteem, mis tugineb mitmele tööriistale, sealhulgas RAG-i võimalustele, et täita keerukaid ülesandeid. RAG on üks agentse tehisintellekti komponent ning agent kasutab sageli sõltuvalt päringu sisust erinevat tüüpi otsingumeetodeid (nt veebiotsing vs. vektorotsing).

Põhjendatus

Põhjendatus viitab laiemale protsessile, mille käigus kasutatakse tõendeid või andmeid, et parandada LLM-i vastuse täpsust ehk seda põhjendada. RAG on üks põhjendatuse vorm, kuid ka tehnilise dokumendi lisamine kontekstiaknasse loetaks põhjendatuseks.

RAG vs. LLM: reaalse maailma näited

Et paremini mõista, kuidas RAG töötab võrreldes LLM-i kasutamisega ilma RAG-ita, võime vaadata lihtsat reaalse maailma näidet, kasutades Perplexityt ja hüpoteetilist ettevõtte juhtumit, kus konsulteeritakse vektorandmebaasiga.

RAG vs. LLM: lihtne päring

Siin on väljund (piiratud kahe lausega), kui Perplexitylt küsitakse "Kas ma peaksin täna Londonis jalutama?" ja AI-veebiotsing (RAG-i vorm) on välja lülitatud:

Jah — kui ilm on mõistlikult kuiv ja teil on aega, võiks tänane jalutuskäik Londonis olla värskendav vaheldus. Valige marsruut mööda South Banki, Regent’s Canali või läbi Hyde Parki ning võtke igaks juhuks kaasa kerge vihmakindel jope.

Võrdle seda päringuga siis, kui LLM saab kontrollida väliseid allikaid:

Jah, Londonis on jalutamiseks hea päev: prognoosi järgi on pehmed temperatuurid umbes 19–21 °C, päikeselised vaheldumised ja vihma tõenäosus väga väike. Osaliselt pilvise taeva ja kerge briisiga on tingimused mugavad parkide või jõeäärsete marsruutide, näiteks South Banki, avastamiseks.

Nende kahe vahel on sarnasusi, kuna LLM kasutab sama aluseks olevat tokenite skoorimise protsessi. Kuid teine näide sisaldab üksikasjalikku ilmateavet, mis muudab selle palju kasulikumaks.

RAG vs. LLM ettevõtte vektorandmebaasiga

Kujutlege, et kasutaja küsib pangarakenduse rakusesiselt vestlusrobotilt järgmise küsimuse: „Kust ma saan alla laadida oma kõige värskema väljavõtte?”

Rakendust haldav pank on loonud andmebaasi, mis sisaldab tema ajakohase tootedokumentatsiooni embedding’uid, ja ühendanud selle vestlusroboti RAG-juhtmega. Dokumentatsioon koosneb umbes 1000 algdokumendist, mis on jagatud väiksemateks lõikudeks ja teisendatud otsinguks vektoriteks.

Kasutaja päring saadetakse embeddingu mudelile ja rakendus saadab selle vektori andmebaasi, mis tagastab asjakohased lõigud.

Embeddingu mudel saaks järgmise päringu:

Embeddingu mudel tagastab järgmise vektor-embeddingu:

Seejärel saab vektorandmebaas järgmise sarnase päringu:

Selles (palju lihtsustatud) näites tagastab andmebaas viis lõiku, mis on kasutaja päringu jaoks kõige asjakohasemad, ning need saadetakse rakendusse ja kaasatakse LLM-i päringusse.

Millal valida RAG-i ja millal LLM-i, ning millal neid kombineerida

LLM-id ja RAG on teineteist täiendavad süsteemid. Seetõttu on küsimus „Millal peaksin valima LLM-i ja millal RAG-i?” valesti püstitatud. Pigem peaksite küsima: „Millal LLM piisab ja millal on RAG optimaalne?”

Millal kasutada LLM-i ilma RAG-ita

• Teie valitud AI-mudelil on suur kontekstiaken: Kui kogu täpse vastuse jaoks vajalikku teavet või andmeid on lihtsam lisada oma päringusse, näiteks dokumendi üleslaadimise teel, võib see vähendada latentsust ja ennetada otsinguga seotud probleeme.
• Arutlus- ja andmeanalüüsi töövood: Analüüsi- ja arutlustöövood, mis viitavad ainult päringus esitatud andmetele, ei vaja RAG-i võimalusi.
• Koodi genereerimine: RAG-i pole üldise kodeerimistöö puhul tavaliselt vaja, kuigi seda kasutatakse sageli projektipõhiste ülesannete jaoks, näiteks varasemate paranduste või tarnija API-de ja dokumentatsiooni leidmiseks.

Millal kasutada LLM-i koos RAG-iga

• Teil on vaja juurdepääsu ajakohasele teabele: Kui AI-rakendus peab täpse vastuse genereerimiseks pääsema ligi ajakohase teabe välistele allikatele, veenduge alati, et RAG-i võimalused on lubatud.
• Te töötate erialavaldkonnas: Sellistes valdkondades nagu meditsiin, õigus, haridus ja nii edasi, kus täpsus, detailsus ja allikate kontrollimine on olulised, jääb ainult LLM-i kasutamisest sageli väheks.
• Väljundid peaksid viitama ettevõtte sisemistele failidele: Kui kasutate tehisintellekti, kas sisemiselt või kliendile suunatud rakenduses, et genereerida sisu ettevõtte sisemiste dokumentide, andmete, brändikomplekti, dokumentatsiooni või failide põhjal, annab RAG juurdepääsu sellele teabele.

RAG ja LLM-id on teineteist täiendavad, arenevad tehnoloogiad

RAG tähistas tehisintellekti arengus suurt uuendust. See lahendab kolm peamist probleemi: aegunud teave, piiratud mudelimälu ja infolüngad, mis tulenevad asjakohaste treeningandmete puudumisest ja mis sageli viisid hallutsinatsioonideni. Loomulikult ei ole LLM-id neid täielikult ületanud, kuid RAG-i kasutuselevõtuga on nende esinemissagedus märkimisväärselt vähenenud.

RAG ei ole staatiline tehnoloogia. Eeldatavalt paraneb see mitmes valdkonnas, sealhulgas reranking, latentsus otsingu ajal ja tokenite kasutus, turvameetmed ohtlike andmeallikate vastu, otsitud andmete integreerimine mitmest allikast ja palju muud. Kuna LLM-id ja agentne tehisintellekt arenevad edasi, arenevad ka neid toetavad RAG-süsteemid.