RAG pret LLM: tehniskais pārskats (definīcijas, atšķirības, lietošanas gadījumi)

LLM ģenerē atbildes, izmantojot parametrus, kas apgūti no modeļiem tā apmācības datos. Tā kā šie parametri var neatspoguļot nesenu vai pilnīgu informāciju, RAG, kas apzīmē izgūšanas pastiprinātu ģenerēšanu, papildina procesu, pievienojot datus no ārējiem avotiem LLM ievades kontekstam. MI rīks izgūst ārēju informāciju, lai pastiprinātu LLM ģenerēšanas procesu.

Patiesībā izvēle nav starp RAG vai LLM. Tā ir starp hibrīdu pieeju un pieeju, kas izmanto tikai LLM.

RAG ir nepieciešams, ja LLM nepieciešama piekļuve uzņēmuma dokumentācijai, datubāzēm vai strauji mainīgai informācijai. LLM tikai pieeja ir piemērota noteiktiem administratīviem, datu apstrādes un satura veidošanas uzdevumiem, kur visus ievades datus var sniegt lietotājs.

RAG pret LLM: kādas ir galvenās atšķirības?

• RAG un LLM ir savstarpēji papildinošas sistēmas. Jūs varat izmantot MI modeli bez RAG (tad tas paļaujas tikai uz saviem esošajiem parametriem), taču jūs nevarat izmantot RAG sistēmu bez modeļa.
• RAG tika ieviests, lai pārvarētu trīs galvenās LLM problēmas: novecojušu informāciju, hallucinētas atbildes un pārbaudes trūkumu pret trešo pušu avotiem.
• RAG padara MI daudz efektīvāku reālās biznesa situācijās, jo tas savieno LLM ar pārbaudītu iekšējo dokumentāciju, datubāzēm un API galapunktiem.
• Galvenie RAG lietošanas gadījumi ietver klientu atbalsta tērzbotus, vaicājumus, kas balstīti uz strauji mainīgiem datiem (piemēram, nozares ziņām), un specializētas jomas, piemēram, medicīnu un tiesības, kur svarīga ir precizitāte un avotu faktu pārbaude.
• Ir trīs galvenie RAG veidi: vienkāršais RAG, modulārais RAG un avanzētais RAG. Vienkāršais RAG vislabāk saprotams kā tieša informācijas izgūšana, savukārt modulārais un avanzētais RAG pievieno papildu funkcionalitāti, piemēram, vaicājuma pārrakstīšanu un fragmentu optimizāciju.

Kas ir liels valodas modelis (LLM)?

LLM jeb lielais valodas modelis ir sistēma, kas ģenerē saturu, izmantojot smalki pielāgotus parametrus. Šie parametri nosaka varbūtības, kas piešķirtas visiem tokeniem LLM vārdnīcā, norādot, kurš tokens noteiktā secībā, visticamāk, būs nākamais.

Lai labāk saprastu, kā RAG darbojas (un ar ko tas atšķiras no) LLM, ir noderīgi aplūkot, kā ģeneratīvā MI darbojas pamatlīmenī:

1. Tokenizācija: Lietotāja uzvedne tiek sadalīta tokenos, kas var būt vārdi, vārdu daļas vai atsevišķas rakstzīmes.
2. Iegulšana: Tokeni tiek pārvērsti ieguljumos — skaitliskos attēlojumos (skaitļu virknēs), ko sauc par vektoriem, kurus neironu tīkls, kurā ietilpst dekoders, var apstrādāt.
3. Dekodēšana: Dekodera slāņi (kas veido lielu daļu no LLM neironu tīkla) manipulē ar šiem vektoriem, izmantojot procesu, ko sauc par uzmanību , lai uztvertu nozīmi. Šis process nosaka, cik cieši katram tokenam jāsaistās ar citiem tokeniem secībā.
4. Vērtēšana: Modelis piešķir saderības varbūtību katram tokenam savā jau esošajā vārdnīcā un izvēlas, kurš tokens, visticamāk, būs nākamais secībā.

Svarīgi saprast, ka LLM var ģenerēt izvades tikai, pamatojoties uz saviem esošajiem parametriem un tokeniem savā konteksta logā. Apmācības laikā LLM miljardiem reižu tiek uzdots pabeigt nepilnīga teksta daļas, un tā parametri tiek pielāgoti, līdz tas uzticami piešķir tokeniem varbūtības (un tādējādi pabeidz tekstu).

Iedomājieties, piemēram, ka jūs jautājat MI modelim: “Ko saka mūsu uzņēmuma 2026. gada naudas atmaksas politika?” LLM var tikai paredzēt nākamos tokenus, pamatojoties uz saviem esošajiem parametriem, kas nav smalki pielāgoti, izmantojot jūsu atbalsta dokumentāciju. Ja jūs uzdodat tam šo jautājumu bez papildu konteksta, tas vienkārši nespēs atbildēt jēgpilni vai arī hallucinēs nepareizu atbildi.

Kas ir izgūšanas pastiprināta ģenerēšana (RAG)?

RAG (izgūšanas pastiprināta ģenerēšana) ir process, kurā informācija no ārējām sistēmām tiek iekļauta LLM uzvednē.

Pamatā esošais LLM process, kurā ietilpst iegulšana un varbūtiska tokenu saskaņošana, paliek nemainīgs. RAG ievieš sākotnēju soli, kurā lietotāja uzvedne tiek paplašināta ar papildu datiem.

Šeit ir pārskats par to, kā darbojas RAG:

1. Zināšanu sagatavošana: Tiek sagatavots zināšanu avots. Tas var būt dokumentu kopums, vektoru datubāze, zināšanu grafiks vai tiešais indekss (piemēram, MI meklēšanai).
2. Uzvednes ievade: Lietotājs ievada uzvedni, piemēram: “Vai man šodien doties pastaigā Londonā?”
3. Izgūšana: MI rīka izgūšanas komponents pieprasa informāciju no ārēja informācijas avota. Tas var iegult uzvedni, pārvēršot to par vektoru, un pēc tam vaicāt vektoru datubāzei. Alternatīvi tas var izmantot citu metodi, piemēram, API izsaukumu, atslēgvārdu saskaņošanu vai zināšanu grafika šķērsošanu.
4. Ievietošana: Šī informācija tiek pievienota lietotāja sākotnējai uzvednei. Londonas pastaigas jautājuma piemērā tas varētu ietvert informāciju par laikapstākļiem Londonā un populāru pastaigu maršrutu pašreizējo pieejamību.
5. Atbildes ģenerēšana: LLM ģenerē atbildi ierastajā veidā, izmantojot paplašināto uzvedni.

Aizkulisēs izgūtais teksts tiek pievienots ievades kontekstam, tokenizēts un iegults. Pēc tam modelis apstrādā šo papildu kontekstu caur savu dekoderi, kas maina izejas tokenu varbūtības.

Plašāk runājot, RAG var iedalīt trīs apakštipos. Vienkāršais RAG seko pamata RAG procesam, izgūst informāciju un padod to uzvednē. Avansētais RAG pievieno papildu funkcijas, piemēram, vaicājuma pārrakstīšanu un vairākus vaicājumu piegājienus. Modulārais RAG attiecas uz arhitektūras veidu, kurā dažādas avanzētās funkcionalitātes var uzskatīt par komponentiem un apvienot pēc vajadzības.

RAG pret LLM: lietošanas gadījumu pārskats

RAG nodrošina lietotājiem piekļuvi aktuāliem datiem. Tas rezultējas ar LLM izvadi, kurai ir mazāka varbūtība saturēt halucinācijas un informācijas nepilnības. Ja jums ir jāredz izvadē izmantotās informācijas avoti, RAG ir arī būtisks, jo nebalstītas LLM atbildes nenāk ar atsaucēm.

Izvērst

RAG lietošanas gadījumi

• Pieprasījumi pēc no laika atkarīgas informācijas: Jebkādi pieprasījumi pēc informācijas, kas ātri noveco — tas var būt tikpat vienkārši kā laikapstākļu prognoze vai tikpat sarežģīti kā detalizēta emerging news story analīze —, ir jābalsta uz validētiem trešo pušu avotiem.
• Uzņēmuma dokumentācija: Iekšēji vai klientiem paredzēti MI tērzboti, kuros lietotāji uzdod jautājumus par uzņēmuma vai produkta dokumentāciju, jānodrošina ar RAG, it īpaši, ja dokumentācija bieži tiek atjaunināta.
• Klientu atbalsts: Klientu tērzbotiem ir nepieciešama piekļuve aktuālai, detalizētai atbalsta dokumentācijai, lai sniegtu precīzas atbildes.
• Specializētas jomas (medicīna, tiesības, finanses utt.): LLM, kas nav apmācīti uz domēnam specifiskiem korpusiem (īpaši plaši izplatītie modeļi), parasti grūtāk tiek galā ar specializētu uzvedņu niansēm.

LLM lietošanas gadījumi

• Administratīvie uzdevumi: LLM var izpildīt pamata uzdevumus ar minimālu latentumu. RAG nav nepieciešams pamata rakstīšanas un administratīviem uzdevumiem, piemēram, pareizrakstības pārbaudei vai kopsavilkumu veidošanai, kur ārēja informācija nav vajadzīga.
• Radoši uzdevumi: Dažiem radošiem uzdevumiem, piemēram, īsa stāsta vai attēla ģenerēšanai, ir vajadzīga tikai informācija, kas sniegta sākotnējā uzvednē.
• Spriestspējas un uz datiem balstīti uzdevumi: Ja strādājat ar lielu datu kopu, LLM nav nepieciešama piekļuve ārējai informācijai, lai piemērotu spriestspējas un analīzes funkcijas.
• Vispārīga programmēšana: Lai gan programmēšanas darbplūsmai var būt nepieciešama piekļuve privātam kodu bāzes repozitorijam vai dokumentācijai, LLM ir ļoti spējīgi izpildīt vispārīgus programmēšanas uzdevumus, piemēram, labot kļūdas un veidot funkcijas, neizmantojot ārējus avotus.

RAG pret ilgā konteksta LLM, aģentisko MI un pamatojumu

Ir trīs saistīti jēdzieni, kas ir svarīgi, lai nošķirtu RAG no LLM. Tie ir ilgā konteksta LLM, aģentiskā MI un pamatojums.

Ilgā konteksta LLM dažkārt var izmantot RAG iespējotu sistēmu vietā, savukārt aģentiskā MI un pamatojums ir sinonīmi tiem vai darbojas kopā ar tiem.

Ilgā konteksta LLM

Tie ir modeļi ar lieliem konteksta logiem, un daži plaši pieejami komerciālie modeļi darbojas līdz pat vienam miljonam tokenu.

Ja atbilstošo materiālu var iekļaut modeļa konteksta logā un tas ir pieejams teksta formātā, LLM tikai pieejas izmantošanai ir daži ieguvumi. Tā var samazināt izgūšanas kļūdu iespējamību, nodrošināt plašāku kontekstu un novērst nepieciešamību pēc plašas RAG arhitektūras iestatīšanas.

Aģentiskā MI

Aģents ir sistēma, kas izmanto vairākus rīkus, tostarp RAG iespējas, lai veiktu sarežģītus uzdevumus. RAG ir viens no aģentiskā MI komponentiem, un aģents bieži izmantos dažādus izgūšanas veidus (piem., tīmekļa meklēšanu pret vektoru meklēšanu) atkarībā no uzvednes satura.

Pamatojums

Pamatojums apzīmē plašāku procesu, kurā tiek izmantoti pierādījumi vai dati, lai uzlabotu LLM atbildes precizitāti vai to pamatotu. RAG ir viena no pamatojuma formām, taču par pamatojumu tiktu uzskatīta arī tehniska dokumenta pievienošana konteksta logam.

RAG pret LLM: reālas pasaules piemēri

Lai labāk saprastu, kā RAG darbojas salīdzinājumā ar LLM lietošanu bez RAG, mēs varam aplūkot vienkāršu reālas pasaules piemēru, izmantojot Perplexity un hipotētisku uzņēmuma gadījumu, kurā tiek izmantota vektoru datubāze.

RAG pret LLM ar vienkāršu uzvedni

Šeit ir izvade (ierobežota līdz diviem teikumiem), kad Perplexity tiek uzdots jautājums "Vai man šodien doties pastaigā Londonā?", ar izslēgtu MI tīmekļa meklēšanu (RAG formu):

Jā — ja laiks ir samērā sauss un jums ir laiks, šodienas pastaiga pa Londonu varētu būt atsvaidzinoša ainavas maiņa. Izvēlieties maršrutu gar South Bank, Regent’s Canal vai cauri Hyde Park un paņemiet līdzi vieglu ūdensnecaurlaidīgu apģērbu, ja nu kas.

Salīdziniet to ar uzvedni tad, kad LLM var pārbaudīt ārējos avotus:

Jā, tā ir laba diena pastaigai Londonā: prognoze paredz mērenu temperatūru ap 19–21 °C, saulainus brīžus un tikai ļoti mazu lietus iespējamību. Ar daļēji mākoņainām debesīm un vieglu vēju apstākļi ir komfortabli, lai pastaigātos pa parkiem vai maršrutiem gar upi, piemēram, South Bank.

Starp abiem ir līdzības, jo LLM izmanto to pašu pamatā esošo tokenu vērtēšanas procesu. Taču otrajā piemērā ir detalizēta informācija par laikapstākļiem, kas padara to daudz noderīgāku.

RAG pret LLM ar uzņēmuma vektoru datubāzi

Iedomājieties, ka lietotājs lietotnē iebūvētam bankas lietotnes tērzbotam uzdod šādu jautājumu: “Kur varu lejupielādēt savu jaunāko izrakstu?”

Par lietotni atbildīgā banka ir izveidojusi datubāzi, kas satur tās aktuālās produktu dokumentācijas iegulumus, un savienojusi to ar tērzbota RAG cauruļvadu. Dokumentācija sastāv no aptuveni 1000 avota dokumentiem, kas ir sadalīti mazākos fragmentos un pārvērsti vektoros izgūšanai.

Lietotāja vaicājums tiek nosūtīts iegulšanas modelim, un lietotne nosūta šo vektoru uz datubāzi, kas atgriež atbilstošos fragmentus.

Iegulšanas modelis saņemtu šādu pieprasījumu:

Iegulšanas modelis atgriež šādu vektoru iegulumu:

Pēc tam vektoru datubāze saņem šādu pieprasījumu:

Šajā (ļoti vienkāršotajā) piemērā datubāze atgriež piecus fragmentus, kas ir visatbilstošākie lietotāja vaicājumam, un tie tiek nosūtīti lietotnei un iekļauti LLM uzvednē.

Kad izvēlēties RAG pret LLM un kad tos apvienot

LLM un RAG ir savstarpēji papildinošas sistēmas. Tāpēc jautājums “Kad man vajadzētu izvēlēties LLM un kad RAG?” ir nepareizi formulēts. Drīzāk vajadzētu jautāt: “Kad LLM būs pietiekams un kad RAG ir optimāls?”

Kad izmantot LLM bez ieslēgta RAG

• Jūsu izvēlētajam MI modelim ir liels konteksta logs: Ja ir vieglāk visus precīzai atbildei nepieciešamos datus vai informāciju iekļaut uzvednē, piemēram, augšupielādējot dokumentu, tas var samazināt latentumu un novērst ar izgūšanu saistītas problēmas.
• Spriestspējas un datu analīzes darbplūsmas: Analīzes un spriestspējas darbplūsmas, kas atsaucas tikai uz uzvednē sniegtajiem datiem, RAG iespējas neprasa.
• Koda ģenerēšana: RAG parasti nav vajadzīgs vispārīgiem programmēšanas darbiem, lai gan to parasti izmanto ar projektu saistītiem uzdevumiem, piemēram, iepriekšējo labojumu vai piegādātāju API un dokumentācijas izgūšanai.

Kad izmantot LLM ar ieslēgtu RAG

• Jums nepieciešama piekļuve aktuālai informācijai: Ja MI lietotnei ir nepieciešama piekļuve ārējiem aktuālas informācijas avotiem, lai ģenerētu precīzu atbildi, vienmēr nodrošiniet, ka RAG iespējas ir iespējotas.
• Jūs strādājat specializētā jomā: Tādās jomās kā medicīna, tiesības, izglītība un tamlīdzīgi, kur svarīga ir precizitāte, detalizācija un avotu pārbaude, LLM tikai pieeja bieži būs nepietiekama.
• Izvadei jāatsaucas uz iekšējiem uzņēmuma failiem: Ja izmantojat MI, vai nu iekšēji, vai klientiem paredzētā lietotnē, lai ģenerētu saturu, kas balstīts uz iekšējiem uzņēmuma dokumentiem, neatkarīgi no tā, vai tie ir dati, zīmola komplekts, dokumentācija vai faili, RAG nodrošina piekļuvi šai informācijai.

RAG un LLM ir savstarpēji papildinošas, attīstošas tehnoloģijas

RAG nozīmēja nozīmīgu inovāciju MI attīstībā. Tas risina trīs galvenās problēmas: novecojušu informāciju, ierobežotu modeļa atmiņu un informācijas nepilnības nepietiekamu atbilstošu apmācības datu dēļ, kas bieži izraisīja halucinācijas. Protams, LLM nav tās pilnībā pārvarējuši, taču to biežums ar RAG parādīšanos ir būtiski samazinājies.

RAG nav statiska tehnoloģija. Sagaidāms, ka tā uzlabosies vairākās jomās, tostarp reranking, izgūšanas laikā un tokenu lietojumā radušajā latentumā, drošības aizsardzībā pret bīstamiem datu avotiem, izgūto datu integrēšanā no vairākiem avotiem un citur. Tā kā LLM un aģentiskā MI turpina attīstīties, attīstīsies arī tos atbalstošās RAG sistēmas.