RAG naspram LLM-a: tehnička raščlamba (definicije, razlike, slučajevi upotrebe)

LLM-ovi generišu odgovore koristeći parametre naučene iz obrazaca u podacima za obuku. Pošto ti parametri možda ne odražavaju nedavne ili potpune informacije, RAG, što znači generisanje uz podršku pretrage, dopunjuje proces dodavanjem podataka iz spoljnih izvora u ulazni kontekst LLM-a. AI alat preuzima spoljne informacije da bi obogatio proces generisanja LLM-a.

U stvarnosti, vaš izbor nije između RAG-a ili LLM-a. Izbor je između hibridnog pristupa i onog koji koristi samo LLM.

RAG je neophodan kada je LLM-u potreban pristup dokumentaciji kompanije, bazama podataka ili brzo promenljivim informacijama. Pristup samo sa LLM-om pogodan je za određene administrativne zadatke, obradu podataka i zadatke kreiranja sadržaja, gde korisnik može da obezbedi sve ulaze.

RAG naspram LLM-a: Koje su ključne razlike?

• RAG i LLM-ovi su komplementarni sistemi. Možete koristiti AI model bez RAG-a (pri čemu se oslanja isključivo na svoje postojeće parametre), ali ne možete koristiti RAG sistem bez modela.
• RAG je uveden da bi prevazišao tri ključna problema sa LLM-ovima: zastarele informacije, halucinirane odgovore i nedostatak verifikacije u odnosu na izvore trećih strana.
• RAG čini AI mnogo efikasnijim u stvarnim poslovnim situacijama zato što povezuje LLM-ove sa verifikovanom internom dokumentacijom, bazama podataka i API krajnjim tačkama.
• Najvažniji slučajevi upotrebe RAG-a uključuju četbotove za korisničku podršku, upite zasnovane na brzo menjajućim podacima (kao što su novosti iz industrije) i specijalizovane oblasti, kao što su medicina i pravo, gde su tačnost i provera izvora važni.
• Postoje tri glavne vrste RAG-a: naivni RAG, modularni RAG i napredni RAG. Naivni RAG se najbolje razume kao jednostavno pronalaženje informacija, dok modularni i napredni RAG dodaju dodatne funkcionalnosti poput preformulisanja upita i optimizacije delova teksta.

Šta je veliki jezički model (LLM)?

LLM, odnosno veliki jezički model, jeste sistem koji generiše sadržaj koristeći fino podešene parametre. Ti parametri određuju verovatnoće dodeljene svim tokenima u vokabularu LLM-a, ukazujući koji će token najverovatnije doći sledeći u datom nizu.

Da biste bolje razumeli kako RAG funkcioniše (i po čemu se razlikuje od) LLM-a, korisno je pogledati kako generativna AI funkcioniše na osnovnom nivou:

1. Tokenizacija: Prompt korisnika se deli na tokene, koji mogu biti reči, delovi reči ili pojedinačni znakovi.
2. Ugrađivanje: Tokeni se pretvaraju u ugrađivanja, numeričke predstave (nizove brojeva) zvane vektori, koje neuronska mreža, koja uključuje dekoder, može da obradi.
3. Dekodiranje: Slojevi dekodera (koji čine veliki deo neuronske mreže LLM-a) manipulišu ovim vektorima, koristeći proces zvan pažnja da bi uhvatili značenje. Ovaj proces određuje koliko snažno svaki token treba da se poveže sa drugim tokenima u nizu.
4. Bodovanje: Model dodeljuje verovatnoću kompatibilnosti svakom tokenu u svom postojećem vokabularu i bira verovatni sledeći token za niz.

Važna poenta je da LLM može da proizvodi izlaze samo na osnovu svojih postojećih parametara i tokena u svom kontekstnom prozoru. Tokom obuke, LLM-u se milijardama puta daje zadatak da dovrši delove nepotpunog teksta, a njegovi parametri se podešavaju sve dok pouzdano ne dodeljuje verovatnoće tokenima (i tako dovršava tekst).

Zamislite, na primer, da pitate AI model sledeće pitanje: „Šta piše u politici refundiranja naše kompanije za 2026. godinu?” LLM može samo da predviđa sledeće tokene na osnovu svojih postojećih parametara, koji nisu fino podešeni korišćenjem vaše dokumentacije za podršku. Ako mu postavite ovo pitanje bez ikakvog dodatnog konteksta, jednostavno neće moći da odgovori na smislen način ili će halucinirati netačan odgovor.

Šta je generisanje uz podršku pretrage (RAG)?

RAG (generisanje uz podršku pretrage) jeste proces u kojem se informacije iz spoljnih sistema uključuju u LLM prompt.

Osnovni LLM proces, koji uključuje ugrađivanje i probabilističko podudaranje tokena, ostaje isti. RAG uvodi preliminarni korak u kojem se korisnikov prompt proširuje dodatnim podacima.

Evo pregleda kako RAG funkcioniše:

1. Priprema znanja: Priprema se izvor znanja. To može biti skup dokumenata, vektorska baza podataka, graf znanja ili živi indeks (na primer za AI pretragu).
2. Promptovanje: Korisnik unosi prompt, kao što je: „Da li danas da idem u šetnju u Londonu?”
3. Pretraga: AI alatov pronalazač postavlja upit spoljnom izvoru informacija. Može da ugradi prompt, pretvarajući ga u vektor, a zatim da postavi upit vektorskoj bazi podataka. Alternativno, može da koristi alternativnu metodu, kao što je API poziv, podudaranje ključnih reči ili obilazak znakovnog grafa znanja.
4. Ubacivanje: Ove informacije se dodaju korisnikovom originalnom promptu. U primeru pitanja o šetnji u Londonu, to bi moglo da uključuje vremenske informacije u Londonu i trenutnu dostupnost popularnih ruta za šetnju.
5. Generisanje odgovora: LLM generiše odgovor na uobičajen način koristeći prošireni prompt.

Iza kulisa, preuzeti tekst se dodaje u ulazni kontekst, tokenizuje i ugrađuje. Model zatim obrađuje taj dodatni kontekst kroz svoj dekoder, što menja verovatnoće izlaznih tokena.

Uopšteno govoreći, RAG se može podeliti na tri podtipa. Naivni RAG prati osnovni RAG proces, preuzimajući informacije i ubacujući ih u prompt. Napredni RAG dodaje dodatne funkcije kao što su preformulisanje upita i više prolaza upita. Modularni RAG odnosi se na tip arhitekture u kojoj se različite napredne funkcionalnosti mogu tretirati kao komponente i kombinovati po potrebi.

RAG naspram LLM-a: Pregled slučajeva upotrebe

RAG korisnicima obezbeđuje pristup ažuriranim podacima. To rezultira izlazima LLM-a kod kojih je manja verovatnoća da će imati halucinacije i nedostatke u informacijama. Ako treba da vidite izvore informacija korišćenih u izlazu, RAG je takođe neophodan, jer neosnovani odgovori LLM-a ne dolaze sa atribucijama.

Uvećaj

Slučajevi upotrebe RAG-a

• Zahtevi za vremenski osetljive informacije: Svaki upit za informacije koje brzo zastarevaju, a to može biti nešto jednostavno kao vremenska prognoza ili složeno kao detaljna analiza nove vesti, treba da bude zasnovan na validiranim izvorima trećih strana.
• Dokumentacija kompanije: Interni ili spoljašnji četbotovi za korisnike u kojima korisnici postavljaju pitanja u vezi sa dokumentacijom kompanije ili proizvoda treba da budu omogućeni za RAG, posebno ako se dokumentacija često ažurira.
• Korisnička podrška: Četbotovi za korisničku podršku moraju imati pristup aktuelnoj, detaljnoj dokumentaciji za podršku kako bi pružali tačne odgovore.
• Specijalizovane oblasti (medicina, pravo, finansije itd.): LLM-ovi koji nisu trenirani na korpusima specifičnim za oblast (posebno glavni modeli) obično teško hvataju nijanse specijalizovanih promptova.

Slučajevi upotrebe LLM-a

• Administrativni zadaci: LLM-ovi mogu da obave osnovne zadatke uz minimalno kašnjenje. RAG nije neophodan za osnovno pisanje i administrativne zadatke, kao što su provera pravopisa ili sažimanje, gde spoljni podaci nisu potrebni.
• Kreativni zadaci: Za neke kreativne zadatke, poput generisanja kratke priče ili slike, dovoljni su samo podaci dati u originalnom promptu.
• Zadaci rezonovanja i zasnovani na podacima: Ako radite sa velikim skupom podataka, LLM-u nije potreban pristup spoljnim informacijama da bi primenio funkcije rezonovanja i analize.
• Opšte programiranje: Iako radni tok programiranja može zahtevati pristup privatnoj bazi koda ili dokumentaciji, LLM-ovi su veoma sposobni da izvršavaju opšte programske zadatke, poput ispravljanja grešaka i kreiranja funkcija, bez pribegavanja spoljnim izvorima.

RAG naspram LLM-a sa dugim kontekstom, agentne veštačke inteligencije i utemeljenja

Postoje tri povezana koncepta koji su relevantni za razliku između RAG-a i LLM-ova. To su LLM-ovi sa dugim kontekstom, agentna veštačka inteligencija i utemeljenje.

LLM-ovi sa dugim kontekstom ponekad mogu da se koriste umesto sistema omogućenih za RAG, dok su agentna veštačka inteligencija i utemeljenje sinonimi ili rade zajedno s njima.

LLM-ovi sa dugim kontekstom

To su modeli sa velikim kontekstnim prozorima, pri čemu neki široko dostupni komercijalni modeli rade do milion tokena.

Ako relevantan materijal može da stane u kontekstni prozor modela i dostupan je u tekstualnom formatu, korišćenje pristupa samo sa LLM-om ima neke prednosti. Može smanjiti mogućnost grešaka pri pronalaženju informacija, obezbediti sveobuhvatniji kontekst i eliminisati potrebu za opsežnim postavljanjem RAG arhitekture.

Agentna veštačka inteligencija

Agent je sistem koji koristi više alata, uključujući RAG mogućnosti, za obavljanje složenih zadataka. RAG je jedna komponenta agentne veštačke inteligencije, a agent će često koristiti različite vrste metoda pretrage (npr. veb-pretragu naspram vektorske pretrage) u zavisnosti od sadržaja prompta.

Utemeljenje

Utemeljenje se odnosi na širi proces korišćenja dokaza ili podataka za poboljšanje tačnosti LLM-ovog odgovora ili njegovo utemeljenje. RAG je jedan oblik utemeljenja, ali i dodavanje tehničkog dokumenta u kontekstni prozor takođe bi se računalo kao utemeljenje.

RAG naspram LLM-a: Primeri iz stvarnog sveta

Da biste bolje razumeli kako RAG funkcioniše u poređenju sa upotrebom LLM-a bez RAG-a, možemo pogledati jednostavan primer iz stvarnog sveta koristeći Perplexity i hipotetički korporativni slučaj u kome se konsultuje vektorska baza podataka.

RAG naspram LLM-a sa jednostavnim promptom

Evo izlaza (ograničenog na dve rečenice) kada se Perplexity postavi pitanje „Da li danas da idem u šetnju u Londonu?” sa isključenom AI veb-pretragom (oblikom RAG-a):

Da — ako je vreme razumno suvo i imate vremena, šetnja Londonom danas mogla bi da bude osvežavajuća promena scene. Izaberite rutu duž South Banka, Regent’s Canala ili kroz Hyde Park, i ponesite laganu vodootpornu jaknu za svaki slučaj.

Uporedite ovo sa promptom kada LLM može da proveri spoljne izvore:

Da, biće lep dan za šetnju u Londonu: prognoza najavljuje blage temperature oko 19–21 °C, sa sunčanim intervalima i samo veoma malom verovatnoćom kiše. Uz delimično oblačno nebo i blagi povetarac, uslovi su prijatni za obilazak parkova ili ruta uz reku, kao što je South Bank.

Postoje sličnosti između ta dva primera, jer LLM koristi isti osnovni proces bodovanja tokena. Međutim, drugi primer uključuje detaljne vremenske informacije, što ga čini daleko korisnijim.

RAG naspram LLM-a sa korporativnom vektorskom bazom podataka

Zamislite da korisnik u okviru aplikacije pita četbot za bankarsku aplikaciju sledeće pitanje: „Gde mogu da preuzmem svoj najnoviji izvod?”

Banka koja upravlja aplikacijom kreirala je bazu podataka koja sadrži ugrađivanja njene ažurne dokumentacije o proizvodima i povezala je sa RAG cevovodom četbota. Dokumentacija se sastoji od oko 1.000 izvornih dokumenata, koji su podeljeni na manje delove i pretvoreni u vektore za pretragu.

Korisnikov upit se šalje modelu za ugrađivanje, a aplikacija šalje taj vektor bazi podataka, koja vraća relevantne delove teksta.

Model za ugrađivanje bi primio ovakav zahtev:

Model za ugrađivanje vraća sledeće vektorsko ugrađivanje:

Vektorska baza podataka zatim prima zahtev poput sledećeg:

U ovom (mnogo pojednostavljenom) primeru, baza podataka vraća pet delova teksta koji su najrelevantniji za korisnikov upit, a oni se šalju aplikaciji i uključuju u LLM prompt.

Kada izabrati RAG naspram LLM-a i kada ih kombinovati

LLM-ovi i RAG su komplementarni sistemi. Kao takvo, pitanje „Kada treba da izaberem LLM, a kada RAG?” nije dobro postavljeno. Umesto toga, trebalo bi da pitate: „Kada će LLM biti dovoljan, a kada je RAG optimalan?”

Kada koristiti LLM bez omogućenog RAG-a

• Vaš izabrani AI model ima veliki kontekstni prozor: Ako je lakše da u prompt uključite sve informacije ili podatke neophodne za tačan odgovor, na primer tako što ćete otpremiti dokument, to može smanjiti kašnjenje i sprečiti probleme povezane sa pretragom.
• Radni tokovi rezonovanja i analize podataka: Radni tokovi analize i rezonovanja koji se oslanjaju samo na podatke navedene u promptu ne zahtevaju RAG mogućnosti.
• Generisanje koda: RAG obično nije potreban za opšte programerske zadatke, iako se najčešće koristi za zadatke specifične za projekat, kao što je pronalaženje prethodnih ispravki ili API-ja i dokumentacije dobavljača.

Kada koristiti LLM sa omogućenim RAG-om

• Potrebna vam je dostupnost ažurnih informacija: Ako AI aplikacija treba da pristupa spoljnim izvorima ažurnih informacija kako bi generisala tačan odgovor, uvek se pobrinite da su RAG mogućnosti omogućene.
• Radite u specijalizovanoj oblasti: Za oblasti kao što su medicina, pravo, obrazovanje i slično, gde su tačnost, detalji i provera izvora važni, upotreba samo LLM-a često neće biti dovoljna.
• Izlazi treba da referenciraju interne datoteke kompanije: Ako koristite AI, bilo interno ili u aplikaciji namenjenoj korisnicima, za generisanje sadržaja zasnovanog na internim dokumentima kompanije, bilo da su u pitanju podaci, brend-kits, dokumentacija ili datoteke, RAG omogućava pristup tim informacijama.

RAG i LLM-ovi su komplementarne, evolutivne tehnologije

RAG je označio veliku inovaciju u evoluciji AI. Rešava tri velika problema: zastarele informacije, ograničeno pamćenje modela i nedostatke u informacijama zbog nedostatka relevantnih podataka za obuku, što je često dovodilo do halucinacija. Naravno, LLM-ovi to još nisu u potpunosti prevazišli, ali je njihova učestalost znatno smanjena pojavom RAG-a.

RAG nije statična tehnologija. Očekuje se da će se unapređivati u nizu oblasti, uključujući rerangiranje, kašnjenje tokom pretrage i upotrebu tokena, bezbednosne odbrane od opasnih izvora podataka, integraciju preuzetih podataka iz više izvora i još mnogo toga. Kako se LLM-ovi i agentna veštačka inteligencija budu dalje razvijali, razvijaće se i RAG sistemi koji ih podržavaju.