RAG u odnosu na LLM: tehnički pregled (definicije, razlike, primjeri uporabe)

LLM-ovi generiraju odgovore koristeći parametre naučene iz obrazaca u svojim podacima za obuku. Budući da ti parametri možda ne odražavaju nedavne ili potpune informacije, RAG, što je kratica za retrieval-augmented generation, nadopunjuje postupak dodavanjem podataka iz vanjskih izvora u ulazni kontekst LLM-a. AI alat pretražuje vanjske informacije kako bi nadopunio LLM-ov postupak generiranja .

U stvarnosti, vaš izbor nije između RAG-a i LLM-a. Izbor je između hibridnog pristupa i onoga koji koristi samo LLM.

RAG je nužan kada LLM treba pristup dokumentaciji tvrtke, bazama podataka ili brzo promjenjivim informacijama. Pristup samo s LLM-om prikladan je za određene administrativne zadatke, zadatke obrade podataka i izrade sadržaja, gdje korisnik može dostaviti sve ulaze.

RAG u odnosu na LLM: Koje su ključne razlike?

• RAG i LLM-ovi komplementarni su sustavi. AI model možete upotrebljavati bez RAG-a (pri čemu se oslanja isključivo na postojeće parametre), ali RAG sustav ne možete upotrebljavati bez modela.
• RAG je uveden kako bi se prevladala tri ključna problema LLM-ova: zastarjele informacije, halucinirani odgovori i nedostatak provjere u odnosu na izvore trećih strana.
• RAG čini umjetnu inteligenciju znatno učinkovitijom u stvarnim poslovnim situacijama jer povezuje LLM-ove s provjerenom internom dokumentacijom, bazama podataka i API krajnjim točkama.
• Među glavnim primjerima uporabe RAG-a su chatbotovi za korisničku podršku, upiti temeljeni na brzo promjenjivim podacima (poput vijesti iz industrije) i specijalizirana područja, poput medicine i prava, gdje su točnost i provjera izvora važne.
• Postoje tri glavne vrste RAG-a: naivni RAG, modularni RAG i napredni RAG. Naivni RAG najbolje se može razumjeti kao izravno dohvaćanje informacija, dok modularni i napredni RAG dodaju dodatne funkcionalnosti poput prepisivanja upita i optimizacije segmenata.

Što je veliki jezični model (LLM)?

LLM, odnosno veliki jezični model, sustav je koji generira sadržaj koristeći fino podešene parametre. Ti parametri određuju vjerojatnosti dodijeljene svim tokenima u vokabularu LLM-a, pokazujući koji će token vjerojatno doći sljedeći u danom slijedu.

Da biste bolje razumjeli kako RAG funkcionira (i po čemu se razlikuje od) LLM-ova, korisno je pogledati kako generativna umjetna inteligencija funkcionira na osnovnoj razini:

1. Tokenizacija: Korisnikov upit dijeli se na tokene, koji mogu biti riječi, dijelovi riječi ili pojedinačni znakovi.
2. Ugrađivanje: Tokeni se pretvaraju u ugrađivanja, numeričke prikaze (nizove brojeva) nazvane vektori, koje neuronska mreža, uključujući dekoder, može obraditi.
3. Dekodiranje: Slojevi dekodera (koji čine velik dio neuronske mreže LLM-a) manipuliraju tim vektorima, koristeći postupak nazvan pažnja za hvatanje značenja. Taj postupak određuje koliko bi snažno svaki token trebao biti povezan s drugim tokenima u slijedu.
4. Bodovanje: Model dodjeljuje vjerojatnost kompatibilnosti svakom tokenu u svom već postojećem vokabularu i odabire vjerojatan sljedeći token za slijed.

Važno je razumjeti da LLM može proizvesti izlaze samo na temelju postojećih parametara i tokena u svom kontekstnom prozoru. Tijekom obuke, od LLM-a se milijardama puta traži da dovrši dijelove nepotpunog teksta, a njegovi se parametri prilagođavaju sve dok pouzdano ne dodjeljuje vjerojatnosti tokenima (a time i ne dovršava tekst).

Zamislite, primjerice, da AI modelu postavite pitanje: „Što kaže politika povrata novca naše tvrtke za 2026.?” LLM može samo predviđati sljedeće tokene na temelju postojećih parametara, koji nisu fino podešeni pomoću vaše dokumentacije za podršku. Ako mu postavite to pitanje bez ikakvog dodatnog konteksta, jednostavno neće moći odgovoriti na smislen način ili će halucinirati netočan odgovor.

Što je generiranje uz dohvaćanje (RAG)?

RAG (generiranje uz dohvaćanje) postupak je u kojem se informacije iz vanjskih sustava uključuju u upit za LLM.

Temeljni postupak LLM-a, koji uključuje ugrađivanje i probabilističko podudaranje tokena, ostaje isti. RAG uvodi prethodni korak u kojem se korisnikov upit proširuje dodatnim podacima.

Evo pregleda kako RAG funkcionira:

1. Priprema znanja: Priprema se izvor znanja. To može biti skup dokumenata, vektorska baza podataka, graf znanja ili živi indeks (primjerice za AI pretraživanje).
2. Poticanje: Korisnik unosi upit, na primjer: „Trebam li danas ići u šetnju u Londonu?”
3. Dohvaćanje: Vanjski izvor informacija postavlja se upitom dohvatitelja AI alata. Može ugraditi upit, pretvarajući ga u vektor, a zatim postaviti upit vektorskoj bazi podataka. Alternativno, može koristiti alternativnu metodu, kao što je API poziv, podudaranje ključnih riječi ili prolazak kroz graf znanja.
4. Umetanje: Ova se informacija dodaje korisnikovom izvornom upitu. U primjeru pitanja o šetnji u Londonu, to može uključivati informacije o vremenu u Londonu i trenutačnu dostupnost popularnih ruta za šetnju.
5. Generiranje odgovora: LLM generira odgovor na uobičajen način, koristeći prošireni upit.

Iza kulisa, dohvaćeni tekst dodaje se u ulazni kontekst, tokenizira i ugrađuje. Model zatim obrađuje taj dodatni kontekst kroz svoj dekoder, što mijenja vjerojatnosti izlaznih tokena.

Općenito govoreći, RAG se može podijeliti u tri podvrste. Naivni RAG slijedi osnovni RAG postupak, dohvaćajući informacije i unoseći ih u upit. Napredni RAG dodaje dodatne funkcije poput prepisivanja upita i višestrukih prolaza upita. Modularni RAG odnosi se na vrstu arhitekture u kojoj se različite napredne funkcionalnosti mogu tretirati kao komponente i po potrebi kombinirati.

RAG u odnosu na LLM: pregled primjera uporabe

RAG korisnicima omogućuje pristup ažurnim podacima. To rezultira izlazima LLM-a za koje je manje vjerojatno da će sadržavati halucinacije i informacijske praznine. Ako trebate vidjeti izvore informacija korištenih u izlazu, RAG je također nužan, budući da neutemeljeni odgovori LLM-a ne dolaze s atribucijama.

Povećaj

Primjeri uporabe RAG-a

• Zahtjevi za pravovremenim informacijama: Svaki upit za informaciju koja brzo zastarijeva, što može biti nešto tako jednostavno kao vremenska prognoza ili tako složeno kao detaljna analiza neke nove vijesti, mora se temeljiti na potvrđenim izvorima trećih strana.
• Dokumentacija tvrtke: Interni chatbotovi ili chatbotovi namijenjeni korisnicima u kojima korisnici postavljaju pitanja povezana s dokumentacijom tvrtke ili proizvoda trebali bi imati omogućen RAG, osobito ako se dokumentacija često ažurira.
• Korisnička podrška: Chatbotovi za korisnike trebaju pristup trenutačnoj, detaljnoj dokumentaciji podrške kako bi pružili točne odgovore.
• Specijalizirana područja (medicina, pravo, financije itd.): LLM-ovi koji nisu trenirani na korpusima specifičnima za područje (osobito mainstream modeli) obično teško hvataju nijanse specijaliziranih upita.

Primjeri uporabe LLM-a

• Administrativni zadaci: LLM-ovi mogu dovršiti osnovne zadatke uz minimalnu latenciju. RAG nije potreban za osnovno pisanje i administrativne zadatke, poput provjere pravopisa ili sažimanja, gdje vanjske informacije nisu potrebne.
• Kreativni zadaci: Nekim kreativnim zadacima, poput generiranja kratke priče ili slike, potrebne su samo informacije navedene u izvornom upitu.
• Rasuđivanje i zadaci temeljeni na podacima: Za analizu i tijekove rada rasuđivanja koji se pozivaju samo na podatke navedene u upitu nisu potrebne RAG mogućnosti.
• Opće programiranje: Iako tijek rada programiranja može zahtijevati pristup privatnoj kodnoj bazi ili dokumentaciji, LLM-ovi su vrlo sposobni za izvršavanje općih programskih zadataka, poput ispravljanja grešaka i stvaranja funkcija, bez oslanjanja na vanjske izvore.

RAG u odnosu na LLM s dugim kontekstom, agencijsku umjetnu inteligenciju i utemeljenje

Postoje tri povezane koncepcije relevantne za razliku između RAG-a i LLM-ova. To su LLM-ovi s dugim kontekstom, agencijska umjetna inteligencija i utemeljenje.

LLM-ovi s dugim kontekstom ponekad se mogu koristiti umjesto sustava s omogućenim RAG-om, dok su agencijska umjetna inteligencija i utemeljenje sinonimi za njih ili rade uz njih.

LLM-ovi s dugim kontekstom

To su modeli s velikim kontekstnim prozorima, pri čemu neki široko dostupni komercijalni modeli podržavaju do milijun tokena.

Ako se relevantan materijal može smjestiti u kontekstni prozor modela i dostupan je u tekstualnom formatu, postoje neke prednosti korištenja pristupa samo s LLM-om. To može smanjiti mogućnost pogrešaka pri dohvaćanju, pružiti opsežniji kontekst i ukloniti potrebu za opsežnim postavljanjem RAG arhitekture.

Agencijska umjetna inteligencija

Agent je sustav koji se oslanja na više alata, uključujući RAG mogućnosti, za obavljanje složenih zadataka. RAG je jedna komponenta agencijske umjetne inteligencije, a agent će često koristiti različite vrste metoda dohvaćanja (npr. web pretraživanje u odnosu na vektorsko pretraživanje) ovisno o sadržaju upita.

Utemeljenje

Utemeljenje se odnosi na širi postupak korištenja dokaza ili podataka za poboljšanje točnosti odgovora LLM-a, odnosno njegovo utemeljenje. RAG je jedan oblik utemeljenja, ali dodavanje tehničkog dokumenta u kontekstni prozor također bi se računalo kao utemeljenje.

RAG u odnosu na LLM: stvarni primjeri

Da bismo bolje razumjeli kako RAG funkcionira u usporedbi s upotrebom LLM-a bez RAG-a, možemo pogledati jednostavan primjer iz stvarnog svijeta koji koristi Perplexity i hipotetski slučaj u poduzeću u kojem se konzultira vektorska baza podataka.

RAG u odnosu na LLM s jednostavnim upitom

Evo izlaza (ograničenog na dvije rečenice) kada se Perplexityju postavi pitanje „Trebam li danas ići u šetnju u Londonu?” uz isključeno AI web pretraživanje (oblik RAG-a):

Da — ako je vrijeme razmjerno suho i imate vremena, današnja šetnja Londonom mogla bi biti osvježavajuća promjena okruženja. Odaberite rutu uz South Bank, Regent’s Canal ili kroz Hyde Park i ponesite laganu vodootpornu jaknu, za svaki slučaj.

Usporedite to s upitom kada LLM može provjeravati vanjske izvore:

Da, danas je dobar dan za šetnju u Londonu: prognoza najavljuje blage temperature oko 19–21 °C, sunčana razdoblja i samo vrlo malu vjerojatnost kiše. Uz djelomično oblačno nebo i lagan povjetarac, uvjeti su ugodni za istraživanje parkova ili ruta uz rijeku poput South Banca.

Između ta dva primjera postoje sličnosti, jer LLM koristi isti temeljni postupak bodovanja tokena. Međutim, drugi primjer uključuje detaljne informacije o vremenu, što ga čini mnogo korisnijim.

RAG u odnosu na LLM s poslovnom vektorskom bazom podataka

Zamislite da korisnik u chatbotu unutar aplikacije za bankarstvo postavi sljedeće pitanje: „Gdje mogu preuzeti svoj najnoviji izvadak?”

Banka koja upravlja aplikacijom izradila je bazu podataka koja sadrži ugrađivanja svoje ažurne dokumentacije o proizvodu i povezala je s RAG cjevovodom chatbota. Dokumentacija se sastoji od oko 1.000 izvornik dokumenata, koji su podijeljeni na manje segmente i pretvoreni u vektore za dohvaćanje.

Korisnikov upit šalje se modelu za ugrađivanje, a aplikacija šalje taj vektor bazi podataka, koja vraća relevantne segmente.

Model za ugrađivanje primio bi ovakav zahtjev:

Model za ugrađivanje vraća sljedeće vektorsko ugrađivanje:

Vektorska baza podataka zatim prima zahtjev poput sljedećeg:

U ovom (znatno pojednostavljenom) primjeru baza podataka vraća pet segmenata koji su najrelevantniji za korisnikov upit, a oni se šalju aplikaciji i uključuju u upit za LLM.

Kada odabrati RAG u odnosu na LLM i kada ih kombinirati

LLM-ovi i RAG komplementarni su sustavi. Kao takvo, pitanje „Kada bih trebao odabrati LLM, a kada RAG?” nije na mjestu. Umjesto toga, trebali biste pitati: „Kada će LLM biti dovoljan, a kada je RAG optimalan?”

Kada koristiti LLM bez omogućenog RAG-a

• Vaš odabrani AI model ima veliki kontekstni prozor: Ako je sve informacije ili podatke potrebne za točan odgovor lakše uključiti u upit, primjerice prijenosom dokumenta, to može smanjiti latenciju i spriječiti probleme povezane s dohvaćanjem.
• Rasuđivanje i tijek rada analize podataka: Za tijekove rada analize i rasuđivanja koji se oslanjaju samo na podatke navedene u upitu nisu potrebne RAG mogućnosti.
• Generiranje koda: RAG obično nije potreban za opći programski rad, premda se obično primjenjuje za zadatke specifične za projekt, poput dohvaćanja prethodnih ispravaka ili API-ja i dokumentacije dobavljača.

Kada koristiti LLM s omogućenim RAG-om

• Potrebne su vam ažurne informacije: Ako AI aplikacija treba pristup vanjskim izvorima ažurnih informacija kako bi generirala točan odgovor, uvijek osigurajte da su RAG mogućnosti omogućene.
• Radite u specijaliziranom području: Za područja poput medicine, prava, obrazovanja i slično, gdje su važni točnost, detalji i provjera izvora, upotreba samo LLM-a često neće biti dovoljna.
• Izlazi bi trebali upućivati na interne datoteke tvrtke: Ako upotrebljavate umjetnu inteligenciju, bilo interno ili u aplikaciji namijenjenoj korisnicima, za generiranje sadržaja na temelju internih dokumenata tvrtke, bilo podataka, brand kita, dokumentacije ili datoteka, RAG omogućuje pristup tim informacijama.

RAG i LLM-ovi su komplementarne, razvijajuće tehnologije

RAG je označio veliku inovaciju u evoluciji umjetne inteligencije. Rješava tri glavna problema: zastarjele informacije, ograničeno pamćenje modela i informacijske praznine zbog nedostatka relevantnih podataka za obuku, što je često rezultiralo halucinacijama. Naravno, LLM-ovi te probleme nisu u potpunosti prevladali, ali se njihova učestalost znatno smanjila pojavom RAG-a.

RAG nije statična tehnologija. Očekuje se da će se poboljšavati u nizu područja, uključujući rerangiranje, latenciju tijekom dohvaćanja i upotrebu tokena, sigurnosne obrane od opasnih izvora podataka, integraciju dohvaćenih podataka iz više izvora i još mnogo toga. Kako se LLM-ovi i agencijska umjetna inteligencija nastavljaju razvijati, razvijat će se i RAG sustavi koji ih podržavaju.