9 RAG primera zasnovanih na slučajevima upotrebe i arhitekturama

RAG se naširoko koristi u potrošačkim i poslovnim okruženjima. Svakodnevni primeri RAG-a iz stvarnog sveta uključuju veb pretragu, korisničku podršku i kupovinu omogućenu veštačkom inteligencijom. Pristup internom znanju i pomoć u programiranju među najistaknutijim su poslovnim primerima.

RAG arhitektura takođe može da varira u zavisnosti od slučaja upotrebe. Dve najčešće implementacije su hibridni RAG, koji kombinuje tradicionalno uparivanje ključnih reči sa pretragom vektora ili grafikona znanja, i agentski RAG, kod kojeg LLM upravlja procesom pronalaženja.

Šta je generisanje obogaćeno pronalaženjem (RAG)?

RAG, odnosno generisanje obogaćeno pronalaženjem, omogućava aplikacijama sa veštačkom inteligencijom da pristupe informacijama uskladištenim u spoljnim sistemima kako bi dopunile odgovore koje generiše LLM.

Ovo je moćna tehnologija zato što rešava tri glavna problema generativne veštačke inteligencije: halucinacije, zastarele informacije i nedostatak pristupa podacima koji nisu uključeni u ulazni kontekst.

Evo kako izgleda osnovni RAG proces:

1. Korisnik unosi upit na prirodnom jeziku.
2. Aplikacija sa veštačkom inteligencijom utvrđuje da li je potrebno uzemljenje, ponekad uz učešće LLM-a.
3. Zahtev se šalje spoljnom izvoru informacija, kao što je baza podataka.
4. Pronađene informacije se dodaju u ulazni kontekst LLM-a.
5. LLM generiše odgovor na osnovu obogaćenog upita.

Iako mogu da se razlikuju u specifičnoj implementaciji, ovi koraci predstavljaju tipičan RAG radni tok. Razlike između različitih tipova arhitekture obično se fokusiraju na način na koji klijentska aplikacija obrađuje zahteve i na prirodu informacija koje se preuzimaju.

Pregled RAG arhitekture

Prazan termin „generisanje obogaćeno pronalaženjem“ se prvi put pojavio u radu iz 2020. godine pod nazivom Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, koji su objavili istraživači iz Meta AI (tada Facebook AI Research) zajedno sa saradnicima sa Univerzitetskog koledža u Londonu i Njujorškog univerziteta.

Rani pristupi tipa „pronađi pa generiši“, koji se slobodno nazivaju „naivni RAG“, u međuvremenu su se razvili u niz različitih tipova arhitekture, od kojih se mnogi preklapaju.

Naivni RAG

Naivni RAG koristi jednostavan cevovod za pronalaženje i generisanje, što je i dalje prikladno za mnoge osnovne zahteve. Najčešći primer naivnog RAG-a jeste pretvaranje upita u uređenu listu brojeva koja se naziva vektorsko ugrađivanje, ili jednostavno vektor. Ugrađivanje upita se zatim uparuje sa drugim vektorima koji predstavljaju segmente, delove sadržaja u bazi podataka ili indeksu (koji se zove semantički indeks).

Napredni RAG

Napredni RAG optimizuje faze pre i posle pronalaženja. Tehnike uključuju proširenje upita, filtriranje metapodataka i kompresiju konteksta. One suštinski poboljšavaju relevantnost informacija koje se preuzimaju i način na koji se one modifikuju pre nego što se dodaju u ulazni kontekst LLM-a.

Agentski RAG

Agentski RAG predstavlja izvršavanje RAG cevovoda od strane agenta zasnovanog na LLM-u. Agent „odlučuje“ koji su alati najbolji za dati upit i usmerava pronalaženje, ponekad u petlji, kako bi generisao relevantan odgovor.

Grafovski RAG

Grafovski RAG preuzima informacije iz grafikona znanja, koji predstavlja entitete (kao što su objekti, koncepti i događaji) i odnose između njih. Ovo je korisno kada odgovor na upit zahteva od LLM-a da kombinuje informacije o različitim entitetima.

Multimodalni RAG

Multimodalni RAG proširuje pronalaženje na sadržaje kao što su slike i zvuk tokom upita i pronalaženja. Ovi RAG cevovodi koriste specijalne enkodere za pretvaranje teksta, slika ili zvuka u ugrađivanja.

Hibridni RAG

Hibridni RAG kombinuje pretragu ključnih reči, odnosno leksičko pronalaženje, sa vektorskim pronalaženjem ili grafikonima znanja i spaja rezultate. Ovo je korisno zato što uparivanje ključnih reči može biti visoko precizno (više nego druge metode) u određenim kontekstima.

Korektivni RAG

Korektivni RAG procenjuje vraćene informacije ili podatke u pogledu relevantnosti za upit. On može da precizira ili dopuni preuzete odlomke ili da ih u potpunosti zameni izvršavanjem novog zahteva.

RAG primeri po slučajevima upotrebe i industrijskoj primeni

Postoji više primera RAG-a širom potrošačke i poslovne sfere. To je u velikoj meri zato što su RAG cevovodi integrisani u većinu glavnih alata. Pored toga, mnogi prodavci nude gotove integracije, kao što su one za četbotove korisničke službe, što je olakšalo usvajanje.

1. Veb pretraga

Veb pretraga je jedan od najzastupljenijih primera RAG-a. Svakog dana milioni ljudi koriste alate sa veštačkom inteligencijom za generisanje odgovora zasnovanih na informacijama preuzetim sa veba.

Kako radi: Aplikacija sa veštačkom inteligencijom pretražuje veb indeks, kao što je Google Search indeks, koristeći pronalaženje zasnovano na ključnim rečima i semantičko pronalaženje. Relevantan sadržaj stranice je uključen zajedno sa pitanjem korisnika u ulazne podatke LLM-a. LLM zatim generiše odgovor, obično sa citatima izvora.

Primer iz stvarnog sveta: Ako korisnik unese jednostavan upit u interfejs za chat aplikacije Perplexity, kao što je „Kakvo je vreme u Čikagu?“, LLM će sprovesti veb pretragu kako bi pronašao najnovije informacije. Perplexity koristi vlasnički veb indeks zajedno sa partnerskim API-jima za pretragu.

Uvećaj

2. Korisnička podrška

Četbotovi unutar aplikacija i na veb-sajtovima postali su značajan slučaj upotrebe RAG-a u preduzećima. Ovi sistemi se obično povezuju sa tradicionalnim putanjama usmeravanja, čime se smanjuje potreba za učešćem predstavnika korisničke službe.

Kako radi: Kada korisnik postavi pitanje, aplikacija pretražuje bazu znanja kompanije, često koristeći hibridni cevovod. Preuzeti odlomci se prosleđuju LLM-u, koji generiše odgovor. Obično postoje i korektivni procesi i procesi prenosa koji služe za validaciju odgovora i, po potrebi, usmeravanje na predstavnika.

Primer iz stvarnog sveta: Različite platforme za korisničku službu, uključujući Zendesk (prikazan ispod) i Intercom, nude gotove četbotove za korisničku podršku koji se integrišu sa postojećom dokumentacijom i bazama korisničke podrške.

Uvećaj

3. Lični asistenti

Lični asistenti koriste agentski RAG za pristup e-porukama, datotekama i kalendaru korisnika. Ovi asistenti obično mogu da izvršavaju više RAG cevovoda.

Kako radi: Pošto lični asistenti često zahtevaju pristup više izvora informacija, oni koriste kombinaciju API-ja, pretrage ključnih reči, vektorske pretrage i grafikona znanja. Aplikacija šalje različite opise alata LLM-u, koji zatim bira najprikladnije.

Primer iz stvarnog sveta: Google Gemini služi kao dobar primer aplikacije koja može da deluje kao opšti i lični AI asistent (kao što je slučaj sa većinom asistenata danas). Integriše se sa ekosistemom alata, kao što su Gmail, Docs, Photos i Calendar.

Uvećaj

4. Upravljanje znanjem u preduzeću

Upravljanje znanjem u preduzeću omogućava zaposlenima da postavljaju pitanja u vezi sa širokim spektrom informacija o kompaniji, uključujući politike, izveštaje, projektne dokumente, pravne tekstove, pa čak i interne diskusije.

Kako radi: Aplikacija preuzima relevantan sadržaj pomoću vektorskog indeksa koji se ažurira kako se izvorni dokumenti menjaju. Indeks sadrži ugrađivanja koja predstavljaju segmente dokumenata, sa vezama do njihovog teksta i povezanih metapodataka.

Primer iz stvarnog sveta: Microsoft 365 Copilot pristupa organizacionim informacijama preko Microsoft Graph-a, koji nudi različite API-je za izvore podataka, i koristi leksičke i semantičke indekse za preuzimanje relevantnog sadržaja.

Uvećaj

5. Programski asistenti

Programski asistenti primenjuju RAG na bazu koda. Iako je osnovni RAG proces isti (obično agentski RAG), razlika je u tome što se oni specifično bave kontekstom koda.

Kako radi: Programski asistenti indeksiraju lokalne projektne datoteke i obavljaju prolaze sa višestrukom pretragom kako bi pronašli relevantne isečke koda kada dobiju upit. Ovi asistenti takođe obično imaju namenske konektore za proširivanje pristupa, kao što je pristup korporativnim bazama znanja.

Primer iz stvarnog sveta: GitHub Copilot je poznat primer programskog asistenta koji se direktno integriše sa razvojnim projektima. On takođe može da se poziva na javna GitHub skladišta radi povećanja tačnosti odgovora.

Uvećaj

6. Tehničko rešavanje problema

Tehničko rešavanje problema integriše RAG cevovod za upravljanje znanjem sa dijagnostičkom petljom. Agent može da proceni rezultate kako bi dodatno precizirao preporuke za rešavanje problema po potrebi.

Kako radi: Aplikacija prikuplja simptome tehničkog problema od korisnika ili prima automatizovana upozorenja sistema za praćenje. Ona pokreće pretragu poruka o greškama, tehničkih evidencija i metrika performansi radi unakrsne provere simptoma. Zatim preuzima relevantne informacije iz interne baze znanja kako bi ih prosledila LLM-u. Do dijagnostičke petlje dolazi kada se rezultati pokušanog rešenja vrate u LLM, bilo od strane korisnika ili alata za dijagnostiku.

Primer iz stvarnog sveta: Platforma za opservabilnost Datadog (prikazana ispod) prikuplja podatke sa svih slojeva sistema, označavajući sve probleme čim se pojave. Oni se zatim prosleđuju u specijalizovani AI agent pod nazivom Bits AI radi rešavanja potencijalnih problema.

Uvećaj

7. Agentska trgovina

Agentska trgovina je širi slučaj upotrebe koji obično uključuje RAG. Agent za kupovinu preuzima detalje kao što su specifikacije proizvoda, recenzije, cene i dostupnost kako bi uporedio opcije i objasnio preporuke. On zatim može automatski da obavi kupovinu a da korisnik ne napusti interfejs.

Kako radi: Agentska trgovina predstavlja pravi agentski RAG jer određeni upiti često zahtevaju različite oblike pronalaženja, koje model usmerava. Agent može da preuzme podatke o proizvodima koji sadrže samo tekst preko API-ja maloprodavca, ili može da koristi multimodalni RAG za uparivanje proizvoda u semantičkom indeksu na osnovu fotografije korisnika.

Primer iz stvarnog sveta: Agent opšte namene kao što je Perplexity može da preuzme više slika i detaljne specifikacije proizvoda na osnovu upita. Funkcija naplate Instant Buy omogućava korisniku da završi kupovinu nakon izbora proizvoda.

Uvećaj

8. Specijalizovane domenske oblasti znanja

AI alati koji preuzimaju specijalizovano domensko znanje moraju da se nose sa složenim formatima sadržaja. Pored toga, minimiziranje halucinacija i praznina u informacijama često je prioritet.

Kako radi: Ključna razlika između RAG arhitektura opšte namene i specijalizovanih RAG arhitektura odnosi se na izvorni materijal i konfiguraciju pronalaženja. Obično će se pretraživati samo visoko autoritativan indeks, a zahtev će biti konfigurisan tako da uključuje specifičnu terminologiju radi sužavanja pretraga.

Primer iz stvarnog sveta: Akademski istraživački alat Scite pristupa velikom indeksu akademskih radova i podataka o citatima koji je izgrađen kroz ugovore sa izdavačima i izvore otvorenog pristupa. On takođe primenjuje provere nakon pronalaženja, kao što je verifikacija izvora, pre generisanja potpunog odgovora.

Uvećaj

9. Analiza podataka

RAG za analizu podataka postao je posebno moćan slučaj upotrebe u preduzećima zato što omogućava širokom spektru profesionalaca, posebno onima bez obuke iz oblasti nauke o podacima, da postavljaju upite nad skupovima podataka koristeći prirodni jezik. Ovo olakšava generisanje izveštaja i postavljanje izuzetno specifičnih pitanja.

Kako radi: Za pitanje poput „Zašto su prodaja opale prošlog kvartala?“, aplikacija može da postavi upit nad evidencijom prodaje i preuzme beleške o nestašicama zaliha ili promenama cena. LLM bira odgovarajući proračun (koji se obično delegira na alat za proračun) za preuzete podatke pre generisanja analize.

Primer iz stvarnog sveta: Google Analytics nudi AI četbot „Ask Advisor“ koji može da pristupi podacima veb analitike i odgovori na izuzetno specifična, nijansirana pitanja korisnika. To je jedan od najboljih primera RAG-a zatvorenog sistema na nivou preduzeća iz stvarnog sveta.

Uvećaj

Šta je sledeće u evoluciji RAG-a?

RAG je bio značajan razvojni korak kada je prvi put predstavljen. Pomogao je u rešavanju mnogih problema inherentnih samostalnim LLM modelima.

Međutim, on je daleko od statične tehnologije. Trenutna istraživanja su fokusirana na dublje multimodalno pronalaženje i rigorozniju obradu preuzetog konteksta u pogledu tačnosti i ispravnosti. Pored toga, verovatno ćemo videti veću integraciju RAG-a u agente sa više alata.

Čak i sa izuzetno velikim prozorima konteksta, postoje važni slučajevi upotrebe RAG-a u ličnim i profesionalnim okruženjima, kao i mnoge inovacije koje tek dolaze.