9 RAG primjera temeljenih na stvarnim slučajevima korištenja i arhitekturama

RAG se naširoko koristi u potrošačkim i poslovnim kontekstima. Stvarni, svakodnevni primjeri RAG-a uključuju web pretraživanje, korisničku podršku i kupovinu s omogućenom umjetnom inteligencijom. Pristup internom znanju i pomoć u kodiranju među najistaknutijim su poslovnim primjerima.

RAG arhitektura također može varirati ovisno o slučajevima korištenja. Dvije najčešće implementacije su hibridni RAG, koji kombinira tradicionalno podudaranje ključnih riječi s pretraživanjem pomoću vektora ili grafikona znanja, te agentni RAG, kod kojeg LLM upravlja procesom pretraživanja.

Što je generiranje obogaćeno dohvaćanjem (RAG)?

RAG, odnosno generiranje obogaćeno dohvaćanjem (retrieval-augmented generation), omogućuje aplikacijama umjetne inteligencije pristup informacijama pohranjenim u vanjskim sustavima kako bi nadopunile odgovore generirane pomoću LLM-a.

Ovo je moćna tehnologija jer rješava tri glavna problema generativne umjetne inteligencije: halucinacije, zastarjele informacije i nedostatak pristupa podacima koji nisu uključeni u ulazni kontekst.

Evo kako izgleda osnovni RAG proces:

1. Korisnik unosi upit na prirodnom jeziku.
2. Aplikacija umjetne inteligencije utvrđuje je li potrebna provjera utemeljenosti, ponekad uz uključenost LLM-a.
3. Zahtjev se šalje vanjskom izvoru informacija, kao što je baza podataka.
4. Dohvaćene informacije dodaju se u ulazni kontekst LLM-a.
5. LLM generira odgovor na temelju obogaćenog upita.

Iako se mogu razlikovati u specifičnoj implementaciji, ovi koraci predstavljaju tipičan RAG tijek rada. Razlike između različitih vrsta arhitekture obično se temelje na tome kako klijentska aplikacija obrađuje zahtjeve i na prirodi informacija koje se dohvaćaju.

Pregled RAG arhitekture

Prazan izraz "generiranje obogaćeno dohvaćanjem" prvi se put pojavio u radu iz 2020. godine pod nazivom Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, koji su objavili istraživači iz Meta AI-a (tada Facebook AI Research) zajedno s suradnicima sa Sveučilišnog koledža u Londonu i Sveučilišta u New Yorku.

Rani pristupi vrste „dohvati pa generiraj”, koji se slobodno nazivaju „naivni RAG”, otada su se razvili u niz različitih vrsta arhitektura, od kojih se mnoge preklapaju.

Naivni RAG

Naivni RAG koristi jednostavan cjevovod za dohvaćanje i generiranje, što je još uvijek prikladno za mnoge osnovne zahtjeve. Najčešći primjer naivnog RAG-a je pretvorba upita u uređeni popis brojeva koji se naziva vektorska ugradnja (embedding) ili jednostavno vektor. Ugradnja upita se zatim podudara s drugim vektorima koji predstavljaju dijelove, odlomke sadržaja u bazi podataka ili indeksu (koji se naziva semantički indeks).

Napredni RAG

Napredni RAG optimizira faze prije i nakon dohvaćanja. Tehnike uključuju proširivanje upita, filtriranje metapodataka i sažimanje konteksta. One u suštini poboljšavaju relevantnost informacija koje se dohvaćaju i način na koji se modificiraju prije nego što se dodaju u ulazni kontekst LLM-a.

Agentni RAG

Agentni RAG je izvršavanje RAG cjevovoda od strane agent-a temeljenog na LLM-u. Agent „odlučuje” koji su alati najbolji za dati upit i usmjerava dohvaćanje, ponekad u petlji, kako bi generirao relevantan odgovor.

Grafni RAG

Grafni RAG dohvaća informacije iz grafikona znanja, koji predstavlja entitete (kao što su objekti, koncepti i događaji) i odnose između njih. Ovo je korisno kada odgovor na upit zahtijeva od LLM-a da kombinira informacije o različitim entitetima.

Multimodalni RAG

Multimodalni RAG proširuje dohvaćanje na sadržaje poput slika i zvuka tijekom upita i dohvaćanja. Ovi RAG cjevovodi koriste posebne kodere za pretvaranje teksta, slika ili zvuka u ugradnje.

Hibridni RAG

Hibridni RAG kombinira pretraživanje ključnih riječi, odnosno leksičko dohvaćanje, s vektorskim dohvaćanjem ili grafikonima znanja i spaja rezultate. Ovo je korisno jer podudaranje ključnih riječi može biti vrlo točno (više nego druge metode) u određenim kontekstima.

Korektivni RAG

Korektivni RAG procjenjuje vraćene informacije ili podatke s obzirom na njihovu relevantnost za upit. Može pročistiti ili dopuniti dohvaćene ulomke ili ih u potpunosti zamijeniti izvršavanjem novog zahtjeva.

RAG primjeri prema slučaju korištenja i primjeni u industriji

Postoji više primjera RAG-a u potrošačkoj i poslovnoj sferi. To je u velikoj mjeri zato što su RAG cjevovodi integrirani u većinu uobičajenih alata. Osim toga, mnogi dobavljači nude gotove integracije, kao što su one za chatbote za korisničku službu, što je olakšalo usvajanje.

1. Web pretraživanje

Web pretraživanje jedan je od najzastupljenijih primjera RAG-a. Svaki dan milioni ljudi koriste alate umjetne inteligencije za generiranje odgovora utemeljenih na informacijama preuzetima s weba.

Kako radi: Aplikacija umjetne inteligencije pretražuje web indeks, kao što je Google Search indeks, koristeći pretraživanje temeljeno na ključnim riječima i semantičko dohvaćanje. Relevantan sadržaj stranice uključen je uz korisnikovo pitanje u ulazne podatke LLM-a. LLM zatim generira odgovor, obično s navedenim izvorima.

Stvarni primjer: Ako korisnik upiše jednostavan upit u Perplexity sučelje za chat, kao što je „Kakvo je vrijeme u Chicagu?”, LLM će provesti web pretraživanje kako bi pronašao najnovije informacije. Perplexity koristi vlasnički web indeks zajedno s partnerskim API-jem za pretraživanje.

Povećaj

2. Korisnička podrška

Chatboti unutar aplikacija i na web stranicama pojavili su se kao glavni poslovni slučaj korištenja RAG-a. Ovi se sustavi obično povezuju s tradicionalnim usmjeravajućim putovima, čime se smanjuje potreba za angažmanom predstavnika korisničke službe.

Kako radi: Kada korisnik postavi pitanje, aplikacija pretražuje bazu znanja tvrtke, često koristeći hibridni cjevovod. Dohvaćeni ulomci dostavljaju se LLM-u, koji generira odgovor. Obično su uključeni i korektivni procesi te procesi prebacivanja na agenta kako bi se potvrdio odgovor i, prema potrebi, usmjerio na predstavnika.

Stvarni primjer: Različite platforme za korisničku službu, uključujući Zendesk (prikazan u nastavku) i Intercom, nude plug-and-play chatbote za korisničku podršku koji se integriraju s postojećom dokumentacijom i bazama korisničke podrške.

Povećaj

3. Osobni asistenti

Osobni asistenti koriste agentni RAG za pristup e-pošti, datotekama i kalendaru korisnika. Ovi asistenti obično mogu izvršavati više RAG cjevovoda.

Kako radi: Budući da osobni asistenti često zahtijevaju pristup višestrukim izvorima informacija, koriste kombinaciju API-ja, pretraživanja ključnih riječi, vektorskog pretraživanja i grafikona znanja. Aplikacija šalje različite opise alata LLM-u, koji potom odabire najprikladnije.

Stvarni primjer: Google Gemini služi kao dobar primjer aplikacije koja može djelovati kao općeniti i osobni AI asistent (kao što je slučaj s većinom asistenata danas). Integrira se s ekosustavom alata, kao što su Gmail, Docs, Photos i Calendar.

Povećaj

4. Upravljanje znanjem u tvrtki

Upravljanje znanjem u tvrtki omogućuje zaposlenicima postavljanje pitanja u vezi s širokim rasponom informacija tvrtke, uključujući pravila, izvješća, projektne dokumente, pravne tekstove, pa čak i interne rasprave.

Kako radi: Aplikacija dohvaća relevantan sadržaj koristeći vektorski indeks koji se ažurira s promjenom izvornih dokumenata. Indeks sadrži ugradnje koje predstavljaju dijelove dokumenata, s poveznicama na njihov tekst i pridružene metapodatke.

Stvarni primjer: Microsoft 365 Copilot pristupa organizacijskim informacijama putem Microsoft Grapha, koji izlaže različite API-je za izvore podataka, te koristi leksičke i semantičke indekse za dohvaćanje relevantnog sadržaja.

Povećaj

5. Asistenti za kodiranje

Asistenti za kodiranje primjenjuju RAG na bazu izvornog koda (codebase). Iako je temeljni RAG proces isti (obično agentni RAG), razlika je u tome što se oni specifično bave kontekstom koda.

Kako radi: Asistenti za kodiranje indeksiraju lokalne projektne datoteke i provode višestruka pretraživanja kako bi pronašli relevantne odsječke koda kada se to zatraži. Ovi asistenti obično imaju i namjenske konektore za proširenje pristupa, primjerice bazama znanja tvrtke.

Stvarni primjer: GitHub Copilot poznati je primjer asistenta za kodiranje koji se izravno integrira s razvojnim projektima. Također može upućivati na javna GitHub spremišta kako bi povećao točnost odgovora.

Povećaj

6. Tehničko rješavanje problema

Tehničko rješavanje problema integrira RAG cjevovod za upravljanje znanjem s dijagnostičkom petljom. Agent može procijeniti rezultate kako bi dodatno precizirao preporuke za rješavanje problema prema potrebi.

Kako radi: Aplikacija prikuplja simptome tehničkog problema od korisnika ili primaju automatska upozorenja nadzora. Pokreće pretraživanje poruka o pogreškama, tehničkih zapisa (logova) i metrika performansi radi provjere simptoma. Zatim dohvaća relevantne informacije iz interne baze znanja kako bi ih proslijedila LLM-u. Dijagnostička petlja se događa kada se rezultati pokušaja popravka vrate u LLM, bilo od korisnika ili alata za dijagnostiku.

Stvarni primjer: Platforma za promatranje (observability) Datadog (prikazana u nastavku) prikuplja podatke iz svih slojeva sustava, označavajući sve probleme kada se pojave. Oni se zatim prosljeđuju u specijalizirani AI agent pod nazivom Bits AI radi rješavanja potencijalnih popravaka.

Povećaj

7. Agentna trgovina

Agentna trgovina širi je slučaj korištenja koji obično uključuje RAG. Agent za kupovinu dohvaća detalje kao što su specifikacije proizvoda, recenzije, cijene i dostupnost kako bi usporedio opcije i objasnio preporuke. Zatim može automatski obaviti kupovinu bez da korisnik napušta sučelje.

Kako radi: Agentna trgovina pravi je agentni RAG jer određeni upiti često zahtijevaju različite oblike dohvaćanja, kojima model upravlja. Agent može dohvatiti podatke o proizvodu samo s tekstom putem API-ja trgovca, ili može koristiti multimodalni RAG za pronalaženje proizvoda u semantičkom indeksu na temelju fotografije korisnika.

Stvarni primjer: Agent opće namjene kao što je Perplexity može dohvatiti više slika i detaljne specifikacije proizvoda na temelju upita. Značajka naplate Instant Buy omogućuje korisniku dovršetak kupovine nakon odabira proizvoda.

Povećaj

8. Specijalizirane domene znanja

AI alati koji dohvaćaju specijalizirano domensko znanje moraju se nositi s kompleksnim formatima sadržaja. Osim toga, minimaliziranje halucinacija i praznina u informacijama često je prioritet.

Kako radi: Ključna razlika između općih i specijaliziranih RAG arhitektura odnosi se na izvorni materijal i konfiguraciju dohvaćanja. Obično će se pretraživati samo visoko mjerodavan indeks, a zahtjev će biti konfiguriran tako da uključuje specifičnu terminologiju radi sužavanja pretraživanja.

Stvarni primjer: Alat za akademsko istraživanje Scite pristupa velikom indeksu akademskih radova i podataka o citiranju koji je izgrađen kroz ugovore s izdavačima i izvore otvoreni pristupa. Također primjenjuje provjere nakon dohvaćanja, kao što je provjera izvora, prije generiranja potpunog odgovora.

Povećaj

9. Analiza podataka

RAG za analizu podataka postao je posebno moćan poslovni slučaj korištenja jer omogućuje širokom rasponu profesionalaca, posebno onima bez obuke u podatkovnoj znanosti, postavljanje upita skupovima podataka pomoću prirodnog jezika. To olakšava generiranje izvješća i postavljanje vrlo specifičnih pitanja.

Kako radi: Za pitanje poput „Zašto je prodaja pala prošlog kvartala?”, aplikacija može pretražiti evidenciju prodaje i dohvatiti bilješke o nestašicama zaliha ili promjenama cijena. LLM odabire prikladan izračun (koji se obično delegira na alat za izračun) za dohvaćene podatke prije generiranja analize.

Stvarni primjer: Google Analytics nudi AI chatbot „Ask Advisor” koji može pristupiti podacima web analitike i odgovarati na vrlo specifična, nijansirana pitanja korisnika. To je jedan od najboljih stvarnih primjera RAG-a zatvorenog sustava na poslovnoj razini.

Povećaj

Što je sljedeće u evoluciji RAG-a?

RAG je bio značajan razvoj kada je prvi put predstavljen. Pomogao je u rješavanju mnogih problema inherentnih samostalnim LLM-ovima.

Međutim, on je daleko od statične tehnologije. Trenutno istraživanje usmjereno je na dublje multimodalno dohvaćanje i rigorozniju obradu dohvaćenog konteksta radi točnosti i ispravnosti. Osim toga, vjerojatno ćemo vidjeti veću integraciju RAG-a u agente s više alata.

Čak i s iznimno velikim kontekstnim prozorima, postoje važni slučajevi korištenja za RAG u osobnim i profesionalnim kontekstima te mnoge inovacije koje tek dolaze.