9 príkladov RAG založených na reálnych prípadoch použitia a architektúrach

Preskúmajte deväť reálnych príkladov RAG, od webového vyhľadávania a zákazníckej podpory až po agentový obchod a analýzu údajov, spolu s architektúrami, ktoré za nimi stojí.

Diagram of how RAG works: a user prompt goes through a grounding check, a retrieval request to an external source, context augmentation, and LLM answer generation.

RAG sa široko používa v spotrebiteľskom aj firemnom prostredí. Reálne každodenné príklady RAG zahŕňajú webové vyhľadávanie, zákaznícku podporu a nakupovanie poháňané AI. Prístup k interným znalostiam a podpora pri programovaní patria medzi najvýznamnejšie podnikové príklady.

Architektúra RAG sa môže líšiť aj v závislosti od prípadu použitia. Dve najbežnejšie implementácie sú hybridný RAG, ktorý kombinuje tradičné porovnávanie kľúčových slov s vyhľadávaním vo vektoroch alebo znalostných grafoch, a agentový RAG, pri ktorom proces vyhľadávania riadi LLM.

Čo je generovanie obohatené o vyhľadávanie (RAG)?

RAG, teda generovanie obohatené o vyhľadávanie, umožňuje aplikáciám s AI pristupovať k informáciám uloženým v externých systémoch na doplnenie odpovedí generovaných modelmi LLM.

Ide o výkonnú technológiu, pretože rieši tri hlavné problémy generatívnej AI: halucinácie, neaktuálne informácie a nedostatok prístupu k údajom, ktoré nie sú zahrnuté vo vstupnom kontexte.

Takto vyzerá základný proces RAG:

  1. Používateľ zadá prompt v prirodzenom jazyku.
  2. Aplikácia AI určí, či sa vyžaduje uzemnenie, niekedy s účasťou LLM.
  3. Požiadavka sa odošle do externého zdroja informácií, napríklad do databázy.
  4. Vyhľadané informácie sa pridajú do vstupného kontextu LLM.
  5. LLM vygeneruje odpoveď na základe obohateného promptu.

Hoci sa môžu líšiť v konkrétnej implementácii, tieto kroky predstavujú typický pracovný postup RAG. Rozdiely medzi rôznymi typmi architektúry sa zvyčajne točia okolo toho, ako klientska aplikácia spracováva požiadavky, a povahy získavaných informácií.

Prehľad architektúry RAG

Termín "retrieval-augmented generation" sa prvýkrát objavil v článku z roku 2020 s názvom Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, ktorý publikovali výskumníci z Meta AI (vtedy Facebook AI Research) spolu s kolegami z University College London a New York University.

Skoré prístupy založené na vyhľadávaní a následnom generovaní, voľne označované ako „naivný RAG“, sa odtiaľto vyvinuli do rôznych typov architektúr, z ktorých mnohé sa prekrývajú.

Naivný RAG

Naivný RAG používa jednoduchý pipeline vyhľadávania a generovania, ktorý je stále vhodný pre mnohé základné požiadavky. Najbežnejším príkladom naivného RAG je prevod dopytu na usporiadaný zoznam čísel nazývaný vektoring (vektorové vnorenie) alebo jednoducho vektor. Vektor dopytu sa potom porovnáva s inými vektormi, ktoré predstavujú bloky – časti obsahu v databáze alebo indexe (tzv. sémantický index).

Pokročilý RAG

Pokročilý RAG optimalizuje fázy pred a po vyhľadávaní. Techniky zahŕňajú rozšírenie dopytu, filtrovanie metadát a kompresiu kontextu. Tie v podstate zlepšujú relevanciu vyhľadaných informácií a spôsob ich úpravy pred pridaním do vstupného kontextu LLM.

Agentový RAG

Agentový RAG je vykonávanie RAG pipeline agentom založeným na LLM. Agent „rozhoduje“, ktoré nástroje sú pre daný prompt najlepšie, a riadi vyhľadávanie, niekedy v slučke, s cieľom vygenerovať relevantnú odpoveď.

Grafový RAG

Grafový RAG získava informácie zo znalostného grafu, ktorý reprezentuje entity (ako sú objekty, koncepty a udalosti) a vzťahy medzi nimi. To je užitočné, keď odpoveď na prompt vyžaduje, aby LLM skombinoval informácie o rôznych entitách.

Multimodálny RAG

Multimodálny RAG rozširuje vyhľadávanie na obsah, akým sú obrázky a zvuk, počas dopytu aj vyhľadávania. Tieto RAG pipeline využívajú špeciálne enkódery na konverziu textu, obrázkov alebo zvuku na vektory.

Hybridný RAG

Hybridný RAG kombinuje vyhľadávanie podľa kľúčových slov (lexikálne vyhľadávanie) s vektorovým vyhľadávaním alebo znalostnými grafmi a zlučuje výsledky. To je užitočné, pretože porovnávanie kľúčových slov môže byť v určitých kontextoch veľmi presné (viac ako iné metódy).

Korektívny RAG

Korektívny RAG vyhodnocuje vrátené informácie alebo údaje z hľadiska ich relevance k dopytu. Môže upresniť alebo doplniť získané pasáže, prípadne ich úplne nahradiť vykonaním ďalšej požiadavky.

Príklady RAG podľa prípadu použitia a odvetvovej aplikácie

Existuje viacero príkladov RAG v spotrebiteľskej aj podnikovej sfére. Je to do veľkej miery preto, že RAG pipeline boli integrované do väčšiny hlavných nástrojov. Okrem toho mnohí dodávatelia ponúkajú predpripravené integrácie, napríklad pre chatbotov zákazníckeho servisu, čo uľahčilo prijatie.

1. Webové vyhľadávanie

Webové vyhľadávanie je jedným z najrozšírenejších príkladov RAG. Milióny ľudí každý deň používajú nástroje AI na generovanie odpovedí založených na informáciách získaných z webu.

Ako to funguje: Aplikácia AI prehľadáva webový index, akým je index Google Search, pomocou kľúčových slov a sémantického vyhľadávania. Relevantný obsah stránky je zahrnutý spolu s otázkou používateľa do vstupu LLM. LLM potom vygeneruje odpoveď, zvyčajne s citáciami zdrojov.

Reálny príklad: Ak používateľ zadá do chatovacieho rozhrania Perplexity jednoduchý dopyt, napríklad „Aké je počasie v Chicagu?“, LLM vykoná webové vyhľadávanie, aby našiel aktuálne informácie. Perplexity používa vlastný webový index v spojení s partnerskými vyhľadávacími API.

2. Zákaznícka podpora

Chatboti v aplikáciách a na webových stránkach sa stali významným podnikovým prípadom použitia RAG. Tieto systémy sa zvyčajne spájajú s tradičnými smerovacími cestami, čím sa znižuje potreba zásahu zástupcov zákazníckej podpory.

Ako to funguje: Keď zákazník položí otázku, aplikácia prehľadá znalostnú bázu spoločnosti, často pomocou hybridného pipeline. Získané pasáže sa dodajú do LLM, ktorý vygeneruje odpoveď. Zvyčajne sú do toho zapojené aj korektívne procesy a procesy odovzdania na overenie odpovede a v prípade potreby presmerovanie na operátora.

Reálny príklad: Rôzne platformy služieb zákazníkom, vrátane Zendesk (na obrázku nižšie) a Intercom, ponúkajú hotové chatboti zákazníckej podpory, ktoré sa integrujú s existujúcou dokumentáciou a bázami zákazníckej podpory.

3. Osobná asistenti

Osobní asistenti využívajú agentový RAG na prístup k e-mailom, súborom a kalendáru používateľa. Títo asistenti zvyčajne dokážu spustiť viacero RAG pipeline.

Ako to funguje: Pretože osobní asistenti často vyžadujú prístup k viacerým zdrojom informácií, využívajú kombináciu API, vyhľadávania podľa kľúčových slov, vektorového vyhľadávania a znalostných grafov. Rôzne popisy nástrojov sú odoslané aplikáciou do LLM, ktorý potom vyberie tie najvhodnejšie.

Reálny príklad: Google Gemini slúži ako dobrý príklad aplikácie, ktorá môže fungovať ako univerzálny a osobný asistent AI (ako je to v dnešnej dobe pri väčšine asistentov). Integruje sa s ekosystémom nástrojov, ako sú Gmail, Docs, Photos a Calendar.

4. Správa podnikových znalostí

Správa podnikových znalostí umožňuje zamestnancom klásť otázky v rámci širokého spektra firemných informácií vrátane zásad, správ, dokumentov k projektom, právnych textov a dokonca aj interných diskusií.

Ako to funguje: Aplikácia získava relevantný obsah pomocou vektorového indexu, ktorý sa aktualizuje pri zmene zdrojových dokumentov. Index obsahuje vektory reprezentujúce bloky dokumentov s odkazmi na ich text a súvisiace metadáta.

Reálny príklad: Microsoft 365 Copilot pristupuje k organizačným informáciám prostredníctvom Microsoft Graph, ktorý sprístupňuje rôzne API pre zdroje údajov, a používa lexikálne a sémantické indexy na vyhľadanie relevantného obsahu.

5. Programátorskí asistenti

Programátorskí asistenti aplikujú RAG na kódovú základňu. Hoci základný proces RAG je rovnaký (zvyčajne agentový RAG), rozdiel spočíva v tom, že pracujú špecificky s kontextom kódu.

Ako to funguje: Programátorskí asistenti indexujú lokálne súbory projektu a vykonávajú viacnásobné vyhľadávacie prechody na nájdenie relevantných úryvkov kódu na základe výzvy. Títo asistenti majú zvyčajne aj špeciálne konektory na rozšírenie prístupu, napríklad ku korporátnym znalostným bázam.

Reálny príklad: GitHub Copilot je známy príklad programátorského asistenta, ktorý sa integruje priamo s vývojovými projektmi. Môže tiež odkazovať na verejné repozitáre GitHub na zvýšenie presnosti odpovedí.

6. Technické riešenie problémov

Technické riešenie problémov integruje RAG pipeline na správu znalostí s diagnostickou slučkou. Agent môže vyhodnotiť výsledky a ďalej upraviť odporúčania na riešenie problémov podľa potreby.

Ako to funguje: Aplikácia zhromažďuje príznaky technického problému od používateľa alebo prijíma automatické upozornenia z monitorovania. Spustí vyhľadávanie chybových hlásení, technických logov a metrík výkonu na krížovú kontrolu príznakov. Potom získa relevantné informácie z internej znalostnej bázy, ktoré odovzdá do LLM. Diagnostická slučka nastáva vtedy, keď sa výsledky pokusu o opravu vrátia do LLM – buď od používateľa, alebo z diagnostického nástroja.

Reálny príklad: Observabilná platforma Datadog (na obrázku nižšie) zhromažďuje údaje zo všetkých vrstiev systému a pri výskyte akýchkoľvek problémov ich označí. Tie sa potom privádzajú do špecializovaného AI agenta s názvom Bits AI na riešenie potenciálnych opráv.

7. Agentový obchod (Agentic commerce)

Agentový obchod je širší prípad použitia, ktorý zvyčajne zahŕňa RAG. Nákupný agent získava podrobnosti, ako sú špecifikácie produktov, recenzie, ceny a dostupnosť, aby porovnal možnosti a vysvetlil odporúčania. Následne môže automaticky uskutočniť nákup bez toho, aby používateľ opustil rozhranie.

Ako to funguje: Agentový obchod predstavuje skutočný agentový RAG, pretože konkrétne dopyty často vyžadujú rôzne formy vyhľadávania, ktoré model riadi. Agent môže získať textové údaje o produktoch prostredníctvom API predajcu alebo môže použiť multimodálny RAG na porovnanie produktov v sémantickom indexe na základe fotografie používateľa.

Reálny príklad: Všeobecný agent, akým je Perplexity, dokáže na základe promptu získať viacero obrázkov a podrobné špecifikácie produktov. Funkcia pokladne Instant Buy umožňuje používateľovi dokončiť nákup po výbere produktu.

8. Špecializované oblasti vedomostí

Nástroje AI, ktoré získavajú špecializované doménové znalosti, musia pracovať so zložitými formátmi obsahu. Okrem toho je často prioritou minimalizácia halucinácií a medzier v informáciách.

Ako to funguje: Kľúčový rozdiel medzi univerzálnou a špecializovanou architektúrou RAG sa týka zdrojového materiálu a konfigurácie vyhľadávania. Zvyčajne sa preveruje iba vysoko autoritatívny index a požiadavka bude nakonfigurovaná tak, aby obsahovala špecifickú terminológiu na zúženie vyhľadávania.

Reálny príklad: Akademický výskumný nástroj Scite má prístup k veľkému indexu akademických prác a údajov o citáciách, ktorý bol vytvorený prostredníctvom dohôd s vydavateľmi a zdrojov s otvoreným prístupom. Pred generovaním úplnej odpovede aplikuje aj kontroly po vyhľadávaní, ako je overenie zdrojov.

9. Analýza údajov

RAG na analýzu údajov sa stal mimoriadne silným podnikovým prípadom použitia, pretože umožňuje širokému okruhu profesionálov, najmä tým bez vzdelania v oblasti dátovej vedy, vyhľadávať v dátových sadách pomocou prirodzeného jazyka. Uľahčuje to vytváranie správ a kladenie veľmi špecifických otázok.

Ako to funguje: Na otázku typu „Prečo klesli predaje za minulý štvrťrok?“ môže aplikácia dopytovať záznamy o predaji a získať poznámky o nedostatku zásob alebo zmenách cien. LLM vyberie vhodný výpočet (ktorý je zvyčajne delegovaný na výpočtový nástroj) pre získané údaje pred vygenerovaním analýzy.

Reálny príklad: Google Analytics ponúka chatbot AI „Ask Advisor“, ktorý má prístup k údajom webovej analytiky a dokáže odpovedať na veľmi špecifické a nuansované otázky používateľov. Je to jeden z najlepších reálnych príkladov RAG podnikovej triedy v zatvorenom systéme.

Čo čaká vývoj RAG v budúcnosti?

RAG bol významným pokrokom, keď bol prvýkrát predstavený. Pomohol vyriešiť mnohé z problémov inherentných v samostatných LLM.

Je však ďaleko od statickej technológie. Súčasný výskum sa zameriava na hlbšie multimodálne vyhľadávanie a dôslednejšie spracovanie získaného kontextu pre zaistenie presnosti a správnosti. Okrem toho budeme svedkami väčšej integrácie RAG do nástrojov s viacerými agentmi.

Aj s extrémne veľkými kontextovými oknami existujú dôležité prípady použitia RAG v osobnom aj profesionálnom kontexte a mnohé inovácie ešte len prídu.