RAG vs. LLM: Technické rozobratie (definície, rozdiely, prípady použitia)

LLM generujú odpovede pomocou parametrov naučených zo vzorov v tréningových dátach. Keďže tieto parametre nemusia odrážať nedávne alebo úplné informácie, RAG, čo je skratka pre generovanie obohatené o vyhľadávanie, dopĺňa tento proces pridaním údajov z externých zdrojov do vstupného kontextu LLM. Nástroj AI vyhľadáva externé informácie, aby obohatil proces generovania LLM.

V skutočnosti nie je vaša voľba medzi RAG a LLM. Je to medzi hybridným prístupom a prístupom, ktorý používa iba LLM.

RAG je nevyhnutný, keď LLM vyžaduje prístup k firemnej dokumentácii, databázam alebo rýchlo sa meniacim informáciám. Prístup iba s LLM je vhodný pre určité administratívne, dátovo spracovateľské a obsahové úlohy, pri ktorých môže používateľ dodať všetky vstupy.

RAG vs. LLM: Aké sú kľúčové rozdiely?

• RAG a LLM sú vzájomne sa dopĺňajúce systémy. Môžete používať model AI bez RAG (vtedy sa spolieha výlučne na svoje existujúce parametre), ale nemôžete používať systém RAG bez modelu.
• RAG bol predstavený, aby prekonal tri kľúčové problémy LLM: zastarané informácie, vymyslené odpovede a nedostatok overovania voči zdrojom tretích strán.
• RAG robí AI oveľa účinnejšou v reálnych obchodných situáciách, pretože prepája LLM s overenou internou dokumentáciou, databázami a koncovými bodmi API.
• Medzi hlavné prípady použitia RAG patria chatboty zákazníckej podpory, dotazy založené na rýchlo sa meniacich údajoch (ako sú správy z odvetvia) a špecializované oblasti, ako je medicína a právo, kde sú dôležité presnosť a kontrola zdrojov.
• Existujú tri hlavné typy RAG: naivný RAG, modulárny RAG a pokročilý RAG. Naivný RAG sa najlepšie chápe ako priame získavanie informácií, zatiaľ čo modulárny a pokročilý RAG pridávajú dodatočné funkcie, ako je prepisovanie dotazov a optimalizácia úsekov.

Čo je veľký jazykový model (LLM)?

LLM alebo veľký jazykový model je systém, ktorý generuje obsah pomocou jemne doladených parametrov. Tieto parametre určujú pravdepodobnosti priradené všetkým tokenom v slovníku LLM, čo naznačuje, ktorý token bude s najväčšou pravdepodobnosťou nasledovať v danej sekvencii.

Aby ste lepšie pochopili, ako RAG funguje (a v čom sa líši od) LLM, je užitočné pozrieť sa na to, ako generatívna AI funguje na základnej úrovni:

1. Tokenizácia: Prompt používateľa sa rozdelí na tokeny, ktorými môžu byť slová, časti slov alebo jednotlivé znaky.
2. Embedding: Tokeny sa prevádzajú na embeddingy, číselné reprezentácie (reťazce čísel) nazývané vektory, ktoré neurónová sieť vrátane dekódera dokáže spracovať.
3. Dekódovanie: Vrstvy dekódera (ktoré tvoria veľkú časť neurónovej siete LLM) manipulujú s týmito vektormi pomocou procesu nazývaného pozornosť na zachytenie významu. Tento proces určuje, ako silno by mal každý token súvisieť s ostatnými tokenmi v sekvencii.
4. Hodnotenie: Model priradí každému tokenu vo svojom už existujúcom slovníku pravdepodobnosť kompatibility a vyberie pravdepodobný ďalší token pre sekvenciu.

Dôležité je, že LLM dokáže vytvárať výstupy iba na základe svojich existujúcich parametrov a tokenov vo svojom kontextovom okne. Počas tréningu je LLM miliardykrát vyzvaný, aby dokončil časti neúplného textu, a jeho parametre sa upravujú, kým spoľahlivo nepriraďuje pravdepodobnosti tokenom (a tým aj nedokončuje text).

Predstavte si napríklad, že sa AI modelu opýtate: „Čo hovorí náš firemný refund policy pre rok 2026?“ LLM dokáže iba predpovedať ďalšie tokeny na základe svojich existujúcich parametrov, ktoré neboli doladené pomocou vašej podpornej dokumentácie. Ak sa ho opýtate bez akéhokoľvek dodatočného kontextu, jednoducho nebude schopný odpovedať zmysluplne alebo si vymyslí nesprávnu odpoveď.

Čo je generovanie obohatené o vyhľadávanie (RAG)?

RAG (generovanie obohatené o vyhľadávanie) je proces, pri ktorom sa informácie z externých systémov zahrnú do promptu LLM.

Podkladový proces LLM, zahŕňajúci embedding a pravdepodobnostné párovanie tokenov, zostáva rovnaký. RAG zavádza predbežný krok, v ktorom sa používateľský prompt rozšíri o dodatočné údaje.

Tu je prehľad toho, ako RAG funguje:

1. Príprava znalostí: Pripraví sa zdroj znalostí. Môže ísť o súbor dokumentov, vektorovú databázu, znalostný graf alebo živý index (napríklad pre AI vyhľadávanie).
2. Promptovanie: Používateľ zadá prompt, napríklad: „Mám ísť dnes na prechádzku v Londýne?“
3. Vyhľadávanie: Zdroj externých informácií je dopytovaný vyhľadávačom AI nástroja. Môže prompt zakódovať do embeddingu, čím ho premení na vektor, a potom dotazovať vektorovú databázu. Prípadne môže použiť inú metódu, napríklad volanie API, porovnávanie kľúčových slov alebo prechádzanie znalostného grafu.
4. Vloženie: Tieto informácie sa pridajú do pôvodného promptu používateľa. V príklade s otázkou o prechádzke v Londýne by to mohlo zahŕňať informácie o počasí v Londýne a aktuálnu dostupnosť populárnych trás na prechádzky.
5. Generovanie odpovede: LLM vygeneruje odpoveď bežným spôsobom pomocou rozšíreného promptu.

V zákulisí sa získaný text pridá do vstupného kontextu, tokenizuje sa a zakóduje do embeddingu. Model potom spracuje tento dodatočný kontext cez svoj dekóder, čím sa zmenia pravdepodobnosti výstupných tokenov.

Vo všeobecnosti možno RAG rozdeliť na tri podtypy. Naivný RAG sleduje základný proces RAG, pri ktorom získava informácie a vkladá ich do promptu. Pokročilý RAG pridáva ďalšie funkcie, ako je prepisovanie dotazov a viacnásobné prechody dotazu. Modulárny RAG označuje typ architektúry, v ktorej možno rôzne pokročilé funkcie považovať za komponenty a podľa potreby ich kombinovať.

RAG vs. LLM: Prehľad prípadov použitia

RAG poskytuje používateľom prístup k aktuálnym údajom. Výsledkom sú výstupy LLM, pri ktorých je menšia pravdepodobnosť halucinácií a informačných medzier. Ak potrebujete vidieť zdroje informácií použitých vo výstupe, RAG je zároveň nevyhnutný, pretože neukotvené odpovede LLM sa neuvádzajú s atribúciami.

Zväčšiť

Prípady použitia RAG

• Požiadavky na časovo citlivé informácie: Akékoľvek otázky týkajúce sa informácií, ktoré rýchlo zastarávajú, či už ide o niečo také jednoduché, ako je predpoveď počasia, alebo také zložité, ako je podrobná analýza vznikajúcej spravodajskej udalosti, musia vychádzať z overených zdrojov tretích strán.
• Firemná dokumentácia: Interné alebo zákaznícky orientované AI chatboty, v ktorých používatelia kladú otázky týkajúce sa firemnej alebo produktovej dokumentácie, by mali byť podporované RAG, najmä ak sa dokumentácia často aktualizuje.
• Zákaznícka podpora: Chatboti pre zákazníkov potrebujú prístup k aktuálnej, podrobnej podpornej dokumentácii, aby mohli poskytovať presné odpovede.
• Špecializované oblasti (medicína, právo, financie atď.): LLM, ktoré neboli trénované na korpusoch špecifických pre danú oblasť (najmä mainstreamové modely), zvyčajne majú problém s nuansami špecializovaných promptov.

Prípady použitia LLM

• Administratívne úlohy: LLM dokážu splniť základné úlohy s minimálnou latenciou. RAG je pri základnom písaní a administratívnych úlohách, ako je kontrola pravopisu alebo sumarizácia, kde sa nevyžadujú externé informácie, zbytočný.
• Kreatívne úlohy: Niektoré kreatívne úlohy, ako je generovanie krátkeho príbehu alebo obrázka, potrebujú len informácie poskytnuté v pôvodnom promte.
• Úlohy uvažovania a práce s údajmi: Ak pracujete s veľkým súborom údajov, LLM nepotrebuje prístup k externým informáciám na uplatňovanie funkcií uvažovania a analýzy.
• Všeobecné programovanie: Hoci pracovný postup programovania môže vyžadovať prístup k súkromnému kódovému základu alebo dokumentácii, LLM sú veľmi schopné pri vykonávaní všeobecných programátorských úloh, ako je opravovanie chýb a vytváranie funkcií, bez potreby externých zdrojov.

RAG vs. LLM s dlhým kontextom, agentická AI a ukotvenie

Existujú tri súvisiace koncepty, ktoré sú relevantné pre odlíšenie RAG od LLM. Sú to LLM s dlhým kontextom, agentická AI a ukotvenie.

LLM s dlhým kontextom sa niekedy môžu použiť namiesto systémov s podporou RAG, zatiaľ čo agentická AI a ukotvenie sú synonymické s nimi alebo s nimi pracujú súbežne.

LLM s dlhým kontextom

Ide o modely s veľkými kontextovými oknami, pričom niektoré široko dostupné komerčné modely pracujú až s jedným miliónom tokenov.

Ak sa relevantný materiál zmestí do kontextového okna modelu a je dostupný v textovom formáte, pri použití prístupu iba s LLM existujú určité výhody. Môže sa znížiť pravdepodobnosť chýb pri vyhľadávaní, poskytnúť komplexnejší kontext a odstrániť potrebu rozsiahleho nastavenia architektúry RAG.

Agentická AI

Agent je systém, ktorý využíva viacero nástrojov vrátane možností RAG na vykonávanie zložitých úloh. RAG je jednou zo súčastí agentickej AI a agent často používa rôzne typy metód vyhľadávania (napr. webové vyhľadávanie vs. vektorové vyhľadávanie) v závislosti od obsahu promptu.

Ukotvenie

Ukotvenie označuje širší proces používania dôkazov alebo údajov na zlepšenie presnosti odpovede LLM alebo jej ukotvenie. RAG je jednou z foriem ukotvenia, ale za ukotvenie by sa považovalo aj pridanie technického dokumentu do kontextového okna.

RAG vs. LLM: Príklady z reálneho sveta

Aby sme lepšie pochopili, ako RAG funguje v porovnaní s používaním LLM bez RAG, môžeme sa pozrieť na jednoduchý reálny príklad s Perplexity a hypotetický podnikový prípad, v ktorom sa konzultuje vektorová databáza.

RAG vs. LLM s jednoduchým promptom

Tu je výstup (obmedzený na dve vety), keď sa Perplexity položí otázka „Mám ísť dnes na prechádzku v Londýne?“ s vypnutým AI webovým vyhľadávaním (formou RAG):

Áno — ak je počasie primerane suché a máte čas, prechádzka po Londýne dnes môže byť osviežujúcou zmenou prostredia. Vyberte si trasu popri South Bank, Regent’s Canal alebo cez Hyde Park a pre istotu si vezmite ľahkú nepremokavú bundu.

Porovnajte to s promptom, keď si LLM môže skontrolovať externé zdroje:

Áno, na prechádzku v Londýne je to dobrý deň: predpoveď hlási mierne teploty okolo 19–21 °C, slnečné intervaly a len veľmi nízku šancu na dážď. Pri čiastočne oblačnej oblohe a jemnom vánku sú podmienky príjemné na objavovanie parkov alebo trás popri rieke, ako je South Bank.

Medzi týmito dvoma prístupmi existujú podobnosti, pretože LLM používa rovnaký základný proces hodnotenia tokenov. Druhý príklad však obsahuje podrobné informácie o počasí, čo ho robí oveľa užitočnejším.

RAG vs. LLM s podnikovou vektorovou databázou

Predstavte si, že používateľ položí nasledujúcu otázku chatbotu v aplikácii pre banku: „Kde si môžem stiahnuť svoj najnovší výpis?”

Banka, ktorá spravuje aplikáciu, vytvorila databázu obsahujúcu embeddingy jej aktuálnej produktovej dokumentácie a prepojila ju s RAG potrubím chatbota. Dokumentácia pozostáva približne z 1 000 zdrojových dokumentov, ktoré sú rozdelené na menšie úseky a boli prevedené na vektory na účely vyhľadávania.

Používateľov dotaz sa odošle do modelu embeddingov a aplikácia odošle tento vektor do databázy, ktorá vráti relevantné úseky.

Model embeddingov by dostal takúto požiadavku:

Model embeddingov vráti nasledujúci vektorový embedding:

Vektorová databáza potom dostane takúto požiadavku:

V tomto (značne zjednodušenom) príklade databáza vráti päť úsekov, ktoré sú pre požiadavku používateľa najrelevantnejšie; tieto sa odošlú do aplikácie a zahrnú sa do promptu LLM.

Kedy zvoliť RAG vs. LLM a kedy ich kombinovať

LLM a RAG sú vzájomne sa dopĺňajúce systémy. Otázka „Kedy si mám zvoliť LLM a kedy RAG?“ je preto nesprávne položená. Namiesto toho by ste sa mali pýtať: „Kedy postačuje LLM a kedy je RAG optimálny?“

Kedy používať LLM bez povoleného RAG

• Vami zvolený model AI má veľké kontextové okno: Ak je jednoduchšie zahrnúť do promptu všetky informácie alebo údaje potrebné na presnú odpoveď, napríklad nahraním dokumentu, môže to znížiť latenciu a zabrániť problémom súvisiacim s vyhľadávaním.
• Pracovné postupy uvažovania a analýzy údajov: Pracovné postupy analýzy a uvažovania, ktoré odkazujú len na údaje poskytnuté v promte, nepotrebujú možnosti RAG.
• Generovanie kódu: RAG sa zvyčajne pri všeobecnom programovaní nepotrebuje, hoci sa spravidla používa pri úlohách špecifických pre projekt, napríklad pri vyhľadávaní predchádzajúcich opráv alebo dodávateľských API a dokumentácie.

Kedy používať LLM s povoleným RAG

• Vyžadujete prístup k aktuálnym informáciám: Ak AI aplikácia potrebuje pristupovať k externým zdrojom aktuálnych informácií, aby vytvorila presnú odpoveď, vždy zabezpečte, aby boli možnosti RAG povolené.
• Pracujete v špecializovanej oblasti: V oblastiach, ako sú medicína, právo, vzdelávanie a podobne, kde sú dôležité presnosť, detail a kontrola zdrojov, bude použitie iba LLM často nedostatočné.
• Výstupy by mali odkazovať na interné firemné súbory: Ak používate AI, či už interne alebo v zákaznícky orientovanej aplikácii, na generovanie obsahu na základe interných firemných dokumentov, či už údajov, brand kitu, dokumentácie alebo súborov, RAG poskytuje prístup k týmto informáciám.

RAG a LLM sú vzájomne sa dopĺňajúce, vyvíjajúce sa technológie

RAG znamenal v evolúcii AI veľkú inováciu. Rieši tri hlavné problémy: zastarané informácie, obmedzenú pamäť modelu a informačné medzery spôsobené nedostatkom relevantných tréningových dát, čo často viedlo k halucináciám. Samozrejme, LLM tieto problémy úplne neprekonali, no s príchodom RAG sa ich výskyt výrazne znížil.

RAG nie je statická technológia. Očakáva sa, že sa zlepší v mnohých oblastiach, vrátane rerankingu, latencie pri vyhľadávaní a spotreby tokenov, bezpečnostných obrán proti nebezpečným zdrojom údajov, integrácie získaných údajov z viacerých zdrojov a ďalších. Keďže sa LLM a agentická AI naďalej vyvíjajú, budú sa vyvíjať aj systémy RAG, ktoré ich podporujú.