RAG vs. LLM: Analiză tehnică (definiții, diferențe, cazuri de utilizare)

LLM-urile generează răspunsuri folosind parametri învățați din tiparele din datele lor de antrenare. Deoarece acești parametri pot să nu reflecte informații recente sau complete, RAG, care înseamnă generare augmentată prin recuperare, completează procesul adăugând date din surse externe la contextul de intrare al LLM-ului. Un instrument AI recuperează informații din exterior pentru a augmenta procesul de generare al LLM-ului.

În realitate, alegerea nu este între RAG sau un LLM. Este între o abordare hibridă și una care folosește doar un LLM.

RAG este necesar atunci când un LLM are nevoie de acces la documentația companiei, baze de date sau informații care se schimbă rapid. O abordare exclusiv bazată pe LLM este potrivită pentru anumite sarcini administrative, de procesare a datelor și de creare de conținut, în care toate intrările pot fi furnizate de utilizator.

RAG vs. LLM: Care sunt diferențele cheie?

• RAG și LLM-urile sunt sisteme complementare. Puteți folosi un model AI fără RAG (caz în care se bazează exclusiv pe parametrii săi existenți), dar nu puteți folosi un sistem RAG fără un model.
• RAG a fost introdus pentru a depăși trei probleme cheie ale LLM-urilor: informații învechite, răspunsuri halucinate și lipsa verificării față de surse terțe.
• RAG face AI-ul mult mai eficient în situațiile reale de business, deoarece conectează LLM-urile cu documentație internă verificată, baze de date și endpoint-uri API.
• Printre principalele cazuri de utilizare RAG se numără chatboții pentru suport clienți, interogările bazate pe date care se schimbă rapid (cum ar fi știrile din industrie) și domeniile specializate, precum medicina și dreptul, unde acuratețea și verificarea surselor sunt importante.
• Există trei tipuri principale de RAG: RAG naiv, RAG modular și RAG avansat. RAG naiv este cel mai bine înțeles ca recuperare directă de informații, în timp ce RAG modular și avansat adaugă funcționalități suplimentare, cum ar fi rescrierea interogărilor și optimizarea fragmentelor.

Ce este un model lingvistic de mari dimensiuni (LLM)?

Un LLM, sau model lingvistic de mari dimensiuni, este un sistem care generează conținut folosind parametri ajustați fin. Acești parametri determină probabilitățile atribuite tuturor tokenurilor din vocabularul unui LLM, indicând ce token are cele mai mari șanse să urmeze într-o anumită secvență.

Pentru a înțelege mai bine cum funcționează RAG (și în ce se deosebește de) LLM-urile, este util să ne uităm la modul în care funcționează AI-ul generativ la un nivel de bază:

1. Tokenizare: Promptul unui utilizator este împărțit în tokenuri, care pot fi cuvinte, părți de cuvinte sau caractere individuale.
2. Încorporare: Tokenurile sunt convertite în încorporări, reprezentări numerice (șiruri de numere) numite vectori, pe care rețeaua neuronală, care include un decodor, le poate procesa.
3. Decodare: Straturile decodorului (care alcătuiesc o mare parte din rețeaua neuronală a LLM-ului) manipulează acești vectori, folosind un proces numit atenție pentru a capta sensul. Acest proces determină cât de puternic ar trebui să se raporteze fiecare token la celelalte tokenuri din secvență.
4. Scorare: Modelul atribuie o probabilitate de compatibilitate fiecărui token din vocabularul său preexistent și selectează un token probabil pentru a urma în secvență.

Ideea importantă este că un LLM poate produce rezultate doar pe baza parametrilor săi existenți și a tokenurilor din fereastra sa de context. În timpul antrenării, unui LLM i se solicită de miliarde de ori să completeze porțiuni de text incomplet, iar parametrii săi sunt ajustați până când atribuie fiabil probabilități tokenurilor (și astfel completează textul).

Imaginați-vă, de exemplu, că întrebați un model AI: „Ce spune politica de rambursare a companiei noastre pentru 2026?” LLM-ul poate doar să prezică tokenurile următoare pe baza parametrilor săi existenți, care nu au fost ajustați fin folosind documentația dvs. de suport. Dacă îi puneți această întrebare fără niciun context suplimentar, pur și simplu nu va putea răspunde într-un mod semnificativ sau va halucina un răspuns incorect.

Ce este generarea augmentată prin recuperare (RAG)?

RAG (generare augmentată prin recuperare) este procesul prin care informațiile din sisteme externe sunt incluse într-un prompt LLM.

Procesul LLM de bază, care implică încorporarea și potrivirea probabilistică a tokenurilor, rămâne același. RAG introduce o etapă preliminară în care promptul utilizatorului este extins cu date suplimentare.

Iată o prezentare generală a modului în care funcționează RAG:

1. Pregătirea cunoștințelor: Este pregătită o sursă de cunoștințe. Aceasta poate fi un set de documente, o bază de date vectorială, un graf de cunoștințe sau un index live (cum ar fi pentru AI search).
2. Promptare: Un utilizator introduce un prompt, cum ar fi „Ar trebui să ies la o plimbare în Londra azi?”
3. Recuperare: Sursa externă de informații este interogată de recuperatorul instrumentului AI. Acesta poate încorpora promptul, transformându-l într-un vector, și apoi poate interoga o bază de date vectorială. Alternativ, poate folosi o metodă alternativă, cum ar fi un apel API, potrivirea după cuvinte-cheie sau parcurgerea unui grafic de cunoștințe.
4. Inserare: Aceste informații sunt adăugate la promptul original al utilizatorului. În exemplul întrebării despre plimbarea în Londra, aceasta ar putea include informații meteo despre Londra și disponibilitatea actuală a rutelor populare de plimbare.
5. Generarea răspunsurilor: LLM-ul generează un răspuns în modul obișnuit, folosind promptul extins.

În culise, textul recuperat este adăugat la contextul de intrare, tokenizat și încorporat. Modelul procesează apoi acel context suplimentar prin decodorul său, ceea ce modifică probabilitățile tokenurilor de ieșire.

În linii mari, RAG poate fi împărțit în trei subtipuri. RAG naiv urmează procesul de bază RAG, recuperând informații și introducându-le în prompt. RAG avansat adaugă funcții suplimentare precum rescrierea interogărilor și mai multe treceri de interogare. RAG modular se referă la un tip de arhitectură în care diferite funcționalități avansate pot fi tratate ca componente și combinate după nevoie.

RAG vs. LLM: Prezentare generală a cazurilor de utilizare

RAG oferă utilizatorilor acces la date actualizate. Acest lucru are ca rezultat ieșiri LLM mai puțin predispuse la halucinații și lacune informaționale. Dacă trebuie să vedeți sursele informațiilor folosite într-o ieșire, RAG este de asemenea esențial, deoarece răspunsurile LLM nefundamentate nu includ atribuiri.

Extinde

Cazuri de utilizare RAG

• Solicitări de informații sensibile la timp: Orice interogare privind informații care devin rapid învechite, ceea ce poate fi ceva la fel de simplu ca prognoza meteo sau la fel de complex ca o analiză detaliată a unei știri de ultimă oră, trebuie să se bazeze pe surse terțe validate.
• Documentație internă: Chatboții AI interni sau destinați clienților, în care utilizatorii pun întrebări legate de documentația companiei sau a produsului, ar trebui să fie activați cu RAG, mai ales dacă documentația este actualizată frecvent.
• Suport pentru clienți: Chatboții pentru clienți au nevoie de acces la documentație de suport actuală și detaliată pentru a oferi răspunsuri corecte.
• Domenii specializate (medicină, drept, finanțe etc.): LLM-urile care nu au fost antrenate pe corpuri specifice domeniului (în special modelele mainstream) au de obicei dificultăți în a surprinde nuanțele prompturilor specializate.

Cazuri de utilizare LLM

• Sarcini administrative: LLM-urile pot finaliza sarcini de bază cu o latență minimă. RAG este inutil pentru sarcinile de scriere de bază și administrative, cum ar fi verificarea ortografică sau sumarizarea, unde nu sunt necesare informații externe.
• Sarcini creative: Unele sarcini creative, cum ar fi generarea unei povestiri scurte sau a unei imagini, au nevoie doar de informațiile furnizate în promptul original.
• Raționament și sarcini bazate pe date: Dacă lucrați cu un set mare de date, un LLM nu are nevoie de acces la informații externe pentru a aplica funcții de raționament și analiză.
• Programare generală: Deși un flux de lucru de programare poate necesita acces la o bază de cod privată sau la documentație, LLM-urile sunt foarte capabile să execute sarcini generale de programare, cum ar fi remedierea erorilor și crearea de funcții, fără a recurge la surse externe.

RAG vs. LLM cu context lung, AI agentic și fundamentare

Există trei concepte conexe care sunt relevante pentru distincția dintre RAG și LLM-uri. Acestea sunt LLM-urile cu context lung, AI-ul agentic și fundamentarea.

LLM-urile cu context lung pot fi folosite uneori în locul sistemelor activate cu RAG, iar AI-ul agentic și fundamentarea sunt sinonime cu acestea sau funcționează alături de ele.

LLM-uri cu context lung

Acestea sunt modele cu ferestre de context mari, unele modele comerciale disponibile pe scară largă ajungând până la un milion de tokenuri.

Dacă materialul relevant poate încăpea în fereastra de context a unui model și este disponibil într-un format text, există unele avantaje în folosirea unei abordări exclusiv bazate pe LLM. Poate reduce șansa erorilor de recuperare, poate oferi un context mai complet și elimină nevoia unei configurări extinse a arhitecturii RAG.

AI agentic

Un agent este un sistem care utilizează mai multe instrumente, inclusiv capabilități RAG, pentru a îndeplini sarcini complexe. RAG este o componentă a AI-ului agentic, iar un agent va folosi adesea diferite tipuri de metode de recuperare (de exemplu, căutare pe web vs. căutare vectorială) în funcție de conținutul unui prompt.

Fundamentare

Fundamentarea se referă la procesul mai larg de utilizare a dovezilor sau a datelor pentru a îmbunătăți acuratețea răspunsului unui LLM sau pentru a-l ancora. RAG este o formă de fundamentare, dar adăugarea unui document tehnic într-o fereastră de context ar conta, de asemenea, ca fundamentare.

RAG vs. LLM: exemple din lumea reală

Pentru a înțelege mai bine cum funcționează RAG în comparație cu utilizarea LLM fără RAG, putem analiza un exemplu simplu din lumea reală, folosind Perplexity și un caz ipotetic de enterprise în care este consultată o bază de date vectorială.

RAG vs. LLM cu un prompt simplu

Iată rezultatul (limitat la două propoziții) atunci când Perplexity este întrebat: „Ar trebui să ies la o plimbare în Londra azi?” cu căutarea web AI (o formă de RAG) dezactivată:

Da—dacă vremea este suficient de uscată și aveți timp, o plimbare prin Londra azi ar putea fi o schimbare revigorantă de peisaj. Alegeți un traseu de-a lungul South Bank, Regent’s Canal sau prin Hyde Park și luați cu voi un impermeabil ușor, pentru orice eventualitate.

Comparați acest lucru cu promptul atunci când LLM-ul poate verifica surse externe:

Da, este o zi bună pentru o plimbare în Londra: prognoza anunță temperaturi blânde în jur de 19–21°C, cu intervale însorite și doar o șansă foarte mică de ploaie. Cu cer parțial noros și o briză ușoară, condițiile sunt confortabile pentru a explora parcuri sau trasee de-a lungul apei, precum South Bank.

Există asemănări între cele două, deoarece LLM-ul folosește același proces subiacent de notare a tokenurilor. Totuși, al doilea exemplu include informații meteo detaliate, ceea ce îl face mult mai util.

RAG vs. LLM cu o bază de date vectorială enterprise

Imaginați-vă că un utilizator pune următoarea întrebare unui chatbot din aplicație pentru o aplicație bancară: „De unde pot descărca cea mai recentă extragere de cont?”

Banca ce administrează aplicația a creat o bază de date care conține încorporări ale documentației sale actualizate de produs și a conectat-o la fluxul RAG al chatbotului. Documentația constă în aproximativ 1.000 de documente sursă, care sunt împărțite în fragmente mai mici și au fost convertite în vectori pentru recuperare.

Interogarea utilizatorului este trimisă unui model de încorporare, iar aplicația trimite acel vector către baza de date, care returnează fragmentele relevante.

Modelul de încorporare ar primi o solicitare de genul acesta:

Modelul de încorporare returnează următorul vector de încorporare:

Baza de date vectorială primește apoi o solicitare de tipul următor:

În acest exemplu (mult simplificat), baza de date returnează cele mai relevante cinci fragmente pentru interogarea utilizatorului, care sunt trimise către aplicație și incluse în promptul LLM-ului.

Când să alegeți RAG vs. un LLM și când să le combinați

LLM-urile și RAG sunt sisteme complementare. Ca atare, întrebarea „Când ar trebui să aleg un LLM și când RAG?” este formulată greșit. Mai degrabă, ar trebui să întrebați: „Când este suficient un LLM și când este RAG optim?”

Când să folosiți un LLM fără RAG activat

• Modelul AI ales de dvs. are o fereastră de context mare: Dacă este mai ușor să includeți în prompt toate informațiile sau datele necesare pentru un răspuns corect, de exemplu prin încărcarea unui document, acest lucru poate reduce latența și poate preveni problemele legate de recuperare.
• Fluxuri de lucru de raționament și analiză a datelor: Fluxurile de lucru de analiză și raționament care fac referire doar la datele furnizate într-un prompt nu au nevoie de capabilități RAG.
• Generare de cod: RAG nu este, de obicei, necesar pentru programarea generală, deși este folosit în mod obișnuit pentru sarcini specifice proiectului, cum ar fi recuperarea remedierilor anterioare sau a API-urilor și documentației furnizorilor.

Când să folosiți un LLM cu RAG activat

• Aveți nevoie de acces la informații actualizate: Dacă o aplicație AI trebuie să acceseze surse externe de informații actualizate pentru a genera un răspuns corect, asigurați-vă întotdeauna că funcțiile RAG sunt activate.
• Lucrați într-un domeniu specializat: Pentru domenii precum medicina, dreptul, educația și așa mai departe, unde acuratețea, detaliile și verificarea surselor sunt importante, utilizarea exclusivă a LLM-ului va fi adesea insuficientă.
• Rezultatele ar trebui să facă referire la fișiere interne ale companiei: Dacă folosiți AI, fie intern, fie într-o aplicație destinată clienților, pentru a genera conținut bazat pe documente interne ale companiei, fie că este vorba de date, un kit de brand, documentație sau fișiere, RAG oferă acces la acele informații.

RAG și LLM-urile sunt tehnologii complementare, în evoluție

RAG a reprezentat o inovație majoră în evoluția AI-ului. Abordează trei probleme majore: informații învechite, memorie limitată a modelului și lacune informaționale cauzate de lipsa datelor relevante de antrenare, care au dus adesea la halucinații. Desigur, LLM-urile nu au depășit complet aceste probleme, dar incidența lor s-a redus semnificativ odată cu apariția RAG.

RAG nu este o tehnologie statică. Se așteaptă să se îmbunătățească într-o gamă largă de domenii, inclusiv reranking, latența în timpul recuperării și utilizarea de tokenuri, apărarea de securitate împotriva surselor de date periculoase, integrarea datelor recuperate din mai multe surse și altele. Pe măsură ce LLM-urile și AI-ul agentic continuă să evolueze, la fel vor evolua și sistemele RAG care le susțin.