9 exemple RAG bazate pe cazuri de utilizare și arhitecturi reale

RAG este utilizat pe scară largă atât în contexte de consum, cât și corporative. Exemple reale și cotidiene de RAG includ căutarea pe web, asistența pentru clienți și cumpărăturile bazate pe IA. Accesul la cunoștințele interne și asistența pentru programare se numără printre cele mai importante exemple de business.

Arhitectura RAG poate varia, de asemenea, în funcție de cazurile de utilizare. Două dintre cele mai comune implementări sunt RAG hibrid, care combină potrivirea tradițională a cuvintelor cheie cu căutarea în vectori sau în grafuri de cunoștințe, și RAG bazat pe agent, în care un LLM dirijează procesul de regăsire.

Ce este generarea augmentată prin regăsire (RAG)?

RAG, sau generarea augmentată prin regăsire, permite aplicațiilor de IA să acceseze informații stocate în sisteme externe pentru a completa răspunsurile generate de LLM.

Este o tehnologie puternică deoarece abordează trei probleme majore ale IA generative: halucinațiile, informațiile depășite și lipsa accesului la date care nu sunt incluse în contextul de intrare.

Iată cum arată un proces RAG de bază:

1. Utilizatorul introduce un prompt în limbaj natural.
2. Aplicația de IA determină dacă este necesară fundamentarea, uneori cu implicarea unui LLM.
3. O solicitare este trimisă către o sursă de informații externă, cum ar fi o bază de date.
4. Informațiile regăsite sunt adăugate în contextul de intrare al LLM-ului.
5. LLM-ul generează un răspuns pe baza promptului augmentat.

Deși pot varia în ceea ce privește implementarea specifică, these pași reprezintă un flux de lucru RAG tipic. Diferențele dintre diferitele tipuri de arhitectură tind să se concentreze pe modul în care solicitările sunt gestionate de aplicația client și pe natura informațiilor care sunt regăsite.

O prezentare generală a arhitecturii RAG

Termenul „generare augmentată prin regăsire” a apărut pentru prima dată într-o lucrare din 2020 numită Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, publicată de cercetători de la Meta AI (pe atunci Facebook AI Research) împreună cu colaboratori de la University College London și New York University.

Abordările timpurii de tip regăsire-apoi-generare, denumite colocvial „RAG naiv”, au evoluat de atunci într-un sortiment de diferite tipuri de arhitectură, multe dintre ele suprapunându-se.

RAG naiv

RAG-ul naiv utilizează un flux simplu de regăsire și generare, care este în continuare adecvat pentru multe cereri de bază. Cel mai comun exemplu de RAG naiv este conversia unei interogări într-o listă ordonată de numere numită înglobare vectorială sau, simplu, un vector. Înglobarea interogării este apoi comparată cu alți vectori care reprezintă fragmente, porțiuni de conținut dintr-o bază de date sau index (numit index semantic).

RAG avansat

RAG-ul avansat optimizează etapele de dinainte și de după regăsire. Tehnicile includ extinderea interogărilor, filtrarea metadatelor și compresia contextului. Acestea îmbunătățesc în esență relevanța informațiilor care sunt regăsite și modul în care sunt modificate înainte de a fi adăugate în contextul de intrare al unui LLM.

RAG bazat pe agent

RAG-ul bazat pe agent este execuția fluxurilor de lucru RAG de către un agent bazat pe LLM. Agentul „decide” ce instrumente sunt cele mai potrivite pentru un anumit prompt și dirijează regăsirea, uneori într-o buclă, pentru a genera un răspuns relevant.

RAG pe bază de graf

RAG-ul pe bază de graf regăsește informații dintr-un graf de cunoștințe, care reprezintă entități (cum ar fi obiecte, concepte și evenimente) și relațiile dintre ele. Acest lucru este util atunci când un răspuns la un prompt necesită ca LLM-ul să combine informații despre entități distincte.

RAG multimodal

RAG-ul multimodal extinde regăsirea la conținut precum imagini și audio atât în timpul interogării, cât și al regăsirii. Aceste fluxuri de lucru RAG utilizează encodere speciale pentru a converti textul, imaginile sau conținutul audio în înglobări.

RAG hibrid

RAG-ul hibrid combină căutarea de cuvinte cheie, sau regăsirea lexicală, cu regăsirea vectorială sau grafurile de cunoștințe și fuzionează rezultatele. Acest lucru este util deoarece potrivirea cuvintelor cheie poate fi extrem de precisă (mai mult decât alte metode) în anumite contexte.

RAG corectiv

RAG-ul corectiv evaluează informațiile sau datele returnate în funcție de relevanța pentru interogare. Poate rafina sau suplimenta pasajele regăsite sau le poate înlocui în totalitate prin executarea unei alte solicitări.

Exemple de RAG în funcție de cazul de utilizare și de aplicația din industrie

Există multiple exemple de RAG atât în mediul de consum, cât și în cel de business. Acest lucru se datorează în mare parte faptului că fluxurile de lucru RAG au fost integrate în majoritatea instrumentelor mainstream. În plus, mulți furnizori oferă integrări gata de utilizat, cum ar fi pentru chatboturile de servicii pentru clienți, ceea ce a facilitat adoptarea.

1. Căutare pe web

Căutarea pe web este unul dintre cele mai răspândite exemple de RAG. În fiecare zi, milioane de oameni folosesc instrumente de IA pentru a genera răspunsuri fundamentate pe informații regăsite de pe web.

Cum funcționează: Aplicația de IA caută într-un index web, cum ar fi indexul Google Search, utilizând regăsirea bazată pe cuvinte cheie și pe semantică. Conținutul relevant al paginii este inclus alături de întrebarea utilizatorului în datele de intrare ale LLM-ului. LLM-ul generează apoi un răspuns, de obicei cu citări ale surselor.

Exemplu din lumea reală: Dacă un utilizator introduce o interogare simplă în interfața de chat a Perplexity, cum ar fi „Care este vremea în Chicago?”, LLM-ul va efectua o căutare pe web pentru a găsi informații actualizate. Perplexity utilizează un index web proprietar împreună cu API-uri de căutare partenere.

Extinde

2. Asistență clienți

Chatboturile integrate în aplicații și pe site-uri web au devenit un caz de utilizare enterprise major pentru RAG. Aceste sisteme se cuplează de obicei cu trasee de rutare tradiționale, reducând nevoia de intervenție din partea reprezentanților de suport.

Cum funcționează: Atunci când un client pune o întrebare, aplicația caută în baza de cunoștințe a companiei, utilizând adesea un flux de lucru hibrid. Pasajele regăsite sunt furnizate LLM-ului, care generează un răspuns. De asemenea, sunt implicate de obicei procese corective și de predare pentru a valida răspunsul și, dacă este necesar, pentru a-l direcționa către un reprezentant.

Exemplu din lumea reală: Diverse platforme de servicii pentru clienți, inclusiv Zendesk (ilustrat mai jos) și Intercom, oferă chatboturi de asistență pentru clienți gata de utilizat care se integrează cu documentația existentă și bazele de asistență pentru clienți.

Extinde

3. Asistenți personali

Asistenții personali utilizează RAG bazat pe agent pentru a accesa e-mailurile, fișierele și calendarul unui utilizator. Acești asistenți pot executa de obicei mai multe fluxuri de lucru RAG.

Cum funcționează: Deoarece asistenții personali necesită adesea acces la mai multe surse de informații, ei folosesc o combinație de API-uri, căutare de cuvinte cheie, căutare vectorială și grafuri de cunoștințe. Diferite descrieri de instrumente sunt trimise de aplicație către LLM, care le selectează apoi pe cele mai potrivite.

Exemplu din lumea reală: Google Gemini servește drept un bun exemplu de aplicație care poate acționa ca un asistent de IA cu scop general și personal (cum este cazul majorității asistenților în prezent). Se integrează cu un ecosistem de instrumente, cum ar fi Gmail, Docs, Photos și Calendar.

Extinde

4. Gestionarea cunoștințelor în Enterprise

Gestionarea cunoștințelor în Enterprise le permite angajaților să adreseze întrebări dintr-un volum mare de informații ale companiei, inclusiv politici, rapoarte, documente de proiect, texte juridice și chiar discuții interne.

Cum funcționează: Aplicația preia conținut relevant folosind un index vectorial care este actualizat pe măsură ce documentele sursă se modifică. Indexul conține înglobări care reprezintă fragmente de documente, cu linkuri către textul lor și metadatele asociate.

Exemplu din lumea reală: Microsoft 365 Copilot accesează informațiile organizaționale prin Microsoft Graph, care expune diverse API-uri pentru surse de date, și utilizează indexuri lexicale și semantice pentru a prelua conținut relevant.

Extinde

5. Asistenți de programare

Asistenții de programare aplică RAG asupra unei baze de cod. Deși procesul RAG subiacent este același (de obicei RAG bazat pe agent), diferența constă în faptul că aceștia lucrează în mod specific cu contextul de cod.

Cum funcționează: Asistenții de programare indexează fișierele de proiect locale și efectuează treceri de căutare multiplă pentru a găsi fragmente de cod relevante atunci când li se solicită. Acești asistenți au de asemenea, de obicei, conectori dedicați pentru extinderea accesului, cum ar fi la bazele de cunoștințe corporative.

Exemplu din lumea reală: GitHub Copilot este un exemplu binecunoscut de asistent de programare care se integrează direct cu proiectele de dezvoltare. De asemenea, poate face referire la depozite GitHub publice pentru a crește acuratețea răspunsurilor.

Extinde

6. Depanare tehnică

Depanarea tehnică integrează un flux de lucru RAG de gestionare a cunoștințelor cu o buclă de diagnosticare. Un agent poate evalua rezultatele pentru a rafina în continuare recomandările de depanare, după cum este necesar.

Cum funcționează: O aplicație colectă simptomele unei probleme tehnice de la utilizator sau primește alerte de monitorizare automate. Aceasta declanșază o căutare a mesajelor de eroare, a jurnalelor tehnice și a valorilor de performanță pentru a verifica încrucișat simptomele. Apoi preia informațiile relevante dintr-o bază de cunoștințe internă pentru a le transmite către LLM. Bucla de diagnosticare are loc atunci când rezultatele unei încercări de remediere sunt reintroduse în LLM, fie de la utilizator, fie de la un instrument de diagnosticare.

Exemplu din lumea reală: Platforma de observabilitate Datadog (ilustrată mai jos) colectează date din toate straturile unui sistem, semnalând orice problemă pe măsură ce apare. Acestea sunt apoi introduse într-un agent de IA specializat numit Bits AI pentru a depana potențiale remedieri.

Extinde

7. Comerț bazat pe agenți

Comerțul bazat pe agenți este un caz de utilizare mai larg care implică de obicei RAG. Un agent de cumpărături preia detalii precum specificațiile produselor, recenzii, prețuri și disponibilitate pentru a compara opțiunile și a explica recomandările. Poate apoi să efectueze automat achiziția fără ca utilizatorul să părăsească interfața.

Cum funcționează: Comerțul bazat pe agenți este un RAG adevărat bazat pe agenți, deoarece interogările particulare necesită adesea diferite forme de regăsire, pe care modelul le dirijează. Un agent poate prelua date despre produse care conțin doar text prin intermediul API-ului unui comerciant, sau poate utiliza RAG multimodal pentru a potrivi produse într-un index semantic pe baza unei fotografii a utilizatorului.

Exemplu din lumea reală: Un agent cu scop general precum Perplexity poate prelua mai multe imagini și specificații detaliate ale produselor pe baza unui prompt. Funcția de finalizare a comenzii Instant Buy îi permite utilizatorului să finalizeze achiziția după ce a selectat un produs.

Extinde

8. Domenii specializate de cunoștințe

Instrumentele de IA care preiau cunoștințe dintr-un domeniu specializat trebuie să gestioneze formate de conținut complexe. În plus, minimizarea halucinațiilor și a lacunelor de informații este adesea o prioritate.

Cum funcționează: Diferența cheie dintre arhitecturile RAG cu scop general și cele specializate se referă la materialul sursă și la configurația de regăsire. De obicei, va fi interogat doar un index cu o autoritate ridicată, iar solicitarea va fi configurată să includă o terminologie specifică pentru a restrânge căutările.

Exemplu din lumea reală: Instrumentul de cercetare academică Scite accesează un index mare de lucrări academice și date de citare care a fost construit prin acorduri cu editori și surse cu acces deschis. De asemenea, aplică verificări post-regăsire, cum ar fi verificarea surselor, înainte de a genera un răspuns complet.

Extinde

9. Analiza datelor

RAG-ul pentru analiza datelor a devenit un caz de utilizare enterprise deosebit de puternic, deoarece permite unei game largi de profesioniști, în special celor fără formare în știința datelor, să interogheze seturi de date folosind limbajul natural. Acest lucru facilitează generarea de rapoarte și adresarea de întrebări foarte specifice.

Cum funcționează: Pentru o întrebare de tipul „De ce au scăzut vânzările în ultimul trimestru?”, aplicația ar putea interoga înregistrările de vânzări și ar putea prelua note despre stocurile epuizate sau modificările de preț. LLM-ul selectează calculul adecvat (care este de obicei delegat unui instrument de calcul) pentru datele preluate înainte de a genera o analiză.

Exemplu din lumea reală: Google Analytics oferă un chatbot AI „Ask Advisor” care poate accesa datele de analitice web și poate răspunde la întrebări foarte specifice și nuanțate din partea utilizatorilor. Este unul dintre cele mai bune exemple din lumea reală de RAG în sistem închis, de nivel enterprise.

Extinde

Ce urmează în evoluția RAG?

RAG a fost o dezvoltare semnificativă atunci când a fost introdus pentru prima dată. A contribuit la abordarea multor probleme inerente modelelor LLM independente.

Cu toate acestea, este departe de a fi o tehnologie statică. Cercetarea actuală este concentrată pe regăsirea multimodală mai profundă și pe o procesare mai riguroasă a contextului preluat pentru a asigura acuratețea și corectitudinea. În plus, este probabil să vedem o integrare mai mare a RAG în agenții cu instrumente multiple.

Chiar și cu ferestre de context extrem de mari, există cazuri de utilizare importante pentru RAG atât în contexte personale, cât și profesionale, și multe inovații care urmează să apară.