9 esempi di RAG basati su casi d'uso e architetture reali

La RAG è ampiamente utilizzata sia in contesti consumer che aziendali. Esempi reali e quotidiani di RAG includono la ricerca web, l'assistenza clienti e lo shopping abilitato dall'IA. L'accesso alla conoscenza interna e l'assistenza alla programmazione sono tra gli esempi aziendali più importanti.

L'architettura RAG può anche variare a seconda dei casi d'uso. Due delle implementazioni più comuni sono la RAG ibrida, che combina la tradizionale corrispondenza delle parole chiave con la ricerca vettoriale o tramite knowledge graph, e la RAG con agenti, in cui un LLM dirige il processo di recupero.

Che cos'è la generazione aumentata da recupero (RAG)?

La RAG, o generazione aumentata da recupero, consente alle applicazioni di IA di accedere alle informazioni archiviate in sistemi esterni per integrare le risposte generate dagli LLM.

È una tecnologia potente perché risolve tre problemi principali dell'IA generativa: le allucinazioni, le informazioni obsolete e la mancanza di accesso a dati non inclusi nel contesto di input.

Ecco come appare un processo RAG di base:

1. L'utente inserisce un prompt in linguaggio naturale.
2. L'applicazione di IA determina se è richiesto il grounding, a volte con il coinvolgimento di un LLM.
3. Viene inviata una richiesta a una fonte di informazioni esterna, come un database.
4. Le informazioni recuperate vengono aggiunte al contesto di input dell'LLM.
5. L'LLM genera una risposta basata sul prompt aumentato.

Sebbene possano variare nell'implementazione specifica, questi passaggi rappresentano un tipico flusso di lavoro RAG. Le differenze tra i vari tipi di architettura tendono a concentrarsi su come le richieste vengono gestite dall'applicazione client e sulla natura delle informazioni recuperate.

Una panoramica dell'architettura RAG

Il termine "generazione aumentata da recupero" è apparso per la prima volta in un articolo del 2020 intitolato Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, pubblicato da ricercatori di Meta AI (allora Facebook AI Research) insieme a collaboratori dello University College London e della New York University.

I primi approcci di tipo "retrieve-then-generate" (recupera e poi genera), definiti vagamente come "RAG naif", si sono successivamente evoluti in un assortimento di diversi tipi di architettura, molti dei quali si sovrappongono.

RAG naif

La RAG naif utilizza una semplice pipeline di recupero e generazione, che risulta ancora appropriata per molte richieste di base. L'esempio più comune di RAG naif è la conversione di una query in un elenco ordinato di numeri chiamato embedding vettoriale, o semplicemente vettore. L'embedding della query viene quindi abbinato ad altri vettori che rappresentano i chunk, porzioni di contenuto in un database o indice (chiamato indice semantico).

RAG avanzata

La RAG avanzata ottimizza le fasi precedenti e successive al recupero. Le tecniche includono l'espansione delle query, il filtraggio dei metadati e la compressione del contesto. Queste migliorano essenzialmente la pertinenza delle informazioni recuperate e il modo in cui vengono modificate prima di essere aggiunte al contesto di input di un LLM.

RAG con agenti

La RAG con agenti è l'esecuzione di pipeline RAG da parte di un agente basato su LLM. L'agente "decide" quali strumenti sono più adatti per un determinato prompt e dirige il recupero, a volte in un ciclo, per generare una risposta pertinente.

Graph RAG

Graph RAG recupera le informazioni da un knowledge graph, che rappresenta entità (come oggetti, concetti ed eventi) e le relazioni tra di esse. Ciò è utile quando la risposta a un prompt richiede che l'LLM kombini informazioni su entità distinte.

RAG multimodale

La RAG multimodale estende il recupero a contenuti come immagini e audio sia durante la query che durante il recupero. Queste pipeline RAG utilizzano codificatori speciali per convertire testo, immagini o audio in embedding.

RAG ibrida

La RAG ibrida combina la ricerca per parole chiave, o recupero lessicale, con il recupero vettoriale o i knowledge graph e unisce i risultati. Questo è utile perché la corrispondenza delle parole chiave può essere estremamente accurata (più di altri metodi) in determinati contesti.

RAG correttiva

La RAG correttiva valuta le informazioni o i dati restituiti in base alla pertinenza rispetto alla query. Può perfezionare o integrare i passaggi recuperati o sostituirli interamente eseguendo un'altra richiesta.

Esempi di RAG per caso d'uso e applicazione industriale

Esistono molteplici esempi di RAG sia in ambito consumer che aziendale. Ciò è dovuto in gran parte al fatto che le pipeline RAG sono state integrate nella maggior parte degli strumenti tradizionali. Inoltre, molti fornitori offrono integrazioni chiavi in mano, come per i chatbot del servizio clienti, il che ha facilitato l'adozione.

1. Ricerca web

La ricerca web è uno degli esempi più diffusi di RAG. Ogni giorno, milioni di persone utilizzano strumenti di IA per generare risposte basate su informazioni estratte dal web.

Come funziona: L'applicazione di IA effettua ricerche in un indice web, come l'indice di Google Search, utilizzando il recupero basato su parole chiave e semantico. Il contenuto rilevante della pagina viene incluso insieme alla domanda dell'utente nell'input dell'LLM. L'LLM genera quindi una risposta, in genere con citazioni delle fonti.

Esempio reale: Se un utente inserisce una semplice query nell'interfaccia di chat di Perplexity, come "Qual è il tempo a Chicago?", l'LLM effettuerà una ricerca sul web per trovare informazioni aggiornate. Perplexity utilizza un indice web proprietario insieme ad API di ricerca dei partner.

Espandi

2. Assistenza clienti

I chatbot in-app e per siti web sono emersi come uno dei principali casi d'uso aziendali della RAG. Questi sistemi si abbinano solitamente a percorsi di routing tradizionali, riducendo la necessità di intervento da parte dei rappresentanti dell'assistenza.

Come funziona: Quando un cliente pone una domanda, l'applicazione cerca nella base di conoscenza dell'azienda, spesso utilizzando una pipeline ibrida. I passaggi recuperati vengono forniti all'LLM, che genera una risposta. Di solito sono previsti anche processi correttivi e di passaggio di consegna per convalidare la risposta e, se necessario, reindirizzarla a un operatore.

Esempio reale: Varie piattaforme di assistenza clienti, tra cui Zendesk (illustrata di seguito) e Intercom, offrono chatbot per l'assistenza clienti pronti all'uso che si integrano con la documentazione esistente e le basi di supporto clienti.

Espandi

3. Assistenti personali

Gli assistenti personali utilizzano la RAG con agenti per accedere alle e-mail, ai file e al calendario di un utente. Questi assistenti possono in genere eseguire più pipeline RAG.

Come funziona: Poiché gli assistenti personali richiedono spesso l'accesso a più fonti di informazioni, utilizzano un mix di API, ricerca per parole chiave, ricerca vettoriale e knowledge graph. Diverse descrizioni degli strumenti vengono inviate dall'applicazione all'LLM, che seleziona quindi quelle più appropriate.

Esempio reale: Google Gemini funge da buon esempio di app che può agire come assistente IA generico e personale (come avviene per la maggior parte degli assistenti al giorno d'oggi). Si integra con un ecosistema di strumenti, come Gmail, Docs, Photos e Calendar.

Espandi

4. Gestione della conoscenza aziendale (Enterprise knowledge management)

La gestione della conoscenza aziendale (Enterprise knowledge management) consente ai dipendenti di porre domande su un'ampia gamma di informazioni aziendali, tra cui policy, report, documenti di progetto, testi legali e persino discussioni interne.

Come funziona: L'applicazione recupera i contenuti pertinenti utilizzando un indice vettoriale che viene aggiornato man mano che i documenti di origine cambiano. L'indice contiene embedding che rappresentano chunk di documenti, con collegamenti al loro testo e ai metadati associati.

Esempio reale: Microsoft 365 Copilot accede alle informazioni organizzative tramite Microsoft Graph, che espone varie API per le fonti di dati, e utilizza indici lessicali e semantici per recuperare i contenuti pertinenti.

Espandi

5. Assistenti di programmazione

Gli assistenti di programmazione applicano la RAG a una base di codice. Sebbene il processo RAG sottostante sia lo stesso (di solito RAG con agenti), la differenza è che gestiscono specificamente il contesto del codice.

Come funziona: Gli assistenti di programmazione indicizzano i file di progetto locali ed eseguono passaggi di ricerca multipli per trovare frammenti di codice pertinenti quando richiesto. Questi assistenti dispongono inoltre in genere di connettori dedicati per estendere l'accesso, ad esempio alle basi di conoscenza aziendali.

Esempio reale: GitHub Copilot è un noto esempio di assistente di programmazione che si integra direttamente con i progetti di sviluppo. Può anche fare riferimento a repository pubblici di GitHub per aumentare l'accuratezza delle risposte.

Espandi

6. Risoluzione dei problemi tecnici

La risoluzione dei problemi tecnici integra una pipeline RAG di gestione della conoscenza con un ciclo diagnostico. Un agente può valutare i risultati per perfezionare ulteriormente i consigli per la risoluzione dei problemi secondo necessità.

Come funziona: Un'applicazione raccoglie i sintomi di un problema tecnico dall'utente o riceve avvisi di monitoraggio automatizzati. Attiva una ricerca di messaggi di errore, log tecnici e metriche delle prestazioni per incrociare i sintomi. Recupera quindi le informazioni pertinenti da una base di conoscenza interna da passare all'LLM. Il ciclo diagnostico si verifica quando i risultati di un tentativo di correzione vengono restituiti all'LLM, sia dall'utente che da uno strumento di diagnostica.

Esempio reale: La piattaforma di osservabilità Datadog (illustrata di seguito) raccoglie dati da tutti i livelli di un sistema, segnalando eventuali problemi quando si presentano. Questi dati vengono quindi immessi in un agente IA specializzato chiamato Bits AI per risolvere potenziali problemi.

Espandi

7. Commercio basato su agenti

Il commercio basato su agenti è un caso d'uso più ampio che di solito coinvolge la RAG. Un agente per lo shopping recupera dettagli come specifiche di prodotto, recensioni, prezzi e disponibilità per confrontare le opzioni e spiegare i consigli. Può quindi effettuare automaticamente l'acquisto senza che l'utente lasci l'interfaccia.

Come funziona: Il commercio basato su agenti è una vera e propria RAG con agenti perché le query particolari richiedono spesso diverse forme di recupero, che il modello dirige. Un agente può recuperare dati di prodotti di solo testo tramite l'API di un rivenditore, oppure può utilizzare la RAG multimodale per abbinare i prodotti in un indice semantico basato sulla fotografia di un utente.

Esempio reale: Un agente generico come Perplexity può recuperare più immagini e specifiche dettagliate dei prodotti in base a un prompt. La funzione di checkout Instant Buy consente all'utente di completare l'acquisto dopo aver scelto un prodotto.

Espandi

8. Domini di conoscenza specializzati

Gli strumenti di IA che recuperano conoscenze di domini specializzati devono affrontare formati di contenuto complessi. Inoltre, la minimizzazione delle allucinazioni e delle lacune di informazioni è spesso una priorità.

Come funziona: La differenza chiave tra le architetture RAG generiche e quelle specializzate riguarda il materiale di origine e la configurazione del recupero. In genere, verrà interrogato solo un indice altamente autorevole e la richiesta sarà configurata per includere una terminologia specifica per restringere le ricerche.

Esempio reale: Lo strumento di ricerca accademica Scite accede a un grande indice di articoli accademici e dati di citazione che è stato creato attraverso accordi con gli editori e fonti ad accesso aperto. Applica anche controlli successivi al recupero, come la verifica delle fonti, prima di generare una risposta completa.

Espandi

9. Analisi dei dati

La RAG per l'analisi dei dati è diventata un caso d'uso aziendale particolarmente potente perché consente a un'ampia gamma di professionisti, in particolare a coloro che non hanno una formazione in scienza dei dati, di interrogare i set di dati utilizzando il linguaggio naturale. Ciò rende più semplice generare report e porre domande altamente specifiche.

Come funziona: Per una domanda come "Perché le vendite sono calate nell'ultimo trimestre?", l'applicazione potrebbe interrogare i record delle vendite e recuperare note su carenze di scorte o variazioni di prezzo. L'LLM seleziona il calcolo appropriato (che viene solitamente delegato a uno strumento di calcolo) per i dati recuperati prima di generare un'analisi.

Esempio reale: Google Analytics offre un chatbot IA "Ask Advisor" in grado di accedere ai dati di analisi web e rispondere a domande altamente specifiche e sfumate degli utenti. È uno dei migliori esempi reali di RAG a sistema chiuso di livello aziendale.

Espandi

Cosa riserva il futuro all'evoluzione della RAG?

La RAG è stata uno sviluppo significativo quando è stata introdotta per la prima volta. Ha contribuito ad affrontare molti dei problemi intrinseci degli LLM autonomi.

Tuttavia, è tutt'altro che una tecnologia statica. La ricerca attuale si concentra su un recupero multimodale più profondo e su un'elaborazione più rigorosa del contesto recuperato per garantire accuratezza e correttezza. Inoltre, è probabile che vedremo una maggiore integrazione della RAG in agenti multi-strumento.

Anche con finestre di contesto estremamente ampie, esistono importanti casi d'uso per la RAG sia in contesti personali che professionali e molte innovazioni devono ancora arrivare.