RAG vs. LLM: desglossament tècnic (definicions, diferències, casos d'ús)

Els LLM generen respostes utilitzant paràmetres apresos a partir de patrons en les seves dades d'entrenament. Com que aquests paràmetres poden no reflectir informació recent o completa, RAG, que significa generació augmentada per recuperació, complementa el procés afegint dades de fonts externes al context d'entrada de l'LLM. Una eina d'IA recupera informació externa per augmentar el procés de generació de l'LLM.

En realitat, l'elecció no és entre RAG o un LLM. És entre un enfocament híbrid i un que només utilitza un LLM.

RAG és necessari quan un LLM requereix accés a documentació de l'empresa, bases de dades o informació que canvia ràpidament. Un enfocament només amb LLM és adequat per a determinades tasques administratives, de processament de dades i de creació de contingut en què l'usuari pot proporcionar totes les entrades.

RAG vs. LLM: Quines són les diferències clau?

• RAG i els LLM són sistemes complementaris. Podeu utilitzar un model d'IA sense RAG (on es basa exclusivament en els seus paràmetres existents), però no podeu utilitzar un sistema RAG sense un model.
• RAG es va introduir per superar tres problemes clau dels LLM: informació desactualitzada, respostes al·lucinades i falta de verificació amb fonts de tercers.
• RAG fa que la IA sigui molt més eficaç en situacions empresarials reals perquè connecta els LLM amb documentació interna verificada, bases de dades i punts d'accés API.
• Els principals casos d'ús de RAG inclouen els chatbots d'assistència al client, les consultes basades en dades que canvien ràpidament (com ara les notícies del sector) i camps especialitzats, com la medicina i el dret, en què la precisió i la verificació de les fonts són importants.
• Hi ha tres tipus principals de RAG: RAG ingenu, RAG modular i RAG avançat. El RAG ingenu s'entén millor com una recuperació d'informació directa, mentre que el RAG modular i l'avançat afegeixen funcionalitats addicionals com la reescriptura de consultes i l'optimització de fragments.

Què és un model de llenguatge gran (LLM)?

Un LLM, o model de llenguatge gran, és un sistema que genera contingut utilitzant paràmetres ajustats amb precisió. Aquests paràmetres determinen les probabilitats assignades a tots els tokens d'un vocabulari de LLM, indicant quin token és més probable que vingui després en una seqüència determinada.

Per entendre millor com funciona RAG (i en què es diferencia de) els LLM, és útil observar com funciona la IA generativa a un nivell bàsic:

1. Tokenització: El prompt d'un usuari es divideix en tokens, que poden ser paraules, parts de paraules o caràcters individuals.
2. Incorporació: Els tokens es converteixen en embeddings, representacions numèriques (cadenes de nombres) anomenades vectors, que la xarxa neuronal, que inclou un descodificador, pot processar.
3. Descodificació: Les capes del descodificador (que constitueixen una gran part de la xarxa neuronal de l'LLM) manipulen aquests vectors, utilitzant un procés anomenat atenció per capturar el significat. Aquest procés determina amb quina força cada token s'ha de relacionar amb altres tokens de la seqüència.
4. Puntuació: El model assigna una probabilitat de compatibilitat a cada token del seu vocabulari preexistent i selecciona un token següent probable per a la seqüència.

El punt important és que un LLM només pot produir sortides basant-se en els seus paràmetres existents i els tokens de la seva finestra de context. Durant l'entrenament, es demana a un LLM que completi fragments de text incomplets milers de milions de vegades, i els seus paràmetres s'ajusten fins que assigna probabilitats als tokens (i, per tant, completa el text) de manera fiable.

Imagineu, per exemple, que pregunteu a un model d'IA la pregunta: «Què diu la política de reemborsament del 2026 de la nostra empresa?» L'LLM només pot predir els tokens següents basant-se en els seus paràmetres existents, que no han estat ajustats utilitzant la vostra documentació d'assistència. Si li feu aquesta pregunta sense cap context addicional, simplement no serà capaç de respondre de manera significativa o bé al·lucinarà una resposta incorrecta.

Què és la generació augmentada per recuperació (RAG)?

RAG (generació augmentada per recuperació) és el procés mitjançant el qual la informació de sistemes externs s'inclou en un prompt d'LLM.

El procés subjacent de l'LLM, que implica la incorporació i la coincidència probabilística de tokens, continua sent el mateix. RAG introdueix un pas previ en què el prompt de l'usuari s'amplia amb dades addicionals.

Aquí teniu una visió general de com funciona RAG:

1. Preparació del coneixement: Es prepara una font de coneixement. Pot ser un conjunt de documents, una base de dades vectorial, un graf de coneixement o un índex en directe (com ara per a la cerca amb IA).
2. Formulació del prompt: Un usuari introdueix un prompt, com ara: «Should I go for a walk in London today?»
3. Recuperació: La font d'informació externa és consultada pel recuperador de l'eina d'IA. Pot incorporar el prompt en un vector i després consultar una base de dades vectorial. Alternativament, pot utilitzar un mètode alternatiu, com ara una crida a l'API, la coincidència de paraules clau o la navegació per un graf de coneixement.
4. Inserció: Aquesta informació s'afegeix al prompt original de l'usuari. En l'exemple de la pregunta sobre passejar a Londres, això podria incloure informació meteorològica a Londres i l'accessibilitat actual de rutes populars per caminar.
5. Generació de respostes: L'LLM genera una resposta de la manera habitual utilitzant el prompt ampliat.

Entre bastidors, el text recuperat s'afegeix al context d'entrada, es tokenitza i s'incorpora. A continuació, el model processa aquest context addicional a través del seu descodificador, cosa que canvia les probabilitats dels tokens de sortida.

En termes generals, RAG es pot dividir en tres subtipus. RAG ingenu segueix el procés bàsic de RAG, recuperant informació i introduint-la al prompt. RAG avançat afegeix funcions addicionals com la reescriptura de consultes i diverses passades de consulta. RAG modular fa referència a un tipus d'arquitectura en què diferents funcionalitats avançades es poden tractar com a components i combinar-se segons sigui necessari.

RAG vs. LLM: Visió general dels casos d'ús

RAG proporciona als usuaris accés a dades actualitzades. Això fa que les respostes de l'LLM siguin menys propenses a tenir al·lucinacions i buits d'informació. Si necessiteu veure les fonts de la informació utilitzada en una resposta, RAG també és essencial, ja que les respostes de l'LLM no fonamentades no inclouen atribucions.

Amplia

Casos d'ús de RAG

• Sol·licituds d'informació sensible al temps: Qualsevol consulta sobre informació que es desactualitza ràpidament, cosa que pot ser tan senzilla com una previsió meteorològica o tan complexa com una anàlisi detallada d'una notícia emergent, s'ha de basar en fonts de tercers validades.
• Documentació de l'empresa: Els chatbots d'IA interns o orientats al client en què els usuaris fan preguntes relacionades amb la documentació de l'empresa o del producte haurien d'estar habilitats amb RAG, especialment si la documentació s'actualitza sovint.
• Assistència al client: Els chatbots de clients necessiten accés a documentació d'assistència actual i detallada per proporcionar respostes precises.
• Camps especialitzats (medicina, dret, finances, etc.): Els LLM que no han estat entrenats en corpus específics del domini (especialment els models convencionals) solen tenir dificultats amb els matisos dels prompts especialitzats.

Casos d'ús de LLM

• Tasques administratives: Els LLM poden completar tasques bàsiques amb una latència mínima. RAG és innecessari per a l'escriptura bàsica i les tasques administratives, com ara la correcció ortogràfica o la resumció, en què no cal informació externa.
• Tasques creatives: Algunes tasques creatives, com ara generar un relat breu o una imatge, només necessiten la informació proporcionada al prompt original.
• Raonament i tasques basades en dades: Si treballeu amb un conjunt de dades gran, un LLM no necessita accés a informació externa per aplicar funcions de raonament i anàlisi.
• Programació general: Tot i que un flux de treball de programació pot requerir accés a un codi privat o a documentació, els LLM són molt capaços d'executar tasques de programació general, com ara corregir errors i crear funcions, sense recórrer a fonts externes.

RAG vs. LLM de context ampli, IA agentiva i fonamentació

Hi ha tres conceptes relacionats que són rellevants per a la distinció entre RAG i els LLM. Aquests són els LLM de context ampli, la IA agentiva i la fonamentació.

Els LLM de context ampli es poden utilitzar de vegades en lloc de sistemes habilitats amb RAG, mentre que la IA agentiva i la fonamentació són sinònims o bé treballen conjuntament amb aquests.

LLM de context ampli

Aquests són models amb finestres de context grans, i alguns models comercials àmpliament disponibles arriben fins a un milió de tokens.

Si el material rellevant pot cabre a la finestra de context d'un model i està disponible en un format de text, hi ha alguns avantatges en utilitzar un enfocament només amb LLM. Pot reduir la probabilitat d'errors de recuperació, proporcionar un context més complet i eliminar la necessitat d'una configuració extensa de l'arquitectura RAG.

IA agentiva

Un agent és un sistema que recorre a diverses eines, incloses les capacitats de RAG, per dur a terme tasques complexes. RAG és un component de la IA agentiva, i un agent sovint utilitzarà diferents tipus de mètodes de recuperació (p. ex., cerca web vs. cerca vectorial) en funció del contingut d'un prompt.

Fonamentació

La fonamentació fa referència al procés més ampli d'utilitzar proves o dades per millorar la precisió de la resposta d'un LLM, o fonamentar-la. RAG és una forma de fonamentació, però afegir un document tècnic a una finestra de context també es consideraria fonamentació.

RAG vs. LLM: Exemples del món real

Per entendre millor com funciona RAG en comparació amb l'ús de LLM sense RAG, podem mirar un exemple senzill del món real fent servir Perplexity i un cas empresarial hipotètic en què es consulta una base de dades vectorial.

RAG vs. LLM amb un prompt senzill

Aquí teniu la sortida (limitada a dues frases) quan se li pregunta a Perplexity: «Should I go for a walk in London today?» amb la cerca web d'IA (una forma de RAG) desactivada:

Sí —si el temps és raonablement sec i teniu temps, una passejada per Londres avui podria ser un canvi d'escenari refrescant. Trieu una ruta al llarg del South Bank, Regent’s Canal o a través de Hyde Park, i porteu un impermeable lleuger per si de cas.

Compareu-ho amb el prompt quan l'LLM pot consultar fonts externes:

Sí, és un bon dia per fer una passejada a Londres: la previsió indica temperatures suaus d'uns 19–21 °C, intervals assolellats i només una probabilitat molt baixa de pluja. Amb cels parcialment ennuvolats i una brisa suau, les condicions són còmodes per explorar parcs o rutes vora el riu com el South Bank.

Hi ha similituds entre tots dos, ja que l'LLM utilitza el mateix procés subjacent de puntuació de tokens. Tanmateix, el segon exemple inclou informació meteorològica detallada, cosa que el fa molt més útil.

RAG vs. LLM amb una base de dades vectorial empresarial

Imagineu que un usuari fa la pregunta següent a un chatbot dins d'una aplicació bancària: «On puc descarregar el meu extracte més recent?»

El banc que gestiona l'aplicació ha creat una base de dades que conté embeddings de la documentació actualitzada del seu producte i l'ha connectada al pipeline RAG del chatbot. La documentació consta d'uns 1.000 documents font, que es divideixen en fragments més petits i s'han convertit en vectors per a la recuperació.

La consulta de l'usuari s'envia a un model d'embeddings, i l'aplicació envia aquest vector a la base de dades, que retorna els fragments rellevants.

El model d'embeddings rebria una sol·licitud com aquesta:

El model d'embeddings retorna el vector d'incorporació següent:

La base de dades vectorial rep llavors una sol·licitud com la següent:

En aquest exemple (molt simplificat), la base de dades retorna els cinc fragments que són més rellevants per a la consulta de l'usuari, que s'envien a l'aplicació i s'inclouen al prompt de l'LLM.

Quan triar RAG vs. un LLM, i quan combinar-los

Els LLM i RAG són sistemes complementaris. Per tant, la pregunta «Quan he de triar un LLM i quan RAG?» és inadequada. Més aviat, hauríeu de preguntar-vos: «Quan un LLM serà suficient i quan és òptim RAG?»

Quan utilitzar un LLM sense RAG habilitat

• El model d'IA que heu triat té una finestra de context gran: Si és més fàcil incloure tota la informació o dades necessàries per a una resposta precisa al prompt, per exemple carregant un document, fer-ho pot reduir la latència i prevenir problemes relacionats amb la recuperació.
• Fluxos de treball de raonament i anàlisi de dades: Els fluxos de treball d'anàlisi i raonament que només fan referència a les dades proporcionades en un prompt no necessiten capacitats de RAG.
• Generació de codi: Normalment no cal RAG per al treball de programació general, tot i que habitualment s'utilitza per a tasques específiques de projectes, com ara recuperar correccions anteriors o API i documentació de proveïdors.

Quan utilitzar un LLM amb RAG habilitat

• Necessiteu accés a informació actualitzada: Si una aplicació d'IA necessita accedir a fonts externes d'informació actualitzada per generar una resposta precisa, assegureu-vos sempre que les capacitats de RAG estiguin habilitades.
• Treballeu en un camp especialitzat: Per a dominis com la medicina, el dret, l'educació, etc., en què la precisió, el detall i la verificació de les fonts són importants, sovint l'ús només amb LLM serà insuficient.
• Les sortides han de fer referència a fitxers interns de l'empresa: Si utilitzeu IA, ja sigui internament o en una aplicació orientada al client, per generar contingut basat en documents interns de l'empresa, ja siguin dades, una guia de marca, documentació o fitxers, RAG proporciona accés a aquesta informació.

RAG i els LLM són tecnologies complementàries i en evolució

RAG va significar una innovació important en l'evolució de la IA. Aborda tres problemes principals: informació obsoleta, memòria limitada del model i buits d'informació a causa de la manca de dades d'entrenament rellevants, cosa que sovint donava lloc a al·lucinacions. És clar que els LLM no han superat això del tot, però la seva incidència s'ha reduït significativament amb l'arribada de RAG.

RAG no és una tecnologia estàtica. S'espera que millori en una gamma d'àrees, com ara el reranking, la latència durant la recuperació i l'ús de tokens, les defenses de seguretat contra fonts de dades perilloses, la integració de dades recuperades de múltiples fonts i més. A mesura que els LLM i la IA agentiva continuen desenvolupant-se, també ho faran els sistemes RAG que els donen suport.