RAG fronte a LLM: desglose técnico (definicións, diferenzas, casos de uso)

Os LLM xeran respostas usando parámetros aprendidos a partir de patróns nos seus datos de adestramento. Como eses parámetros poden non reflectir información recente ou completa, RAG, que significa xeración aumentada por recuperación, complementa o proceso engadindo datos de fontes externas ao contexto de entrada do LLM. Unha ferramenta de IA recupera información externa para ampliar o proceso de xeración do LLM.

Na realidade, a túa elección non é entre RAG ou un LLM. É entre un enfoque híbrido e outro que só usa un LLM.

RAG é necesario cando un LLM require acceso á documentación da empresa, bases de datos ou información que cambia con rapidez. Un enfoque só con LLM é axeitado para certas tarefas administrativas, de procesamento de datos e de creación de contido nas que o usuario pode proporcionar todas as entradas.

RAG fronte a LLM: cales son as diferenzas clave?

• RAG e os LLM son sistemas complementarios. Podes usar un modelo de IA sen RAG (no que se basea exclusivamente nos seus parámetros existentes), pero non podes usar un sistema RAG sen un modelo.
• RAG introduciuse para superar tres problemas clave dos LLM: información desactualizada, respostas alucinadas e falta de verificación fronte a fontes de terceiros.
• RAG fai que a IA sexa moito máis efectiva en situacións empresariais do mundo real porque conecta os LLM con documentación interna verificada, bases de datos e puntos de extremidade de API.
• Os principais casos de uso de RAG inclúen chatbots de atención ao cliente, consultas baseadas en datos que cambian con rapidez (como as novas do sector) e campos especializados, como medicina e dereito, nos que a precisión e a verificación de fontes son importantes.
• Hai tres tipos principais de RAG: RAG simple, RAG modular e RAG avanzado. O RAG simple enténdese mellor como unha recuperación de información directa, mentres que o RAG modular e o avanzado engaden funcionalidades adicionais como a reescrita de consultas e a optimización de fragmentos.

Que é un modelo de linguaxe grande (LLM)?

Un LLM, ou modelo de linguaxe grande, é un sistema que xera contido usando parámetros axustados con fine tuning. Estes parámetros determinan as probabilidades asignadas a todos os tokens do vocabulario dun LLM, indicando cal é o token que con máis probabilidade virá a continuación nunha secuencia determinada.

Para entender mellor como funciona RAG (e en que se diferencia) dos LLM, é útil ver como funciona a IA xerativa a un nivel básico:

1. Tokenización: O prompt dun usuario divídese en tokens, que poden ser palabras, partes de palabras ou caracteres individuais.
2. Embeddings: Os tokens convértense en embeddings, representacións numéricas (cadeas de números) chamadas vectores, que a rede neuronal, que inclúe un decodificador, pode procesar.
3. Decodificación: As capas do decodificador (que constitúen unha gran parte da rede neuronal do LLM) manipulan estes vectores, empregando un proceso chamado atención para capturar o significado. Este proceso determina con que forza cada token debe relacionarse con outros tokens da secuencia.
4. Puntuación: O modelo asigna unha probabilidade de compatibilidade a cada token do seu vocabulario preexistente e selecciona un probable token seguinte para a secuencia.

O importante é que un LLM só pode producir saídas baseadas nos seus parámetros existentes e nos tokens da súa xanela de contexto. Durante o adestramento, dáselle a un LLM a tarefa de completar partes de texto incompleto miles de millóns de veces, e os seus parámetros axústanse ata que asigna probabilidades aos tokens (e, polo tanto, completa o texto) de forma fiable.

Imaxina, por exemplo, que lle preguntas a un modelo de IA: “Que di a política de reembolso da nosa empresa para 2026?” O LLM só pode prever os seguintes tokens baseándose nos seus parámetros existentes, que non foron afinados usando a túa documentación de soporte. Se lle fas esta pregunta sen ningún contexto adicional, simplemente será incapaz de responder dun xeito significativo ou alucinará unha resposta incorrecta.

Que é a xeración aumentada por recuperación (RAG)?

RAG (xeración aumentada por recuperación) é o proceso polo que a información de sistemas externos se inclúe nun prompt dun LLM.

O proceso subxacente do LLM, que implica embedding e coincidencia probabilística de tokens, segue sendo o mesmo. RAG introduce un paso preliminar no que o prompt do usuario se amplía con datos adicionais.

Aquí tes unha visión xeral de como funciona RAG:

1. Preparación do coñecemento: Prepárase unha fonte de coñecemento. Pode ser un conxunto de documentos, unha base de datos vectorial, un grafo de coñecemento ou un índice en tempo real (como para a busca con IA).
2. Instrucións: Un usuario introduce un prompt, como por exemplo: “Debería dar un paseo en Londres hoxe?”
3. Recuperación: A fonte de información externa é consultada polo recuperador da ferramenta de IA. Pode incorporar o prompt como embedding, converténdoo nun vector, e despois consultar unha base de datos vectorial. Como alternativa, pode usar outro método, como unha chamada á API, a coincidencia por palabras clave ou a travesía dun grafo de coñecemento.
4. Inserción: Esta información engádese ao prompt orixinal do usuario. No exemplo da pregunta sobre dar un paseo en Londres, isto podería incluír información meteorolóxica en Londres e a accesibilidade actual de rutas populares para camiñar.
5. Xeración da resposta: O LLM xera unha resposta do xeito habitual usando o prompt ampliado.

Entre bastidores, o texto recuperado engádese ao contexto de entrada, tatexízase e incorpórase como embeddings. A continuación, o modelo procesa ese contexto adicional a través do seu decodificador, o que cambia as probabilidades dos tokens de saída.

En termos xerais, RAG pódese dividir en tres subtipos. RAG simple segue o proceso básico de RAG, recuperando información e introducíndoa no prompt. RAG avanzado engade funcións adicionais como a reescrita de consultas e múltiples pasadas de consulta. RAG modular refírese a un tipo de arquitectura no que distintas funcionalidades avanzadas poden tratarse como compoñentes e combinarse segundo sexa necesario.

RAG fronte a LLM: visión xeral dos casos de uso

RAG proporciona aos usuarios acceso a datos actualizados. Isto fai que as saídas dos LLM sexan menos propensas a alucinacións e lagoas de información. Se precisas ver as fontes da información usada nunha saída, RAG tamén é esencial, xa que as respostas dos LLM sen base non veñen con atribucións.

Ampliar

Casos de uso de RAG

• Solicitudes de información sensible ao tempo: Calquera consulta sobre información que queda obsoleta con rapidez, que pode ser algo tan simple como unha previsión meteorolóxica ou tan complexo como unha análise detallada dunha noticia emerxente, debe basearse en fontes verificadas de terceiros.
• Documentación da empresa: Os chatbots de IA internos ou orientados ao cliente nos que os usuarios fan preguntas relacionadas coa documentación da empresa ou do produto deberían estar habilitados con RAG, especialmente se a documentación se actualiza con frecuencia.
• Asistencia ao cliente: Os chatbots de atención ao cliente precisan acceso a documentación de soporte actual e detallada para ofrecer respostas precisas.
• Campos especializados (medicina, dereito, finanzas, etc.): Os LLM que non foron adestrados en corpus específicos do dominio (especialmente os modelos convencionais) adoitan ter dificultades coa sutileza dos prompts especializados.

Casos de uso de LLM

• Tarefas administrativas: Os LLM poden completar tarefas básicas cunha latencia mínima. RAG non é necesario para tarefas básicas de escritura e administración, como a corrección ortográfica ou a resumición, nas que non se require información externa.
• Tarefas creativas: Algunhas tarefas creativas, como xerar un relato curto ou unha imaxe, só precisan da información proporcionada no prompt orixinal.
• Tarefas de razoamento e baseadas en datos: Se estás a traballar cun conxunto de datos grande, un LLM non precisa acceso a información externa para aplicar funcións de razoamento e análise.
• Programación xeral: Aínda que un fluxo de traballo de programación poida requirir acceso a un código privado ou á documentación, os LLM son moi capaces de executar tarefas de programación xerais, como corrixir erros e crear funcións, sen recorrer a fontes externas.

RAG fronte a LLM de contexto longo, IA axéntica e baseamento

Hai tres conceptos relacionados que son relevantes para a distinción entre RAG e os LLM. Son os LLM de contexto longo, a IA axéntica e o baseamento.

Os LLM de contexto longo ás veces poden empregarse no lugar de sistemas habilitados con RAG, mentres que a IA axéntica e o baseamento son sinónimos deles ou funcionan xunto a eles.

LLM de contexto longo

Trátase de modelos con xanelas de contexto grandes, e algúns modelos comerciais amplamente dispoñibles chegan ata un millón de tokens.

Se o material relevante pode caber na xanela de contexto dun modelo e está dispoñible en formato de texto, hai algunhas vantaxes en usar un enfoque só con LLM. Pode reducir a probabilidade de erros de recuperación, proporcionar un contexto máis completo e eliminar a necesidade dunha configuración extensa da arquitectura RAG.

IA axéntica

Un axente é un sistema que emprega varias ferramentas, incluídas capacidades RAG, para realizar tarefas complexas. RAG é un compoñente da IA axéntica, e un axente adoita usar diferentes tipos de métodos de recuperación (por exemplo, busca web fronte a busca vectorial) segundo o contido dun prompt.

Baseaemento

O baseamento refírese ao proceso máis amplo de usar evidencias ou datos para mellorar a precisión dunha resposta dun LLM, ou baseala neles. RAG é unha forma de baseamento, pero engadir un documento técnico a unha xanela de contexto tamén contaría como baseamento.

RAG fronte a LLM: exemplos do mundo real

Para entender mellor como funciona RAG fronte ao uso de LLM sen RAG, podemos ver un exemplo sinxelo do mundo real usando Perplexity e un caso hipotético empresarial no que se consulta unha base de datos vectorial.

RAG fronte a LLM cun prompt sinxelo

Aquí tes a saída (limitada a dúas frases) cando se lle pregunta a Perplexity: "Debería dar un paseo en Londres hoxe?" coas buscas web de IA (unha forma de RAG) desactivadas:

Si: se o tempo está razoablemente seco e tes tempo, un paseo por Londres hoxe pode ser un cambio de escenario refrescante. Escolle unha ruta ao longo do South Bank, do Regent’s Canal ou polo Hyde Park, e leva unha chaqueta impermeable lixeira por se acaso.

Compárao co prompt cando o LLM pode comprobar fontes externas:

Si, é un bo día para dar un paseo en Londres: a previsión indica temperaturas suaves arredor de 19–21 °C, con intervalos de sol e unha probabilidade de choiva moi baixa. Con ceos parcialmente nubrados e unha brisa suave, as condicións son cómodas para explorar parques ou rutas á beira do río como o South Bank.

Hai semellanzas entre ambos, xa que o LLM usa o mesmo proceso subxacente de puntuación de tokens. Porén, o segundo exemplo inclúe información meteorolóxica detallada, o que o fai moito máis útil.

RAG fronte a LLM cunha base de datos vectorial empresarial

Imaxina que un usuario lle fai a un chatbot dentro dunha aplicación bancaria a seguinte pregunta: “Onde podo descargar o meu extracto máis recente?”

O banco que xestiona a aplicación creou unha base de datos que contén embeddings da súa documentación de produto actualizada e conectouna ao pipeline RAG do chatbot. A documentación consta duns 1.000 documentos fonte, que se dividen en fragmentos máis pequenos e se converteron en vectores para a recuperación.

A consulta do usuario envíase a un modelo de embeddings, e a aplicación envía ese vector á base de datos, que devolve os fragmentos relevantes.

O modelo de embeddings recibiría unha solicitude como esta:

O modelo de embeddings devolve o seguinte vector de embedding:

A base de datos vectorial recibe entón unha solicitude como a seguinte:

Neste exemplo (moito simplificado), a base de datos devolve os cinco fragmentos máis relevantes para a consulta do usuario, que se envían á aplicación e se inclúen no prompt do LLM.

Cando elixir RAG fronte a un LLM e cando combinalos

Os LLM e RAG son sistemas complementarios. Polo tanto, a pregunta “Cando debería elixir un LLM e cando RAG?” non está ben formulada. Máis ben, deberías preguntar: “Cando abondará cun LLM e cando é óptimo RAG?”

Cando usar un LLM sen RAG habilitado

• O modelo de IA que escolliches ten unha xanela de contexto grande: Se é máis doado incluír no teu prompt toda a información ou datos necesarios para unha resposta precisa, por exemplo cargando un documento, facelo pode reducir a latencia e evitar problemas relacionados coa recuperación.
• Fluxos de traballo de razoamento e análise de datos: Os fluxos de traballo de análise e razoamento que fan referencia só aos datos proporcionados nun prompt non precisan capacidades RAG.
• Xeración de código: RAG normalmente non é necesario para o traballo de programación xeral, aínda que adoita empregarse para tarefas específicas dun proxecto, como recuperar correccións anteriores ou APIs e documentación de provedores.

Cando usar un LLM con RAG habilitado

• Necesitas acceso a información actualizada: Se unha aplicación de IA necesita acceder a fontes externas de información actualizada para xerar unha resposta precisa, asegúrate sempre de que as capacidades RAG estean activadas.
• Estás a traballar nun campo especializado: Para dominios como medicina, dereito, educación e semellantes, nos que a precisión, o detalle e a verificación das fontes son importantes, o uso só de LLM adoita ser insuficiente.
• As saídas deben facer referencia a ficheiros internos da empresa: Se estás a usar IA, xa sexa internamente ou nunha aplicación orientada ao cliente, para xerar contido baseado en documentos internos da empresa, xa sexa datos, un kit de marca, documentación ou ficheiros, RAG proporciona acceso a esa información.

RAG e os LLM son tecnoloxías complementarias e en evolución

RAG significou unha innovación importante na evolución da IA. Resolve tres problemas principais: información obsoleta, memoria limitada do modelo e lagoas de información debidas á falta de datos de adestramento relevantes, o que a miúdo daba lugar a alucinacións. Por suposto, os LLM non superaron isto completamente, pero a súa incidencia reduciuse de forma significativa coa chegada de RAG.

RAG non é unha tecnoloxía estática. Espérase que mellore nunha ampla gama de áreas, incluídos o reordenamento, a latencia durante a recuperación e o uso de tokens, as defensas de seguridade contra fontes de datos perigosas, a integración de datos recuperados de múltiples fontes e máis. A medida que os LLM e a IA axéntica continúan desenvolvéndose, tamén o farán os sistemas RAG que os soportan.