RAG frente a LLM: desglose técnico (definiciones, diferencias, casos de uso)

Los LLM generan respuestas usando parámetros aprendidos de patrones en sus datos de entrenamiento. Como esos parámetros pueden no reflejar información reciente o completa, RAG, que significa generación aumentada por recuperación, complementa el proceso añadiendo datos de fuentes externas al contexto de entrada del LLM. Una herramienta de IA recupera información externa para aumentar el proceso de generación del LLM.

En realidad, tu elección no es entre RAG o un LLM. Es entre un enfoque híbrido y uno que solo usa un LLM.

RAG es necesario cuando un LLM requiere acceso a documentación de la empresa, bases de datos o información que cambia rápidamente. Un enfoque solo con LLM es adecuado para ciertas tareas administrativas, de procesamiento de datos y de creación de contenido en las que el usuario puede aportar todas las entradas.

RAG frente a LLM: ¿cuáles son las diferencias clave?

• RAG y los LLM son sistemas complementarios. Puedes usar un modelo de IA sin RAG (cuando se basa exclusivamente en sus parámetros existentes), pero no puedes usar un sistema RAG sin un modelo.
• RAG se introdujo para superar tres problemas clave de los LLM: información desactualizada, respuestas alucinadas y falta de verificación frente a fuentes de terceros.
• RAG hace que la IA sea mucho más eficaz en situaciones empresariales del mundo real porque conecta los LLM con documentación interna verificada, bases de datos y endpoints de API.
• Los principales casos de uso de RAG incluyen chatbots de atención al cliente, consultas basadas en datos que cambian rápidamente (como noticias del sector) y campos especializados, como medicina y derecho, donde la precisión y la verificación de fuentes son importantes.
• Hay tres tipos principales de RAG: RAG ingenuo, RAG modular y RAG avanzado. El RAG ingenuo se entiende mejor como una recuperación de información directa, mientras que el RAG modular y el avanzado añaden funciones adicionales como la reescritura de consultas y la optimización de fragmentos.

¿Qué es un modelo de lenguaje grande (LLM)?

Un LLM, o modelo de lenguaje grande, es un sistema que genera contenido utilizando parámetros ajustados mediante fine-tuning. Estos parámetros determinan las probabilidades asignadas a todos los tokens del vocabulario de un LLM, indicando qué token es más probable que venga a continuación en una secuencia dada.

Para entender mejor cómo funciona RAG (y en qué se diferencia de) los LLM, conviene analizar cómo funciona la IA generativa a un nivel básico:

1. Tokenización: El prompt de un usuario se divide en tokens, que pueden ser palabras, partes de palabras o caracteres individuales.
2. Incorporación mediante embeddings: Los tokens se convierten en embeddings, representaciones numéricas (cadenas de números) llamadas vectores, que la red neuronal, que incluye un decodificador, puede procesar.
3. Decodificación: Las capas del decodificador (que constituyen una gran parte de la red neuronal del LLM) manipulan estos vectores, utilizando un proceso llamado atención para captar el significado. Este proceso determina hasta qué punto cada token debe relacionarse con otros tokens de la secuencia.
4. Puntuación: El modelo asigna una probabilidad de compatibilidad a cada token de su vocabulario preexistente y selecciona un probable token siguiente para la secuencia.

Lo importante es que un LLM solo puede generar salidas basadas en sus parámetros existentes y en los tokens de su ventana de contexto. Durante el entrenamiento, se pide a un LLM que complete partes de texto incompleto miles de millones de veces, y sus parámetros se ajustan hasta que asigna probabilidades a los tokens (y, por tanto, completa el texto) de forma fiable.

Imagina, por ejemplo, que le preguntas a un modelo de IA: “¿Qué dice la política de reembolsos de nuestra empresa para 2026?” El LLM solo puede predecir los siguientes tokens basándose en sus parámetros existentes, que no se han ajustado usando tu documentación de soporte. Si le haces esta pregunta sin contexto adicional, simplemente no podrá responder de forma significativa o alucinará una respuesta incorrecta.

¿Qué es la generación aumentada por recuperación (RAG)?

RAG (generación aumentada por recuperación) es el proceso por el cual la información de sistemas externos se incluye en un prompt de LLM.

El proceso subyacente de LLM, que implica embeddings y la coincidencia probabilística de tokens, sigue siendo el mismo. RAG introduce un paso preliminar en el que el prompt del usuario se amplía con datos adicionales.

Aquí tienes una visión general de cómo funciona RAG:

1. Preparación del conocimiento: Se prepara una fuente de conocimiento. Puede ser un conjunto de documentos, una base de datos vectorial, un grafo de conocimiento o un índice en vivo (como para la búsqueda con IA).
2. Creación del prompt: Un usuario introduce un prompt, por ejemplo: “¿Debería salir a dar un paseo por Londres hoy?”
3. Recuperación: El recuperador de la herramienta de IA consulta la fuente externa de información. Puede incorporar embeddings al prompt, convirtiéndolo en un vector, y luego consultar una base de datos vectorial. Como alternativa, puede usar otro método, como una llamada a una API, coincidencia de palabras clave o el recorrido de un grafo de conocimiento.
4. Inserción: Esta información se añade al prompt original del usuario. En el ejemplo de la pregunta sobre dar un paseo en Londres, esto podría incluir información meteorológica en Londres y la accesibilidad actual de rutas populares para caminar.
5. Generación de respuestas: El LLM genera una respuesta de la forma habitual usando el prompt ampliado.

Entre bastidores, el texto recuperado se añade al contexto de entrada, se tokeniza y se incorpora mediante embeddings. Luego, el modelo procesa ese contexto adicional a través de su decodificador, lo que cambia las probabilidades de los tokens de salida.

En términos generales, RAG puede dividirse en tres subtipos. RAG ingenuo sigue el proceso básico de RAG, recuperando información y alimentándola al prompt. RAG avanzado añade funciones adicionales como la reescritura de consultas y múltiples pasadas de consulta. RAG modular se refiere a un tipo de arquitectura en la que diferentes funcionalidades avanzadas pueden tratarse como componentes y combinarse según sea necesario.

RAG frente a LLM: panorama de casos de uso

RAG proporciona a los usuarios acceso a datos actualizados. Esto hace que las respuestas de los LLM tengan menos probabilidades de contener alucinaciones y lagunas de información. Si necesitas ver las fuentes de la información utilizada en una respuesta, RAG también es esencial, ya que las respuestas de LLM sin base no vienen con atribuciones.

Ampliar

Casos de uso de RAG

• Solicitudes de información sensible al tiempo: Cualquier consulta sobre información que quede desactualizada rápidamente, ya sea algo tan simple como una previsión meteorológica o tan complejo como un análisis detallado de una noticia emergente, debe basarse en fuentes de terceros validadas.
• Documentación de la empresa: Los chatbots de IA internos o orientados al cliente en los que los usuarios hacen preguntas relacionadas con la documentación de la empresa o del producto deberían estar habilitados para RAG, especialmente si la documentación se actualiza con frecuencia.
• Atención al cliente: Los chatbots de atención al cliente necesitan acceso a documentación de soporte actualizada y detallada para ofrecer respuestas precisas.
• Campos especializados (medicina, derecho, finanzas, etc.): Los LLM que no se han entrenado con corpus específicos del dominio (especialmente los modelos convencionales) suelen tener dificultades con los matices de las indicaciones especializadas.

Casos de uso de LLM

• Tareas administrativas: Los LLM pueden completar tareas básicas con una latencia mínima. RAG no es necesario para tareas básicas de redacción y administración, como la corrección ortográfica o la resumición, en las que no se requiere información externa.
• Tareas creativas: Algunas tareas creativas, como generar un cuento o una imagen, solo necesitan la información proporcionada en el prompt original.
• Razonamiento y tareas basadas en datos: Si trabajas con un conjunto de datos grande, un LLM no necesita acceso a información externa para aplicar funciones de razonamiento y análisis.
• Programación general: Aunque un flujo de trabajo de programación puede requerir acceso a una base de código privada o a documentación, los LLM son muy capaces de ejecutar tareas generales de programación, como corregir errores y crear funciones, sin recurrir a fuentes externas.

RAG frente a LLM de contexto largo, IA agéntica y base

Hay tres conceptos relacionados que son relevantes para la distinción entre RAG y LLM. Estos son los LLM de contexto largo, la IA agéntica y la base.

Los LLM de contexto largo a veces pueden utilizarse en lugar de sistemas habilitados para RAG, mientras que la IA agéntica y la base son sinónimos o funcionan junto a ellos.

LLM de contexto largo

Son modelos con ventanas de contexto grandes, y algunos modelos comerciales ampliamente disponibles funcionan con hasta un millón de tokens.

Si el material relevante cabe en la ventana de contexto de un modelo y está disponible en formato de texto, hay algunas ventajas en utilizar un enfoque solo con LLM. Puede reducir la probabilidad de errores de recuperación, proporcionar un contexto más completo y eliminar la necesidad de una configuración amplia de la arquitectura RAG.

IA agéntica

Un agente es un sistema que se apoya en múltiples herramientas, incluidas las capacidades de RAG, para realizar tareas complejas. RAG es un componente de la IA agéntica, y un agente suele usar distintos tipos de métodos de recuperación (por ejemplo, búsqueda web frente a búsqueda vectorial) según el contenido de un prompt.

Base

La base se refiere al proceso más amplio de usar evidencia o datos para mejorar la precisión de la respuesta de un LLM o anclarla. RAG es una forma de base, pero añadir un documento técnico a una ventana de contexto también contaría como base.

RAG frente a LLM: ejemplos del mundo real

Para entender mejor cómo funciona RAG en comparación con el uso de LLM sin RAG, podemos ver un ejemplo sencillo del mundo real usando Perplexity y un caso hipotético empresarial en el que se consulta una base de datos vectorial.

RAG frente a LLM: un prompt sencillo

Aquí tienes la salida (limitada a dos frases) cuando se le pregunta a Perplexity: "¿Debería salir a dar un paseo por Londres hoy?" con la búsqueda web de IA (una forma de RAG) desactivada:

Sí—si el tiempo es razonablemente seco y tienes tiempo, un paseo por Londres hoy podría ser un refrescante cambio de ambiente. Elige una ruta por South Bank, Regent’s Canal o Hyde Park, y lleva un impermeable ligero por si acaso.

Compáralo con el prompt cuando el LLM puede consultar fuentes externas:

Sí, parece un buen día para dar un paseo por Londres: la previsión indica temperaturas suaves de alrededor de 19–21 °C, intervalos de sol y una probabilidad de lluvia muy baja. Con cielos parcialmente nublados y una brisa suave, las condiciones son cómodas para explorar parques o rutas junto al río como South Bank.

Hay similitudes entre ambos, ya que el LLM utiliza el mismo proceso subyacente de puntuación de tokens. Sin embargo, el segundo ejemplo incluye información meteorológica detallada, lo que lo hace mucho más útil.

RAG frente a LLM con una base de datos vectorial empresarial

Imagina que un usuario le hace al chatbot integrado en la app de una aplicación bancaria la siguiente pregunta: “¿Dónde puedo descargar mi extracto más reciente?”

El banco que gestiona la aplicación ha creado una base de datos que contiene embeddings de su documentación de producto actualizada y la ha conectado al pipeline RAG del chatbot. La documentación consta de alrededor de 1.000 documentos fuente, que se dividen en fragmentos más pequeños y se han convertido en vectores para su recuperación.

La consulta del usuario se envía a un modelo de embeddings, y la aplicación envía ese vector a la base de datos, que devuelve los fragmentos relevantes.

El modelo de embeddings recibiría una solicitud como esta:

El modelo de embeddings devuelve la siguiente incrustación vectorial:

Entonces, la base de datos vectorial recibe una solicitud como la siguiente:

En este ejemplo (mucho más simplificado), la base de datos devuelve los cinco fragmentos más relevantes para la consulta del usuario, que se envían a la aplicación y se incluyen en el prompt del LLM.

Cuándo elegir RAG frente a un LLM y cuándo combinarlos

Los LLM y RAG son sistemas complementarios. Por tanto, la pregunta “¿Cuándo debería elegir un LLM y cuándo RAG?” está mal planteada. Más bien, deberías preguntar: “¿Cuándo bastará con un LLM y cuándo es óptimo RAG?”

Cuándo usar un LLM sin RAG habilitado

• El modelo de IA que has elegido tiene una gran ventana de contexto: Si es más fácil incluir en tu prompt toda la información o los datos necesarios para una respuesta precisa, por ejemplo subiendo un documento, hacerlo puede reducir la latencia y evitar problemas relacionados con la recuperación.
• Razonamiento y flujos de trabajo de análisis de datos: Los flujos de trabajo de análisis y razonamiento que hacen referencia solo a los datos proporcionados en un prompt no necesitan capacidades de RAG.
• Generación de código: Por lo general, RAG no es necesario para el trabajo de programación general, aunque suele emplearse para tareas específicas de proyectos, como recuperar correcciones anteriores o APIs y documentación de proveedores.

Cuándo usar un LLM con RAG habilitado

• Necesitas acceso a información actualizada: Si una aplicación de IA necesita acceder a fuentes externas de información actualizada para generar una respuesta precisa, asegúrate de que las capacidades de RAG estén siempre habilitadas.
• Trabajas en un campo especializado: Para ámbitos como la medicina, el derecho, la educación, etc., donde la precisión, el detalle y la verificación de fuentes son importantes, el uso exclusivo de LLM suele ser insuficiente.
• Las respuestas deben hacer referencia a archivos internos de la empresa: Si utilizas IA, ya sea internamente o en una aplicación orientada al cliente, para generar contenido basado en documentos internos de la empresa, ya sean datos, un kit de marca, documentación o archivos, RAG proporciona acceso a esa información.

RAG y los LLM son tecnologías complementarias y en evolución

RAG supuso una gran innovación en la evolución de la IA. Aborda tres problemas principales: información desactualizada, memoria limitada del modelo y lagunas de información debidas a la falta de datos de entrenamiento relevantes, lo que a menudo daba lugar a alucinaciones. Por supuesto, los LLM no han superado esto por completo, pero su incidencia se ha reducido significativamente con la llegada de RAG.

RAG no es una tecnología estática. Se espera que mejore en una serie de áreas, entre ellas la reclasificación, la latencia durante la recuperación y el uso de tokens, las defensas de seguridad contra fuentes de datos peligrosas, la integración de datos recuperados de múltiples fuentes y más. A medida que los LLM y la IA agéntica sigan desarrollándose, también lo harán los sistemas RAG que los respaldan.