RAG vs. LLM: Desglose técnico (definiciones, diferencias y casos de uso)

Los LLM generan respuestas usando parámetros aprendidos a partir de patrones en sus datos de entrenamiento. Como esos parámetros pueden no reflejar información reciente o completa, RAG, que significa generación aumentada por recuperación, complementa el proceso al agregar datos de fuentes externas al contexto de entrada del LLM. Una herramienta de IA recupera información externa para aumentar el proceso de generación del LLM.

En realidad, tu decisión no es entre RAG o un LLM. Es entre un enfoque híbrido y uno que solo usa un LLM.

RAG es necesario cuando un LLM requiere acceso a documentación de la empresa, bases de datos o información que cambia rápidamente. Un enfoque solo con LLM es adecuado para ciertas tareas administrativas, de procesamiento de datos y de creación de contenido en las que el usuario puede proporcionar todas las entradas.

RAG vs. LLM: ¿Cuáles son las diferencias clave?

• RAG y los LLM son sistemas complementarios. Puedes usar un modelo de IA sin RAG (cuando depende exclusivamente de sus parámetros existentes), pero no puedes usar un sistema de RAG sin un modelo.
• RAG se introdujo para superar tres problemas clave de los LLM: información desactualizada, respuestas alucinadas y falta de verificación frente a fuentes de terceros.
• RAG hace que la IA sea mucho más eficaz en situaciones empresariales del mundo real porque conecta los LLM con documentación interna verificada, bases de datos y endpoints de API.
• Los principales casos de uso de RAG incluyen chatbots de soporte al cliente, consultas basadas en datos que cambian rápidamente (como noticias del sector) y campos especializados, como medicina y derecho, donde la precisión y la verificación de las fuentes son importantes.
• Hay tres tipos principales de RAG: RAG ingenuo, RAG modular y RAG avanzado. El RAG ingenuo se entiende mejor como recuperación de información directa, mientras que el RAG modular y el avanzado agregan funcionalidades adicionales como reescritura de consultas y optimización de fragmentos.

¿Qué es un modelo de lenguaje grande (LLM)?

Un LLM, o modelo de lenguaje grande, es un sistema que genera contenido usando parámetros ajustados con fine-tuning. Estos parámetros determinan las probabilidades asignadas a todos los tokens en el vocabulario de un LLM, lo que indica qué token es más probable que siga en una secuencia determinada.

Para entender mejor cómo funciona RAG (y en qué se diferencia de los) LLM, conviene ver cómo funciona la IA generativa a un nivel básico:

1. Tokenización: El prompt de un usuario se divide en tokens, que pueden ser palabras, partes de palabras o caracteres individuales.
2. Embedding: Los tokens se convierten en embeddings, representaciones numéricas (cadenas de números) llamadas vectores, que la red neuronal, la cual incluye un decodificador, puede procesar.
3. Decodificación: Las capas del decodificador (que forman una gran parte de la red neuronal del LLM) manipulan estos vectores, usando un proceso llamado atención para captar el significado. Este proceso determina qué tan fuertemente debe relacionarse cada token con otros tokens de la secuencia.
4. Puntuación: El modelo asigna una probabilidad de compatibilidad a cada token de su vocabulario preexistente y selecciona un siguiente token probable para la secuencia.

El punto importante es que un LLM solo puede producir salidas basadas en sus parámetros existentes y en los tokens dentro de su ventana de contexto. Durante el entrenamiento, se le pide a un LLM que complete porciones de texto incompleto miles de millones de veces, y sus parámetros se ajustan hasta que asigna probabilidades a los tokens (y, por lo tanto, completa el texto) de manera confiable.

Imagina, por ejemplo, que le preguntas a un modelo de IA: “¿Qué dice la política de reembolsos de 2026 de nuestra empresa?” El LLM solo puede predecir los siguientes tokens con base en sus parámetros existentes, que no se han ajustado con fine-tuning usando tu documentación de soporte. Si le haces esta pregunta sin ningún contexto adicional, simplemente no podrá responder de una manera significativa o alucinará una respuesta incorrecta.

¿Qué es la generación aumentada por recuperación (RAG)?

RAG (generación aumentada por recuperación) es el proceso mediante el cual la información de sistemas externos se incluye en un prompt de LLM.

El proceso subyacente del LLM, que implica embedding y coincidencia probabilística de tokens, sigue siendo el mismo. RAG introduce un paso preliminar en el que el prompt del usuario se amplía con datos adicionales.

Aquí tienes un resumen de cómo funciona RAG:

1. Preparación del conocimiento: Se prepara una fuente de conocimiento. Puede ser un conjunto de documentos, una base de datos vectorial, un grafo de conocimiento o un índice en tiempo real (como para la búsqueda con IA).
2. Instrucción: Un usuario introduce un prompt, como: “¿Debería salir a caminar en Londres hoy?”
3. Recuperación: El recuperador de la herramienta de IA consulta la fuente de información externa. Puede convertir el prompt en embedding, transformándolo en un vector, y luego consultar una base de datos vectorial. Alternativamente, puede usar otro método, como una llamada a API, coincidencia de palabras clave o recorrido de un grafo de conocimiento.
4. Inserción: Esta información se agrega al prompt original del usuario. En el ejemplo de la pregunta sobre caminar en Londres, esto podría incluir información meteorológica de Londres y la accesibilidad actual de rutas populares para caminar.
5. Generación de respuestas: El LLM genera una respuesta de la manera habitual usando el prompt ampliado.

Detrás de escena, el texto recuperado se agrega al contexto de entrada, se tokeniza y se convierte en embeddings. Luego, el modelo procesa ese contexto adicional a través de su decodificador, lo que cambia las probabilidades de los tokens de salida.

En términos generales, RAG se puede dividir en tres subtipos. RAG ingenuo sigue el proceso básico de RAG, recuperando información y alimentándola al prompt. RAG avanzado agrega funciones adicionales como reescritura de consultas y múltiples pasadas de consulta. RAG modular se refiere a un tipo de arquitectura en la que distintas funcionalidades avanzadas pueden tratarse como componentes y combinarse según sea necesario.

RAG vs. LLM: Resumen de casos de uso

RAG les brinda a los usuarios acceso a datos actualizados. Esto da como resultado salidas de LLM con menos probabilidades de tener alucinaciones y vacíos de información. Si necesitas ver las fuentes de la información usada en una salida, RAG también es esencial, ya que las respuestas de LLM sin fundamento no incluyen atribuciones.

Ampliar

Casos de uso de RAG

• Solicitudes de información sensible al tiempo: Cualquier consulta sobre información que caduca rápidamente, que puede ser algo tan simple como un pronóstico del tiempo o tan complejo como un análisis detallado de una noticia emergente, debe basarse en fuentes de terceros validadas.
• Documentación de la empresa: Los chatbots de IA internos o dirigidos a clientes en los que los usuarios hacen preguntas relacionadas con la documentación de la empresa o del producto deben tener RAG habilitado, especialmente si la documentación se actualiza con frecuencia.
• Soporte al cliente: Los chatbots de atención al cliente necesitan acceso a documentación de soporte actual y detallada para ofrecer respuestas precisas.
• Campos especializados (medicina, derecho, finanzas, etc.): Los LLM que no han sido entrenados con corpus específicos del dominio (especialmente los modelos convencionales) suelen tener dificultades con los matices de los prompts especializados.

Casos de uso de LLM

• Tareas administrativas: Los LLM pueden completar tareas básicas con una latencia mínima. RAG es innecesario para la redacción básica y las tareas administrativas, como la corrección ortográfica o la resumición, donde no se requiere información externa.
• Tareas creativas: Algunas tareas creativas, como generar un cuento corto o una imagen, solo necesitan la información proporcionada en el prompt original.
• Tareas de razonamiento y basadas en datos: Si estás trabajando con un conjunto de datos grande, un LLM no necesita acceso a información externa para aplicar funciones de razonamiento y análisis.
• Programación general: Aunque un flujo de trabajo de programación puede requerir acceso a un código base privado o a documentación, los LLM son muy capaces de ejecutar tareas generales de programación, como corregir errores y crear funciones, sin recurrir a fuentes externas.

RAG vs. LLM de contexto largo, IA agéntica y fundamentación

Hay tres conceptos relacionados que son relevantes para la distinción entre RAG y los LLM. Estos son los LLM de contexto largo, la IA agéntica y la fundamentación.

Los LLM de contexto largo a veces pueden usarse en lugar de sistemas con RAG, mientras que la IA agéntica y la fundamentación son sinónimos o funcionan junto con ellos.

LLM de contexto largo

Se trata de modelos con ventanas de contexto grandes, y algunos modelos comerciales ampliamente disponibles alcanzan hasta un millón de tokens.

Si el material relevante puede caber en la ventana de contexto de un modelo y está disponible en formato de texto, hay algunos beneficios al usar un enfoque solo con LLM. Puede reducir la probabilidad de errores de recuperación, proporcionar un contexto más completo y eliminar la necesidad de una configuración amplia de la arquitectura de RAG.

IA agéntica

Un agente es un sistema que recurre a múltiples herramientas, incluidas capacidades de RAG, para realizar tareas complejas. RAG es un componente de la IA agéntica, y un agente a menudo usará distintos tipos de métodos de recuperación (p. ej., búsqueda web vs. búsqueda vectorial) según el contenido de un prompt.

Fundamentación

La fundamentación se refiere al proceso más amplio de usar evidencia o datos para mejorar la precisión de la respuesta de un LLM, o para fundamentarla. RAG es una forma de fundamentación, pero agregar un documento técnico a una ventana de contexto también contaría como fundamentación.

RAG vs. LLM: ejemplos del mundo real

Para entender mejor cómo funciona RAG en comparación con el uso de LLM sin RAG, podemos ver un ejemplo sencillo del mundo real usando Perplexity y un caso hipotético empresarial en el que se consulta una base de datos vectorial.

RAG vs. LLM con un prompt sencillo

Aquí está la salida (limitada a dos oraciones) cuando se le pregunta a Perplexity, "¿Debería salir a caminar en Londres hoy?" con la búsqueda web con IA (una forma de RAG) desactivada:

Sí, si el clima es razonablemente seco y tienes tiempo, un paseo por Londres hoy podría ser un cambio de ambiente refrescante. Elige una ruta por South Bank, Regent’s Canal o a través de Hyde Park, y lleva un impermeable ligero por si acaso.

Compáralo con el prompt cuando el LLM puede consultar fuentes externas:

Sí, es un buen día para dar un paseo en Londres: el pronóstico indica temperaturas templadas de alrededor de 19–21 °C, con intervalos soleados y una probabilidad de lluvia muy baja. Con cielos parcialmente nublados y una brisa suave, las condiciones son cómodas para explorar parques o rutas junto al río como South Bank.

Hay similitudes entre ambos, ya que el LLM usa el mismo proceso subyacente de puntuación de tokens. Sin embargo, el segundo ejemplo incluye información meteorológica detallada, lo que lo hace mucho más útil.

RAG vs. LLM con una base de datos vectorial empresarial

Imagina que un usuario le hace la siguiente pregunta a un chatbot dentro de una app para una aplicación bancaria: “¿Dónde puedo descargar mi estado de cuenta más reciente?”

El banco que administra la app ha creado una base de datos que contiene embeddings de su documentación actualizada de productos y la ha conectado al pipeline de RAG del chatbot. La documentación consta de alrededor de 1,000 documentos fuente, que se dividen en fragmentos más pequeños y se han convertido en vectores para su recuperación.

La consulta del usuario se envía a un modelo de embeddings, y la aplicación envía ese vector a la base de datos, que devuelve los fragmentos relevantes.

El modelo de embeddings recibiría una solicitud como esta:

El modelo de embeddings devuelve el siguiente embedding vectorial:

Luego, la base de datos vectorial recibe una solicitud como la siguiente:

En este ejemplo (mucho más simplificado), la base de datos devuelve los cinco fragmentos que son más relevantes para la consulta del usuario, y estos se envían a la aplicación y se incluyen en el prompt del LLM.

Cuándo elegir RAG vs. un LLM, y cuándo combinarlos

Los LLM y RAG son sistemas complementarios. Como tal, la pregunta “¿Cuándo debo elegir un LLM y cuándo RAG?” está planteada de forma incorrecta. Más bien, deberías preguntar: “¿Cuándo bastará un LLM y cuándo es óptimo RAG?”

Cuándo usar un LLM sin RAG habilitado

• El modelo de IA que elegiste tiene una ventana de contexto grande: Si es más fácil incluir en tu prompt toda la información o los datos necesarios para una respuesta precisa, por ejemplo, cargando un documento, hacerlo puede reducir la latencia y evitar problemas relacionados con la recuperación.
• Flujos de trabajo de razonamiento y análisis de datos: Los flujos de trabajo de análisis y razonamiento que solo hacen referencia a los datos proporcionados en un prompt no necesitan capacidades de RAG.
• Generación de código: Por lo general, RAG no es necesario para el trabajo de programación general, aunque suele emplearse para tareas específicas de un proyecto, como recuperar correcciones anteriores o APIs y documentación de proveedores.

Cuándo usar un LLM con RAG habilitado

• Necesitas acceso a información actualizada: Si una aplicación de IA necesita acceder a fuentes externas de información actualizada para generar una respuesta precisa, asegúrate siempre de que las capacidades de RAG estén habilitadas.
• Trabajas en un campo especializado: Para ámbitos como medicina, derecho, educación, etc., donde la precisión, el detalle y la verificación de fuentes son importantes, el uso solo con LLM a menudo será insuficiente.
• Las salidas deben hacer referencia a archivos internos de la empresa: Si estás usando IA, ya sea internamente o en una app dirigida a clientes, para generar contenido basado en documentos internos de la empresa, ya sean datos, un kit de marca, documentación o archivos, RAG proporciona acceso a esa información.

RAG y los LLM son tecnologías complementarias y en evolución

RAG representó una gran innovación en la evolución de la IA. Aborda tres problemas importantes: información obsoleta, memoria limitada del modelo y vacíos de información por falta de datos de entrenamiento relevantes, lo que a menudo daba como resultado alucinaciones. Por supuesto, los LLM no han superado por completo esto, pero su incidencia se ha reducido significativamente con la llegada de RAG.

RAG no es una tecnología estática. Se espera que mejore en varias áreas, incluidas la reclasificación, la latencia durante la recuperación y el uso de tokens, las defensas de seguridad contra fuentes de datos peligrosas, la integración de datos recuperados de múltiples fuentes y más. A medida que los LLM y la IA agéntica sigan desarrollándose, también lo harán los sistemas de RAG que los respaldan.