RAG vs. LLM: Análise técnica (definições, diferenças, casos de uso)

Os LLMs geram respostas usando parâmetros aprendidos a partir de padrões nos dados de treinamento. Como esses parâmetros podem não refletir informações recentes ou completas, o RAG, que significa geração aumentada por recuperação, complementa o processo ao adicionar dados de fontes externas ao contexto de entrada do LLM. Uma ferramenta de IA recupera informações externas para ampliar o processo de geração do LLM.

Na realidade, sua escolha não é entre RAG ou um LLM. É entre uma abordagem híbrida e outra que usa apenas um LLM.

O RAG é necessário quando um LLM requer acesso à documentação da empresa, bancos de dados ou informações que mudam rapidamente. Uma abordagem apenas com LLM é adequada para certas tarefas administrativas, de processamento de dados e de criação de conteúdo em que todas as entradas podem ser fornecidas pelo usuário.

RAG vs. LLM: Quais são as principais diferenças?

• RAG e LLMs são sistemas complementares. Você pode usar um modelo de IA sem RAG (quando ele depende exclusivamente de seus parâmetros existentes), mas não pode usar um sistema de RAG sem um modelo.
• O RAG foi introduzido para superar três questões-chave dos LLMs: informações desatualizadas, respostas alucinadas e falta de verificação em relação a fontes de terceiros.
• O RAG torna a IA muito mais eficaz em situações empresariais do mundo real porque conecta LLMs à documentação interna verificada, bancos de dados e endpoints de API.
• Os principais casos de uso de RAG incluem chatbots de suporte ao cliente, consultas baseadas em dados que mudam rapidamente (como notícias do setor) e áreas especializadas, como medicina e direito, em que precisão e verificação factual das fontes são importantes.
• Há três tipos principais de RAG: RAG ingênuo, RAG modular e RAG avançado. O RAG ingênuo é melhor entendido como recuperação de informações direta, enquanto o RAG modular e o avançado acrescentam funcionalidades adicionais, como reescrita de consultas e otimização de fragmentos.

O que é um modelo de linguagem grande (LLM)?

Um LLM, ou modelo de linguagem grande, é um sistema que gera conteúdo usando parâmetros ajustados com fine-tuning. Esses parâmetros determinam as probabilidades atribuídas a todos os tokens em um vocabulário de LLM, indicando qual token tem maior probabilidade de vir a seguir em uma determinada sequência.

Para entender melhor como o RAG funciona (e em que difere) dos LLMs, é útil observar como a IA generativa funciona em um nível básico:

1. Tokenização: O prompt de um usuário é dividido em tokens, que podem ser palavras, partes de palavras ou caracteres únicos.
2. Embedding: Os tokens são convertidos em embeddings, representações numéricas (sequências de números) chamadas vetores, que a rede neural, que inclui um decodificador, pode processar.
3. Decodificação: As camadas do decodificador (que compõem uma grande parte da rede neural do LLM) manipulam esses vetores, usando um processo chamado atenção para capturar o significado. Esse processo determina quão fortemente cada token deve se relacionar com outros tokens na sequência.
4. Pontuação: O modelo atribui uma probabilidade de compatibilidade a cada token em seu vocabulário preexistente e seleciona um provável próximo token para a sequência.

O ponto importante é que um LLM só pode produzir saídas com base em seus parâmetros existentes e nos tokens em sua janela de contexto. Durante o treinamento, um LLM é solicitado a completar trechos de texto incompletos bilhões de vezes, e seus parâmetros são ajustados até que ele atribua probabilidades aos tokens (e, assim, complete o texto) de maneira confiável.

Imagine, por exemplo, que você pergunta a um modelo de IA: “O que diz a política de reembolso da nossa empresa para 2026?” O LLM só pode prever os próximos tokens com base em seus parâmetros existentes, que não foram ajustados com fine-tuning usando sua documentação de suporte. Se você fizer essa pergunta sem nenhum contexto adicional, ele simplesmente não conseguirá responder de forma significativa ou alucinará uma resposta incorreta.

O que é geração aumentada por recuperação (RAG)?

RAG (geração aumentada por recuperação) é o processo pelo qual informações de sistemas externos são incluídas em um prompt de LLM.

O processo subjacente do LLM, envolvendo embedding e correspondência probabilística de tokens, permanece o mesmo. O RAG introduz uma etapa preliminar na qual o prompt do usuário é expandido com dados adicionais.

Aqui está uma visão geral de como o RAG funciona:

1. Preparação do conhecimento: Uma fonte de conhecimento é preparada. Isso pode ser um conjunto de documentos, um banco de dados vetorial, um grafo de conhecimento ou um índice ao vivo (como para busca por IA).
2. Formulação do prompt: Um usuário insere um prompt, como: “Devo sair para caminhar em Londres hoje?”
3. Recuperação: A fonte externa de informações é consultada pelo recuperador da ferramenta de IA. Ele pode incorporar o prompt, transformando-o em um vetor, e então consultar um banco de dados vetorial. Como alternativa, pode usar um método alternativo, como uma chamada de API, correspondência de palavras-chave ou travessia de grafo de conhecimento.
4. Inserção: Essas informações são adicionadas ao prompt original do usuário. No exemplo da pergunta sobre caminhar em Londres, isso poderia incluir informações meteorológicas em Londres e a acessibilidade atual de rotas populares para caminhada.
5. Geração de respostas: O LLM gera uma resposta da maneira usual usando o prompt expandido.

Nos bastidores, o texto recuperado é adicionado ao contexto de entrada, tokenizado e incorporado. Em seguida, o modelo processa esse contexto adicional por meio de seu decodificador, o que altera as probabilidades dos tokens de saída.

De forma ampla, o RAG pode ser dividido em três subtipos. RAG ingênuo segue o processo básico de RAG, recuperando informações e alimentando-as no prompt. RAG avançado acrescenta funções adicionais, como reescrita de consultas e múltiplas passagens de consulta. RAG modular refere-se a um tipo de arquitetura em que diferentes funcionalidades avançadas podem ser tratadas como componentes e combinadas conforme necessário.

RAG vs. LLM: Visão geral dos casos de uso

O RAG oferece aos usuários acesso a dados atualizados. Isso resulta em saídas de LLM com menos probabilidade de apresentar alucinações e lacunas de informação. Se você precisa ver as fontes das informações usadas em uma saída, o RAG também é essencial, pois respostas de LLM sem fundamentação não vêm com atribuições.

Expandir

Casos de uso de RAG

• Solicitações de informações sensíveis ao tempo: Quaisquer consultas por informações que rapidamente ficam desatualizadas, o que pode ser algo tão simples quanto uma previsão do tempo ou tão complexo quanto uma análise detalhada de uma notícia emergente, precisam ser baseadas em fontes validadas de terceiros.
• Documentação da empresa: Chatbots de IA internos ou voltados para clientes, nos quais os usuários fazem perguntas relacionadas à documentação da empresa ou do produto, devem ter RAG habilitado, especialmente se a documentação for atualizada com frequência.
• Suporte ao cliente: Chatbots de atendimento ao cliente precisam ter acesso à documentação de suporte atualizada e detalhada para fornecer respostas precisas.
• Áreas especializadas (medicina, direito, finanças etc.): LLMs que não foram treinados em corpora específicos do domínio (especialmente modelos convencionais) normalmente têm dificuldade com a nuance de prompts especializados.

Casos de uso de LLM

• Tarefas administrativas: Os LLMs podem concluir tarefas básicas com latência mínima. O RAG é desnecessário para tarefas básicas de redação e administrativas, como verificação ortográfica ou resumo, em que informações externas não são necessárias.
• Tarefas criativas: Algumas tarefas criativas, como gerar uma história curta ou uma imagem, precisam apenas das informações fornecidas no prompt original.
• Tarefas de raciocínio e baseadas em dados: Se você estiver trabalhando com um grande conjunto de dados, um LLM não precisa de acesso a informações externas para aplicar funções de raciocínio e análise.
• Codificação geral: Embora um fluxo de trabalho de codificação possa exigir acesso a uma base de código privada ou documentação, os LLMs são muito capazes de executar tarefas gerais de codificação, como corrigir bugs e criar funções, sem recorrer a fontes externas.

RAG vs. LLM de contexto longo, IA agentiva e fundamentação

Há três conceitos relacionados que são relevantes para a distinção entre RAG e LLMs. São eles: LLMs de contexto longo, IA agentiva e fundamentação.

LLMs de contexto longo às vezes podem ser usados no lugar de sistemas habilitados para RAG, enquanto a IA agentiva e a fundamentação são sinônimos deles ou funcionam junto com eles.

LLMs de contexto longo

São modelos com janelas de contexto grandes, com alguns modelos comerciais amplamente disponíveis operando com até um milhão de tokens.

Se o material relevante puder caber na janela de contexto de um modelo e estiver disponível em um formato de texto, há alguns benefícios em usar uma abordagem apenas com LLM. Ela pode reduzir a chance de erros de recuperação, fornecer um contexto mais abrangente e eliminar a necessidade de configuração extensa da arquitetura de RAG.

IA agentiva

Um agente é um sistema que se vale de várias ferramentas, incluindo recursos de RAG, para executar tarefas complexas. O RAG é um componente da IA agentiva, e um agente frequentemente usará diferentes tipos de métodos de recuperação (por exemplo, busca na web vs. busca vetorial) dependendo do conteúdo de um prompt.

Fundamentação

Fundamentação refere-se ao processo mais amplo de usar evidências ou dados para melhorar a precisão da resposta de um LLM, ou ancorá-la. O RAG é uma forma de fundamentação, mas adicionar um documento técnico a uma janela de contexto também contaria como fundamentação.

RAG vs. LLM: Exemplos do mundo real

Para entender melhor como o RAG funciona em comparação com o uso de LLM sem RAG, podemos analisar um exemplo simples do mundo real usando o Perplexity e um caso corporativo hipotético em que um banco de dados vetorial é consultado.

RAG vs. LLM com um prompt simples

Aqui está a saída (limitada a duas frases) quando o Perplexity é perguntado: "Devo sair para caminhar em Londres hoje?" com a busca na web por IA (uma forma de RAG) desativada:

Sim — se o tempo estiver razoavelmente seco e você tiver tempo, uma caminhada em Londres hoje pode ser uma mudança revigorante de cenário. Escolha uma rota ao longo da South Bank, do Regent’s Canal ou através do Hyde Park, e leve uma capa leve impermeável só por precaução.

Compare isso com o prompt quando o LLM pode verificar fontes externas:

Sim, é um bom dia para caminhar em Londres: a previsão indica temperaturas amenas em torno de 19–21°C, com períodos de sol e apenas uma chance muito baixa de chuva. Com céu parcialmente nublado e uma brisa suave, as condições são confortáveis para explorar parques ou rotas à beira-rio, como a South Bank.

Há semelhanças entre os dois, pois o LLM usa o mesmo processo subjacente de pontuação de tokens. No entanto, o segundo exemplo inclui informações meteorológicas detalhadas, o que o torna muito mais útil.

RAG vs. LLM com um banco de dados vetorial corporativo

Imagine que um usuário faça ao chatbot no aplicativo de um app bancário a seguinte pergunta: “Onde posso baixar meu extrato mais recente?”

O banco que gerencia o app criou um banco de dados contendo embeddings da documentação atualizada do produto e o conectou ao pipeline de RAG do chatbot. A documentação consiste em cerca de 1.000 documentos de origem, que são divididos em fragmentos menores e convertidos em vetores para recuperação.

A consulta do usuário é enviada a um modelo de embedding, e a aplicação envia esse vetor ao banco de dados, que retorna os fragmentos relevantes.

O modelo de embedding receberia uma solicitação como esta:

O modelo de embedding retorna a seguinte incorporação vetorial:

Em seguida, o banco de dados vetorial recebe uma solicitação como a seguinte:

Neste exemplo (muito simplificado), o banco de dados retorna os cinco fragmentos mais relevantes para a consulta do usuário, que são enviados para a aplicação e incluídos no prompt do LLM.

Quando escolher RAG vs. um LLM e quando combiná-los

LLMs e RAG são sistemas complementares. Portanto, a pergunta “Quando devo escolher um LLM e quando RAG?” está mal formulada. Em vez disso, você deve perguntar: “Quando um LLM é suficiente e quando o RAG é ideal?”

Quando usar um LLM sem RAG habilitado

• Seu modelo de IA escolhido tem uma janela de contexto grande: Se for mais fácil incluir no prompt todas as informações ou dados necessários para uma resposta precisa, como por meio do upload de um documento, isso pode reduzir a latência e evitar problemas relacionados à recuperação.
• Fluxos de trabalho de raciocínio e análise de dados: Fluxos de trabalho de análise e raciocínio que fazem referência apenas aos dados fornecidos em um prompt não precisam de recursos de RAG.
• Geração de código: O RAG normalmente não é necessário para trabalho geral de codificação, embora seja normalmente empregado para tarefas específicas de projeto, como recuperar correções anteriores ou APIs e documentação de fornecedores.

Quando usar um LLM com RAG habilitado

• Você precisa de acesso a informações atualizadas: Se uma aplicação de IA precisa acessar fontes externas de informações atualizadas para gerar uma resposta precisa, sempre certifique-se de que os recursos de RAG estejam ativados.
• Você trabalha em uma área especializada: Para domínios como medicina, direito, educação e assim por diante, em que precisão, detalhamento e verificação de fontes são importantes, o uso apenas de LLMs muitas vezes será insuficiente.
• As saídas devem fazer referência a arquivos internos da empresa: Se você estiver usando IA, interna ou voltada para clientes, para gerar conteúdo com base em documentos internos da empresa, seja dados, um kit de marca, documentação ou arquivos, o RAG fornece acesso a essas informações.

RAG e LLMs são tecnologias complementares e em evolução

O RAG significou uma grande inovação na evolução da IA. Ele aborda três grandes problemas: informações desatualizadas, memória limitada do modelo e lacunas de informação devido à falta de dados de treinamento relevantes, o que frequentemente resultava em alucinações. É claro que os LLMs não superaram isso completamente, mas sua incidência foi significativamente reduzida com o advento do RAG.

O RAG não é uma tecnologia estática. Espera-se que ele melhore em várias áreas, incluindo reranking, latência durante a recuperação e uso de tokens, defesas de segurança contra fontes de dados perigosas, integração de dados recuperados de múltiplas fontes e muito mais. À medida que os LLMs e a IA agentiva continuam a se desenvolver, os sistemas de RAG que os sustentam também continuarão.