RAG vs. LLM: Análise Técnica (Definições, Diferenças, Casos de Uso)

Os LLMs geram respostas usando parâmetros aprendidos a partir de padrões nos seus dados de treinamento. Como esses parâmetros podem não refletir informações recentes ou completas, o RAG, que significa geração aumentada por recuperação, complementa o processo ao adicionar dados de fontes externas ao contexto de entrada do LLM. Uma ferramenta de IA recupera informações externas para ampliar o processo de geração do LLM.

Na realidade, sua escolha não é entre RAG ou um LLM. É entre uma abordagem híbrida e uma que usa apenas um LLM.

O RAG é necessário quando um LLM precisa de acesso à documentação da empresa, bancos de dados ou informações que mudam rapidamente. Uma abordagem baseada apenas em LLM é adequada para determinadas tarefas administrativas, de processamento de dados e de criação de conteúdo, nas quais todas as entradas podem ser fornecidas pelo usuário.

RAG vs. LLM: Quais são as principais diferenças?

• RAG e LLMs são sistemas complementares. Você pode usar um modelo de IA sem RAG (quando ele se baseia exclusivamente em seus parâmetros existentes), mas não pode usar um sistema de RAG sem um modelo.
• O RAG foi introduzido para superar três problemas centrais dos LLMs: informações desatualizadas, respostas alucinadas e falta de verificação em relação a fontes de terceiros.
• O RAG torna a IA muito mais eficaz em situações empresariais do mundo real porque conecta LLMs à documentação interna verificada, bancos de dados e endpoints de API.
• Os principais casos de uso de RAG incluem chatbots de suporte ao cliente, consultas baseadas em dados que mudam rapidamente (como notícias do setor) e áreas especializadas, como medicina e direito, nas quais precisão e verificação de fontes são importantes.
• Existem três tipos principais de RAG: RAG ingênuo, RAG modular e RAG avançado. O RAG ingênuo é melhor entendido como recuperação de informação direta, enquanto o RAG modular e o RAG avançado adicionam funcionalidades como reescrita de consultas e otimização de fragmentos.

O que é um modelo de linguagem grande (LLM)?

Um LLM, ou modelo de linguagem grande, é um sistema que gera conteúdo usando parâmetros ajustados com fine-tuning. Esses parâmetros determinam as probabilidades atribuídas a todos os tokens em um vocabulário de LLM, indicando qual token tem maior probabilidade de vir a seguir em uma determinada sequência.

Para entender melhor como o RAG funciona (e em que difere dos) LLMs, vale a pena observar como a IA generativa funciona em um nível básico:

1. Tokenização: O prompt de um usuário é dividido em tokens, que podem ser palavras, partes de palavras ou caracteres únicos.
2. Incorporação: Os tokens são convertidos em embeddings, representações numéricas (sequências de números) chamadas vetores, que a rede neural, que inclui um decodificador, consegue processar.
3. Decodificação: As camadas do decodificador (que compõem uma grande parte da rede neural do LLM) manipulam esses vetores, usando um processo chamado atenção para capturar significado. Esse processo determina quão fortemente cada token deve se relacionar com outros tokens na sequência.
4. Pontuação: O modelo atribui uma probabilidade de compatibilidade a cada token em seu vocabulário preexistente e seleciona um provável próximo token para a sequência.

O ponto importante é que um LLM só pode produzir saídas com base em seus parâmetros existentes e nos tokens em sua janela de contexto. Durante o treinamento, um LLM é solicitado a completar trechos de texto incompletos bilhões de vezes, e seus parâmetros são ajustados até que ele atribua probabilidades aos tokens (e, assim, complete o texto) de forma confiável.

Imagine, por exemplo, que você pergunta a um modelo de IA: “O que diz a política de reembolso da nossa empresa para 2026?” O LLM só pode prever os próximos tokens com base em seus parâmetros existentes, que não foram ajustados com fine-tuning usando sua documentação de suporte. Se você fizer essa pergunta sem nenhum contexto adicional, ele simplesmente não conseguirá responder de forma significativa ou alucinará uma resposta incorreta.

O que é geração aumentada por recuperação (RAG)?

RAG (geração aumentada por recuperação) é o processo pelo qual informações de sistemas externos são incluídas em um prompt de LLM.

O processo subjacente do LLM, envolvendo embeddings e correspondência probabilística de tokens, permanece o mesmo. O RAG introduz uma etapa preliminar na qual o prompt do usuário é expandido com dados adicionais.

Aqui está uma visão geral de como o RAG funciona:

1. Preparação do conhecimento: Uma fonte de conhecimento é preparada. Isso pode ser um conjunto de documentos, um banco de dados vetorial, um grafo de conhecimento ou um índice em tempo real (como para pesquisa por IA).
2. Prompting: Um usuário insere um prompt, como “Devo sair para caminhar em Londres hoje?”
3. Recuperação: A fonte externa de informação é consultada pelo recuperador da ferramenta de IA. Ele pode incorporar o prompt, transformando-o em um vetor, e então consultar um banco de dados vetorial. Como alternativa, pode usar um método alternativo, como uma chamada de API, correspondência por palavra-chave ou travessia de grafo de conhecimento.
4. Inserção: Essas informações são adicionadas ao prompt original do usuário. No exemplo da pergunta sobre caminhar em Londres, isso poderia incluir informações meteorológicas em Londres e a acessibilidade atual de rotas populares para caminhada.
5. Geração de respostas: O LLM gera uma resposta da maneira usual usando o prompt ampliado.

Nos bastidores, o texto recuperado é adicionado ao contexto de entrada, tokenizado e incorporado. Em seguida, o modelo processa esse contexto adicional por meio de seu decodificador, o que altera as probabilidades dos tokens de saída.

De modo geral, o RAG pode ser dividido em três subtipos. RAG ingênuo segue o processo básico de RAG, recuperando informações e alimentando-as ao prompt. RAG avançado acrescenta funções adicionais, como reescrita de consultas e múltiplas passagens de consulta. RAG modular refere-se a um tipo de arquitetura em que diferentes funcionalidades avançadas podem ser tratadas como componentes e combinadas conforme necessário.

RAG vs. LLM: visão geral dos casos de uso

O RAG oferece aos usuários acesso a dados atualizados. Isso resulta em saídas de LLM com menor probabilidade de conter alucinações e lacunas de informação. Se você precisa ver as fontes das informações usadas em uma saída, o RAG também é essencial, pois respostas de LLM sem fundamentação não vêm com atribuições.

Expandir

Casos de uso de RAG

• Solicitações de informações sensíveis ao tempo: Quaisquer consultas por informações que ficam desatualizadas rapidamente, o que pode ser algo tão simples quanto uma previsão do tempo ou tão complexo quanto uma análise detalhada de uma notícia emergente, precisam ser baseadas em fontes de terceiros validadas.
• Documentação da empresa: Chatbots de IA internos ou voltados para clientes, nos quais os usuários fazem perguntas relacionadas à documentação da empresa ou do produto, devem ser habilitados com RAG, especialmente se a documentação for atualizada com frequência.
• Suporte ao cliente: Chatbots de atendimento ao cliente precisam de acesso à documentação de suporte atual e detalhada para fornecer respostas precisas.
• Áreas especializadas (medicina, direito, finanças etc.): LLMs que não foram treinados em corpora específicos do domínio (especialmente modelos amplamente utilizados) normalmente têm dificuldade com as nuances de prompts especializados.

Casos de uso de LLM

• Tarefas administrativas: Os LLMs podem concluir tarefas básicas com latência mínima. O RAG é desnecessário para redação básica e tarefas administrativas, como verificação ortográfica ou sumarização, nas quais informações externas não são necessárias.
• Tarefas criativas: Algumas tarefas criativas, como gerar um conto ou uma imagem, precisam apenas das informações fornecidas no prompt original.
• Raciocínio e tarefas baseadas em dados: Se você estiver trabalhando com um grande conjunto de dados, um LLM não precisa de acesso a informações externas para aplicar funções de raciocínio e análise.
• Programação geral: Embora um fluxo de trabalho de programação possa exigir acesso a uma base de código privada ou documentação, os LLMs são muito capazes de executar tarefas gerais de programação, como corrigir bugs e criar funções, sem recorrer a fontes externas.

RAG vs. LLM de contexto longo, IA agêntica e fundamentação

Há três conceitos relacionados que são relevantes para a distinção entre RAG e LLMs. São eles: LLMs de contexto longo, IA agêntica e fundamentação.

LLMs de contexto longo às vezes podem ser usados no lugar de sistemas habilitados para RAG, enquanto a IA agêntica e a fundamentação são sinônimos deles ou trabalham em conjunto com eles.

LLMs de contexto longo

São modelos com janelas de contexto grandes, com alguns modelos comerciais amplamente disponíveis operando com até um milhão de tokens.

Se material relevante puder caber na janela de contexto de um modelo e estiver disponível em formato de texto, há alguns benefícios em usar uma abordagem baseada apenas em LLM. Isso pode reduzir a chance de erros de recuperação, fornecer um contexto mais abrangente e eliminar a necessidade de uma configuração extensa da arquitetura de RAG.

IA agêntica

Um agente é um sistema que utiliza várias ferramentas, incluindo recursos de RAG, para executar tarefas complexas. O RAG é um componente da IA agêntica, e um agente frequentemente usará diferentes tipos de métodos de recuperação (por exemplo, busca na web vs. busca vetorial) dependendo do conteúdo de um prompt.

Fundamentação

Fundamentação refere-se ao processo mais amplo de usar evidências ou dados para melhorar a precisão da resposta de um LLM, ou fundamentá-la. O RAG é uma forma de fundamentação, mas adicionar um documento técnico a uma janela de contexto também contaria como fundamentação.

RAG vs. LLM: exemplos do mundo real

Para entender melhor como o RAG funciona em comparação com o uso de LLM sem RAG, podemos analisar um exemplo simples do mundo real usando o Perplexity e um caso empresarial hipotético em que um banco de dados vetorial é consultado.

RAG vs. LLM com um prompt simples

Aqui está a saída (limitada a duas frases) quando é perguntado ao Perplexity, "Should I go for a walk in London today?" com a busca na web por IA (uma forma de RAG) desativada:

Sim — se o tempo estiver razoavelmente seco e você tiver tempo, uma caminhada em Londres hoje pode ser uma mudança revigorante de cenário. Escolha uma rota ao longo do South Bank, do Regent’s Canal ou através do Hyde Park, e leve uma capa leve à prova d’água só por precaução.

Compare isso com o prompt quando o LLM pode verificar fontes externas:

Sim, é um bom dia para uma caminhada em Londres: a previsão indica temperaturas amenas em torno de 19–21°C, com períodos de sol e apenas uma chance muito baixa de chuva. Com céu parcialmente nublado e uma brisa suave, as condições são confortáveis para explorar parques ou rotas à beira-rio como o South Bank.

Há semelhanças entre os dois, já que o LLM usa o mesmo processo subjacente de pontuação de tokens. No entanto, o segundo exemplo inclui informações meteorológicas detalhadas, o que o torna muito mais útil.

RAG vs. LLM com um banco de dados vetorial empresarial

Imagine que um usuário faz a seguinte pergunta a um chatbot no aplicativo de um banco: “Onde posso baixar meu extrato mais recente?”

O banco que gerencia o aplicativo criou um banco de dados contendo embeddings da documentação atualizada do produto e o conectou ao pipeline de RAG do chatbot. A documentação consiste em cerca de 1.000 documentos-fonte, que são divididos em fragmentos menores e convertidos em vetores para recuperação.

A consulta do usuário é enviada a um modelo de embeddings, e o aplicativo envia esse vetor ao banco de dados, que retorna os fragmentos relevantes.

O modelo de embeddings receberia uma solicitação como esta:

O modelo de embeddings retorna o seguinte embedding vetorial:

Em seguida, o banco de dados vetorial recebe uma solicitação como a seguinte:

Neste exemplo (bem simplificado), o banco de dados retorna os cinco fragmentos mais relevantes para a consulta do usuário, que são enviados ao aplicativo e incluídos no prompt do LLM.

Quando escolher RAG vs. um LLM e quando combinar

LLMs e RAG são sistemas complementares. Portanto, a pergunta “Quando devo escolher um LLM e quando RAG?” está equivocada. Em vez disso, você deve perguntar: “Quando um LLM é suficiente e quando o RAG é ideal?”

Quando usar um LLM sem RAG ativado

• Seu modelo de IA escolhido tem uma janela de contexto grande: Se for mais fácil incluir no prompt todas as informações ou dados necessários para uma resposta precisa, como fazendo upload de um documento, isso pode reduzir a latência e evitar problemas relacionados à recuperação.
• Fluxo de trabalho de raciocínio e análise de dados: Fluxos de trabalho de análise e raciocínio que fazem referência apenas aos dados fornecidos em um prompt não precisam de recursos de RAG.
• Geração de código: O RAG geralmente não é necessário para trabalhos gerais de programação, embora normalmente seja empregado em tarefas específicas de um projeto, como recuperar correções anteriores ou APIs e documentação de fornecedores.

Quando usar um LLM com RAG ativado

• Você precisa de acesso a informações atualizadas: Se um aplicativo de IA precisar acessar fontes externas de informações atualizadas para gerar uma resposta precisa, sempre certifique-se de que os recursos de RAG estejam ativados.
• Você está trabalhando em uma área especializada: Para domínios como medicina, direito, educação e assim por diante, nos quais precisão, detalhes e verificação de fontes são importantes, o uso apenas de LLM muitas vezes será insuficiente.
• As saídas devem fazer referência a arquivos internos da empresa: Se você estiver usando IA, internamente ou em um aplicativo voltado para clientes, para gerar conteúdo com base em documentos internos da empresa, sejam dados, um kit de marca, documentação ou arquivos, o RAG fornece acesso a essas informações.

RAG e LLMs são tecnologias complementares e em evolução

RAG representou uma grande inovação na evolução da IA. Ele resolve três grandes problemas: informações desatualizadas, memória limitada do modelo e lacunas de informação devido à falta de dados de treinamento relevantes, o que muitas vezes resultava em alucinações. É claro que os LLMs ainda não superaram totalmente esses problemas, mas sua incidência foi significativamente reduzida com o advento do RAG.

O RAG não é uma tecnologia estática. Espera-se que ele melhore em várias áreas, incluindo reranking, latência durante a recuperação e uso de tokens, defesas de segurança contra fontes de dados perigosas, integração de dados recuperados de múltiplas fontes e muito mais. À medida que os LLMs e a IA agêntica continuam a evoluir, os sistemas de RAG que os dão suporte também evoluirão.