O que é arquitetura RAG? Uma definição completa com exemplos práticos detalhados

RAG, sigla em inglês para geração aumentada por recuperação (retrieval augmented generation), é um processo em que os LLMs usam informações externas para ampliar e aprimorar suas respostas. A arquitetura RAG é o conjunto de componentes e conexões que torna o RAG possível.

Existem várias categorias de RAG, e cada uma funciona com uma arquitetura própria. Em essência, a arquitetura de um sistema RAG determina a forma específica como as informações são armazenadas, recuperadas e fornecidas a um LLM.

O que é arquitetura RAG?

A arquitetura RAG é a configuração subjacente de componentes (e dos recursos associados a eles) que alimenta um determinado sistema RAG. Todas essas arquiteturas partem de um modelo básico, muitas vezes chamado de RAG "simples" ou “ingênuo”.

Veja uma visão geral da arquitetura RAG fundamental:

• Fonte de informações: é onde as informações externas ficam armazenadas. Pode ser um índice de busca, um banco de dados vetorial que representa grandes volumes de informação ou um repositório de documentos brutos.
• Componente de recuperação: é o mecanismo usado para consultar a fonte de informações. Um sistema RAG pode, por exemplo, usar uma simples busca por palavras-chave para encontrar trechos de texto relevantes ou consultas vetoriais mais complexas para realizar uma busca por similaridade.
• Componente de orquestração: esta camada é a parte da aplicação baseada em LLM que inicia o pipeline de RAG para um prompt do usuário, em conjunto com o LLM ou de forma independente. Ela também compila as informações recuperadas em um prompt expandido.

Os componentes da arquitetura RAG costumam ser organizados em dois caminhos. O caminho de ingestão recebe os dados e os organiza em uma fonte de informações pesquisável. Os bancos de dados vetoriais, nos quais grandes volumes de texto são convertidos em um repositório pesquisável de embeddings vetoriais, estão entre as aplicações mais utilizadas.

O caminho de recuperação recebe o prompt do usuário e gera uma consulta para pesquisar a fonte de informações. Em seguida, o orquestrador adiciona as informações recuperadas ao contexto de entrada do LLM. Em arquiteturas RAG agênticas e híbridas, pode haver vários caminhos de recuperação.

Tipos de arquitetura RAG

É enganoso pensar no RAG em termos de arquiteturas completamente distintas. A maioria dos engenheiros adota uma abordagem modular, implementando componentes separados para atender a casos de uso específicos. Embora seja possível traçar limites aproximados, é importante observar que há uma sobreposição significativa entre os modelos de arquitetura.

1. RAG básico

O RAG básico, também chamado de RAG “ingênuo” ou “simples”, é o modelo arquitetural dos demais tipos de RAG.

O processo subjacente é relativamente simples: o usuário insere um prompt, o orquestrador determina se são necessárias informações externas (de forma independente ou em conjunto com o LLM) e, então, formula e envia a consulta de recuperação correspondente.

A fonte de informações externa costuma ser um banco de dados vetorial, mas também pode ser um banco de dados SQL, uma API web, um grafo de conhecimento ou até mesmo um repositório de documentos “brutos”. Essas informações adicionais são então incluídas no contexto de entrada do LLM.

Além das consultas SQL e das APIs, existem dois grandes tipos de métodos de recuperação:

• Busca lexical (busca por palavras-chave): é uma forma simples de RAG em que palavras-chave são extraídas da consulta do usuário e comparadas com trechos de texto que contêm essas palavras. Em pipelines modernos, o orquestrador pode recorrer, para isso, ao que se chama de consulta de vetor esparso, que não captura o significado.
• Busca por vetores densos (busca semântica): os embeddings de vetores densos capturam o significado. Um orquestrador pode consultar um banco de dados de vetores densos de modo a capturar o significado tanto do prompt do usuário quanto das informações de origem.

O uso de memória também é uma parte importante da arquitetura RAG. Trata-se da forma como um LLM usa o contexto de conversas anteriores para criar uma consulta de recuperação, ancorando-a no contexto mais amplo de uma discussão (ou de várias discussões). O RAG conversacional é o padrão na maioria dos chatbots, embora alguns casos de uso, como respostas a tickets de suporte, possam usar o RAG de pergunta única.

2. Híbrido

O RAG híbrido combina dois tipos diferentes de recuperação, geralmente por palavras-chave e semântica. A busca por palavras-chave encontra termos correspondentes, e a busca vetorial encontra trechos com significado relacionado.

Outras formas de recuperação, como a navegação em grafos de conhecimento ou consultas a bancos de dados SQL, também podem ser usadas. O processo costuma ser guiado por uma lógica de roteamento, seja na forma de regras programadas, seja pela classificação da pergunta feita por um modelo (embora vários pipelines também possam ser executados simultaneamente).

O orquestrador combina os resultados e pode reclassificá-los antes de repassá-los ao LLM. A reclassificação (reranking) é o processo de atribuir pontuações de relevância aos trechos recuperados para que o LLM priorize as informações mais pertinentes.

3. RAG adaptativo

No RAG adaptativo, um componente de roteamento seleciona uma estratégia de recuperação com base nos requisitos do prompt do usuário e, em seguida, o orquestrador executa o fluxo de trabalho selecionado.

Na estrutura original (Adaptive-RAG), um modelo menor atuava como classificador e escolhia entre nenhuma recuperação, recuperação em uma única etapa ou recuperação em várias etapas. Hoje, algumas arquiteturas usam, em vez disso, modelos generativos ou heurísticas baseadas em regras.

É uma arquitetura popular porque distribui a capacidade de processamento de acordo com a complexidade e os requisitos de cada prompt, reduzindo etapas de recuperação desnecessárias em prompts mais simples. É comum em assistentes que lidam com vários tipos de pergunta.

4. RAG corretivo (CRAG)

O RAG corretivo avalia as informações recuperadas antes de adicioná-las ao contexto de entrada do LLM. Um avaliador de recuperação verifica se as informações recuperadas são relevantes e úteis. O diferencial dessa arquitetura é a etapa explícita de avaliação e correção antes da geração da resposta.

Se as informações forem consideradas incompletas ou não pertinentes ao prompt, solicitações adicionais serão acionadas. Elas podem usar métodos de recuperação diferentes dos empregados na solicitação original, como busca na web ou navegação em grafos de conhecimento.

O RAG corretivo é comum em áreas em que a precisão é importante, como medicina e direito. No entanto, ele exige uma fonte de informações adicional que possa complementar os trechos recuperados originalmente.

5. Self-RAG

No Self-RAG, o modelo pode iniciar solicitações depois de receber o contexto de entrada inicial. As respostas geradas são avaliadas em relação às evidências recuperadas por meio de tokens de reflexão, e novas solicitações são enviadas pelo orquestrador conforme necessário. Por outro lado, o LLM pode decidir que nenhuma recuperação é necessária.

Ele difere do RAG corretivo porque o LLM julga as próprias saídas, determina se a recuperação é necessária e se o texto recuperado é útil, além de monitorar as próprias respostas e modificá-las conforme necessário. Já o RAG corretivo avalia a qualidade das informações recuperadas antes da geração.

Essa arquitetura é particularmente útil para prompts complexos, no estilo de pesquisa profunda. Como integra avaliações de relevância (das informações recuperadas) à geração de respostas, é uma boa opção para prompts que exigem respostas baseadas em evidências.

6. RAG agêntico

RAG agêntico é qualquer forma de RAG executada no contexto de uma plataforma agêntica. O modelo usa sua capacidade de raciocínio para determinar o tipo de informação necessária e escolhe entre as opções de recuperação disponíveis.

A recuperação pode ser acionada várias vezes, conforme necessário, e o modelo tem a opção de designar agentes para consultas mais complexas. Por exemplo, um LLM pode solicitar uma consulta a um banco de dados para identificar um fornecedor, acionar uma busca de documentos para encontrar contratos relevantes e concluir com uma busca na web para verificar dados de contato em fontes públicas.

O RAG agêntico é a principal implementação de arquitetura em chatbots populares, como Perplexity, ChatGPT, Claude e outros. Como essas plataformas dão ao modelo principal acesso a várias ferramentas e pipelines de RAG, ele pode escolher a forma de recuperação mais adequada a cada prompt.

7. RAG multimodal

O RAG multimodal recupera contexto de diferentes tipos de mídia. É uma forma importante de RAG porque disponibiliza aos LLMs informações que, de outra forma, seriam inacessíveis, como gráficos e gravações de áudio.

A arquitetura subjacente é a mesma de qualquer outro sistema. Por exemplo, um pipeline de indexação pode preparar imagens para busca convertendo-as em embeddings diretos. Um sistema de RAG agêntico poderia então recuperar essas imagens junto com textos semanticamente relevantes e enviá-las a um modelo de visão e linguagem para processamento combinado.

8. GraphRAG

O GraphRAG usa grafos de conhecimento junto com a busca vetorial para recuperar informações sobre entidades. Normalmente, o orquestrador encontra as entidades iniciais relevantes, também chamadas de nós, por meio da extração de palavras-chave ou, às vezes, de uma busca vetorial preliminar. Um recuperador de grafos percorre o grafo de conhecimento para construir um contexto mais amplo.

Por exemplo, em resposta a um pedido de análise detalhada de uma categoria de produtos, um LLM pode acionar uma busca vetorial para identificar entidades específicas (produtos). Em seguida, o orquestrador aciona uma busca no grafo de conhecimento para encontrar entidades relacionadas, como fornecedores, pontos de venda, avaliações e assim por diante.

9. RAG ramificado

Enquanto uma arquitetura de RAG híbrido tem a capacidade de usar diferentes métodos de recuperação, o RAG ramificado se refere ao processo de executar várias consultas, chamadas de ramificações, ao mesmo tempo. Cada ramificação pode consultar uma fonte de informações separada, ou as ramificações podem consultar a mesma fonte em paralelo com consultas ou filtros diferentes. A arquitetura de RAG agêntico costuma usar o RAG ramificado.

10. HyDE (Hypothetical Document Embeddings, ou embeddings de documentos hipotéticos)

O HyDE é uma forma inovadora de RAG em que um LLM cria um documento de texto hipotético que mostra como seria uma resposta ideal. Esse “documento hipotético” é então usado para criar uma consulta que permita uma recuperação mais precisa. Embora o conhecimento relevante não esteja representado nos parâmetros do LLM, a lógica é que um trecho semelhante a uma resposta pode corresponder melhor aos documentos relevantes do que uma pergunta curta ou um prompt ambíguo.

Exemplo de arquitetura RAG simples: banco de dados vetorial

O RAG básico serve de base para tipos de arquitetura mais complexos. No caso de um sistema RAG simples que usa um banco de dados vetorial, a documentação de origem é dividida em partes menores (chunks) e convertida em embeddings densos. Quando o usuário insere um prompt, o orquestrador gera uma consulta, codifica essa consulta e pesquisa o banco de dados para encontrar trechos relevantes.

Veja o processo passo a passo:

1. Grandes volumes de texto são convertidos em vetores por meio de um pipeline de ingestão automatizado e de um modelo de embedding como o BERT.
2. A aplicação de banco de dados organiza, indexa e armazena os vetores para permitir buscas rápidas.
3. O usuário insere um prompt em um chatbot (como o Perplexity).
4. O orquestrador da aplicação codifica o prompt (usando um modelo de embedding) para recuperar informações relevantes do banco de dados vetorial.
5. O banco de dados vetorial retorna os trechos relevantes, e o orquestrador os adiciona ao contexto de entrada (o “prompt ampliado”) e o envia ao LLM.
6. O LLM usa o contexto adicional para gerar uma resposta com base em seu conhecimento interno (armazenado em seus pesos paramétricos).

Expandir

Exemplo de arquitetura RAG avançada: RAG agêntico

RAG agêntico se refere à arquitetura subjacente dos sistemas RAG dentro de uma plataforma agêntica. Os fluxos de RAG agêntico tendem a ser complexos porque os agentes de IA podem invocar diferentes ferramentas e pipelines, dependendo da natureza do prompt, e implantar vários agentes, se necessário.

Veja um exemplo prático do processo:

1. O usuário insere uma pergunta complexa que exige uma pesquisa profunda sobre um tema. Neste exemplo, digamos que o prompt seja “Faça uma previsão dos lucros da empresa para os próximos seis meses, considerando as principais atividades geopolíticas”.
2. O LLM conclui que será necessária uma combinação de consultas de RAG em diferentes tipos de conteúdo.
3. Três agentes diferentes são implantados para (a) busca vetorial, (b) fundamentação na web e (c) busca de imagens (multimodal).
4. Os agentes buscam informações relevantes, como notícias e dados financeiros internos, por meio do orquestrador, usando as ferramentas de recuperação disponíveis.
5. O LLM compara os resultados recuperados com a pergunta de pesquisa de cada agente e os classifica por relevância.
6. O LLM avalia as informações e aciona buscas adicionais por meio de agentes individuais quando faltam informações.
7. Depois que informações suficientes são recuperadas, o LLM gera previsões de cenários com base nos números financeiros existentes (recuperados da documentação interna) e aciona uma ferramenta de cálculo para projetar os lucros de cada cenário.
8. O LLM gera uma resposta final usando as informações recuperadas e os cálculos, citando as fontes conforme necessário.

Expandir

O que vem por aí para o RAG?

As inovações atuais se concentram em dar profundidade e velocidade às arquiteturas RAG existentes, aumentar a precisão da recuperação multimídia e criar sistemas capazes de lidar com informações em tempo real.

Veja três tendências que estão moldando a direção das pesquisas:

• Pesquisa profunda em várias fontes: trata-se de uma arquitetura RAG capaz de planejar buscas, executar várias ramificações em fontes distintas, avaliar as evidências recuperadas e otimizar por conta própria as respostas geradas. O RAG agêntico capaz de executar todas essas tarefas está ficando cada vez mais rápido e econômico.
• Aplicações multimodais: os pipelines de recuperação estão cada vez melhores no trabalho com imagens e vídeos. Eles conseguem identificar com precisão crescente tipos específicos de informação em dados multimodais complexos, como vídeos longos e diagramas avançados.
• Respostas fundamentadas em informações em constante mudança: as aplicações baseadas em LLM podem recorrer a fontes de informações ao vivo (como transmissões de vídeo e sensores) para fornecer contexto de entrada. Os sistemas também podem gerar redes de informações multifacetadas, como no GraphRAG, para interpretar esses dados.

O RAG é fundamental para o funcionamento das aplicações baseadas em LLM. Ele permite que diversos usuários, de consumidores comuns a empresas que atuam em áreas especializadas, superem problemas relacionados a alucinações, dados de treinamento incompletos e falta de acesso a conhecimento interno especializado.

É por isso que os sistemas RAG e sua arquitetura subjacente representam uma das áreas mais dinâmicas e empolgantes da pesquisa em IA.