Avançando modelos de linguagem aumentados por pesquisa

Introdução

O treinamento de agentes de pesquisa na web de vanguarda requer a otimização conjunta de múltiplos objetivos: precisão factual, eficiência da trajetória e alinhamento com a preferência do usuário. No entanto, melhorar qualquer dimensão isoladamente frequentemente degrada as outras: modelos treinados apenas para precisão tendem a usar ferramentas em excesso, enquanto modelos otimizados para brevidade podem sacrificar a confiabilidade ou a completude. Na Perplexity, nenhum dos resultados é aceitável.

Este artigo descreve o pipeline de pós-treinamento da Perplexity para o desenvolvimento de agentes de pesquisa na web de última geração baseados em modelos de código aberto. Uma ideia fundamental é que, no treinamento de agentes de pesquisa, a curadoria de dados e o design de recompensas devem ser projetados conjuntamente: os dados determinam quais comportamentos são observáveis e verificáveis, e a recompensa determina como esses sinais são traduzidos em sinal de otimização. Este princípio motiva nosso pipeline de dois estágios: primeiro, realizamos um aquecimento de Ajuste Fino Supervisionado (SFT) para inicializar o modelo de política e, em seguida, refinamos o modelo de política usando Aprendizado por Reforço (RL) sobre um conjunto de dados curado e recompensas cuidadosamente projetadas. Essa abordagem de dois estágios permite ganhos confiáveis em precisão, eficiência e qualidade de resposta sob restrições de produção.

Primeiro, descrevemos nosso pipeline de treinamento de dois estágios (SFT → RL on-policy), seguido pela construção de nossos dados de treinamento de RL, abrangendo tanto QA de agente de pesquisa verificável quanto chat geral baseado em rubricas. Em seguida, apresentamos um design de recompensa composto derivado deste cenário de dados heterogêneo, equilibrando qualidade e eficiência, ao mesmo tempo em que mitigamos a manipulação de recompensa. Finalmente, analisamos a dinâmica de treinamento e os resultados dos benchmarks.

Pipeline de Treinamento de Dois Estágios

Adotamos uma receita de pós-treinamento de dois estágios: (i) SFT para estabelecer comportamentos críticos para a implantação, como guardrails (por exemplo, abstenção), seguimento de instruções e consistência de linguagem, e (ii) RL on-policy para melhorar a capacidade de pesquisa, incluindo a precisão da resposta e a eficiência no uso de ferramentas, preservando ao mesmo tempo os comportamentos do primeiro estágio.

Por que dois estágios? Otimizar conjuntamente a qualidade da pesquisa e as restrições de implantação em um único estágio de RL é difícil sem comprometer pelo menos um dos objetivos. Empiricamente, o treinamento apenas com RL melhora o desempenho da pesquisa, mas tende a ter um desempenho inferior nos guardrails de implantação, enquanto o SFT melhora a conformidade ao custo do desempenho da pesquisa. Desvincular os objetivos permite que o estágio de SFT atenda primeiro aos requisitos inegociáveis, após o que o RL pode focar principalmente em melhorar a capacidade de pesquisa.

Estágio SFT

Inicializamos a partir da família de modelos Qwen3 (Qwen3.5-122B-A10B e Qwen3.5-397B-A17B) (Yang et al., 2025, postagem no blog da Qwen3.5) e construímos um conjunto de dados de mistura de SFT de dois componentes visando aos comportamentos críticos para a implantação descritos acima, enquanto preservamos a capacidade de pesquisa geral do modelo base.

Exemplos orientados à preferência. Curamos exemplos de seguimento de instruções e focados em estilo, visando o tom, a consistência do idioma, a clareza e a formatação. Esses exemplos não precisam admitir uma verdade absoluta única; em vez disso, são selecionados para refletir os requisitos de escrita do produto e garantir a consistência estilística entre diversos tipos de consulta.

Trajetórias de uso de ferramentas em formato de produção. Empiricamente, descobrimos que o SFT sem uma curadoria cuidadosa do conjunto de dados pode degradar substancialmente a capacidade de pesquisa do modelo base. Para mitigar isso, amostramos consultas e tarefas internas em diversos padrões de interação (turno único, duplo e múltiplo) e as anotamos com nosso conjunto de ferramentas de chamada de ferramenta.

Estágio RL

Começando a partir do checkpoint de SFT, aplicamos RL on-policy para melhorar a precisão e a eficiência da pesquisa. Otimizamos o modelo de política usando a Otimização de Política Relativa ao Grupo (GRPO) (Shao et al., 2024).

onde $G$ é o tamanho do grupo, $o_{i}$ denota a $i$-ésima saída amostrada, e $\hat{A}_{i, t} = \hat{A}_{i}$ é a vantagem. O design da recompensa é detalhado na seção de design de recompensa; em resumo, combinamos a correção da linha de base com modelagem de eficiência baseada em preferência e ancorada. Seguindo trabalhos anteriores (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), aplicamos Amostragem de Importância (IS) em nível de token para corrigir o descasamento entre treinamento e inferência:

Avaliamos várias abordagens para mitigar o descasamento entre treinamento e inferência, incluindo IS em nível de sequência (Zheng et al., 2025b), replay de roteamento (Ma et al., 2025; Zheng et al., 2025b) e treinamento consistente bit a bit que integra o kernel do mecanismo de inferência durante o treinamento (Equipes vLLM e TorchTitan, 2025). Empiricamente, sob nosso cenário on-policy, descobrimos que o IS em nível de token é suficiente para evitar o colapso do treinamento, permanecendo simples de implementar; isso é consistente com as descobertas de Zheng et al (2025a).

Dados de Treinamento de RL

Nossos dados de treinamento de RL consistem em dois componentes complementares: QA de agente de pesquisa verificável visando à capacidade de pesquisa geral, e chat geral baseado em rubricas reforçando explicitamente os guardrails de implantação para evitar regressão durante o estágio de treinamento de RL.

Dados verificáveis de agente de pesquisa

Construção do conjunto de dados. Seguindo o método de expansão sequencial (Tao et al., 2025), construímos um conjunto de dados de QA sintético interno a partir de consultas semente internas sem depender de um grafo de conhecimento curado, mantendo o pipeline leve e fácil de atualizar. Cada exemplo sintético é gerado através das seguintes etapas:

1. Seleção de semente. Recuperamos documentos para consultas semente e selecionamos entidades com confirmação de fatos de múltiplas fontes como pontos de partida, extraindo declarações atômicas sobre elas.
2. Construção de cadeia de múltiplos saltos. A partir das declarações da entidade semente, selecionamos uma que introduz uma segunda entidade (por exemplo, para a semente "The Mom Test", a declaração "escrito por Rob Fitzpatrick" introduz o autor como a próxima entidade). Repetimos esse processo de vinculação de 2 a 4 vezes, garantindo que cada entidade seja distinta e que nenhuma declaração revele trivialmente a resposta final.
3. Síntese de perguntas sem nomes. Convertemos a cadeia de entidades em uma pergunta substituindo recursivamente os nomes das entidades por suas declarações de conexão, produzindo uma pergunta aninhada que requer raciocínio de múltiplos saltos.
4. Verificação. Retemos apenas perguntas com respostas únicas verificadas por vários resolvedores independentes habilitados para a web.

Exemplo (3 saltos)

Considere a consulta semente "The Mom Test". Recuperamos documentos e identificamos este livro como a entidade semente, extraímos declarações factuais atômicas e construímos iterativamente uma cadeia de entidades: (i) The Mom Test foi escrito por Rob Fitzpatrick, introduzindo Rob Fitzpatrick; (ii) A primeira startup de Rob Fitzpatrick passou pela Y Combinator (verão de 2007), introduzindo a Y Combinator; (iii) A Y Combinator foi lançada em março de 2005. Substituir recursivamente cada nome de entidade pelo seu descritor produz a pergunta sem nomes: "Qual livro foi escrito pela pessoa cuja primeira startup passou pela aceleradora lançada em março de 2005, em sua coorte do verão de 2007?" com a resposta "The Mom Test".

Aumento da diversidade de formato. Modelos treinados apenas em QA sintético bruto tendem a ignorar preferências de formatação e adotar uma estrutura de resposta fixa, independentemente de como a consulta é formulada. Para melhorar a diversidade de formato, aumentamos o conjunto de dados com consultas que incluem instruções de formatação explícitas (por exemplo, "Mostre uma lista de . . . " ou "Resuma . . . em uma tabela"), mantendo a resposta subjacente inalterada.

QA verificável público (linha de base). Construímos um conjunto de dados de QA verificável de linha de base a partir de cinco conjuntos de dados de código aberto (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), unificados sob nosso formato de prompt aumentado com filtragem de qualidade. Esta mistura serve como a linha de base primária em nossos experimentos de validação. Para comparações controladas, combinamos a escala do nosso conjunto de dados de QA sintético interno com esta mistura de código aberto.

Validação rápida. Validamos a eficácia deste pipeline usando Qwen3-30B-A3B-Instruct-2507 para permitir iteração rápida; os resultados estão resumidos na Tabela 1.

Expandir

Dados de chat geral baseados em rubrica

Embora o QA verificável forneça um sinal de treinamento limpo para consultas centradas na pesquisa, uma fração substancial do tráfego de produção não é unicamente verificável (por exemplo, reescrita, planejamento e assistência de final aberto). Excluir tais consultas do RL deixaria a política sub-otimizada para as interações reais dos usuários. Além disso, embora o estágio SFT estabeleça guardrails críticos para a implantação, o RL pode regredir neles, a menos que sejam explicitamente reforçados pelos dados.

Incorporamos consultas não verificáveis no treinamento de RL convertendo requisitos críticos de implantação — seguimento de instruções, restrições de formatação e convenções de segurança — em rubricas: critérios atômicos e objetivamente verificáveis que uma resposta deve satisfazer. Adotamos a construção de dados baseada em rubrica (Gunjal et al., 2025; Liu et al., 2025b), gerando conjuntos de rubrica por consulta.

Geração de rubrica. Dada a história completa da conversa, solicitamos a um LLM que produza uma resposta de referência e um conjunto de rubrica correspondente. As rubricas são derivadas sob uma ordem de precedência fixa: os requisitos declarados explicitamente pelo usuário têm prioridade, seguidos por restrições internas e, finalmente, requisitos de conteúdo necessários inferidos da resposta de referência. Cada rubrica deve ser:

• Atômica: uma verificação única e bem definida;
• Objetiva: verificável sem julgamento subjetivo;
• Necessária: necessária para responder à consulta, não apenas uma preferência estilística.

Exemplo

Consulta.

Ela compartilhará o planejamento de mão de obra. Temos que providenciar hospedagem e alimentação. Por favor, corrija a frase.

Rubricas.

• A resposta está escrita em inglês.
• A redação corrigida contém as palavras "lodging" (hospedagem) e "boarding" (alimentação).
• A redação corrigida usa "manpower" como uma única palavra (por exemplo, "manpower plan" ou "manpower planning") em vez de "man power".
• A redação corrigida não contém os tokens de abreviação informais "u" ou "Plz", e não contém o caractere comercial "&".
• A resposta não contém marcadores de citação na forma \[type:idx\], onde type denota uma fonte de dados (por exemplo, web, chart, memory, attached_file).

Calibração de rubrica. Para evitar conjuntos de rubricas excessivamente rigorosos ou permissivos, aplicamos um filtro pass@4. Para cada consulta, amostramos quatro respostas independentes e as avaliamos em relação ao conjunto completo de rubricas com um juiz de seguimento de instruções. Descartamos consultas para as quais nenhuma resposta satisfaz o conjunto de rubricas ou todas as respostas o fazem, retendo apenas aquelas que produzem um sinal de treinamento informativo.

Mistura de prompts e balanceamento de variância

Um desafio prático no RL de múltiplos objetivos é o desequilíbrio de variância entre os componentes de dados (Duchi e Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Embora tanto o QA verificável quanto os dados baseados em rubricas produzam recompensas binárias, eles diferem substancialmente na dificuldade da tarefa: a satisfação da rubrica é geralmente mais fácil de alcançar no início do treinamento, produzindo atualizações de gradiente maiores e mais frequentes que podem dominar desproporcionalmente a otimização da política em relação ao sinal de QA verificável mais difícil. Para resolver isso, reponderamos a mistura de prompts no nível do conjunto de dados, amostrando 90% de QA verificável e 10% de dados baseados em rubricas para equilibrar o sinal de otimização entre os componentes.

Design de recompensa

Nosso design de recompensa segue diretamente da construção de dados descrita acima. Apesar de abranger tanto tarefas de QA verificável quanto tarefas de rubrica, todos os dados de treinamento compartilham uma estrutura de recompensa de linha de base comum: um rollout recebe créditos se produzir uma resposta correta para tarefas de QA, ou satisfizer todas as rubricas especificadas para chat geral. Construindo sobre esta base compartilhada, construímos uma recompensa composta para incorporar pontuação baseada em preferência e modelagem de eficiência.

Um desafio fundamental observado nos experimentos iniciais foi a manipulação de recompensa: uma combinação linear simples de recompensas permitia que sinais de preferência fortes compensassem falhas factuais ou instrucionais. Portanto, adotamos a agregação com portão como um princípio de design central, definido formalmente como:

onde $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ denota a correção de QA ou satisfação de rubrica, $s(\tau_i)\in[0,1]$ é a pontuação de preferência, e $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ é uma penalidade de eficiência ancorada. Isso torna a correção uma condição necessária para receber créditos de preferência, ao mesmo tempo em que desencoraja o uso desnecessário de ferramentas e a verbosidade. A Figura 1 ilustra o pipeline completo de recompensa, cujos componentes descrevemos abaixo:

Expandir

Recompensa de linha de base

Definimos um sinal de linha de base binário $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ que captura a correção da tarefa ou a conformidade com as instruções. Para dados de agente de pesquisa verificável, $r_{\mathrm{base}}(\tau_i)=1$ se a resposta final corresponder à verdade absoluta, e $0$ caso contrário. Para dados de chat geral baseados em rubrica, $r_{\mathrm{base}}(\tau_i)=1$ se todas as rubricas forem satisfeitas, e $0$ caso contrário. Esta linha de base serve como o portão rígido na regra de agregação condicional Eq. 2.

Modelagem de preferência

Nosso objetivo é alinhar o modelo de política com as preferências latentes dos usuários em relação à qualidade da resposta — informatividade, clareza e tom profissional — que são difíceis de capturar por meio de prompts de juiz de LLM. Portanto, treinamos um modelo de recompensa de preferência aprendido para pontuar esses atributos diretamente.

Formulamos o aprendizado de preferência sob a estrutura de Bradley-Terry. Dado um contexto $x$ e duas respostas candidatas $y_a, y_b$, o modelo produz pontuações escalares $s_{\theta}(x, y) \in \mathbb{R}$ e minimiza,

onde $r \in \{0, 1\}$ indica se $y_a$ é preferido. Para eliminar o viés posicional, cada par de treinamento é aumentado com ambos os ordenamentos e otimizado simetricamente,

No momento da inferência, obtemos uma pontuação de preferência agnóstica à posição, calculando a média de ambas as permutações:

A pontuação de preferência de rollout é então definida como $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$, isto é, a probabilidade de que o rollout de política $y_i$ seja preferido em relação ao rollout do modelo de referência para o mesmo prompt.

Os dados de treinamento para modelagem de preferência são extraídos de conjuntos de dados de código aberto curados, feedback lado a lado do usuário e anotações internas. Para lidar com o ruído do rótulo, aplicamos um pipeline de filtragem e calibração leve inspirado no Datbench (DatologyAI, 2026), retendo apenas exemplos com concordância consistente entre modelos. O modelo de recompensa compartilha a mesma espinha dorsal que o modelo de política, com o cabeçalho de modelagem de linguagem substituído por um cabeçalho de valor. Embora modelos de recompensa menores alcancem precisão de retenção comparável, descobrimos empiricamente que eles falham em capturar preferências granulares e podem reforçar comportamentos de política indesejáveis.

Penalidade de eficiência

Na ausência de modelagem de eficiência explícita, a política tende a usar ferramentas em excesso, mesmo em prompts simples. Penalidades incondicionais (por exemplo, aquelas que escalam linearmente com a contagem de chamadas de ferramenta ou o comprimento da saída) são uma linha de base natural, mas descobrimos que elas suprimem a exploração necessária e degradam o aprendizado. Portanto, adotamos penalidades ancoradas, relativas ao grupo que regularizam o uso de ferramentas e o comprimento da resposta em relação a soluções eficazes dentro de cada grupo GRPO. Para um grupo 𝑔, definimos o conjunto vencedor como:

Penalidade de chamada de ferramenta ancorada. Para cada rollout $\tau_i$, deixe $c_i$ denotar o número de chamadas de ferramenta e $e_i$ o número de falhas na execução da ferramenta. Definimos a contagem efetiva de chamadas de ferramenta $\tilde{c}_i = c_i - e_i$ e amostramos uniformemente uma linha de base de grupo:

Calculamos o excesso $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$, e definimos um escalar de penalidade suave $p_i = 1 - \exp\!\left(-\Delta_i\right)$. A penalidade da ferramenta é então:

Penalidade de comprimento ancorada. Deixe $L_i$ e $L_i^{\mathrm{ref}}$ denotarem os comprimentos de token das gerações do modelo candidato e de referência, respectivamente. Definimos o conjunto de modelagem $\widehat{W}_g$ como rollouts que são corretos e preferidos:

Calculamos então as linhas de base de comprimento específicas do grupo:

A penalidade de comprimento é definida como:

onde a primeira linha é um limite rígido; a segunda penaliza os vencedores prolixos; e a terceira penaliza os perdedores concisos.

Penalidade de eficiência combinada. A penalidade de eficiência combinada é uma soma ponderada de ambos os componentes:

Principais resultados

Avaliamos nosso pipeline de pós-treinamento ao longo de dois eixos: (i) dinâmica de treinamento, para avaliar a estabilidade da otimização e se os sinais de recompensa se comportam conforme o esperado, e (ii) benchmarks offline, para medir a qualidade downstream, segurança e eficiência sob cenários de avaliação controlados.

Configurações de treinamento padrão. O modelo de política interage com uma ferramenta de pesquisa na web (search_web); cada chamada de ferramenta recupera até 10 resultados, com consultas limitadas a 250 caracteres e até 5 consultas por rollout.

Dinâmica de treinamento

Examinamos a dinâmica de otimização, focando na progressão da recompensa e no comportamento da eficiência. Usamos Qwen3.5-397B-A11B para simplicidade de ilustração.

Expandir

A Figura 2 mostra uma melhoria constante na recompensa de linha de base (QA verificável e satisfação de rubrica) juntamente com o aumento das pontuações de preferência, indicando ganhos consistentes em correção, conformidade e qualidade de resposta.

Expandir

A Figura 3 demonstra que tanto a frequência de chamada de ferramenta quanto o comprimento da geração permanecem bem controlados durante o treinamento. Notavelmente, tanto as penalidades de chamada de ferramenta quanto as de comprimento diminuem monotonicamente ao longo do treinamento, refletindo a adaptação progressiva do modelo em direção a uma geração mais concisa e uma invocação de ferramentas mais seletiva.

Expandir

A Figura 4 mostra que as normas de gradiente permanecem estáveis, exceto por picos transitórios, enquanto a divergência KL de treinamento-inferência exibe uma leve tendência de alta, permanecendo dentro da escala 1e-3. Esse padrão de desvio é consistente com observações em outras estruturas de treinamento de RL; como o treinamento permanece estável, retemos uma regularização de IS simples na Eq. 1 sem intervenção adicional.

Avaliações offline

Relatamos resultados em um conjunto de benchmarks que abrangem precisão de pesquisa, confiabilidade factual, seguimento de instruções e segurança, compreendendo tanto benchmarks públicos quanto métricas internas da Perplexity (PPLX). Os benchmarks públicos incluem SimpleQA, FRAMES e Facts Open.

• pplx-sbs-search: Avaliação de preferência lado a lado usando um modelo de recompensa interno. Os candidatos são comparados com uma linha de base forte.
• pplx-abstention: Capacidade de recusar apropriadamente quando nenhuma evidência confiável está disponível.
• pplx-language-mismatch: Consistência de linguagem em cenários de cauda longa e turnos múltiplos.
• pplx-broken-tool-calls (↓): Conformidade com o esquema de chamada de ferramenta e seguimento de restrições, por exemplo, tool_choice=none.

Configurações de avaliação padrão. Para benchmarks públicos, permitimos apenas a ferramenta de pesquisa na web, com um orçamento de até 5 chamadas de ferramenta por exemplo e até 10 resultados por chamada, gerando até 8192 tokens de saída na temperatura 0.6.

Expandir

A Tabela 2 mostra que Qwen3.5-Large-SFT-RL alcança alta precisão de pesquisa em benchmarks públicos, igualando ou superando o gpt-5.4 em FRAMES e Facts Open enquanto usa orçamentos de ferramentas comparáveis. Em relação ao modelo base, nossa abordagem gera ganhos substanciais nas métricas internas, particularmente em preferência (pplx-sbs-search: 0.602 → 0.742), consistência de linguagem e abstenção, demonstrando que o pipeline de dois estágios melhora efetivamente os comportamentos críticos para a implantação sem comprometer a capacidade de pesquisa.

Avaliações de Eficiência no Uso de Ferramentas

Para medir isso, projetamos um protocolo de avaliação de orçamento forçado. Cada modelo recebe acesso a uma ferramenta de pesquisa na web (search_web) e um prompt do sistema que especifica um limite rígido no número de chamadas de ferramenta permitidas (o "orçamento"). Vareamos esse orçamento de 0 (sem uso de ferramentas, conhecimento paramétrico puro) a 10 (retirada multietapas generosa), registrando a precisão em cada nível. Isso produz uma curva de eficiência de ferramenta: a pontuação do modelo como uma função do orçamento de retirada permitido. Avaliamos em dois benchmarks de QA factual, FRAMES e Facts Open.

Expandir

Vários padrões se destacam nesses dois benchmarks:

• Nosso Qwen3.5-397B-SFT-RL pós-treinado alcança a melhor precisão de pesquisa em ambos os benchmarks. Mesmo com uma única chamada de ferramenta, ele pontua 57.3% no FRAMES, 5.7 pontos acima do GPT-5.4 e 4.7 pontos acima do Sonnet 4.6.
  • A vantagem é mais pronunciada em orçamentos moderados (b=2-7), que é a faixa operacional prática para implantações de produção.
• Nossa receita de pós-treinamento (SFT + RL) melhora substancialmente a eficiência no uso de ferramentas em relação ao checkpoint base; veja as linhas sólidas (pós-treinado) vs. linhas tracejadas (checkpoint inicial) na Figura 5.
• Para todos os modelos, observamos retornos decrescentes por volta de orçamento=7, consistente em dois benchmarks e todos os modelos, sugerindo que é uma propriedade das tarefas de busca de factualidade, e não dos modelos.

Os resultados acima mostram que o Qwen3.5-397B-SFT-RL alcança maior precisão com menos chamadas de ferramenta. Mas como isso se traduz em custo real? Convertemos medições em nível de token em custos em dólares usando preços de API publicados (Alibaba DashScope, OpenAI, Anthropic) para tornar a comparação concreta.

Expandir

No perfil médio (b=4), o Qwen3.5-397B-SFT-RL pontua 73.9% no FRAMES a 2.0 centavos por consulta, enquanto o GPT-5.4 pontua 67.8% a 8.5 centavos e o Sonnet 4.6 pontua 62.4% a 15.3 centavos. Isso é +6 pontos de precisão a um custo 4x menor comparado ao GPT-5.4, e +11.5 pontos a um custo 7.5x menor comparado ao Sonnet 4.6.

Essas estimativas usam preços de lista de API sem cache. Com otimizações de inferência internas, como reutilização de cache KV, cache de prefixo e serviço MoE quantizado (397B usa apenas 17B parâmetros ativos), o custo efetivo pode ser reduzido bem abaixo dos preços de lista de API.

Conclusão

Desvincular a conformidade de implantação da otimização de pesquisa por meio de um pipeline de dois estágios de SFT e RL produz um modelo que é capaz e confiável sob restrições de produção. A combinação de QA verificável e dados de treinamento baseados em rubrica, juntamente com a agregação de recompensa com portão e modelagem de eficiência ancorada, permite uma otimização estável de múltiplos objetivos sem sacrificar a precisão da pesquisa ou a conformidade com guardrails.

Várias direções merecem investigação adicional. Como observado na Figura 4, a divergência KL de treinamento-inferência exibe um desvio ascendente persistente em etapas de treinamento estendidas. Embora a correção de IS em nível de token prove ser suficiente em nosso cenário atual, não está claro se isso permanece verdadeiro em maior escala; um tratamento teórico mais fundamentado desse descasamento — abrangendo discrepâncias no nível da infraestrutura e fatores específicos da arquitetura, como roteamento MoE — juntamente com comparações empíricas quantitativas de estratégias de mitigação, permanece uma importante questão em aberto. Para o RL de múltiplos objetivos especificamente, caminhos promissores incluem o treinamento sequencial (Zeng et al., 2026) com destilação on-policy para otimizar objetivos em estágios enquanto mitiga o esquecimento catastrófico; e a fusão de modelos (Fu et al., 2025; Yang et al., 2026) para desacoplar a otimização específica da tarefa da agregação de capacidade. Finalmente, a expansão para fluxos de trabalho multiferramenta realistas com trajetórias de longo horizonte permanece um importante desafio em aberto, provavelmente exigindo melhor atribuição de créditos, suporte para rollouts parciais e avaliações.

Referências

DatologyAI. Datbench: Avaliações discriminativas, fiéis e eficientes de modelos de visão-linguagem. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, jan. 2026. Publicado em 6 de janeiro de 2026. Acessado em: 04-03-2026.

J. Duchi e H. Namkoong. Regularização baseada em variância com objetivos convexos. Preprint do arXiv arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng e X. Zhao. Fusão de LLM sem treinamento para aprendizado multitarefa. In Anais da 63ª Reunião Anual da Association for Computational Linguistics (Volume 1: Artigos Longos), páginas 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu e S. Hendryx. Rubricas como recompensas: Aprendizado por reforço além de domínios verificáveis. Preprint do arXiv arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu e Y. Shen. Quando a velocidade mata a estabilidade: Desmistificando o colapso de RL a partir do descasamento treinamento-inferência. Blog Notion, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Otimização de política de normalização de recompensa de grupo desacoplada para otimização de RL de múltiplas recompensas. Preprint do arXiv arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao e H. Wang. Openrubrics: Rumo à geração de rubrica sintética escalável para modelagem de recompensa e alinhamento de LLM. Preprint do arXiv arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang e Y. Dong. Deepdive: Avançando agentes de pesquisa profunda com grafos de conhecimento e RL de turnos múltiplos. Preprint do arXiv arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui e F. Luo. Estabilizando o aprendizado por reforço MoE alinhando roteadores de treinamento e inferência. Preprint do arXiv arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng e T. Vu. Sealqa: Elevando a barra para o raciocínio em modelos de linguagem aumentados por pesquisa. Preprint do arXiv arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith e M. Lewis. Medindo e reduzindo a lacuna de composicionalidade em modelos de linguagem. In Findings of the Association for Computational Linguistics: EMNLP 2023, páginas 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin e W. S. Lee. Repensando a região de confiança no aprendizado por reforço de LLM. Preprint do arXiv arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Empurrando os limites do raciocínio matemático em modelos de linguagem abertos. Preprint do arXiv arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Sintetizando dados de forma agentica via formalização de busca por informação. Preprint do arXiv arXiv:2507.15061, 2025.

Equipes vLLM e TorchTitan. Chega de descasamento treinamento-inferência: Aprendizado por reforço on-policy consistente bit a bit com vLLM e TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov. 2025. Blog vLLM.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie e F. Huang. Webwalker: Benchmarking de LLMs em travessia da web, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Relatório técnico Qwen3. Preprint do arXiv arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang e D. Tao. Fusão de modelos em LLMs, MLLMs e além: Métodos, teorias, aplicações e oportunidades. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang e J. Gao. Sua estrutura de RL eficiente traz secretamente o treinamento de RL off-policy, ago. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: da codificação vibe à engenharia agentica. Preprint do arXiv arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Estabilizando o aprendizado por reforço com LLMs: Formulação e práticas. Preprint do arXiv arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Otimização de política de sequência de grupo. Preprint do arXiv arXiv:2507.18071, 2025b.

Citação

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}