Avançando em modelos de linguagem aprimorados por busca

Introdução

O treinamento de agentes de busca na web de ponta requer a otimização conjunta de múltiplos objetivos: precisão factual, eficiência de trajetória e alinhamento com a preferência do usuário. No entanto, melhorar qualquer dimensão isoladamente muitas vezes degrada as outras: modelos treinados exclusivamente para precisão tendem a usar ferramentas em excesso, enquanto modelos otimizados para brevidade podem sacrificar a confiabilidade ou a completude. Na Perplexity, nenhum dos resultados é aceitável.

Este artigo descreve o pipeline de pós-treinamento da Perplexity para o desenvolvimento de agentes de busca na web de última geração baseados em modelos de código aberto. Uma ideia-chave é que, no treinamento de agentes de busca, a curadoria de dados e o design de recompensas devem ser co-projetados: os dados determinam quais comportamentos são observáveis e verificáveis, e a recompensa determina como esses sinais são traduzidos em sinal de otimização. Esse princípio motiva nosso pipeline de dois estágios: primeiro conduzimos um aquecimento de Ajuste Fino Supervisionado (SFT) para inicializar o modelo de política, e depois refinamos o modelo de política usando Aprendizagem por Reforço (RL) sobre um conjunto de dados curado e recompensas cuidadosamente projetadas. Essa abordagem de dois estágios permite ganhos confiáveis em precisão, eficiência e qualidade de resposta sob restrições de produção.

Descrevemos primeiro nosso pipeline de treinamento de dois estágios (SFT → RL on-policy), seguido pela construção de nossos dados de treinamento de RL, cobrindo tanto perguntas e respostas (QA) verificáveis de agentes de busca quanto chat geral baseado em rubricas. Em seguida, apresentamos um design de recompensa composta derivado desse cenário de dados heterogêneos, equilibrando qualidade e eficiência enquanto mitigamos a exploração de falhas na recompensa (reward hacking). Por fim, analisamos a dinâmica de treinamento e os resultados de benchmark.

Pipeline de Treinamento de Dois Estágios

Adotamos uma receita de pós-treinamento em dois estágios: (i) SFT para estabelecer comportamentos críticos para a implantação, como salvaguardas (guardrails, por exemplo, abstenção), seguimento de instruções e consistência de idioma, e (ii) RL on-policy para melhorar a capacidade de busca, incluindo precisão de respostas e eficiência no uso de ferramentas, preservando os comportamentos do primeiro estágio.

Por que dois estágios? Otimizar conjuntamente a qualidade da busca e as restrições de implantação em um único estágio de RL é difícil sem comprometer pelo menos um objetivo. Empiricamente, o treinamento apenas com RL melhora o desempenho da busca, mas tende a ter desempenho inferior nas salvaguardas de implantação, enquanto o SFT melhora a conformidade ao custo do desempenho da busca. Desassociar os objetivos permite que o estágio de SFT atenda primeiro aos requisitos inegociáveis, após o que o RL pode se concentrar principalmente em melhorar a capacidade de busca.

Estágio de SFT

Inicializamos a partir da família de modelos Qwen3 (Qwen3.5-122B-A10B e Qwen3.5-397B-A17B) (Yang et al., 2025, postagem no blog do Qwen3.5) e construímos um conjunto de dados de mistura de SFT de dois componentes visando aos comportamentos críticos de implantação descritos acima, preservando a capacidade geral de busca do modelo base.

Exemplos orientados a preferências. Curamos exemplos de seguimento de instruções e focados em estilo, visando tom, consistência de idioma, clareza e formatação. Esses exemplos não precisam admitir uma única verdade absoluta (ground truth); em vez disso, são selecionados para refletir os requisitos de redação do produto e garantir consistência estilística em diversos tipos de consultas.

Trajetórias de uso de ferramentas em formato de produção. Empiricamente, descobrimos que o SFT sem uma curadoria cuidadosa do conjunto de dados pode degradar substancialmente a capacidade de busca do modelo base. Para mitigar isso, amostramos consultas e tarefas internas em diversos padrões de interação (turno único, dois turnos e multi-turno) e as anotamos com nosso arnês de chamada de ferramentas.

Estágio de RL

A partir do ponto de verificação (checkpoint) de SFT, aplicamos RL on-policy para melhorar a precisão e a eficiência da busca. Otimizamos o modelo de política usando a Otimização de Política Relativa de Grupo (GRPO) (Shao et al., 2024).

onde $G$ é o tamanho do grupo, $o_{i}$ denota a $i$-ésima saída amostrada e $\hat{A}_{i, t} = \hat{A}_{i}$ é a vantagem. O design da recompensa é detalhado na seção de design de recompensa; em suma, combinamos a correção de linha de base com a modelagem de eficiência baseada em preferências e ancorada. Seguindo trabalhos anteriores (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), aplicamos Amostragem de Importância (IS) a nível de token para corrigir a divergência entre treinamento e inferência:

Avaliamos várias abordagens para mitigar a divergência entre treinamento e inferência, incluindo IS a nível de sequência (Zheng et al., 2025b), repetição de roteamento (Ma et al., 2025; Zheng et al., 2025b) e treinamento consistente em nível de bits que integra o kernel do motor de inferência durante o treinamento (vLLM e equipes do TorchTitan, 2025). Empiricamente, sob nossa configuração on-policy, descobrimos que a IS a nível de token é suficiente para evitar o colapso do treinamento, permanecendo simples de implementar; isso é consistente com as descobertas de Zheng et al (2025a).

Dados de Treinamento de RL

Nossos dados de treinamento de RL consistem em dois componentes complementares: perguntas e respostas (QA) verificáveis de agentes de busca visando à capacidade geral de busca, e chat geral baseado em rubricas reforçando explicitamente as salvaguardas de implantação para evitar regressão durante o estágio de treinamento de RL.

Dados verificáveis de agentes de busca

Construção do conjunto de dados. Seguindo o método de expansão sequencial (Tao et al., 2025), construímos um conjunto de dados de QA sintético interno a partir de consultas semente internas, sem depender de um gráfico de conhecimento curado, mantendo o pipeline leve e fácil de atualizar. Cada exemplo sintético é gerado através das seguintes etapas:

1. Seleção de sementes. Recuperamos documentos para consultas semente e selecionamos entidades com confirmação de fatos de múltiplas fontes como pontos de partida, extraindo declarações atômicas sobre elas.
2. Construção de cadeia de múltiplos saltos. A partir das declarações da entidade semente, selecionamos uma que introduz uma segunda entidade (por exemplo, para a semente "The Mom Test", a declaração "escrito por Rob Fitzpatrick" introduz o autor como a próxima entidade). Repetimos esse processo de vinculação de 2 a 4 vezes, garantindo que cada entidade seja distinta e que nenhuma declaração isolada revele trivialmente a resposta final.
3. Síntese de perguntas sem nomes. Convertemos a cadeia de entidades em uma pergunta substituindo recursivamente os nomes das entidades por suas declarações de conexão, produzindo uma pergunta aninhada que requer raciocínio de múltiplos saltos (multi-hop).
4. Verificação. Retemos apenas perguntas com respostas exclusivas verificadas por múltiplos resolvedores independentes habilitados para a web.

Exemplo (3 saltos)

Considere a consulta semente “The Mom Test”. Recuperamos documentos e identificamos este livro como a entidade semente, extraímos então declarações factuais atômicas e construímos iterativamente uma cadeia de entidades: (i) The Mom Test foi escrito por Rob Fitzpatrick, introduzindo Rob Fitzpatrick; (ii) A primeira startup de Rob Fitzpatrick passou pela Y Combinator (Verão de 2007), introduzindo a Y Combinator; (iii) A Y Combinator foi lançada em março de 2005. A substituição recursiva de cada nome de entidade por seu descritor resulta na pergunta sem nomes: “Qual livro foi escrito pela pessoa cuja primeira startup passou pela aceleradora lançada em março de 2005, em sua coorte do Verão de 2007?” com a resposta “The Mom Test”.

Aumento de diversidade de formato. Modelos treinados exclusivamente em QA sintética bruta tendem a ignorar as preferências de formatação e adotam um padrão de estrutura de resposta fixo, independentemente de como a consulta é formulada. Para melhorar a diversidade de formato, aumentamos o conjunto de dados com consultas que incluem instruções de formatação explícitas (por exemplo, “Mostre uma lista de . . . ” ou “Resuma . . . em uma tabela”), mantendo a resposta subjacente inalterada.

QA verificável pública (linha de base). Construímos um conjunto de dados de QA verificável de linha de base a partir de cinco conjuntos de dados de código aberto (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), unificados sob nosso formato de prompt aumentado com filtragem de qualidade. Esta mistura serve como a linha de base primária em nossos experimentos de validação. Para comparações controladas, equiparamos a escala do nosso conjunto de dados de QA sintético interno a esta mistura de código aberto.

Validação rápida. Validamos a eficácia deste pipeline usando Qwen3-30B-A3B-Instruct-2507 para permitir uma iteração rápida; os resultados estão resumidos na Tabela 1.

Expandir

Dados de chat geral baseados em rubricas

Embora a QA verificável forneça um sinal de treinamento limpo para consultas centradas em busca, uma fração substancial do tráfego de produção não é unicamente verificável (por exemplo, reescrita, planejamento e assistência aberta). Excluir tais consultas do RL deixaria a política sub-otimizada para interações reais de usuários. Além disso, embora o estágio de SFT estabeleça salvaguardas críticas para a implantação, o RL pode regredir nelas, a menos que sejam explicitamente reforçadas pelos dados.

Incorporamos consultas não verificáveis no treinamento de RL convertendo requisitos críticos para a implantação — seguimento de instruções, restrições de formatação e convenções de segurança — em rubricas: critérios atômicos e objetivamente checáveis que uma resposta deve satisfazer. Adotamos a construção de dados baseada em rubricas (Gunjal et al., 2025; Liu et al., 2025b), gerando conjuntos de rubricas por consulta.

Geração de rubricas. Dada todo o histórico de conversas, solicitamos a um LLM que produza uma resposta de referência e um conjunto de rubricas correspondente. As rubricas são derivadas sob uma ordem de precedência fixa: os requisitos declarados explicitamente pelo usuário têm prioridade, seguidos por restrições internas e, finalmente, os requisitos de conteúdo necessários inferidos a partir da resposta de referência. Cada rubrica deve ser:

• Atômica: uma única verificação bem definida;
• Objetiva: verificável sem julgamento subjetivo;
• Necessária: exigida para responder à consulta, e não meramente uma preferência estilística.

Exemplo

Consulta.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubricas.

• A resposta está escrita em inglês.
• A redação corrigida contém as palavras "lodging" e "boarding".
• A redação corrigida usa "manpower" como uma única palavra (por exemplo, "manpower plan" ou "manpower planning") em vez de "man power".
• A redação corrigida não contém os tokens de abreviação informal "u" ou "Plz", e não contém o caractere E comercial "&".
• A resposta não contém marcadores de citação no formato \\[type:idx\\], onde type denota uma fonte de dados (por exemplo, web, chart, memory, attached_file).

Calibração de rubricas. Para evitar conjuntos de rubricas excessivamente rigorosos ou permissivos, aplicamos um filtro pass@4. Para cada consulta, amostramos quatro respostas independentes e as avaliamos em relação ao conjunto completo de rubricas com um juiz de seguimento de instruções. Descartamos consultas para as quais nenhuma resposta satisfaz o conjunto de rubricas ou todas satisfazem, retendo apenas aquelas que geram um sinal de treinamento informativo.

Mistura de prompts e balanceamento de variância

Um desafio prático no RL multi-objetivo é o desequilíbrio de variância entre os componentes de dados (Duchi e Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Embora tanto a QA verificável quanto os dados baseados em rubricas gerem recompensas binárias, eles diferem substancialmente na dificuldade da tarefa: a satisfação da rubrica é geralmente mais fácil de alcançar no início do treinamento, produzindo atualizações de gradiente maiores e mais frequentes que podem dominar desproporcionalmente a otimização da política em relação ao sinal de QA verificável mais difícil. Para resolver isso, reponderamos a mistura de prompts no nível do conjunto de dados, amostrando 90% de QA verificável e 10% de dados baseados em rubricas para equilibrar o sinal de otimização entre os componentes.

Design de recompensa

Nosso design de recompensa decorre diretamente da construção de dados descrita acima. Apesar de abranger tarefas de QA verificável e de rubrica, todos os dados de treinamento compartilham uma estrutura de recompensa de linha de base comum: uma geração (rollout) recebe créditos se produzir uma resposta correta para tarefas de QA, ou se satisfizer todas as rubricas especificadas para o chat geral. Com base nessa fundação compartilhada, construímos uma recompensa composta para incorporar pontuação baseada em preferências e modelagem de eficiência.

Um desafio fundamental observado nos primeiros experimentos foi a exploração de falhas na recompensa (reward hacking): uma combinação linear simples de recompensas permitia que sinais fortes de preferência compensassem falhas factuais ou de instrução. Portanto, adotamos a agregação com portão (gated aggregation) como um princípio central de design, formalmente definida como:

onde $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ denota a correção de QA ou a satisfação da rubrica, $s(\tau_i)\in[0,1]$ é a pontuação de preferência e $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ é uma penalidade de eficiência ancorada. Isso torna a correção uma condição necessária para receber créditos de preferência, ao mesmo tempo em que desestimula o uso desnecessário de ferramentas e a verbosidade. A Figura 1 ilustra o pipeline completo de recompensa, cujos componentes descrevemos abaixo:

Expandir

Recompensa de linha de base

Definimos um sinal de linha de base binário $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ que captura a correção da tarefa ou a conformidade com as instruções. Para dados de agentes de busca verificáveis, $r_{\mathrm{base}}(\tau_i)=1$ se a resposta final corresponder à verdade absoluta (ground truth), e $0$ caso contrário. Para dados de chat geral baseados em rubricas, $r_{\mathrm{base}}(\tau_i)=1$ se todas as rubricas forem satisfeitas, e $0$ caso contrário. Esta linha de base serve como a barreira rígida na regra de agregação condicional Eq. 2.

Modelagem de preferências

Nosso objetivo é alinhar o modelo de política com as preferências latentes dos usuários em relação à qualidade da resposta — informatividades, clareza e tom profissional —, que são difíceis de capturar por meio de prompts de juiz de LLM. Portanto, treinamos um modelo de recompensa de preferência aprendido para pontuar esses atributos diretamente.

Formulamos a aprendizagem de preferências sob a estrutura de Bradley-Terry. Dado um contexto $x$ e duas respostas candidatas $y_a, y_b$, o modelo produz pontuações escalares $s_{\theta}(x, y) \in \mathbb{R}$ e minimiza,

onde $r \in \{0, 1\}$ indica se $y_a$ é preferido. Para eliminar o viés posicional, cada par de treinamento é aumentado com ambas as ordenações e otimizado simetricamente,

No momento da inferência, obtemos uma pontuação de preferência agnóstica à posição fazendo a média de ambas as permutações:

A pontuação de preferência da geração (rollout) é então definida como $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$, ou seja, a probabilidade de que a geração da política $y_i$ seja preferida em relação à geração do modelo de referência para o mesmo prompt.

Os dados de treinamento para modelagem de preferências são extraídos de conjuntos de dados de código aberto curados, feedback lado a lado (side-by-side) do usuário e anotações internas. Para lidar com o ruído de rótulos, aplicamos um pipeline de filtragem leve e calibração inspirado no Datbench (DatologyAI, 2026), retendo apenas exemplos com concordância consistente entre modelos. O modelo de recompensa compartilha a mesma espinha dorsal (backbone) que o modelo de política, com a cabeça de modelagem de linguagem substituída por uma cabeça de valor. Embora modelos de recompensa menores alcancem precisão de retenção (held-out) comparável, descobrimos empiricamente que eles falham em capturar preferências refinadas e podem reforçar comportamentos indesejados da política.

Penalidade de eficiência

Na ausência de modelagem explícita de eficiência, a política tende a usar ferramentas em excesso mesmo em prompts simples. Penalidades incondicionais (por exemplo, aquelas que escalam linearmente com a contagem de chamadas de ferramentas ou o comprimento da saída) são uma linha de base natural, mas descobrimos que elas suprimem a exploração necessária e degradam o aprendizado. Portanto, adotamos penalidades ancoradas e relativas ao grupo que regularizam o uso de ferramentas e o comprimento da resposta em relação a soluções eficazes dentro de cada grupo GRPO. Para um grupo 𝑔, definimos o conjunto vencedor como:

Penalidade de chamada de ferramenta ancorada. Para cada geração (rollout) $\tau_i$, seja $c_i$ a contagem de chamadas de ferramentas e $e_i$ o número de falhas na execução de ferramentas. Definimos a contagem efetiva de chamadas de ferramentas $\tilde{c}_i = c_i - e_i$ e amostramos uniformemente uma linha de base do grupo:

Calculamos o excesso $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ e definimos um escalar de penalidade suave $p_i = 1 - \exp\!\left(-\Delta_i\right)$. A penalidade da ferramenta é então:

Penalidade de comprimento ancorada. Sejam $L_i$ e $L_i^{\mathrm{ref}}$ os comprimentos em tokens das gerações do modelo candidato e de referência, respectivamente. Definimos o conjunto de modelagem (shaping set) $\widehat{W}_g$ como gerações que são corretas e preferidas:

Calculamos então as linhas de base de comprimento específicas do grupo:

A penalidade de comprimento é definida como:

onde a primeira linha é um limite rígido (hard cap); a segunda penaliza vencedores verbosos; e a terceira penaliza perdedores escassos.

Penalidade de eficiência combinada. A penalidade de eficiência combinada é uma soma ponderada de ambos os componentes:

Principais resultados

Avaliamos nosso pipeline de pós-treinamento ao longo de dois eixos: (i) dinâmica de treinamento, para avaliar a estabilidade da otimização e se os sinais de recompensa se comportam conforme o esperado, e (ii) benchmarks offline, para medir a qualidade downstream, a segurança e a eficiência sob configurações de avaliação controladas.

Configurações padrão de treinamento. O modelo de política interage com uma ferramenta de busca na web (search_web); cada chamada de ferramenta recupera até 10 resultados, com consultas limitadas a 250 caracteres e até 5 consultas por geração (rollout).

Dinâmica de treinamento

Examinamos a dinâmica de otimização, com foco na progressão de recompensas e no comportamento de eficiência. Usamos Qwen3.5-397B-A11B para simplificar a ilustração.

Expandir

A Figura 2 mostra uma melhoria constante na recompensa de linha de base (QA verificável e satisfação da rubrica) juntamente com o aumento das pontuações de preferência, indicando ganhos consistentes em correção, conformidade e qualidade de resposta.

Expandir

A Figura 3 demonstra que tanto a frequência de chamadas de ferramentas quanto o comprimento da geração permanecem bem controlados ao longo do treinamento. Notavelmente, tanto as penalidades de chamada de ferramenta quanto as de comprimento diminuem monotonicamente ao longo do treinamento, refletindo a adaptação progressiva do modelo em direção a uma geração mais concisa e a uma invocação mais seletiva de ferramentas.

Expandir

A Figura 4 mostra que as normas de gradiente permanecem estáveis, além de picos transitórios, enquanto a divergência KL entre treinamento e inferência exibe uma leve tendência de alta, permanecendo dentro da escala 1e-3. Esse padrão de desvio é consistente com as observações em outras estruturas de treinamento de RL; como o treinamento permanece estável do início ao fim, mantemos uma regularização IS simples na Eq. 1 sem intervenção adicional.

Avaliações offline

Relatamos resultados em um conjunto de benchmarks que abrangem precisão de busca, confiabilidade factual, seguimento de instruções e segurança, compreendendo tanto benchmarks públicos quanto métricas internas da Perplexity (PPLX). Os benchmarks públicos incluem SimpleQA, FRAMES e Facts Open.

• pplx-sbs-search: Avaliação de preferência lado a lado (side-by-side) usando um modelo de recompensa interno. Os candidatos são comparados com uma linha de base forte.
• pplx-abstention: Capacidade de recusar apropriadamente quando nenhuma evidência confiável estiver disponível.
• pplx-language-mismatch: Consistência de idioma em configurações de cauda longa (long-tail) e multi-turno.
• pplx-broken-tool-calls (↓): Conformidade com o esquema de chamada de ferramentas e seguimento de restrições, por exemplo, tool_choice=none.

Configurações padrão de avaliação. Para benchmarks públicos, permitimos apenas a ferramenta de busca na web, com um orçamento de até 5 chamadas de ferramentas por exemplo e até 10 resultados por chamada, gerando até 8192 tokens de saída à temperatura de 0,6.

Expandir

A Tabela 2 mostra que Qwen3.5-Large-SFT-RL alcança alta precisão de busca em benchmarks públicos, igualando ou superando o gpt-5.4 no FRAMES e no Facts Open enquanto usa orçamentos de ferramentas comparáveis. Em relação ao modelo base, nossa abordagem produz ganhos substanciais em métricas internas, particularmente em preferência (pplx-sbs-search: 0,602 → 0,742), consistência de idioma e abstenção, demonstrando que o pipeline de dois estágios melhora efetivamente os comportamentos críticos de implantação sem comprometer a capacidade de busca.

Avaliações de Eficiência no Uso de Ferramentas

Para medir isso, projetamos um protocolo de avaliação com orçamento forçado (budget-forced). Cada modelo recebe acesso a uma ferramenta de busca na web (search_web) e um prompt de sistema que especifica um limite rígido (hard cap) no número de chamadas de ferramentas permitidas (o "orçamento"). Varediamos este orçamento de 0 (sem uso de ferramenta, conhecimento puramente paramétrico) a 10 (recuperação multi-etapa generosa), registrando a precisão em cada nível. Isso produz uma curva de eficiência de ferramentas: a pontuação do modelo como uma função do orçamento de recuperação permitido. Avaliamos em dois benchmarks de QA factual, FRAMES e Facts Open.

Expandir

Vários padrões se destacam nesses dois benchmarks:

• Nosso Qwen3.5-397B-SFT-RL pós-treinado atinge a melhor precisão de busca em ambos os benchmarks. Mesmo com uma única chamada de ferramenta, ele pontua 57,3% no FRAMES, 5,7 pontos acima do GPT-5.4 e 4,7 pontos acima do Sonnet 4.6.
  • A vantagem é mais pronunciada em orçamentos moderados (b=2-7), que é a faixa operacional prática para implantações em produção.
• Nossa receita de pós-treinamento (SFT + RL) melhora substancialmente a eficiência do uso de ferramentas em relação ao ponto de verificação (checkpoint) base; veja as linhas sólidas (pós-treinadas) vs. linhas tracejadas (ponto de verificação inicial) na Figura 5.
• Para todos os modelos, observamos retornos decrescentes por volta de budget=7, consistentes em dois benchmarks e em todos os modelos, sugerindo que é uma propriedade das tarefas de busca de factualidade e não dos modelos.

Os resultados acima mostram que o Qwen3.5-397B-SFT-RL alcança maior precisão com menos chamadas de ferramentas. Mas como isso se traduz em custo real? Convertemos as medições baseadas em tokens em custos em dólar usando preços de API publicados (Alibaba DashScope, OpenAI, Anthropic) para tornar a comparação concreta.

Expandir

No perfil médio (b=4), o Qwen3.5-397B-SFT-RL pontua 73,9% no FRAMES a 2,0 centavos por consulta, enquanto o GPT-5.4 pontua 67,8% a 8,5 centavos e o Sonnet 4.6 pontua 62,4% a 15,3 centavos. Isso representa +6 pontos de precisão a um custo 4x menor em comparação com o GPT-5.4, e +11,5 pontos a um custo 7,5x menor em comparação com o Sonnet 4.6.

Estas estimativas usam preços de API de tabela sem cache. Com otimizações de inferência internas, como reuso de cache KV, cache de prefixo e atendimento MoE quantizado (o 397B usa apenas 17B de parâmetros ativos), o custo efetivo pode ser reduzido muito abaixo do preço de tabela da API.

Conclusão

Desassociar a conformidade de implantação da otimização de busca por meio de um pipeline de SFT e RL de dois estágios gera um modelo que é tanto capaz quanto confiável sob restrições de produção. A combinação de QA verificável e dados de treinamento baseados em rubricas, juntamente com a agregação de recompensas com portão e modelagem de eficiência ancorada, permite uma otimização multi-objetivo estável sem sacrificar a precisão da busca ou a conformidade com as salvaguardas.

Várias direções merecem investigação adicional. Conforme observado na Figura 4, a divergência KL entre treinamento e inferência exibe um desvio de alta persistente em etapas de treinamento estendidas. Embora a correção IS a nível de token se mostre suficiente sob nossa configuração atual, se isso permanece verdadeiro em maior escala é incerto; um tratamento teórico mais fundamentado dessa incompatibilidade — abrangendo discrepâncias em nível de infraestrutura e fatores específicos de arquitetura, como roteamento MoE — juntamente com comparações empíricas quantitativas de estratégias de mitigação, continua sendo uma questão em aberto importante. Especificamente para RL multi-objetivo, vias promissoras incluem o treinamento sequencial (Zeng et al., 2026) com destilação on-policy para otimizar objetivos em estágios enquanto mitiga o esquecimento catastrófico; e a mesclagem de modelos (Fu et al., 2025; Yang et al., 2026) para desacoplar a otimização específica de tarefas da agregação de capacidades. Por fim, a expansão para fluxos de trabalho realistas de multi-ferramentas com trajetórias de longo horizonte permanece um desafio em aberto importante, exigindo provavelmente uma melhor atribuição de créditos, suporte para gerações parciais e avaliações.

Referências

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Publicado em 6 de jan. de 2026. Acessado em: 2026-03-04.

J. Duchi e H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng e X. Zhao. Training-free llm merging for multi-task learning. In: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), páginas 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu e S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu e Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao e H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang e Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui e F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng e T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith e M. Lewis. Measuring and narrowing the compositionality gap in language models. In: Findings of the Association for Computational Linguistics: EMNLP 2023, páginas 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin e W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

Equipes vLLM e TorchTitan. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov. de 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie e F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang e D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang e J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

Citação

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}