Benchmark WANDR: Avaliando agentes de pesquisa.

Um benchmark para trabalhos de conhecimento de alto volume.

AutoresPerplexity Research

Hoje, estamos lançando o WANDR (Wide ANd Deep Research), um benchmark e uma estrutura de avaliação abertos construídos em torno de 500 tarefas de coleta de dados realistas e desafiadoras para trabalhos que exigem conhecimento. O WANDR é o "irmão" abrangente do nosso benchmark DRACO para pesquisa profunda. O DRACO questiona se um agente consegue produzir um relatório de longa extensão que seja preciso, completo e objetivo; o WANDR questiona se ele consegue construir uma grande coleção e embasar cada membro com evidências específicas.

Estes são os tipos de trabalhos que as pessoas já delegam a agentes de pesquisa: mapeamento competitivo, devida diligência, revisão bibliográfica, análise de mercado, comparação de produtos, prospecção de talentos e muito mais. As tarefas variam de dezenas a milhares de registros verificáveis de forma independente. Mesmo em uma configuração de alto esforço, o sistema mais forte em nossa avaliação atinge apenas 0,363 em F1 suave e 0,133 em F1 rígido. A pesquisa abrangente e profunda ainda está longe de ser solucionada.

Escala de benchmark do WANDR e as melhores pontuações de F1 suave e F1 rígido relatadas nesta avaliação.

Por que a pesquisa abrangente e profunda é importante

Muitos trabalhos de pesquisa úteis não terminam quando um agente encontra uma resposta. Um analista de mercado pode precisar de todos os concorrentes elegíveis, com as mesmas evidências para cada um. Uma equipe de devida diligência pode precisar de dezenas de empresas, bem como de sua estrutura societária, executivos, financiamento e situação regulatória para cada uma delas. Isso cria duas demandas separadas:

Abrangente: descobrir um conjunto amplo e frequentemente aberto de entidades qualificadas.

Profunda: investigar cada entidade o suficiente para embasar cada alegação solicitada com evidências.

Combinar os dois altera o problema. Um punhado de exemplos convincentes não é suficiente, e tampouco uma narrativa polida baseada em uma pesquisa incompleta. O agente deve sustentar uma ampla descoberta sem sacrificar a qualidade factual de um registro para o outro.

O WANDR captura essa estrutura com uma hierarquia de chaves de qualificação flexível e composta. Uma tarefa pode solicitar

empresa(n) → funcionário(m) → url(k)

Isso significa encontrar n empresas qualificadas, m funcionários qualificados em cada empresa e k páginas de suporte para cada funcionário. Cada caminho completo através da árvore pode ser validado independentemente. A mesma estrutura básica pode representar uma lista simples, uma pesquisa aninhada, uma matriz ou uma tarefa com vários ramos de evidências. Esses padrões também podem ser combinados, permitindo que uma única representação cubra uma ampla gama de casos de uso do mundo real.

Seis padrões de hierarquia comuns. Círculos preenchidos são entidades, círculos tracejados são rótulos fixos e quadrados são folhas de URL. Na matriz, rótulos filhos repetidos denotam os mesmos valores filhos sob diferentes pais.

Uma tarefa lançada ilustra essa estrutura na prática.

ceo_cfo_appointments

Tarefa principal. Encontre pelo menos 70 empresas sediadas nos EUA com uma nomeação de CEO ou CFO anunciada pela primeira vez entre 1º de março e 30 de abril de 2026. Para cada empresa, forneça uma página de nomeação autorizada que identifique a empresa e o nomeado, estabeleça o cargo e a data do anúncio, e que provenha do emissor, de um arquivamento regulatório, de uma agência de notícias ou de jornalismo empresarial de primeira mão diretamente atribuído.

Hierarquia principal. empresa(70) → nomeado_empresa(1) → url(1).

Subtarefa de listagem de empresas. Para as mesmas empresas, forneça uma página de autoridade de listagem reconhecida que mostre uma listagem em uma bolsa de valores nacional dos EUA ou o status de emissor reportante da SEC nos termos do Exchange Act dos EUA.

Hierarquia da subtarefa. empresa(70) → url(1).

Registros necessários. 140: 70 registros de nomeação mais 70 registros de listagem.

Cada caminho termina em uma página e trechos que o avaliador pode conferir novamente. A chave de empresa compartilhada alinha os ramos de nomeação e listagem, de modo que uma nomeação sem a prova separada do status de listagem ainda deixa essa empresa incompleta.

Tarefas realistas, geradas em escala

O WANDR parte de padrões desidentificados observados no uso em produção, em vez de prompts sintéticos. Isso mantém o benchmark próximo ao trabalho que as pessoas realmente delegam: descoberta aberta, enriquecimento repetido, verificações entre fontes e comparações estruturadas em escala profissional. Um pipeline semiautomatizado transforma esses padrões em tarefas, reservando o esforço humano para o controle de qualidade em vez da anotação exaustiva de respostas.

O pipeline tem quatro estágios. Semeadura extrai solicitações de produto desidentificadas para um padrão de pesquisa abrangente reutilizável. Autoria executa um ciclo intercalado de autor-crítico: os agentes esboçam e testam o design, escrevem a especificação da tarefa e o julgamento, criam registros de fixação e usam um linter mecânico para manter tudo alinhado. Admissão verifica se o volume alvo é alcançável mesclando 10–12 lançamentos de autoria, audita o juiz específico da tarefa e, opcionalmente, adiciona a aprovação humana. Curadoria rotula as tarefas admitidas e seleciona um conjunto final equilibrado entre tópicos, escala, topologia e dificuldade.

A pipeline de construção de tarefas tem quatro etapas. A geração inicial identifica uma solicitação realista; a elaboração a transforma em uma tarefa autônoma por meio de um ciclo autor-crítico e verificações mecânicas; os testes de admissão avaliam a viabilidade e a qualidade do julgador; e a curadoria seleciona uma versão equilibrada para lançamento. A saída é composta por 500 pacotes públicos de tarefas.

A tarefa mediana solicita 50 membros, quatro registros por membro e 245 registros no total. Tomadas em conjunto, as 500 tarefas exigem 170.495 registros embasados por fontes. Calibramos a dificuldade a partir de lançamentos históricos na fase de design e, em seguida, dividimos as tarefas por classificação em 167 exemplos de dificuldade menor, 166 média e 167 maior. O gráfico abaixo mostra que a dificuldade não é determinada apenas pela escala; ela também depende do trabalho exigido para cada registro.

Dificuldade geral da tarefa no plano de amplitude-profundidade (log-log; 500 tarefas de benchmark). Amplitude é o número de membros necessários; profundidade é a contagem de registros necessária dividida por essa contagem de membros. A cor do ponto denota o rótulo de dificuldade geral. As guias tracejadas marcam a amplitude mediana (50 membros) e a profundidade mediana (4,00 registros por membro).

Avaliação sem referência, verificada por evidências

Uma chave de resposta fixa é uma má opção para pesquisas abertas. É caro de construir, torna-se obsoleto rapidamente e representa mal as perguntas cujas respostas mudam ao longo do tempo. Em vez disso, o WANDR avalia cada alegação enviada com base nas evidências citadas pelo agente.

Cada registro contém um item, uma URL, trechos selecionados e uma resposta. O avaliador busca novamente a página e verifica se ela é utilizável, se a alegação é clara e está no escopo, se os trechos aparecem fielmente na página e se tanto a página quanto os trechos dão suporte a todos os requisitos.

Esses vereditos binários de registro se acumulam através da hierarquia. A Precisão mede a qualidade do que o sistema enviou. O Recall mede a conclusão ajustada pela qualidade em relação ao volume solicitado, preenchendo qualquer déficit com zeros. O F1 equilibra os dois. Pontuações suaves dão créditos parciais a membros incompletos; pontuações rígidas contam apenas os membros cuja subárvore completa necessária está correta. Para diagnóstico, o WANDR também relata um veredito apenas de recuperação que questiona se a página recuperada satisfaz a tarefa antes de adicionar as verificações mais rigorosas sobre validade e trechos enviados.

Isso torna as falhas interpretáveis e localizáveis. Alta precisão com baixo recall geralmente significa que o sistema encontrou alguns bons membros, mas não o suficiente. Uma grande queda do suave para o rígido significa que ele fez progresso parcial, mas raramente completou cada ramo necessário para os créditos totais. A árvore de pontuação pode localizar a perda na descoberta, no enriquecimento, no tratamento de identidade, na qualificação da página ou na extração de evidências.

O pipeline de avaliação. A resolução normaliza a saída de cada sistema; a busca recupera cada página citada e tenta novamente buscas interrompidas em um navegador; o julgamento resolve identidades e avalia cada registro; e a pontuação acumula os vereditos em precisão, recall e F1 em nível de tarefa.

O que descobrimos

Comparamos seis sistemas de produção: APIs de tarefa e pesquisa hospedadas, APIs de agente web geral, um produto de pesquisa profunda e nosso sistema programático de orquestração de pesquisa, Search as Code (SaC). Cada um foi agendado em todas as 500 tarefas sob uma configuração fixada e, em seguida, passou pelo mesmo pipeline de busca, julgamento, resolução de identidade e pontuação.

O Perplexity Search as Code lidera com 0,363 em F1 suave e 0,133 em F1 rígido. O Anthropic fica em segundo com 0,249 e 0,072; todos os outros sistemas atingem no máximo 0,121 em F1 suave e 0,035 em F1 rígido. Nenhum sistema domina tanto a qualidade quanto a eficiência. O Perplexity fica no meio da faixa de custo a US$ 5,20 por tarefa, com um tempo mediano de resolução de 14,9 minutos e 3,82 milhões de tokens relatados por tarefa. OpenAI e Exa são mais rápidos e mais baratos, mas pontuam muito mais baixo. O Anthropic chega mais perto em qualidade, mas usa substancialmente mais tempo, dinheiro e tokens.

Precisão e recall suaves e rígidos versus custo, latência mediana e uso de tokens relatado no WANDR.
Precisão e recall suaves e rígidos (topo) e F1 suave e rígido (fundo), em relação ao custo, latência mediana de resolução e uso relatado de tokens. Quanto maior e mais à esquerda, melhor. Exa e Parallel estão ausentes das visualizações de tokens porque não expõem as contagens de tokens.

Também avaliamos todas as configurações de esforço disponíveis no mesmo subconjunto de 45 tarefas. Mais esforço melhora o Perplexity, o Gemini e o Exa em cada etapa; o Perplexity atinge 0,447 em F1 suave e 0,224 em F1 rígido em xhigh. Um esforço maior não é uniformemente melhor, no entanto: o OpenAI atinge o pico em high, e o F1 rígido do Parallel cai ligeiramente entre ultra2x e ultra4x. O custo abrange mais de quatro ordens de magnitude, de US$ 0,03 por tarefa para o Exa low a US$ 324,83 para o Gemini max.

F1 suave versus custo, latência mediana e uso de tokens relatado em diferentes configurações de esforço no subconjunto de 45 tarefas do WANDR.
F1 suave (topo) e F1 rígido (fundo) em todas as configurações de esforço disponíveis no subconjunto de 45 tarefas correspondentes. Caminhos mais escuros denotam maior esforço.

Quatro descobertas se destacam.

Progresso parcial é comum; cobertura completa não é. O recall suave está abaixo da precisão suave para todos os sistemas, o que significa que o desempenho cai assim que o volume total solicitado entra no denominador. O Perplexity retém 0,357 de recall a partir de 0,389 de precisão, a menor lacuna; o Anthropic cai de 0,354 para 0,222. A conversão de suave para rígido é ainda mais severa. O Perplexity cai de 0,363 em F1 suave para 0,133 em F1 rígido, e o Anthropic de 0,249 para 0,072. A melhor precisão rígida é 0,150 e o melhor recall rígido é 0,134: mesmo o líder ganha créditos totais por apenas cerca de um em cada sete membros que envia e um em cada sete membros que a tarefa solicita.

A escala complica o problema. Do menor para o maior compartimento de volume alvo, a precisão rígida do Perplexity cai de 0,235 para 0,096 e seu recall rígido de 0,219 para 0,079. O Anthropic cai de 0,205 para 0,113 e de 0,127 para 0,042; o OpenAI cai de 0,109 para 0,034 e de 0,102 para 0,016. O recall geralmente cai mais rápido que a precisão: um sistema pode manter um pequeno grupo de membros completos enquanto cobre cada vez menos do conjunto solicitado.

Hierarquias mais profundas são ainda mais severas. Indo de nenhuma chave intermediária para três ou mais, a precisão rígida do Perplexity cai de 0,392 para 0,019 e o recall rígido de 0,378 para 0,017; o Anthropic cai de 0,311 para 0,049 e de 0,229 para 0,022; o OpenAI cai de 0,136 para 0,012 e de 0,120 para 0,011. Cada ramo adicionado cria outro lugar onde um membro pode perder a pontuação rígida de tudo ou nada. O custo e a latência não seguem um padrão monotônico comum.

Precisão rígida, recall rígido, latência mediana de resolução e custo médio em relação ao volume de registros alvo (topo) e profundidade hierárquica intermediária (fundo). Cada linha representa uma configuração fixa da execução principal. As linhas conectam agregados de compartimentos de tarefas para facilitar a leitura e não implicam um efeito causal de escala ou estrutura.

Mesmo antes de julgar a qualidade, a descoberta é o primeiro gargalo estrutural. Olhando apenas para contagens brutas pré-colapso, a conclusão média da descoberta de nível superior varia de 0,611 a 0,951. O enriquecimento condicional é mais forte, de 0,767 a 0,967, e a conclusão do slot de evidência terminal atinge 0,979–0,994 assim que um membro e seu caminho de enriquecimento existem. O Perplexity lidera a descoberta em 0,951 e o enriquecimento em 0,967, mas o OpenAI é ligeiramente superior nos slots de evidência terminais em 0,994 versus 0,991. O colapso de duplicatas responde por apenas 0,017–0,205 pontos percentuais de perda de contagem nas seis execuções completas, portanto, a entrega insuficiente, e não a fusão de identidades, é a principal explicação agregada. As maiores perdas estruturais brutas ocorrem antes que a URL final seja anexada.

Conclusão estrutural bruta em nível de tarefa a partir das árvores de verificação. A descoberta é a chave superior, o enriquecimento cobre chaves intermediárias e a evidência é a chave terminal. Os valores usam as contagens fornecidas pré-colapso, portanto, a figura isola onde o volume enviado está faltando antes que a qualidade do registro seja julgada.

Encontrar uma página utilizável geralmente é fácil; encontrar evidências completas é difícil. Para cinco sistemas, apenas 3,2%–8,9% das páginas enviadas são inutilizáveis; o OpenAI é o caso atípico com 23,1%. Registros inválidos ou do tipo errado também são relativamente incomuns, em 4,2%–17,4%. As perdas dominantes vêm a seguir: 33,6%–68,3% das páginas enviadas falham em pelo menos um requisito substantivo da tarefa, e 57,5%–86,6% dos trechos enviados falham em dar suporte a tudo o que o registro alega. As taxas do Perplexity são 41,4% e 57,5%. Seu F1 suave cai de 0,531 na verificação apenas de recuperação, que pergunta apenas se a página atende a cada requisito substantivo, para 0,363 no veredito completo, que também requer as verificações universais, validade específica da tarefa e suporte completo de trechos. O F1 rígido cai de forma semelhante de 0,245 para 0,133. A parte difícil não é apenas chegar a uma página plausível; é transformar essa página em evidência suficiente para toda a alegação.

Sondas de falha medidas em nível de registro a partir dos detalhes do verificador disponíveis, em porcentagem; quanto menor, melhor. Falhas nos requisitos de página e trecho são substancialmente mais comuns do que falhas de página inutilizável ou registro inválido. O Parallel tem detalhes de diagnóstico para 350 tarefas, enquanto as outras linhas cobrem 490–500 tarefas.

O Search as Code é bem adaptado a essa forma de tarefa. Um modelo pode expressar recuperação, filtragem, distribuição, renderização, junções, desduplicação e lógica de parada como um programa, enquanto a computação determinística lida com operações repetidas fora do contexto do modelo. Esse perfil é consistente com a retenção de amplitude e a construção de trechos mais fortes do Perplexity, embora não lidere em todas as camadas: o Anthropic tem a menor taxa de falha de requisitos de página.

O que vem a seguir

O WANDR fornece mais do que uma pontuação única em um ranking. Sua estrutura comum de tarefas e seu pipeline semiautomatizado suportam a geração de tarefas variadas e de alto volume, enquanto vereditos por registro e pontuações em nível hierárquico mostram onde uma execução falha: descoberta, enriquecimento, tratamento de identidade, qualificação semântica ou construção de evidências. As tarefas lançadas, o verificador e os diagnósticos estruturais fornecem uma base para melhorar os sistemas de pesquisa abrangentes e testar se esses ganhos se mantêm em escala.

A mesma estrutura também pode tornar o WANDR útil para aprendizado por reforço. Em vez de depender de uma única recompensa terminal esparsa, um treinador pode usar julgamentos em nível de registro e de ramo, atribuir créditos parciais para o progresso de descoberta e enriquecimento, e construir um currículo aumentando as contagens necessárias ao longo do tempo. O pipeline pode gerar tarefas irmãs retidas entre domínios, formas de hierarquia, regras de evidência e configurações de amplitude-profundidade sem enumerar respostas ideais. Isso cria um caminho para treinar agentes não apenas para encontrar fatos corretos, mas também para planejar a cobertura, detectar ramos ausentes e recuperar antes de parar.

As tarefas de benchmark, a estrutura de avaliação e o relatório técnico completo estão disponíveis no GitHub.

Citação

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}