Benchmark WANDR: Avaliando agentes de pesquisa que devem realizar buscas amplas e aprofundadas

Um benchmark para trabalho intelectual de alto volume e focado em evidências.

AutoresPerplexity Research

Hoje, estamos lançando o WANDR (Wide ANd Deep Research), um benchmark aberto e um arnest de avaliação estruturado em torno de 500 tarefas de coleta de dados realistas e desafiadoras para o trabalho intelectual. O WANDR é o irmão amplo do nosso benchmark DRACO para pesquisa aprofundada. O DRACO avalia se um agente consegue produzir um relatório longo preciso, completo e objetivo; o WANDR avalia se ele consegue criar uma grande coleção e embasar cada membro com evidências específicas.

Esses são os tipos de trabalho que as pessoas já delegam a agentes de pesquisa: mapeamento competitivo, due diligence, revisão de literatura, análise de mercado, comparação de produtos, prospecção de talentos e muito mais. As tarefas variam de dezenas a milhares de registros verificáveis de forma independente. Mesmo em uma configuração de alto esforço, o sistema mais forte em nossa avaliação atinge apenas 0,363 de F1 suave e 0,133 de F1 rígido. A pesquisa ampla e aprofundada ainda está longe de ser resolvida.

Escala de referência do WANDR e as melhores pontuações de F1 suave e F1 rígido registradas nesta avaliação.

Por que a pesquisa ampla e aprofundada importa

Muitas tarefas de pesquisa úteis não terminam quando um agente encontra uma resposta. Um analista de mercado pode precisar de todos os concorrentes qualificáveis, com as mesmas evidências para cada um. Uma equipe de due diligence pode precisar de dezenas de empresas, seguidas pela estrutura acionária, executivos, financiamento e situação regulatória de cada uma delas. Isso gera duas demandas distintas:

Amplo: descobrir um conjunto grande e frequentemente aberto de entidades qualificáveis.

Profundo: investigar cada entidade o suficiente para fundamentar cada afirmação solicitada com evidências.

Combinar os dois muda o problema. Um punhado de exemplos atraentes não é suficiente, assim como não é suficiente uma narrativa refinada construída sobre pesquisas incompletas. O agente deve sustentar uma descoberta ampla sem sacrificar a qualidade factual de um registro para o seguinte.

O WANDR captura essa estrutura com uma hierarquia de chaves de qualificação flexível e composicional. Uma tarefa pode solicitar

empresa(n) → funcionário(m) → url(k)

Isso significa encontrar n empresas qualificáveis, m funcionários qualificáveis em cada empresa e k páginas de suporte para cada funcionário. Cada caminho completo pela árvore pode ser validado de forma independente. A mesma estrutura básica pode representar uma lista plana, uma busca aninhada, uma matriz ou uma tarefa com múltiplos ramos de evidência. Esses padrões também podem ser combinados, permitindo que uma única representação cubra uma ampla gama de casos de uso do mundo real.

Seis padrões de hierarquia comuns. Círculos preenchidos são entidades, círculos tracejados são rótulos fixos e quadrados são folhas de URL. Na matriz, rótulos filhos repetidos denotam os mesmos valores filhos sob diferentes pais.

Uma tarefa lançada ilustra essa estrutura na prática.

ceo_cfo_appointments

Tarefa principal. Encontre pelo menos 70 empresas baseadas nos EUA com uma nomeação de CEO ou CFO anunciada pela primeira vez entre 1º de março e 30 de abril de 2026. Para cada empresa, forneça uma página de nomeação oficial que identifique a empresa e a pessoa nomeada, estabeleça o cargo e a data do anúncio, e provenha do emissor, de um arquivo regulatório, de uma agência de notícias ou de jornalismo empresarial de primeira mão diretamente atribuído.

Hierarquia principal. empresa(70) → empresa_nomeado(1) → url(1).

Subtarefa de listagem de empresas. Para as mesmas empresas, forneça uma página de autoridade de listagem reconhecida que mostre uma listagem em uma bolsa de valores nacional dos EUA ou o status de emissor reportador da SEC domiciliado nos EUA.

Hierarquia da subtarefa. empresa(70) → url(1).

Registros necessários. 140: 70 registros de nomeação mais 70 registros de listagem.

Cada caminho termina em uma página e trechos que o avaliador pode verificar novamente. A chave de empresa compartilhada alinha os ramos de nomeação e listagem, de modo que uma nomeação sem prova separada de status de listagem ainda deixa essa empresa incompleta.

Tarefas realistas, geradas em escala

O WANDR parte de padrões desidentificados observados no uso em produção, em vez de prompts sintéticos. Isso mantém o benchmark próximo ao trabalho que as pessoas realmente delegam: descoberta aberta, enriquecimento repetido, verificações cruzadas de fontes e comparações estruturadas em escala profissional. Um pipeline semiautomatizado transforma esses padrões em tarefas, reservando o esforço humano para o controle de qualidade em vez da anotação exaustiva de respostas.

O pipeline tem quatro estágios. A geração de sementes extrai solicitações de produtos desidentificadas em busca de um padrão de pesquisa ampla reutilizável. A criação executa um loop intercalado de autor e crítico: os agentes esboçam e testam o design, escrevem a especificação da tarefa e o juiz, criam registros de exemplo e usam um linter mecânico para manter tudo alinhado. A admissão verifica se o volume alvo é alcançável combinando de 10 a 12 execuções de criação, audita o juiz específico da tarefa e, opcionalmente, adiciona aprovação humana. A curadoria rotula as tarefas admitidas e seleciona um conjunto final equilibrado entre tópicos, escala, topologia e dificuldade.

O pipeline de construção de tarefas tem quatro etapas. A geração inicial identifica uma solicitação realista; a redação a transforma em uma tarefa autossuficiente por meio de um ciclo autor-crítico e verificações mecânicas; os testes de admissão avaliam a viabilidade e a qualidade do avaliador; e a curadoria seleciona uma versão equilibrada. O resultado são 500 pacotes de tarefas públicos.

A tarefa mediana solicita 50 membros, quatro registros por membro e 245 registros no total. Juntas, as 500 tarefas exigem 170.495 registros apoiados por fontes. Calibramos a dificuldade a partir de execuções históricas na fase de design e, em seguida, dividimos as tarefas por classificação em 167 exemplos de menor dificuldade, 166 de dificuldade média e 167 de maior dificuldade. O gráfico abaixo mostra que a dificuldade não é determinada apenas pela escala; ela também depende do trabalho necessário para cada registro.

Dificuldade geral da tarefa no plano de amplitude e profundidade (log-log; 500 tarefas de benchmark). A amplitude é o número de membros necessários; a profundidade é a contagem de registros necessários dividida por essa contagem de membros. A cor do ponto denota o rótulo de dificuldade geral. As linhas tracejadas marcam a amplitude mediana (50 membros) e a profundidade mediana (4,00 registros por membro).

Avaliação sem referência e verificada por evidências

Uma chave de resposta fixa é inadequada para pesquisas abertas. É cara de construir, torna-se obsoleta rapidamente e representa mal as perguntas cujas respostas mudam ao longo do tempo. Em vez disso, o WANDR avalia cada afirmação enviada em relação às evidências citadas pelo agente.

Cada registro contém um item, uma URL, trechos selecionados e uma resposta. O avaliador busca novamente a página e verifica se ela é utilizável, se a afirmação é clara e está no escopo, se os trechos aparecem fielmente na página e se tanto a página quanto os trechos fundamentam cada requisito.

Esses veredictos de registro binários são consolidados por toda a hierarquia. A precisão mede a qualidade do que o sistema enviou. O revocação mede a conclusão ajustada pela qualidade em relação ao volume solicitado, preenchendo qualquer déficit com zeros. O F1 equilibra os dois. As pontuações suaves concedem créditos parciais a membros incompletos; as pontuações rígidas contam apenas os membros cuja subárvore necessária completa está correta. Para fins de diagnóstico, o WANDR também relata um veredito baseado apenas na recuperação, que pergunta se a página buscada atende à tarefa antes de adicionar as verificações mais rigorosas de validade e trechos enviados.

Isso torna as falhas interpretáveis e localizáveis. Alta precisão com baixa revocação geralmente significa que o sistema encontrou alguns bons membros, mas não o suficiente. Uma queda grande de suave para rígido significa que ele obteve progresso parcial, mas raramente concluiu cada ramo necessário para o crédito total. A árvore de pontuação pode localizar a perda na descoberta, no enriquecimento, no tratamento de identidade, na qualificação de páginas ou na extração de evidências.

O pipeline de avaliação. A resolução normaliza a saída de cada sistema; a busca recupera cada página citada e nova tenta buscas quebradas em um navegador; o julgamento resolve identidades e avalia cada registro; e a pontuação consolida os veredictos em precisão, revocação e F1 a nível de tarefa.

O que descobrimos

Comparamos seis sistemas de produção: APIs hospedadas de tarefas e busca, APIs de agentes web gerais, um produto de pesquisa aprofundada e o nosso sistema de orquestração de busca programática, Search as Code (SaC). Cada um foi executado em todas as 500 tarefas sob uma configuração fixa e, em seguida, passou pelo mesmo pipeline de busca, julgamento, resolução de identidade e pontuação.

O Perplexity Search as Code lidera com 0,363 de F1 suave e 0,133 de F1 rígido. A Anthropic fica em segundo lugar com 0,249 e 0,072; todos os outros sistemas atingem o teto em 0,121 de F1 suave e 0,035 de F1 rígido. Nenhum sistema domina tanto a qualidade quanto a eficiência. O Perplexity fica no meio da faixa de custo, com US$ 5,20 por tarefa, tempo mediano de resolução de 14,9 minutos e 3,82 milhões de tokens relatados por tarefa. OpenAI e Exa são mais rápidos e baratos, mas pontuam muito mais baixo. A Anthropic se aproxima mais em termos de qualidade, mas usa substancialmente mais tempo, dinheiro e tokens.

Precisão e recall suaves e rígidos em relação ao custo, à latência mediana e ao uso de tokens reportado no WANDR.
Precisão e revocação suaves e rígidas (acima), e F1 suave e rígido (abaixo), em relação ao custo, latência mediana de resolução e uso relatado de tokens. Valores mais altos e mais à esquerda são melhores. Exa e Parallel estão ausentes das visualizações de token porque não expõem contagens de tokens.

Também avaliamos todas as configurações de esforço disponíveis no mesmo subconjunto de 45 tarefas. Mais esforço melhora o Perplexity, o Gemini e o Exa em cada etapa; o Perplexity atinge 0,447 de F1 suave e 0,224 de F1 rígido em xhigh. Um esforço maior não é uniformemente melhor, no entanto: a OpenAI atinge o pico em high, e o F1 rígido da Parallel cai ligeiramente entre ultra2x e ultra4x. O custo abrange mais de quatro ordens de magnitude, desde US$ 0,03 por tarefa para o Exa low até US$ 324,83 para o Gemini max.

F1 suave em relação ao custo, à latência mediana e ao uso de tokens reportado em diferentes configurações de esforço no subconjunto de 45 tarefas do WANDR.
F1 suave (acima) e F1 rígido (abaixo) em todas as configurações de esforço disponíveis no subconjunto de 45 tarefas correspondentes. Caminhos mais escuros denotam maior esforço.

Quatro descobertas se destacam.

O progresso parcial é comum; a cobertura completa não é. A revocação suave está abaixo da precisão suave para todos os sistemas, o que significa que o desempenho cai assim que todo o volume solicitado entra no denominador. O Perplexity retém 0,357 de revocação a partir de 0,389 de precisão, a menor lacuna; a Anthropic cai de 0,354 para 0,222. A conversão de suave para rígido é ainda mais severa. O Perplexity cai de 0,363 de F1 suave para 0,133 de F1 rígido, e a Anthropic de 0,249 para 0,072. A melhor precisão rígida é 0,150 e a melhor revocação rígida é 0,134: mesmo o líder obtém créditos totais para apenas cerca de um em cada sete membros que envia e um em cada sete membros que a tarefa solicita.

A escala agrava o problema. Do menor para o maior compartimento de volume alvo, a precisão rígida do Perplexity cai de 0,235 para 0,096 e sua revocação rígida de 0,219 para 0,079. A Anthropic cai de 0,205 para 0,113 e de 0,127 para 0,042; a OpenAI cai de 0,109 para 0,034 e de 0,102 para 0,016. A revocação geralmente cai mais rápido do que a precisão: um sistema pode manter um pequeno núcleo de membros completos enquanto cobre cada vez menos do conjunto solicitado.

Hierarquias mais profundas são ainda mais severas. Indo de nenhuma chave intermediária para três ou mais, a precisão rígida do Perplexity cai de 0,392 para 0,019 e a revocação rígida de 0,378 para 0,017; a Anthropic cai de 0,311 para 0,049 e de 0,229 para 0,022; a OpenAI cai de 0,136 para 0,012 e de 0,120 para 0,011. Cada ramo adicionado cria outro ponto onde um membro pode perder a pontuação rígida de tudo ou nada. Custo e latência não seguem um padrão monotônico comum.

Precisão rígida, revocação rígida, latência mediana de resolução e custo médio em relação ao volume de registros alvo (acima) e à profundidade da hierarquia intermediária (abaixo). Cada linha representa uma configuração de execução principal fixa. As linhas conectam agregados de compartimentos de tarefas para facilitar a leitura e não implicam em um efeito causal de escala ou estrutura.

Mesmo antes de julgar a qualidade, a descoberta é o primeiro gargalo estrutural. Olhando apenas para contagens brutas e pré-colapso, a conclusão média da descoberta de nível superior varia de 0,611 a 0,951. O enriquecimento condicional é mais forte, entre 0,767 e 0,967, e a conclusão do espaço de evidências terminal atinge 0,979 a 0,994 assim que um membro e seu caminho de enriquecimento existem. O Perplexity lidera na descoberta com 0,951 e no enriquecimento com 0,967, mas a OpenAI é ligeiramente superior nos espaços de evidências terminais com 0,994 contra 0,991. O colapso de duplicatas responde por apenas 0,017 a 0,205 pontos percentuais de perda de contagem nas seis execuções completas; portanto, a entrega insuficiente, e não a fusão de identidades, é a principal explicação agregada. As maiores perdas estruturais brutas ocorrem antes que a URL final seja anexada.

Conclusão estrutural bruta média a nível de tarefa das árvores do verificador. A descoberta é a chave superior, o enriquecimento cobre as chaves intermediárias e as evidências formam a chave terminal. Os valores usam contagens fornecidas pré-colapso, de modo que a figura isola onde o volume enviado está faltando antes que a qualidade do registro seja julgada.

Encontrar uma página utilizável geralmente é fácil; encontrar evidências completas é difícil. Para cinco sistemas, apenas 3,2% a 8,9% das páginas enviadas são inutilizáveis; a OpenAI é o ponto fora da curva com 23,1%. Registros inválidos ou do tipo errado também são relativamente incomuns, de 4,2% a 17,4%. As principais perdas vêm a seguir: de 33,6% a 68,3% das páginas enviadas falham em pelo menos um requisito substantivo da tarefa, e de 57,5% a 86,6% dos trechos enviados falham em fundamentar tudo o que o registro afirma. As taxas do Perplexity são de 41,4% e 57,5%. Seu F1 suave cai de 0,531 sob a verificação baseada apenas na recuperação, que pergunta apenas se a página atende a cada requisito substantivo, para 0,363 sob o veredito completo, que também exige as verificações universais, validade específica da tarefa e suporte completo de trechos. O F1 rígido cai de forma semelhante, de 0,245 para 0,133. A parte difícil não é apenas alcançar uma página plausível; é transformar essa página em evidência suficiente para toda a afirmação.

Testes de falha medidos a nível de registro a partir dos detalhes disponíveis do verificador, em porcentagem; quanto menor, melhor. Falhas nos requisitos de página e trecho são substancialmente mais comuns do que falhas de página inutilizável ou registro inválido. A Parallel possui detalhes de diagnóstico para 350 tarefas, enquanto as outras linhas cobrem de 490 a 500 tarefas.

O Search as Code se adapta bem a esse formato de tarefa. Um modelo pode expressar recuperação, filtragem, ramificação (fan-out), renderização, junções, desduplicação e lógica de parada como um programa, enquanto a computação determinística lida com operações repetidas fora do contexto do modelo. Esse perfil é consistente com a retenção de amplitude e construção de trechos mais fortes do Perplexity, embora ele não lidere em todas as camadas: a Anthropic tem a menor taxa de falha em requisitos de página.

Quais são os próximos passos

O WANDR fornece mais do que uma pontuação única em um ranking. Sua estrutura de tarefas comum e pipeline semiautomatizado apoiam a geração de tarefas variadas e de alto volume, enquanto os veredictos por registro e as pontuações a nível de hierarquia mostram onde uma execução falha: descoberta, enriquecimento, tratamento de identidade, qualificação semântica ou construção de evidências. As tarefas lançadas, o verificador e os diagnósticos estruturais fornecem uma base para melhorar os sistemas de busca abrangentes e testar se esses ganhos se sustentam em escala.

A mesma estrutura também pode tornar o WANDR útil para o aprendizado por reforço. Em vez de depender de uma única recompensa terminal esparsa, um treinador pode usar julgamentos a nível de registro e de ramo, atribuir créditos parciais para o progresso de descoberta e enriquecimento, e construir um currículo elevando as contagens exigidas ao longo do tempo. O pipeline pode gerar tarefas irmãs mantidas em reserva em vários domínios, formatos de hierarquia, regras de evidência e configurações de amplitude e profundidade sem enumerar respostas gabarito. Isso cria um caminho para treinar agentes não apenas para encontrar fatos corretos, mas também para planejar a cobertura, detectar ramos ausentes e se recuperar antes de parar.

As tarefas do benchmark, o arnest de avaliação e o relatório técnico completo estão disponíveis no GitHub.

Citação

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}