Referencia WANDR: avaliación de axentes de investigación que deben buscar de forma ampla e profunda

Unha referencia para traballos de coñecemento de gran volume e ricos en probas.

AutoresPerplexity Research

Hoxe publicamos WANDR (Wide ANd Deep Research), unha referencia aberta e un banco de probas de avaliación estruturado arredor de 500 tarefas de recollida de datos realistas e complexas para traballos de coñecemento. WANDR é a irmá ampla da nosa referencia DRACO para investigación profunda. DRACO pregunta se un axente pode producir un informe longo preciso, completo e obxectivo; WANDR pregunta se pode construír unha gran colección e respaldar cada membro con probas específicas.

Estes son os tipos de traballos que a xente xa lle encomenda aos axentes de investigación: mapeo competitivo, debida dilixencia, revisión bibliográfica, análise de mercado, comparación de produtos, captación de talento e moito máis. As tarefas van desde decenas ata milleiros de rexistros verificables de forma independente. Mesmo cun axuste de alto esforzo, o sistema máis forte da nosa avaliación alcanza só 0,363 de F1 suave e 0,133 de F1 ríxida. A investigación ampla e profunda aínda está lonxe de estar resolta.

Escala de referencia WANDR e as mellores puntuacións de F1 suave e F1 dura rexistradas nesta avaliación.

Por que importa a investigación ampla e profunda

Moitos traballos de investigación útiles non rematan cando un axente atopa unha resposta. É posible que un analista de mercado precise todos os competidores que cumpran os requisitos, coas mesmas probas para cada un deles. É posible que un equipo de debida dilixencia precise decenas de empresas e, a continuación, a propiedade, os directivos, o financiamento e o estado regulatorio de cada unha delas. Iso xera dúas demandas separadas:

Amplitude: descubrir un conxunto grande e a miúdo aberto de entidades que cumpran os requisitos.

Profundidade: investigar cada entidade o suficiente como para apoiar cada afirmación solicitada con probas.

Combinar ambos cambia o problema. Un puñado de exemplos convincentes non é suficiente, como tampouco o é unha narración polida construída sobre unha investigación incompleta. O axente debe manter unha descuberta ampla sen sacrificar a calidade factual dun rexistro ao seguinte.

WANDR capta esa estrutura cunha hierarquía de claves de cualificación flexible e composable. Unha tarefa podería solicitar

company(n) → employee(m) → url(k)

Isto significa atopar n empresas que cumpran os requisitos, m empregados que cumpran os requisitos en cada empresa e k páxinas de apoio para cada empregado. Cada ruta completa a través da árbore pódese validar de forma independente. A mesma estrutura básica pode representar unha lista chaira, unha busca aniñada, unha matriz ou unha tarefa con múltiples ramas de probas. Estes patróns tamén se poden combinar, o que permite que unha única representación abarque unha ampla gama de casos de uso do mundo real.

Seis patróns de jerarquía comúns. Os círculos chairos son entidades, os círculos descontinuados son etiquetas fixas e os cadrados son follas de URL. Na matriz, as etiquetas fillas repetidas denotan os mesmos valores fillos baixo diferentes pais.

Unha tarefa publicada ilustra esta estrutura na práctica.

ceo_cfo_appointments

Tarefa principal. Atopa polo menos 70 empresas con sede nos EUA cun nomeamento de CEO ou CFO anunciado por primeira vez entre o 1 de marzo e o 30 de abril de 2026. Para cada empresa, proporciona unha páxina de nomeamento autorizada queidentifique a empresa e a persoa nomeada, estableza o rol e a data do anuncio, e proceda do emisor, un documento regulatorio, unha axencia de novas ou xornalismo empresarial de primeira man directamente atribuído.

Jerarquía principal. company(70) → company_appointee(1) → url(1).

Subtarefa de listaxe de empresas. Para as mesmas empresas, proporciona unha páxina de autoridade de listaxe recoñecida que mostre unha listaxe nunha bolsa de valores nacional dos EUA ou o estado de emisor informador da SEC con domicilio nos EUA.

Jerarquía de subtarefas. company(70) → url(1).

Rexistros requiridos. 140: 70 rexistros de nomeamento máis 70 rexistros de listaxe.

Cada ruta remata nunha páxina e extractos que o cualificador pode comprobar de novo. A clave de empresa compartida aliña as ramas de nomeamento e listaxe, polo que un nomeamento sen proba separada do estado de listaxe aínda deixa esa empresa incompleta.

Tarefas realistas, xeradas a escala

WANDR parte de patróns desidentificados observados no uso de produción en vez de avisos sintéticos. Isto mantén a referencia preto do traballo que a xente realmente delega: descuberta aberta, enriquecemento repetido, comprobacións entre fontes e comparacións estruturadas a escala profesional. Un canal semiautomatizado converte eses patróns en tarefas, reservando o esforzo humano para o control de calidade en vez dunha anotación exhaustiva de respostas.

O canal ten catro etapas. O desenvolvemento de sementes extrae solicitudes de produtos desidentificadas para obter un patrón de investigación ampla reutilizable. A creación executa un bucle entre autor e crítico entrelazado: os axentes esbozan e proban o deseño, escriben a especificación da tarefa e o xuíz, crean rexistros de proba e usan un comprobador mecánico para manter todo aliñado. A admisión comproba que o volume obxectivo é accesible combinando de 10 a 12 execucións de creación, audita o xuíz específico da tarefa e, opcionalmente, engade a aprobación humana. A curación etiqueta as tarefas admitidas e selecciona un conxunto final equilibrado en función de temas, escala, topoloxía e dificultade.

O fluxo de construción de tarefas ten catro etapas. A sementación identifica unha solicitude realista; a redacción convértea nunha tarefa autocontenida mediante un ciclo autor-crítico e comprobacións mecánicas; a admisión proba a viabilidade e a calidade do xuíz; e a curación selecciona unha versión equilibrada. O resultado son 500 paquetes de tarefas públicos.

A tarefa mediana solicita 50 membros, catro rexistros por membro e 245 rexistros en total. En conxunto, as 500 tarefas requiren 170 495 rexistros respaldados por fontes. Calibramos a dificultade a partir de execucións históricas da etapa de deseño, e despois dividimos as tarefas por rango en 167 exemplos de menor dificultade, 166 de dificultade media e 167 de maior dificultade. O gráfico seguinte mostra que a dificultade non está determinada só pola escala; tamén depende do traballo requirido para cada rexistro.

Dificultade xeral da tarefa no plano de amplitude e profundidade (log-log; 500 tarefas de referencia). A amplitude é o número de membros requiridos; a profundidade é o recuento de rexistros requirido dividido polo número de membros. A cor dos puntos denota a etiqueta de dificultade xeral. As guías descontinuadas marcan a amplitude mediana (50 membros) e a profundidade mediana (4,00 rexistros por membro).

Cualificación sen referencias e verificada mediante probas

Unha clave de respostas fixa non se adapta ben á investigación aberta. É cara de construír, queda obsoleta rapidamente e representa mal as preguntas cuxas respostas cambian co tempo. No seu lugar, WANDR cualifica cada afirmación enviada fronte ás probas que o axente cita.

Cada rexistro contén un elemento, un URL, extractos seleccionados e unha resposta. O cualificador volve recuperar a páxina e comproba se se pode usar, se a afirmación é clara e está dentro do ámbito, se os extractos aparecen fielmente na páxina e se tanto a páxina como os extractos apoian todos os requisitos.

Estes veredictos de rexistro binario acumúlanse a través da jerarquía. A precisión mide a calidade do que o sistema enviou. A recuperación mide a conclusión axustada á calidade en relación co volume solicitado, enchendo calquera déficit con ceros. O F1 equilibra ambos. As puntuacións suaves outorgan créditos parciais aos membros incompletos; as puntuacións ríxidas contan só os membros cuxa subárbore completa requirida é correcta. Para o diagnóstico, WANDR tamén informa dun veredicto de só recuperación que pregunta se a páxina recuperada cumpre a tarefa antes de engadir as comprobacións máis estritas sobre a validez e os extractos enviados.

Isto fai que os fallos sexan interpretables e localizables. Unha alta precisión cunha baixa recuperación adoita significar que o sistema atopou algúns bos membros, pero non suficientes. Unha caída grande do suave ao ríxido significa que fixo un progreso parcial pero raramente completou todas as ramas necesarias para obter todos os créditos. A árbore de puntuación pode localizar a perda na descuberta, o enriquecemento, a xestión de identidades, a cualificación da páxina ou a extracción de probas.

O canal de cualificación. A resolución normaliza a saída de cada sistema; a recuperación recupera cada páxina citada e reintenta as recuperacións fallidas nun navegador; o xuíz resolve identidades e avalía cada rexistro; e a puntuación converte os veredictos en precisión, recuperación e F1 a nivel de tarefa.

O que atopamos

Comparamos seis sistemas de produción: APIs de tarefas e buscas aloxadas, APIs de axentes web xerais, un produto de investigación profunda e o noso sistema de orquestración de buscas programáticas, Search as Code (SaC). Cada un programouse nas 500 tarefas baixo unha configuración fixada, e despois pasou polo mesmo canal de recuperación, xuíz, resolución de identidades e puntuación.

Perplexity Search as Code lidera con 0,363 de F1 suave e 0,133 de F1 ríxida. Anthropic é segundo con 0,249 e 0,072; calquera outro sistema sitúase como máximo en 0,121 de F1 suave e 0,035 de F1 ríxida. Ningún sistema domina tanto a calidade como a eficiencia. Perplexity sitúase no medio do rango de custos con 5,20 $ por tarefa, cun tempo de resolución mediano de 14,9 minutos e 3,82 millóns de tokens rexistrados por tarefa. OpenAI e Exa son máis rápidos e baratos, pero obteñen puntuacións moito máis baixas. Anthropic achégase máis en canto á calidade, pero usa substancialmente máis tempo, diñeiro e tokens.

Precisión e esgotamento suaves e duros fronte ao custo, a latencia mediana e o uso de tokens informado en WANDR.
Precisión e recuperación suaves e ríxidas (arriba), e F1 suave e ríxida (abaixo), fronte ao custo, a latencia mediana de resolución e o uso de tokens rexistrados. Un valor máis alto e situado máis á esquerda é mellor. Exa e Parallel están ausentes das vistas de tokens porque non expoñen os recuntos de tokens.

Tamén avaliamos todos os axustes de esforzo dispoñibles no mesmo subconxunto de 45 tarefas. Un maior esforzo mellora Perplexity, Gemini e Exa en cada paso; Perplexity alcanza 0,447 de F1 suave e 0,224 de F1 ríxida en xhigh. Con todo, un maior esforzo non é uniformemente mellor: OpenAI alcanza o seu pico en high, e o F1 ríxido de Parallel baixa lixeiramente entre ultra2x e ultra4x. O custo abrangue máis de catro ordes de magnitude, desde 0,03 $ por tarefa para Exa low ata 324,83 $ para Gemini max.

F1 suave fronte ao custo, a latencia mediana e o uso de tokens informado en distintos niveis de esforzo no subconxunto de 45 tarefas de WANDR.
F1 suave (arriba) e F1 ríxida (abaixo) en todos os axustes de esforzo dispoñibles no subconxunto coincidente de 45 tarefas. As rutas máis escuras denotan un maior esforzo.

Destacan catro conclusións.

O progreso parcial é común; a cobertura completa non. A recuperación suave está por abaixo da precisión suave para todos os sistemas, o que significa que o rendemento cae unha vez que o volume solicitado completo entra no denominador. Perplexity retén unha recuperación de 0,357 fronte a unha precisión de 0,389, a menor brecha; Anthropic cae de 0,354 a 0,222. A conversión de suave a ríxido é aínda máis dura. Perplexity baixa de 0,363 de F1 suave a 0,133 de F1 ríxida, e Anthropic de 0,249 a 0,072. A mellor precisión ríxida é 0,150 e a mellor recuperación ríxida é 0,134: mesmo o líder obtén créditos completos por só un de cada sete membros que envía e un de cada sete membros que solicita a tarefa.

A escala agrava o problema. Desde o binomio de volume obxectivo máis pequeno ata o máis grande, a precisión ríxida de Perplexity cae de 0,235 a 0,096 e a súa recuperación ríxida de 0,219 a 0,079. Anthropic cae de 0,205 a 0,113 e de 0,127 a 0,042; OpenAI cae de 0,109 a 0,034 e de 0,102 a 0,016. A recuperación adoita caer máis rápido que a precisión: un sistema pode manter un pequeno grupo de membros completos mentres cobre cada vez menos do conxunto solicitado.

As jerarquías máis profundas son aínda máis duras. Ao pasar de ningunha clave intermedia a tres ou máis, a precisión ríxida de Perplexity cae de 0,392 a 0,019 e a recuperación ríxida de 0,378 a 0,017; Anthropic cae de 0,311 a 0,049 e de 0,229 a 0,022; OpenAI cae de 0,136 a 0,012 e de 0,120 a 0,011. Cada rama engadida crea outro lugar onde un membro pode non acadar a puntuación ríxida de todo ou nada. O custo e a latencia non seguen un patrón monotónico común.

Precisión ríxida, recuperación ríxida, latencia mediana de resolución e custo medio en función do volume de rexistros obxectivo (arriba) e da profundidade da jerarquía intermedia (abaixo). Cada liña representa unha configuración fixada de execución principal. As liñas conectan os agregados de contenedores de tarefas para facilitar a lectura e non implican un efecto causal de escala ou estrutura.

Mesmo antes de xulgar a calidade, a descuberta é o primeiro gurgullento estrutural. Se miramos só os recuntos crus e previos ao colapso, a realización media da descuberta de nivel superior oscila entre 0,611 e 0,951. O enriquecemento condicional é máis forte, entre 0,767 e 0,967, e a conclusión da ranura de probas finais alcanza entre 0,979 e 0,994 unha vez que existen un membro e a súa ruta de enriquecemento. Perplexity lidera a descuberta con 0,951 e o enriquecemento con 0,967, pero OpenAI é lixeiramente superior nas ranuras de probas finais cun 0,994 fronte ao 0,991. O colapso de duplicados representa só entre 0,017 e 0,0205 puntos porcentuais de perda de recunnto nas seis execucións completas, polo que a entrega insuficiente, e non a fusión de identidades, é a principal explicación agregada. As maiores perdas estruturais crudas ocorren antes de que se adxunte o URL final.

Realización estrutural cruda a nivel de tarefa das árbores de verificación. A descuberta é a clave superior, o enriquecemento cobre as claves intermedias e a proba é a clave final. Os valores usan os recuntos proporcionados antes do colapso, polo que a figura illase onde falta o volume enviado antes de que se xulgue a calidade do rexistro.

Atopar unha páxina utilizable adoita ser doado; atopar probas completas é difícil. Para cinco sistemas, só entre o 3,2 % e o 8,9 % das páxinas enviadas non son utilizables; OpenAI é o caso atípico co 23,1 %. Os rexistros non válidos ou do tipo incorrecto tamén son relativamente pouco comúns, entre o 4,2 % e o 17,4 %. As perdas dominantes veñen despois: entre o 33,6 % e o 68,3 % das páxinas enviadas fallan polo menos nun requisito substantivo da tarefa, e entre o 57,5 % e o 86,6 % dos extractos enviados non apoian todo o que o rexistro afirma. As taxas de Perplexity son do 41,4 % e do 57,5 %. O seu F1 suave cae do 0,531 segundo a comprobación de só recuperación, que pregunta só se a páxina cumpre todos os requisitos substantivos, ao 0,363 segundo o veredicto completo, que tamén require as comprobacións universais, a validez específica da tarefa e o apoio completo dos extractos. O F1 ríxido tamén cae do 0,245 ao 0,133. A parte difícil non é só acadar unha páxina plausible; é converter esa páxina en probas suficientes para toda a afirmación.

Probas de fallos medidas a nivel de rexistro a partir dos detalles do verificador dispoñibles, en porcentaxe; un valor máis baixo é mellor. Os fallos nos requisitos de páxina e extracto son substancialmente máis comúns que os fallos de páxina non utilizable ou rexistro non válido. Parallel ten detalles de diagnóstico para 350 tarefas, mentres que as outras filas abranguen de 490 a 500 tarefas.

Search as Code está ben adaptado a esta forma de tarefa. Un modelo pode expresar a recuperación, o filtrado, a ramificación, a representación, as unións, a desduplicación e a lóxica de parada como un programa, mentres que o cálculo determinista xestiona as operacións repetidas fóra do contexto do modelo. Deses perfil é consistente coa retención de amplitude e a construción de extractos máis fortes de Perplexity, aínda que non lidera en cada capa: Anthropic ten a taxa de fallos de requisitos de páxina máis baixa.

O que segue

WANDR ofrece máis que unha única puntuación de clasificación. A súa estrutura de tarefas común e o seu canal semiautomatizado admiten a xeración de tarefas variadas e de alto volume, mentres que os veredictos por rexistro e as puntuacións a nivel de jerarquía mostran onde falla unha execución: descuberta, enriquecemento, xestión de identidades, cualificación semántica ou construción de probas. As tarefas publicadas, o verificador e os diagnósticos estruturais proporcionan unha base para mellorar os sistemas de busca completos e probar se eses gains se manteñen a escala.

A mesma estrutura tamén pode facer que WANDR sexa útil para a aprendizaxe por reforzo. En vez de depender dunha única recompensa terminal escasa, un adestrador pode usar xuízos a nivel de rexistro e de rama, asignar créditos parciais para o progreso da descuberta e do enriquecemento, e construír un currículo aumentando os recuntos requiridos co tempo. O canal pode xerar tarefas irmás reservadas en dominios, formas de jerarquía, regras de probas e axustes de amplitude e profundidade sen enumerar respostas ideais. Isto crea un camiño para adestrar axentes non só para atopar feitos correctos, senón tamén para planificar a cobertura, detectar ramas que faltan e recuperarse antes de parar.

As tarefas de referencia, o banco de probas de avaliación e o informe técnico completo están dispoñibles en GitHub.

Citación

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}