Benchmark WANDR: Evaluación de agentes de investigación

Un benchmark para trabajo de conocimiento de gran volumen

AutoresPerplexity Research

Hoy presentamos WANDR (Wide ANd Deep Research), un punto de referencia abierto y un conjunto de herramientas de evaluación estructurado en torno a 500 tareas de recopilación de datos realistas y complejas para el trabajo de conocimiento. WANDR es el hermano «extenso» de nuestro punto de referencia DRACO para la investigación profunda. DRACO plantea si un agente puede producir un informe extenso, preciso, completo y objetivo; WANDR plantea si puede construir una gran colección y respaldar cada elemento con pruebas específicas.

Estos son los tipos de trabajos que los usuarios ya asignan a los agentes de investigación: mapeo competitivo, diligencia debida, revisión bibliográfica, análisis de mercado, comparación de productos, búsqueda de talentos y más. Las tareas varían desde docenas hasta miles de registros verificables de forma independiente. Incluso en un ajuste de alto esfuerzo, el sistema más sólido de nuestra evaluación alcanza solo 0.363 F1 suave y 0.133 F1 duro. La investigación amplia y profunda está aún lejos de resolverse.

Escala de referencia de WANDR y las mejores puntuaciones de F1 suave y F1 dura informadas en esta evaluación.

Por qué es importante la investigación amplia y profunda

Muchos trabajos de investigación útiles no terminan cuando un agente encuentra una respuesta. Un analista de mercado puede necesitar todos los competidores que califiquen, con las mismas pruebas para cada uno. Un equipo de diligencia debida puede necesitar docenas de empresas, y luego la propiedad, los ejecutivos, la financiación y el estado regulatorio de cada una de ellas. Eso crea dos exigencias separadas:

Amplia: descubrir un conjunto amplio y, a menudo, abierto de entidades calificadoras.

Profunda: investigar cada entidad lo suficiente como para respaldar cada reclamación solicitada con pruebas.

Combinar ambos cambia el problema. Un puñado de ejemplos convincentes no es suficiente, ni tampoco una narrativa pulida construida sobre una investigación incompleta. El agente debe mantener un descubrimiento amplio sin sacrificar la calidad fáctica de un registro a otro.

WANDR captura esa estructura con una jerarquía de claves de calificación flexible y componible. Una tarea podría solicitar

empresa(n) → empleado(m) → URL(k)

Esto significa encontrar n empresas calificadoras, m empleados calificadores en cada empresa y k páginas de respaldo para cada empleado. Cada ruta completa a través del árbol se puede validar de forma independiente. La misma estructura básica puede representar una lista plana, una búsqueda anidada, una matriz o una tarea con múltiples ramas de evidencia. Estos patrones también pueden combinarse, permitiendo que una única representación cubra una amplia gama de casos de uso del mundo real.

Seis patrones jerárquicos comunes. Los círculos rellenos son entidades, los círculos discontinuos son etiquetas fijas y los cuadrados son hojas de URL. En la matriz, las etiquetas secundarias repetidas denotan los mismos valores secundarios bajo diferentes padres.

Una tarea publicada ilustra esta estructura en la práctica.

ceo_cfo_appointments

Tarea principal. Encuentre al menos 70 empresas con sede en EE. UU. con un nombramiento de CEO o CFO anunciado por primera vez entre el 1 de marzo y el 30 de abril de 2026. Para cada empresa, proporcione una página de nombramiento autorizada que identifique a la empresa y al designado, establezca el cargo y la fecha del anuncio, y provenga del emisor, una presentación, un servicio de noticias o periodismo empresarial de primera mano atribuido directamente.

Jerarquía principal. empresa(70) → empresa_designado(1) → URL(1).

Subtarea de listado de empresas. Para las mismas empresas, proporcione una página de autoridad de listado reconocida que muestre una cotización en una bolsa de valores nacional de EE. UU. o el estado de emisor informante de la SEC de EE. UU.

Jerarquía de subtarea. empresa(70) → URL(1).

Registros requeridos. 140: 70 registros de nombramientos más 70 registros de listado.

Cada ruta termina en una página y extractos que el evaluador puede volver a comprobar. La clave de empresa compartida alinea las ramas de nombramiento y listado, por lo que un nombramiento sin una prueba separada del estado de listado deja a esa empresa incompleta.

Tareas realistas, generadas a escala

WANDR parte de patrones desidentificados observados en el uso de producción en lugar de indicaciones sintéticas. Esto mantiene el punto de referencia cerca del trabajo que la gente realmente delega: descubrimiento abierto, enriquecimiento repetido, verificaciones entre fuentes y comparaciones estructuradas a escala profesional. Un proceso semiautomatizado convierte esos patrones en tareas, reservando el esfuerzo humano para el control de calidad en lugar de una anotación exhaustiva de respuestas.

El proceso tiene cuatro etapas. La siembra extrae solicitudes de productos desidentificadas para obtener un patrón de investigación amplia reutilizable. La autoría ejecuta un bucle intercalado de autor-crítico: los agentes esbozan y ponen a prueba el diseño, escriben la especificación de la tarea y el juicio, crean registros de prueba y utilizan un linter mecánico para mantener todo alineado. La admisión verifica que el volumen objetivo sea alcanzable fusionando 10-12 despliegues de autoría, audita al juez específico de la tarea y, opcionalmente, agrega la aprobación humana. La curación etiqueta las tareas admitidas y selecciona un conjunto final equilibrado en cuanto a temas, escala, topología y dificultad.

La canalización de construcción de tareas tiene cuatro etapas. La siembra identifica una solicitud realista; la elaboración la convierte en una tarea autocontenida mediante un ciclo autor-crítico y comprobaciones mecánicas; las pruebas de admisión evalúan la viabilidad y la calidad del juez; y la curaduría selecciona una versión equilibrada. El resultado son 500 paquetes de tareas públicas.

La tarea mediana solicita 50 miembros, cuatro registros por miembro y 245 registros en total. En conjunto, las 500 tareas requieren 170,495 registros respaldados por fuentes. Calibramos la dificultad a partir de los despliegues históricos en la etapa de diseño, luego dividimos las tareas por rango en 167 ejemplos de dificultad baja, 166 media y 167 alta. El siguiente gráfico muestra que la dificultad no está determinada solo por la escala; también depende del trabajo requerido para cada registro.

Dificultad general de la tarea en el plano de amplitud-profundidad (log-log; 500 tareas de referencia). La amplitud es el número de miembros requeridos; la profundidad es el recuento de registros requerido dividido por ese recuento de miembros. El color del punto denota la etiqueta de dificultad general. Las guías discontinuas marcan la amplitud mediana (50 miembros) y la profundidad mediana (4.00 registros por miembro).

Evaluación sin referencia, verificada por evidencia

Una clave de respuesta fija no es adecuada para la investigación abierta. Es costosa de construir, queda obsoleta rápidamente y representa mal las preguntas cuyas respuestas cambian con el tiempo. En cambio, WANDR califica cada reclamación enviada comparándola con las pruebas que cita el agente.

Cada registro contiene un artículo, una URL, extractos seleccionados y una respuesta. El evaluador vuelve a recuperar la página y comprueba si es utilizable, si la reclamación es clara y está dentro del alcance, si los extractos aparecen fielmente en la página y si tanto la página como los extractos respaldan cada requisito.

Estos veredictos binarios de registro se acumulan a través de la jerarquía. La precisión mide la calidad de lo que presentó el sistema. El recuerdo mide la finalización ajustada por calidad frente al volumen solicitado, rellenando cualquier déficit con ceros. El F1 equilibra ambos. Las puntuaciones suaves otorgan créditos parciales a los miembros incompletos; las puntuaciones duras cuentan solo a los miembros cuyo subárbol requerido completo es correcto. Para el diagnóstico, WANDR también informa un veredicto de solo recuperación que pregunta si la página obtenida satisface la tarea antes de agregar las comprobaciones más estrictas de validez y extractos enviados.

Esto hace que los fallos sean interpretables y localizables. Una precisión alta con un recuerdo bajo generalmente significa que el sistema encontró algunos buenos miembros pero no suficientes. Una gran caída de suave a duro significa que hizo un progreso parcial pero rara vez completó cada rama necesaria para obtener todos los créditos. El árbol de puntuación puede localizar la pérdida en el descubrimiento, el enriquecimiento, la gestión de identidad, la calificación de página o la extracción de evidencia.

El proceso de calificación. La resolución normaliza la salida de cada sistema; la recuperación recupera cada página citada y reintenta las recuperaciones rotas en un navegador; el juicio resuelve identidades y evalúa cada registro; y la puntuación acumula los veredictos en precisión, recuerdo y F1 a nivel de tarea.

Lo que descubrimos

Comparamos seis sistemas de producción: API de tareas y búsqueda alojadas, API de agentes web generales, un producto de investigación profunda y nuestro sistema de orquestación de búsqueda programática, Search as Code (SaC). Cada uno se programó en las 500 tareas bajo una configuración fija, y luego pasó por el mismo proceso de recuperación, juicio, resolución de identidad y puntuación.

Perplexity Search as Code lidera con 0.363 F1 suave y 0.133 F1 duro. Anthropic es segundo con 0.249 y 0.072; cualquier otro sistema llega a un máximo de 0.121 F1 suave y 0.035 F1 duro. Ningún sistema domina tanto la calidad como la eficiencia. Perplexity se sitúa en el medio del rango de costes con 5.20 $ por tarea, con un tiempo de resolución mediano de 14.9 minutos y 3.82 millones de tokens reportados por tarea. OpenAI y Exa son más rápidos y económicos, pero obtienen puntuaciones mucho más bajas. Anthropic es el que más se acerca en calidad, pero utiliza sustancialmente más tiempo, dinero y tokens.

Precisión y recuperación suaves y duras frente al costo, la latencia mediana y el uso de tokens informado en WANDR.
Precisión y recuerdo suaves y duros (arriba), y F1 suave y duro (abajo), frente al coste, latencia de resolución mediana y uso de tokens reportado. Cuanto más alto y más a la izquierda, mejor. Exa y Parallel están ausentes de las vistas de tokens porque no exponen los recuentos de tokens.

También evaluamos todos los ajustes de esfuerzo disponibles en el mismo subconjunto de 45 tareas. Un mayor esfuerzo mejora Perplexity, Gemini y Exa en cada paso; Perplexity alcanza 0.447 F1 suave y 0.224 F1 duro en xhigh. Sin embargo, un mayor esfuerzo no es uniformemente mejor: OpenAI alcanza su punto máximo en high, y el F1 duro de Parallel cae ligeramente entre ultra2x y ultra4x. El coste abarca más de cuatro órdenes de magnitud, desde 0.03 $ por tarea para Exa low hasta 324.83 $ para Gemini max.

F1 suave frente al costo, la latencia mediana y el uso de tokens informado en distintos niveles de esfuerzo en el subconjunto de 45 tareas de WANDR.
F1 suave (arriba) y F1 duro (abajo) en todos los ajustes de esfuerzo disponibles en el subconjunto de 45 tareas emparejadas. Las rutas más oscuras denotan un mayor esfuerzo.

Cuatro hallazgos destacan.

El progreso parcial es común; la cobertura completa no lo es. El recuerdo suave está por debajo de la precisión suave para cada sistema, lo que significa que el rendimiento cae una vez que todo el volumen solicitado entra en el denominador. Perplexity retiene 0.357 de recuerdo de 0.389 de precisión, la brecha más pequeña; Anthropic cae de 0.354 a 0.222. La conversión de suave a duro es aún más dura. Perplexity cae de 0.363 F1 suave a 0.133 F1 duro, y Anthropic de 0.249 a 0.072. La mejor precisión dura es 0.150 y el mejor recuerdo duro es 0.134: incluso el líder obtiene todos los créditos por solo uno de cada siete miembros que envía y uno de cada siete que solicita la tarea.

La escala agrava el problema. Desde el bin de volumen objetivo más pequeño al más grande, la precisión dura de Perplexity cae de 0.235 a 0.096 y su recuerdo duro de 0.219 a 0.079. Anthropic cae de 0.205 a 0.113 y de 0.127 a 0.042; OpenAI cae de 0.109 a 0.034 y de 0.102 a 0.016. El recuerdo suele caer más rápido que la precisión: un sistema puede mantener un pequeño bolsillo de miembros completos mientras cubre cada vez menos del conjunto solicitado.

Las jerarquías más profundas son aún más duras. Pasando de ninguna clave intermedia a tres o más, la precisión dura de Perplexity cae de 0.392 a 0.019 y el recuerdo duro de 0.378 a 0.017; Anthropic cae de 0.311 a 0.049 y de 0.229 a 0.022; OpenAI cae de 0.136 a 0.012 y de 0.120 a 0.011. Cada rama agregada crea otro lugar donde un miembro puede perder la puntuación dura de todo o nada. El coste y la latencia no siguen un patrón monótono común.

Precisión dura, recuerdo duro, latencia de resolución mediana y coste medio en todo el volumen de registro objetivo (arriba) y profundidad de jerarquía intermedia (abajo). Cada línea representa una configuración de ejecución principal fija. Las líneas conectan los agregados de los bins de tareas para facilitar la lectura y no implican un efecto causal de escala o estructura.

Incluso antes de juzgar la calidad, el descubrimiento es el primer cuello de botella estructural. Mirando solo los recuentos brutos previos al colapso, la finalización media del descubrimiento de nivel superior varía de 0.611 a 0.951. El enriquecimiento condicional es más fuerte en 0.767–0.967, y la finalización de la ranura de evidencia terminal alcanza 0.979–0.994 una vez que existe un miembro y su ruta de enriquecimiento. Perplexity lidera el descubrimiento con 0.951 y el enriquecimiento con 0.967, pero OpenAI es ligeramente superior en ranuras de evidencia terminal con 0.994 frente a 0.991. El colapso de duplicados representa solo 0.017–0.205 puntos porcentuales de pérdida de recuento en las seis ejecuciones completas, por lo que la entrega insuficiente, no la fusión de identidad, es la principal explicación agregada. Las mayores pérdidas estructurales brutas ocurren antes de que se adjunte la URL final.

Finalización estructural bruta a nivel de tarea a partir de los árboles de verificación. El descubrimiento es la clave superior, el enriquecimiento cubre las claves intermedias y la evidencia es la clave terminal. Los valores utilizan los recuentos proporcionados antes del colapso, por lo que la figura aísla dónde falta el volumen enviado antes de juzgar la calidad del registro.

Encontrar una página utilizable suele ser fácil; encontrar pruebas completas es difícil. Para cinco sistemas, solo el 3.2%–8.9% de las páginas enviadas no se pueden utilizar; OpenAI es el valor atípico con un 23.1%. Los registros no válidos o de tipo incorrecto también son relativamente poco comunes, entre el 4.2% y el 17.4%. Las pérdidas dominantes vienen a continuación: el 33.6%–68.3% de las páginas enviadas fallan en al menos un requisito sustantivo de la tarea, y el 57.5%–86.6% de los extractos enviados no logran respaldar todo lo que afirma el registro. Las tasas de Perplexity son del 41.4% y 57.5%. Su F1 suave cae de 0.531 bajo la comprobación de solo recuperación, que solo pregunta si la página cumple con cada requisito sustantivo, a 0.363 bajo el veredicto completo, que también requiere las comprobaciones universales, la validez específica de la tarea y el respaldo completo de extractos. El F1 duro cae de manera similar de 0.245 a 0.133. La parte difícil no es solo llegar a una página plausible; es convertir esa página en pruebas suficientes para toda la reclamación.

Sondas de fallo a nivel de registro medidas a partir de los detalles del verificador disponibles, en porcentaje; cuanto más bajo, mejor. Los fallos en los requisitos de página y extracto son sustancialmente más comunes que los fallos de página inutilizable o registro no válido. Parallel tiene detalles de diagnóstico para 350 tareas, mientras que las otras filas cubren 490–500 tareas.

Search as Code se adapta bien a esta forma de tarea. Un modelo puede expresar la recuperación, el filtrado, el fan-out, la renderización, las uniones, la deduplicación y la lógica de parada como un programa, mientras que el cálculo determinista maneja operaciones repetidas fuera del contexto del modelo. Ese perfil es consistente con una retención de amplitud y construcción de extractos más fuertes de Perplexity, aunque no lidera en cada capa: Anthropic tiene la tasa de fallo de requisitos de página más baja.

Qué sigue

WANDR proporciona más que una sola puntuación de clasificación. Su estructura de tarea común y su proceso semiautomatizado admiten una generación de tareas variada y de gran volumen, mientras que los veredictos por registro y las puntuaciones a nivel de jerarquía muestran dónde falla una ejecución: descubrimiento, enriquecimiento, gestión de identidad, calificación semántica o construcción de evidencia. Las tareas publicadas, el verificador y los diagnósticos estructurales proporcionan una base para mejorar los sistemas de búsqueda integrales y probar si esas ganancias se mantienen a escala.

La misma estructura también puede hacer que WANDR sea útil para el aprendizaje por refuerzo. En lugar de depender de una única recompensa terminal escasa, un entrenador puede utilizar juicios a nivel de registro y rama, asignar créditos parciales por el progreso en el descubrimiento y enriquecimiento, y construir un plan de estudios aumentando los recuentos requeridos con el tiempo. El proceso puede generar tareas hermanas reservadas en todos los dominios, formas jerárquicas, reglas de evidencia y ajustes de amplitud-profundidad sin enumerar respuestas de oro. Esto crea un camino para entrenar agentes no solo para encontrar hechos correctos, sino también para planificar la cobertura, detectar ramas faltantes y recuperarse antes de detenerse.

Las tareas de referencia, el conjunto de herramientas de evaluación y el informe técnico completo están disponibles en GitHub.

Citación

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}