Evaluación comparativa WANDR: Evaluación de agentes de investigación que deben buscar amplia y profundamente

Una evaluación comparativa para trabajo de conocimiento pesado y de alto volumen.

AutoresPerplexity Research

Hoy lanzamos WANDR (Wide ANd Deep Research), un punto de referencia abierto y un arnés de evaluación estructurado en torno a 500 tareas de recopilación de datos realistas y complejas para el trabajo de conocimiento. WANDR es el hermano amplio de nuestro punto de referencia DRACO para investigación profunda. DRACO pregunta si un agente puede producir un informe completo, objetivo y preciso a largo plazo; WANDR pregunta si puede construir una gran colección y respaldar cada miembro con evidencia específica.

Estos son los tipos de trabajos que las personas ya delegan en los agentes de investigación: mapeo competitivo, debida diligencia, revisión de literatura, análisis de mercado, comparación de productos, búsqueda de talento y más. Las tareas van desde decenas hasta miles de registros verificables de forma independiente. Incluso en una configuración de alto esfuerzo, el sistema más fuerte en nuestra evaluación alcanza solo 0.363 F1 flexible y 0.133 F1 estricto. La investigación amplia y profunda aún está lejos de resolverse.

Escala de referencia WANDR y las mejores puntuaciones de F1 suave y F1 dura reportadas en esta evaluación.

Por qué es importante la investigación amplia y profunda

Muchos trabajos de investigación útiles no terminan cuando un agente encuentra una respuesta. Un analista de mercado puede necesitar todos los competidores que califiquen, con la misma evidencia para cada uno. Un equipo de debida diligencia puede necesitar decenas de empresas, y luego la propiedad, los ejecutivos, el financiamiento y el estatus regulatorio de cada una de ellas. Eso crea dos demandas separadas:

Amplio: descubrir un conjunto grande y a menudo abierto de entidades que califican.

Profundo: investigar cada entidad lo suficiente como para respaldar cada afirmación solicitada con evidencia.

Combinar ambos cambia el problema. Un puñado de ejemplos convincentes no es suficiente, y tampoco lo es una narrativa pulida basada en una investigación incompleta. El agente debe mantener un descubrimiento amplio sin sacrificar la calidad de los datos de un registro al siguiente.

WANDR captura esa estructura con una jerarquía de claves de cualificación flexible y componible. Una tarea podría solicitar

empresa(n) → empleado(m) → url(k)

Esto significa encontrar n empresas que califiquen, m empleados que califiquen en cada empresa y k páginas de respaldo para cada empleado. Cada ruta completa a través del árbol se puede validar de forma independiente. La misma estructura básica puede representar una lista plana, una búsqueda anidada, una matriz o una tarea con múltiples ramas de evidencia. Estos patrones también se pueden combinar, lo que permite que una representación cubra una amplia gama de casos de uso del mundo real.

Seis patrones de jerarquía comunes. Los círculos llenos son entidades, los círculos discontinuos son etiquetas fijas y los cuadrados son hojas de URL. En la matriz, las etiquetas secundarias repetidas denotan los mismos valores secundarios bajo diferentes padres.

Una tarea publicada ilustra esta estructura en la práctica.

ceo_cfo_appointments

Tarea principal. Encuentra al menos 70 empresas con sede en EE. UU. con un nombramiento de director ejecutivo (CEO) o director financiero (CFO) anunciado por primera vez entre el 1 de marzo y el 30 de abril de 2026. Para cada empresa, proporcione una página de nombramiento autorizada que identifique a la empresa y a la persona nombrada, establezca el rol y la fecha del anuncio, y provenga del emisor, una presentación regulatoria, una agencia de noticias o periodismo comercial de primera mano atribuido directamente.

Jerarquía principal. empresa(70) → empresa_nombrado(1) → url(1).

Subtarea de listado de empresas. Para las mismas empresas, proporcione una página de autoridad de listado reconocida que muestre una cotización en una bolsa de valores nacional de EE. UU. o el estatus de emisor informador de la Ley de Intercambio de la SEC domiciliado en EE. UU.

Jerarquía de subtareas. empresa(70) → url(1).

Registros requeridos. 140: 70 registros de nombramientos más 70 registros de listado.

Cada ruta termina en una página y extractos que el evaluador puede volver a verificar. La clave de empresa compartida alinea las ramas de nombramiento y listado, por lo que un nombramiento sin una prueba separada del estado de listado aún deja esa empresa incompleta.

Tareas realistas, generadas a escala

WANDR parte de patrones desidentificados observados en el uso en producción en lugar de indicaciones sintéticas. Esto mantiene el punto de referencia cerca del trabajo que las personas realmente delegan: descubrimiento abierto, enriquecimiento repetido, verificaciones entre fuentes y comparaciones estructuradas a escala profesional. Un proceso semiautomatizado convierte esos patrones en tareas, reservando el esfuerzo humano para el control de calidad en lugar de la anotación exhaustiva de respuestas.

El proceso tiene cuatro etapas. La siembra extrae solicitudes de productos desidentificadas para obtener un patrón de investigación amplia reutilizable. La creación ejecuta un bucle alterno de autor y crítico: los agentes esbozan y ponen a prueba el diseño, escriben la especificación de la tarea y el juez, crean registros de prueba y usan un linter mecánico para mantener todo alineado. La admisión verifica que el volumen objetivo sea alcanzable combinando entre 10 y 12 ejecuciones de creación, audita el juez específico de la tarea y, opcionalmente, agrega la aprobación humana. La curaduría etiqueta las tareas admitidas y selecciona un conjunto final equilibrado entre temas, escala, topología y dificultad.

La canalización de construcción de tareas tiene cuatro etapas. La siembra identifica una solicitud realista; la redacción la convierte en una tarea autónoma mediante un ciclo autor-crítico y verificaciones mecánicas; la admisión evalúa la viabilidad y la calidad del juez; y la curaduría selecciona una versión equilibrada. El resultado son 500 paquetes de tareas públicas.

La tarea mediana solicita 50 miembros, cuatro registros por miembro y 245 registros en total. En conjunto, las 500 tareas requieren 170,495 registros respaldados por fuentes. Calibramos la dificultad a partir de ejecuciones históricas en la etapa de diseño, luego dividimos las tareas por rango en 167 ejemplos de menor dificultad, 166 de dificultad media y 167 de mayor dificultad. El gráfico a continuación muestra que la dificultad no está determinada únicamente por la escala; también depende del trabajo requerido para cada registro.

Dificultad general de la tarea en el plano de amplitud y profundidad (log-log; 500 tareas de evaluación). La amplitud es el número de miembros requeridos; la profundidad es el recuento de registros requeridos dividido por ese recuento de miembros. El color del punto denota la etiqueta de dificultad general. Las guías discontinuas marcan la amplitud mediana (50 miembros) y la profundidad mediana (4.00 registros por miembro).

Calificación sin referencias y verificada por evidencia

Una clave de respuestas fija no se adapta bien a la investigación abierta. Su construcción es costosa, se vuelve obsoleta rápidamente y representa mal las preguntas cuyas respuestas cambian con el tiempo. En su lugar, WANDR califica cada afirmación enviada en función de la evidencia que cita el agente.

Cada registro contiene un elemento, una URL, extractos seleccionados y una respuesta. El evaluador vuelve a recuperar la página y comprueba si es utilizable, si la afirmación es clara y está dentro del alcance, si los extractos aparecen fielmente en la página y si tanto la página como los extractos respaldan todos los requisitos.

Estos veredictos de registros binarios se acumulan a través de la jerarquía. La precisión mide la calidad de lo enviado por el sistema. La exhaustividad mide la finalización ajustada por calidad en comparación con el volumen solicitado, llenando cualquier déficit con ceros. La puntuación F1 equilibra ambas. Las puntuaciones flexibles otorgan créditos parciales a los miembros incompletos; las puntuaciones estrictas cuentan solo a los miembros cuyo subárbol requerido completo es correcto. Para el diagnóstico, WANDR también informa un veredicto exclusivo de recuperación que pregunta si la página recuperada satisface la tarea antes de agregar las comprobaciones más estrictas sobre la validez y los extractos enviados.

Esto hace que los fallos sean interpretables y localizables. Una alta precisión con baja exhaustividad generalmente significa que el sistema encontró algunos buenos miembros pero no suficientes. Una gran caída de flexible a estricto significa que hizo un progreso parcial pero rara vez completó cada rama necesaria para obtener el crédito completo. El árbol de puntuación puede localizar la pérdida en el descubrimiento, el enriquecimiento, el manejo de identidades, la cualificación de páginas o la extracción de evidencia.

El proceso de calificación. La resolución normaliza la salida de cada sistema; la recuperación obtiene cada página citada e intenta nuevamente las recuperaciones interrumpidas en un navegador; el juicio resuelve identidades y evalúa cada registro; y la puntuación convierte los veredictos en precisión, exhaustividad y F1 a nivel de tarea.

Lo que encontramos

Comparamos seis sistemas de producción: API de búsqueda y tareas alojadas, API de agentes web generales, un producto de investigación profunda y nuestro sistema de orquestación de búsqueda programática, Search as Code (SaC). Cada uno se programó en las 500 tareas bajo una configuración fija, y luego pasó por el mismo proceso de recuperación, juicio, resolución de identidades y puntuación.

Perplexity Search as Code lidera con 0.363 F1 flexible y 0.133 F1 estricto. Anthropic es segundo con 0.249 y 0.072; cualquier otro sistema alcanza un máximo de 0.121 en F1 flexible y 0.035 en F1 estricto. Ningún sistema domina tanto la calidad como la eficiencia. Perplexity se encuentra en el medio del rango de costos con $5.20 por tarea, con un tiempo medio de resolución de 14.9 minutos y 3.82 millones de tokens informados por tarea. OpenAI y Exa son más rápidos y económicos, pero obtienen puntuaciones mucho más bajas. Anthropic es el que más se acerca en cuanto a calidad, pero utiliza sustancialmente más tiempo, dinero y tokens.

Precisión y exhaustividad suaves y duras frente al costo, la latencia mediana y el uso de tokens reportado en WANDR.
Precisión y exhaustividad flexible y estricta (arriba), y F1 flexible y estricta (abajo), frente al costo, la latencia media de resolución y el uso de tokens informado. Un valor más alto y más a la izquierda es mejor. Exa y Parallel están ausentes de las vistas de tokens porque no exponen los recuentos de tokens.

También evaluamos cada configuración de esfuerzo disponible en el mismo subconjunto de 45 tareas. Un mayor esfuerzo mejora a Perplexity, Gemini y Exa en cada paso; Perplexity alcanza 0.447 en F1 flexible y 0.224 en F1 estricto en xhigh. Sin embargo, un mayor esfuerzo no es uniformemente mejor: OpenAI alcanza su punto máximo en high, y el F1 estricto de Parallel cae ligeramente entre ultra2x y ultra4x. El costo abarca más de cuatro órdenes de magnitud, desde $0.03 por tarea para Exa low hasta $324.83 para Gemini max.

F1 suave frente al costo, la latencia mediana y el uso de tokens reportado en distintos niveles de esfuerzo en el subconjunto de 45 tareas de WANDR.
F1 flexible (arriba) y F1 estricto (abajo) en todas las configuraciones de esfuerzo disponibles en el subconjunto de 45 tareas coincidentes. Las rutas más oscuras denotan un mayor esfuerzo.

Cuatro hallazgos destacan.

El progreso parcial es común; la cobertura completa no lo es. La exhaustividad flexible está por debajo de la precisión flexible para todos los sistemas, lo que significa que el rendimiento cae una vez que el volumen total solicitado ingresa al denominador. Perplexity retiene 0.357 de exhaustividad a partir de 0.389 de precisión, la brecha más pequeña; Anthropic cae de 0.354 a 0.222. La conversión de flexible a estricto es aún más severa. Perplexity cae de 0.363 en F1 flexible a 0.133 en F1 estricto, y Anthropic de 0.249 a 0.072. La mejor precisión estricta es 0.150 y la mejor exhaustividad estricta es 0.134: incluso el líder obtiene crédito completo por solo aproximadamente uno de cada siete miembros que envía y uno de cada siete miembros que solicita la tarea.

La escala agrava el problema. Desde el contenedor de volumen objetivo más pequeño hasta el más grande, la precisión estricta de Perplexity cae de 0.235 a 0.096 y su exhaustividad estricta de 0.219 a 0.079. Anthropic cae de 0.205 a 0.113 y de 0.127 to 0.042; OpenAI cae de 0.109 a 0.034 y de 0.102 a 0.016. La exhaustividad suele caer más rápido que la precisión: un sistema puede conservar un pequeño grupo de miembros completos mientras cubre cada vez menos del conjunto solicitado.

Las jerarquías más profundas son aún más severas. Al pasar de ninguna clave intermedia a tres o más, la precisión estricta de Perplexity cae de 0.392 a 0.019 y la exhaustividad estricta de 0.378 to 0.017; Anthropic cae de 0.311 a 0.049 y de 0.229 to 0.022; OpenAI cae de 0.136 a 0.012 y de 0.120 to 0.011. Cada rama agregada crea otro lugar donde un miembro puede perder la puntuación estricta de todo o nada. El costo y la latencia no siguen un patrón monótono común.

Precisión estricta, exhaustividad estricta, latencia media de resolución y costo promedio en todo el volumen de registros objetivo (arriba) y la profundidad de jerarquía intermedia (abajo). Cada línea representa una configuración de ejecución principal fija. Las líneas conectan los agregados de los contenedores de tareas para facilitar la lectura y no implican un efecto causal de la escala o la estructura.

Incluso antes de juzgar la calidad, el descubrimiento es el primer cuello de botella estructural. Si se consideran únicamente los recuentos sin procesar previos al colapso, la finalización media del descubrimiento de nivel superior oscila entre 0.611 y 0.951. El enriquecimiento condicional es más sólido entre 0.767 y 0.967, y la finalización de los espacios de evidencia terminales alcanza entre 0.979 y 0.994 una vez que existen un miembro y su ruta de enriquecimiento. Perplexity lidera el descubrimiento con 0.951 y el enriquecimiento con 0.967, pero OpenAI es ligeramente superior en los espacios de evidencia terminales con 0.994 frente a 0.991. El colapso de duplicados representa solo entre 0.017 y 0.205 puntos porcentuales de pérdida de recuento en las seis ejecuciones completas, por lo que la falta de entrega, y no la fusión de identidades, es la principal explicación agregada. Las mayores pérdidas estructurales sin procesar ocurren antes de que se adjunte la URL final.

Finalización estructural sin procesar a nivel de tarea media de los árboles del verificador. El descubrimiento es la clave superior, el enriquecimiento cubre las claves intermedias y la evidencia es la clave terminal. Los valores utilizan los recuentos proporcionados previos al colapso, por lo que la figura aísla dónde falta el volumen enviado antes de que se juzgue la calidad del registro.

Encontrar una página utilizable suele ser fácil; encontrar evidencia completa es difícil. Para cinco sistemas, solo entre el 3.2% y el 8.9% de las páginas enviadas no son utilizables; OpenAI es el caso atípico con un 23.1%. Los registros no válidos o del tipo incorrecto también son relativamente poco comunes, entre el 4.2% y el 17.4%. Las pérdidas dominantes surgen a continuación: entre el 33.6% y el 68.3% de las páginas enviadas fallan en al menos un requisito sustantivo de la tarea, y entre el 57.5% y el 86.6% de los extractos enviados no respaldan todo lo que afirma el registro. Las tasas de Perplexity son del 41.4% y del 57.5%. Su F1 flexible cae de 0.531 bajo la comprobación exclusiva de recuperación, que solo pregunta si la página cumple con todos los requisitos sustantivos, a 0.363 bajo el veredicto completo, que también requiere las comprobaciones universales, la validez específica de la tarea y el soporte completo de extractos. De manera similar, el F1 estricto cae de 0.245 a 0.133. La parte difícil no es solo llegar a una página plausible; es convertir esa página en evidencia suficiente para toda la afirmación.

Pruebas de fallos a nivel de registro medidas a partir de los detalles disponibles del verificador, en porcentaje; un valor más bajo es mejor. Los fallos en los requisitos de página y extracto son sustancialmente más comunes que los fallos de páginas inutilizables o registros no válidos. Parallel tiene detalles de diagnóstico para 350 tareas, mientras que las otras filas cubren de 490 a 500 tareas.

Search as Code se adapta bien a esta forma de tarea. Un modelo puede expresar la recuperación, el filtrado, la ramificación, el renderizado, las uniones, la desduplicación y la lógica de parada como un programa, mientras que la computación determinista maneja las operaciones repetidas fuera del contexto del modelo. Ese perfil es coherente con la mayor retención de amplitud y construcción de extractos de Perplexity, aunque no lidera en todas las capas: Anthropic tiene la tasa de fallo de requisitos de página más baja.

Qué sigue

WANDR ofrece más que una sola puntuación en una tabla de clasificación. Su estructura de tareas común y su proceso semiautomatizado admiten la generación de tareas variadas y de alto volumen, mientras que los veredictos por registro y las puntuaciones a nivel de jerarquía muestran dónde falla una ejecución: descubrimiento, enriquecimiento, manejo de identidades, cualificación semántica o construcción de evidencia. Las tareas publicadas, el verificador y los diagnósticos estructurales proporcionan una base para mejorar los sistemas de búsqueda integral y probar si esas ganancias se mantienen a escala.

La misma estructura también puede hacer que WANDR sea útil para el aprendizaje por refuerzo. En lugar de depender de una única recompensa terminal dispersa, un formador puede utilizar juicios a nivel de registro y de rama, asignar crédito parcial para el progreso del descubrimiento y el enriquecimiento, y construir un plan de estudios elevando los recuentos requeridos a lo largo del tiempo. El proceso puede generar tareas secundarias excluidas en todos los dominios, formas de jerarquía, reglas de evidencia y configuraciones de amplitud y profundidad sin enumerar respuestas ideales. Esto crea un camino para entrenar agentes no solo para encontrar hechos correctos, sino también para planificar la cobertura, detectar ramas faltantes y recuperarse antes de detenerse.

Las tareas de evaluación comparativa, el arnés de evaluación y el informe técnico completo están disponibles en GitHub.

Citación

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}