Punt de referència WANDR: Avaluació d'agents d'investigació que han de cercar àmpliament i profundament

Avui llancem WANDR (Wide ANd Deep Research), un punt de referència obert i banc de proves construït al voltant de 500 tasques de recopilació de dades realistes i desafiadores per al treball de coneixement. WANDR és el germà ampli de la nostra mètrica DRACO per a la investigació profunda. DRACO pregunta si un agent pot produir un informe a fons precís, complet i objectiu; WANDR pregunta si pot construir una gran col·lecció i respaldar cada membre amb evidències específiques.

Aquests són els tipus de feines que la gent ja lliura als agents d'investigació: mapatge competitiu, diligència deguda, revisió bibliogràfica, anàlisi de mercat, comparació de productes, recerca de talent i molt més. Les tasques van des de desenes fins a milers de registres verificables de manera independent. Fins i tot amb una configuració d'alt esforç, el sistema més fort de la nostra avaluació només arriba a 0,363 de F1 suau i 0,133 de F1 dur. La investigació àmplia i profunda encara està lluny de ser resolta.

Amplia

Per què importa la investigació àmplia i profunda

Moltes feines d'investigació útils no s'acaben quan un agent troba una resposta. Un analista de mercat pot necessitar tots els competidors que compleixin els requisits, amb la mateixa evidència per a cadascú. Un equip de diligència deguda pot necessitar desenes d'empreses, i després la propietat, els executius, el finançament i l'estat regulador de cadascuna d'elles. Això crea dues demandes separades:

Ampli: descobrir un conjunt gran i sovint obert d'entitats que compleixen els requisits.

Profund: investigar cada entitat prou lluny per respaldar cada afirmació sol·licitada amb proves.

Combinar tots dos canvia el problema. Un grapat d'exemples convincents no n'hi ha prou, i tampoc una narrativa polida construïda sobre investigacions incompletes. L'agent ha de mantenir un descobriment ampli sense sacrificar la qualitat factual d'un registre a un altre.

WANDR captura aquesta estructura amb una jerarquia de claus de qualificació flexible i composable. Una tasca podria demanar

company(n) → employee(m) → url(k)

Això significa trobar n empreses que compleixin els requisits, m empleats que compleixin els requisits a cada empresa i k pàgines de suport per a cada empleat. Cada camí complet a través de l'arbre es pot validar de manera independent. La mateixa estructura bàsica pot representar una llista plana, una cerca niada, una matriu o una tasca amb múltiples branques d'evidència. Aquests patrons també es poden combinar, permetent que una sola representació cobreixi una àmplia gamma de casos d'ús del món real.

Amplia

Una tasca publicada il·lustra aquesta estructura a la pràctica.

ceo_cfo_appointments

Tasca principal. Trobeu almenys 70 empreses amb seu als EUA amb un nomenament de conseller delegat (CEO) o director financer (CFO) anunciat per primera vegada entre l'1 de març i el 30 d'abril de 2026. Per a cada empresa, proporcioneu una pàgina de nomenament autoritzada que identifiqui l'empresa i la persona nomenada, estableixi el rol i la data de l'anunci, i provingui de l'emissor, una presentació, una agència de notícies o periodisme empresarial de primera mà atribuït directament.

Jerarquia principal. company(70) → company_appointee(1) → url(1).

Subtasca de llistat d'empreses. Per a les mateixes empreses, proporcioneu una pàgina d'autoritat de llistat reconeguda que mostri una llista en un mercat de valors nacional dels EUA o l'estat d'emissor informant de la Llei de borsa de valors dels EUA amb domicili als EUA.

Jerarquia de subtasca. company(70) → url(1).

Registres requerits. 140: 70 registres de nomenament més 70 registres de llistat.

Cada camí acaba en una pàgina i extractes que el corrector pot tornar a comprovar. La clau d'empresa compartida alinea les branques de nomenament i llistat, de manera que un nomenament sense prova separada de l'estat de llistat encara deixa aquesta empresa incompleta.

Tasques realistes, generades a escala

WANDR comença a partir de patrons desidentificats observats en l'ús de producció en lloc de indicis sintètics. Això manté el punt de referència a prop del treball que la gent realment delega: descobriment obert, enriquiment repetit, comprovacions entre fonts i comparacions estructurades a escala professional. Un pipeline semiautomatitzat converteix aquests patrons en tasques, reservant l'esforç humà per al control de qualitat en lloc de l'anotació exhaustiva de respostes.

El pipeline consta de quatre etapes. La sembra extreu sol·licituds de productes desidentificades per a un patró d'investigació àmplia reutilitzable. L'autoria executa un bucle d'autor-crític intercalat: els agents esbossen i proven el disseny sota estrès, escriuen l'especificació de la tasca i el jutge, creen registres de prova i utilitzen un corrector mecànic per mantenir tot alineat. L'admissió comprova que el volum objectiu sigui assequible fusionant 10–12 desplegaments d'autoria, audita el jutge específic de la tasca i, opcionalment, afegeix l'aprovació humana. La comissariat etiqueta les tasques admeses i selecciona un conjunt final equilibrat entre temes, escala, topologia i dificultat.

Amplia

La tasca mediana demana 50 membres, quatre registres per membre i 245 registres en total. Preses en conjunt, les 500 tasques requereixen 170.495 registres amb suport de fonts. Calibrem la dificultat a partir de desplegaments històrics de l'etapa de disseny, després dividim les tasques per rang en 167 exemples de dificultat baixa, 166 mitjana i 167 alta. El gràfic següent mostra que la dificultat no està determinada només per l'escala; també depèn del treball requerit per a cada registre.

Amplia

Avaluació sense referències, verificada per proves

Una clau de respostes fixa s'adapta malament a la investigació oberta. És cara de construir, ràpidament queda obsoleta i representa malament les preguntes les respostes de les quals canvien amb el temps. En canvi, WANDR qualifica cada reclamació tramesa en funció de les proves que l'agent cita.

Cada registre conté un element, un URL, extractes seleccionats i una resposta. El corrector torna a obtenir la pàgina i comprova si es pot utilitzar, si la reclamació és clara i està dins l'abast, si els extractes apareixen fidelment a la pàgina i si tant la pàgina com els extractes admeten tots els requisits.

Aquests veredictes de registre binaris s'agrupen a través de la jerarquia. La precisió mesura la qualitat del que el sistema ha tramès. La recuperació mesura la compleció ajustada a la qualitat en comparació amb el volum sol·licitat, omplint qualsevol dèficit amb zeros. L'F1 equilibra tots dos. Les puntuacions suaus donen crèdit parcial als membres incomplets; les puntuacions dures compten només els membres el subarbre requerit complet dels quals sigui correcte. Per al diagnòstic, WANDR també informa d'un veredicte només de recuperació que pregunta si la pàgina recuperada satisfà la tasca abans d'afegir les comprovacions més estrictes sobre la validesa i els extractes tramesos.

Aquest fet fa que les fallades siguin interpretables i localitzables. Una alta precisió amb una baixa recuperació sol significar que el sistema ha trobat alguns bons membres però no prou. Una gran caiguda de suau a dur significa que ha fet un progrés parcial però rarament ha completat cada branca necessària per al crèdit complet. L'arbre de puntuació pot localitzar la pèrdua al descobriment, l'enriquiment, la gestió d'identitats, la qualificació de pàgines o l'extracció d'evidències.

Amplia

El que hem trobat

Hem comparat sis sistemes de producció: APIs de tasques i cerques allotjades, APIs d'agents web generals, un producte d'investigació profunda i el nostre sistema d'orquestració de cerques programàtiques, Search as Code (SaC). Cadascun es va programar en les 500 tasques sota una configuració fixada, i després va passar pel mateix pipeline de recuperació, jutge, resolució d'identitats i puntuació.

Perplexity Search as Code lidera amb 0,363 de F1 suau i 0,133 de F1 dur. Anthropic és segon amb 0,249 i 0,072; tots els altres sistemes arriben al màxim de 0,121 de F1 suau i 0,035 de F1 dur. Cap sistema domina tant la qualitat com l'eficiència. Perplexity es troba al mig del rang de costos amb 5,20 $ per tasca, amb un temps de resolució mitjà de 14,9 minuts i 3,82 milions de tokens reportats per tasca. OpenAI i Exa són més ràpids i barats, però puntuen molt més baix. Anthropic s'acosta més en qualitat, però utilitza substancialment més temps, diners i tokens.

Amplia

Amplia

També hem avaluat totes les configuracions d'esforç disponibles en el mateix subconjunt de 45 tasques. Un esforç més gran millora Perplexity, Gemini i Exa a cada pas; Perplexity arriba a 0,447 de F1 suau i 0,224 de F1 dur a xhigh. Un esforç més gran no és uniformement millor, tanmateix: OpenAI arriba al pic a high, i el F1 dur de Parallel rellisca lleugerament entre ultra2x i ultra4x. El cost abasta més de quatre ordres de magnitud, des de 0,03 $ per tasca per a Exa low fins a 324,83 $ per a Gemini max.

Amplia

Amplia

Quatre troballes destaquen.

El progrés parcial és comú; la cobertura completa no ho és. La recuperació suau està per sota de la precisió suau per a cada sistema, la qual cosa significa que el rendiment cau un cop tot el volum sol·licitat entra al denominador. Perplexity reté 0,357 de recuperació de 0,389 de precisió, la bretxa més petita; Anthropic cau de 0,354 a 0,222. La conversió de suau a dur és encara més dura. Perplexity cau de 0,363 de F1 suau a 0,133 de F1 dur, i Anthropic de 0,249 a 0,072. La millor precisió dura és 0,150 i la millor recuperació dura és 0,134: fins i tot el líder guanya el crèdit complet només per a aproximadament un de cada set membres que envia i un de cada set membres que demana la tasca.

L'escala agreuja el problema. Des del contenidor de volum objectiu més petit fins al més gran, la precisió dura de Perplexity cau de 0,235 a 0,096 i la seva recuperació dura de 0,219 a 0,079. Anthropic cau de 0,205 a 0,113 i de 0,127 a 0,042; OpenAI cau de 0,109 a 0,034 i de 0,102 a 0,016. La recuperació sol caure més ràpidament que la precisió: un sistema pot mantenir una petita bossa de membres complets mentre cobreix cada cop menys del conjunt sol·licitat.

Les jerarquies més profundes són encara més dures. Passant de cap clau intermèdia a tres o més, la precisió dura de Perplexity cau de 0,392 a 0,019 i la recuperació dura de 0,378 a 0,017; Anthropic cau de 0,311 a 0,049 i de 0,229 a 0,022; OpenAI cau de 0,136 a 0,012 i de 0,120 a 0,011. Cada branca afegida crea un altre lloc on un membre pot perdre la puntuació dura de tot o res. El cost i la latència no segueixen un patró monotònic comú.

Amplia

Fins i tot abans de jutjar la qualitat, el descobriment és el primer coll d'ampolla estructural. Si només s'observen els recomptes en brut i anteriors al col·lapse, la compleció mitjana del descobriment de nivell superior oscil·la entre 0,611 i 0,951. L'enriquiment condicional és més fort entre 0,767 i 0,967, i la compleció de la ranura d'evidència terminal arriba a 0,979–0,994 un cop existeixen un membre i el seu camí d'enriquiment. Perplexity lidera el descobriment amb 0,951 i l'enriquiment amb 0,967, però OpenAI és lleugerament superior en les ranures d'evidència terminal amb 0,994 enfront de 0,991. El col·lapse de duplicats només representa 0,017–0,205 punts percentuals de pèrdua de recompte en les sis execucions completes, de manera que el lliurament insuficient, i no la fusió d'identitats, és l'explicació agregada principal. Les pèrdues estructurals en brut més grans es produeixen abans que s'adjunti l'URL final.

Amplia

Trobar una pàgina usable sol ser fàcil; trobar proves completes és difícil. Per a cinc sistemes, només del 3,2% al 8,9% de les pàgines trameses no es poden utilitzar; OpenAI és el valor atípic del 23,1%. Els registres invàlids o de tipus incorrecte també són relativament poc comuns, del 4,2% al 17,4%. Les pèrdues dominants arriben a continuació: del 33,6% al 68,3% de les pàgines trameses incompleixen almenys un requisit de tasca substancial, i del 57,5% al 86,6% dels extractes tramesos no admeten tot allò que el registre reclama. Les taxes de Perplexity són del 41,4% i del 57,5%. El seu F1 suau cau de 0,531 sota la comprovació només de recuperació, que només pregunta si la pàgina compleix tots els requisits substancials, a 0,363 sota el veredicte complet, que també requereix les comprovacions universals, la validesa específica de la tasca i el suport complet d'extractes. El F1 dur cau de manera similar de 0,245 a 0,133. La part difícil no és només arribar a una pàgina plausible; és convertir aquesta pàgina en prou evidència per a tota la reclamació.

Amplia

Search as Code s'ajusta bé a aquesta forma de tasca. Un model pot expressar la recuperació, el filtratge, la distribució, el renderitzat, les unions, la desduplicació i la lògica de parada com a programa, mentre que el càlcul determinista gestiona les operacions repetides fora del context del model. Aquest perfil és coherent amb la retenció d'amplitud més forta de Perplexity i la construcció d'extractes, tot i que no lidera a totes les capes: Anthropic té la taxa de fallada de requisits de pàgina més baixa.

Què ve a continuació

WANDR proporciona més que una sola puntuació de tauler de classificació. La seva estructura de tasques comuna i el seu pipeline semiautomatitzat admeten la generació de tasques variada i d'alt volum, mentre que els veredictes per registre i les puntuacions a nivell de jerarquia mostren on falla una execució: descobriment, enriquiment, gestió d'identitats, qualificació semàntica o construcció d'evidències. Les tasques publicades, el verificador i els diagnòstics estructurals proporcionen una base per millorar els sistemes de cerca integrals i provar si aquests guanys es mantenen a escala.

La mateixa estructura també pot fer que WANDR sigui útil per a l'aprenentatge per reforçament. En lloc de dependre d'una única recompensa terminal escassa, un entrenador pot utilitzar judicis a nivell de registre i de branca, assignar crèdit parcial per al progrés de descobriment i enriquiment, i construir un currículum augmentant els recomptes requerits al llarg del temps. El pipeline pot generar tasques germanes retingudes a través de dominis, formes de jerarquia, regles d'evidència i configuracions d'amplitud-profunditat sense enumerar respostes d'or. Això crea un camí per entrenar agents no només per trobar fets correctes, sinó també per planificar la cobertura, detectar branques faltants i recuperar-se abans d'aturar-se.

Les tasques de referència, el banc de proves d'avaluació i l'informe tècnic complet estan disponibles a GitHub.

Citació

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}