Benchmark WANDR: Evaluarea agenților de cercetare care trebuie să caute în lățime și adâncime

Un benchmark pentru activități de cunoaștere bazate pe dovezi și volum mare.

AutoriPerplexity Research

Astăzi lansăm WANDR (Wide ANd Deep Research), un benchmark deschis și un mediu de evaluare conceput în jurul a 500 de sarcini realiste și dificile de colectare de date pentru activități bazate pe cunoaștere. WANDR este „fratele” extins al benchmarkului nostru DRACO pentru cercetare aprofundată. DRACO verifică dacă un agent poate produce un raport amplu, precis, complet și obiectiv; WANDR verifică dacă poate construi o colecție mare și poate susține fiecare membru cu dovezi specifice.

Acestea sunt tipurile de sarcini pe care oamenii le încredințează deja agenților de cercetare: mapare competitivă, due diligence, revizuire a literaturii de specialitate, analiză de piață, comparare de produse, căutare de talente și multe altele. Sarcinile variază de la zeci la mii de înregistrări verificabile în mod independent. Chiar și la o setare de efort ridicat, cel mai puternic sistem din evaluarea noastră atinge doar 0,363 F1 soft și 0,133 F1 hard. Cercetarea amplă și aprofundată este încă departe de a fi o problemă rezolvată.

Scara de referință WANDR și cele mai bune scoruri soft F1 și hard F1 raportate în această evaluare.

De ce contează cercetarea amplă și aprofundată

Multe activități de cercetare utile nu se termină atunci când un agent găsește un singur răspuns. Un analist de piață poate avea nevoie de fiecare concurent eligibil, cu aceleași dovezi pentru fiecare în parte. O echipă de due diligence poate avea nevoie de zeci de companii, apoi de acționariat, directori, finanțare și statut de reglementare pentru fiecare dintre acestea. Aceasta creează două cerințe distincte:

Amplă (Wide): descoperă un set mare și adesea deschis de entități eligibile.

Aprofundată (Deep): investighează fiecare entitate suficient de mult încât să susțină fiecare revendicare solicitată cu dovezi.

Combinarea celor două schimbă problema. O mână de exemple convingătoare nu este suficientă, la fel cum nu este nici o narațiune cizelată construită pe o cercetare incompletă. Agentul trebuie să mențină o descoperire amplă fără a sacrifica calitatea factuală de la o înregistrare la alta.

WANDR surprinde această structură printr-o ierarhie de chei de calificare flexibilă și compozabilă. O sarcină ar putea solicita

company(n) → employee(m) → url(k)

Aceasta înseamnă găsirea a n companii eligibile, a m angajați eligibili la fiecare companie și a k pagini suport pentru fiecare angajat. Fiecare cale completă prin arbore poate fi validată în mod independent. Aceeași structură de bază poate reprezenta o listă plată, o căutare imbricată, o matrice sau o sarcină cu mai multe ramuri de dovezi. Aceste modele pot fi, de asemenea, combinate, permițând unei singure reprezentări să acopere o gamă largă de cazuri de utilizare din lumea reală.

Șase modele comune de ierarhie. Cercurile pline sunt entități, cercurile punctate sunt etichete fixe, iar pătratele sunt frunze URL. În matrice, etichetele de copii repetate denotă aceleași valori pentru copii sub părinți diferiți.

O sarcină lansată ilustrează această structură în practică.

ceo_cfo_appointments

Sarcina principală. Găsiți cel puțin 70 de companii cu sediul în SUA care au avut o numire în funcția de CEO sau CFO anunțată pentru prima dată între 1 martie și 30 aprilie 2026. Pentru fiecare companie, furnizați o pagină autorizată de numire care identifică compania și persoana numită, stabilește rolul și data anunțului și provine de la emitent, un document depus (filing), un serviciu de știri (newswire) sau jurnalism de afaceri de primă mână atribuit direct.

Ierarhia principală. company(70) → company_appointee(1) → url(1).

Subsarcină de listare a companiilor. Pentru aceleași companii, furnizați o pagină recunoscută a unei autorități de listare care indică fie o listare la o bursă națională de valori din SUA, fie statutul de emitent raportor în conformitate cu US Exchange Act și cu domiciliul în SUA.

Ierarhia subsarcinii. company(70) → url(1).

Înregistrări necesare. 140: 70 de înregistrări de numire plus 70 de înregistrări de listare.

Fiecare cale se încheie cu o pagină și fragmente pe care evaluatorul le poate reverifica. Cheia comună a companiei aliniază ramurile de numire și listare, astfel încât o numire fără o dovadă separată a statutului de listare lasă totuși acea companie incompletă.

Sarcini realiste, generate la scară

WANDR pornește de la modele anonimizate observate în utilizarea în producție, mai degrabă decât de la prompturi sintetice. Acest lucru menține benchmarkul aproape de munca pe care oamenii o deleagă efectiv: descoperire deschisă, îmbogățire repetată, verificări în surse multiple și comparații structurate la scară profesională. Un flux de lucru semi-automat transformă aceste modele în sarcini, rezervând efortul uman pentru controlul calității în loc de adnotarea exhaustivă a răspunsurilor.

Fluxul de lucru are patru etape. Generarea de semințe (Seeding) extrage cereri de produse anonimizate pentru a obține un model reutilizabil de cercetare amplă. Crearea (Authoring) rulează o buclă intercalată autor-critic: agenții schițează și testează la limită designul, scriu specificația sarcinii și evaluatorul (judge), creează înregistrări de test și utilizează un linter mecanic pentru a menține totul aliniat. Admiterea (Admission) verifică dacă volumul țintă este atins prin fuzionarea a 10–12 rulări de creare, auditează evaluatorul specific sarcinii și adaugă opțional aprobarea umană. Curația (Curation) etichetează sarcinile admise și selectează un set final echilibrat în funcție de subiecte, scară, topologie și dificultate.

Pipelinul de construire a sarcinilor are patru etape. Semănarea identifică o solicitare realistă; redactarea o transformă într-o sarcină autonomă printr-o buclă autor–critic și verificări mecanice; admiterea testează fezabilitatea și calitatea judecătorului; iar curarea selectează o lansare echilibrată. Rezultatul este de 500 de pachete publice de sarcini.

Sarcina mediană solicită 50 de membri, patru înregistrări per membru și 245 de înregistrări în total. Luate împreună, cele 500 de sarcini necesită 170.495 de înregistrări bazate pe surse. Calibrăm dificultatea din rulările istorice din etapa de proiectare, apoi împărțim sarcinile după rang în 167 de exemple de dificultate mai mică, 166 de dificultate medie și 167 de dificultate mai mare. Graficul de mai jos arată că dificultatea nu este determinată doar de scară; ea depinde și de munca necesară pentru fiecare înregistrare.

Dificultatea generală a sarcinilor pe planul lățime-adâncime (log-log; 500 de sarcini de benchmark). Lățimea reprezintă numărul de membri solicitați; adâncimea este numărul necesar de înregistrări împărțit la acel număr de membri. Culoarea punctului denotă eticheta de dificultate generală. Ghidurile punctate marchează lățimea mediană (50 de membri) și adâncimea mediană (4,00 înregistrări per membru).

Notare fără referință, verificată prin dovezi

O cheie de răspuns fixă nu se potrivește bine cu cercetarea deschisă. Este costisitoare de construit, devine rapid învechită și reprezintă prost întrebări ale căror răspunsuri se schimbă în timp. În schimb, WANDR evaluează fiecare revendicare trimisă în raport cu dovezile citate de agent.

Fiecare înregistrare conține un element, un URL, fragmente selectate și un răspuns. Evaluatorul re-preia (re-fetches) pagina și verifică dacă aceasta poate fi utilizată, dacă afirmația este clară și în domeniul de aplicare, dacă fragmentele apar fidel pe pagină și dacă atât pagina, cât și fragmentele susțin fiecare cerință.

Aceste verdicte binare pe înregistrări se propagă prin ierarhie. Precizia măsoară calitatea a ceea ce a trimis sistemul. Efectul de rechemare (Recall) măsoară finalizarea ajustată în funcție de calitatea raportată la volumul solicitat, completând orice deficit cu zerouri. F1 le echilibrează pe cele două. Scorurile soft oferă credite parțiale membrilor incompleți; scorurile hard iau în considerare doar membrii al căror subarbore complet necesar este corect. Pentru diagnosticare, WANDR raportează și un verdict exclusiv de regăsire (retrieval-only), care întreabă dacă pagina preluată satisface sarcina înainte de a adăuga verificările mai stricte privind validitatea și fragmentele trimise.

Acest lucru face ca eșecurile să fie interpretabile și localizabile. O precizie ridicată cu un recall scăzut înseamnă de obicei că sistemul a găsit câțiva membri buni, dar nu suficienți. O scădere mare de la soft la hard înseamnă că a înregistrat progrese parțiale, dar rar a finalizat fiecare ramură necesară pentru credite complete. Arborele de scoruri poate localiza pierderea în descoperire, îmbogățire, gestionarea identității, calificare a paginii sau extracție de dovezi.

Fluxul de notare. Solve normalizează ieșirea fiecărui sistem; fetch preia fiecare pagină citată și reîncearcă preluările eșuate într-un browser; judge soluționează identitățile și evaluează fiecare înregistrare; iar score transformă verdictul în precizie, recall și F1 la nivel de sarcină.

Ce am descoperit

Am comparat șase sisteme de producție: API-uri găzduite pentru sarcini și căutare, API-uri generale pentru agenți web, un produs de cercetare aprofundată și sistemul nostru programatic de orchestrare a căutării, Search as Code (SaC). Fiecare a fost programat pe toate cele 500 de sarcini sub o configurație fixă, apoi a trecut prin același flux de preluare, evaluare, soluționare a identității și notare.

Perplexity Search as Code conduce cu 0,363 F1 soft și 0,133 F1 hard. Anthropic se află pe locul al doilea cu 0,249 și 0,072; orice alt sistem atinge cel mult 0,121 F1 soft și 0,035 F1 hard. Niciun sistem nu domină atât calitatea, cât și eficiența. Perplexity se află la mijlocul intervalului de cost, cu 5,20 USD per sarcină, un timp median de soluționare de 14,9 minute și 3,82 milioane de tokenuri raportate per sarcină. OpenAI și Exa sunt mai rapide și mai ieftine, dar obțin scoruri mult mai mici. Anthropic se apropie cel mai mult ca calitate, dar folosește substanțial mai mult timp, bani și tokenuri.

Precizia și recall-ul soft și hard în raport cu costul, latența mediană și utilizarea raportată de tokeni pe WANDR.
Precizie și recall soft și hard (sus) și F1 soft și hard (jos), în funcție de cost, latența mediană de soluționare și utilizarea raportată a tokenurilor. Cu cât este mai sus și mai la stânga, cu atât este mai bine. Exa și Parallel lipsesc din vizualizările privind tokenurile deoarece nu expun numărul de tokenuri.

De asemenea, am evaluat fiecare setare de efort disponibilă pe același subset de 45 de sarcini. Un efort mai mare îmbunătățește Perplexity, Gemini și Exa la fiecare pas; Perplexity ajunge la 0,447 F1 soft și 0,224 F1 hard la xhigh. Totuși, un efort mai mare nu este în mod uniform mai bun: OpenAI atinge apogeul la high, iar F1 hard al lui Parallel scade ușor între ultra2x și ultra4x. Costul se întinde pe mai mult de patru ordine de mărime, de la 0,03 USD per sarcină pentru Exa low până la 324,83 USD pentru Gemini max.

Soft F1 în raport cu costul, latența mediană și utilizarea raportată de tokeni în diferite setări de efort pe subsetul WANDR de 45 de sarcini.
F1 soft (sus) și F1 hard (jos) pentru toate setările de efort disponibile pe subsetul de 45 de sarcini asociat. Căile mai întunecate denotă un efort mai mare.

Se remarcă patru constatări.

Progresul parțial este comun; acoperirea completă nu este. Recall-ul soft este sub precizia soft pentru fiecare sistem, ceea ce înseamnă că performanța scade odată ce volumul total solicitat intră în numitor. Perplexity își menține un recall de 0,357 dintr-o precizie de 0,389, fiind cea mai mică diferență; Anthropic scade de la 0,354 la 0,222. Conversia de la soft la hard este și mai dură. Perplexity scade de la 0,363 F1 soft la 0,133 F1 hard, iar Anthropic de la 0,249 la 0,072. Cea mai bună precizie hard este 0,150, iar cel mai bun recall hard este 0,134: chiar și liderul obține credite complete pentru doar aproximativ unul din șapte membri pe care îi trimite și unul din șapte membri pe care îi cere sarcina.

Scala amplifică problema. De la cel mai mic la cel mai mare coș de volum țintă, precizia hard a lui Perplexity scade de la 0,235 la 0,096, iar recall-ul hard de la 0,219 la 0,079. Anthropic scade de la 0,205 la 0,113 și de la 0,127 la 0,042; OpenAI scade de la 0,109 la 0,034 și de la 0,102 la 0,016. Recall-ul scade de obicei mai repede decât precizia: un sistem poate păstra un mic grup de membri complet dar acoperind din ce în ce mai puțin din setul solicitat.

Ierarhiile mai adânci sunt și mai dure. Trecând de la nicio cheie intermediară la trei sau mai multe, precizia hard a lui Perplexity scade de la 0,392 la 0,019, iar recall-ul hard de la 0,378 la 0,017; Anthropic scade de la 0,311 la 0,049 și de la 0,229 la 0,022; OpenAI scade de la 0,136 la 0,012 și de la 0,120 la 0,011. Fiecare ramură adăugată creează un alt loc în care un membru poate rata scorul hard totul-sau-nimic. Costul și latența nu urmează un model monoton comun.

Precizie hard, recall hard, latență mediană de soluționare și cost mediu în funcție de volumul de înregistrări țintă (sus) și adâncimea ierarhiei intermediare (jos). Fiecare linie reprezintă o configurație fixă a rulării principale. Liniile conectează agregatele coșului de sarcini pentru lizibilitate și nu implică un efect cauzal al scalei sau structurii.

Chiar înainte de a judeca calitatea, descoperirea este primul blocaj structural. Privind doar la numărătorile brute, pre-colaps, finalizarea descoperirii la nivel superior variază de a 0,611 la 0,951. Îmbogățirea condiționată este mai puternică, la 0,767–0,967, iar finalizarea sloturilor de dovezi terminale ajunge la 0,979–0,994 odată ce un membru și calea sa de îmbogățire există. Perplexity conduce la descoperire cu 0,951 și la îmbogățire cu 0,967, dar OpenAI este ușor mai sus pe sloturile de dovezi terminale la 0,994 față de 0,991. Colapsul duplicatelor reprezintă doar 0,017–0,0205 puncte procentuale din pierderea de numărătoare în cele șase rulări complete, astfel încât livrarea insuficientă, și nu fuzionarea identității, este principalul motiv agregat. Cele mai mari pierderi structurale brute apar înainte ca URL-ul final să fie atașat.

Finalizare structurală brută la nivel de sarcină din arborii de verificare. Descoperirea este cheia superioară, îmbogățirea acoperă cheile intermediare, iar dovezile reprezintă cheia terminală. Valorile utilizează numărătorile furnizate pre-colaps, astfel încât figura izolează unde lipsește volumul trimis înainte de a fi judecată calitatea înregistrării.

Găsirea unei pagini utilizabile este de obicei ușoară; găsirea unor dovezi complete este dificilă. Pentru cinci sisteme, doar 3,2%–8,9% dintre paginile trimise sunt inutilizabile; OpenAI reprezintă valoarea atipică de 23,1%. Înregistrările invalide sau de tip greșit sunt, de asemenea, relativ rare, la 4,2%–17,4%. Pierderile majore vin în continuare: 33,6%–68.3% dintre paginile trimise eșuează la cel puțin o cerință substanțială a sarcinii, iar 57,5%–86,6% dintre fragmentele trimise nu reușesc să susțină tot ceea ce revendică înregistrarea. Ratele lui Perplexity sunt de 41,4% și 57,5%. F1 soft scade de la 0,531 în cadrul verificării exclusive de regăsire, care întreabă doar dacă pagina îndeplinește fiecare cerință substanțială, la 0,363 în cadrul verdictului complet, care necesită și verificările universale, validitatea specifică sarcinii și suportul complet prin fragmente. F1 hard scade în mod similar de la 0,245 la 0,133. Partea dificilă nu este doar atingerea unei pagini plauzibile; ci transformarea acelei pagini în dovezi suficiente pentru întreaga afirmație.

Sonde de eșec măsurate la nivel de înregistrare din detaliile de verificare disponibile, în procente; cu cât mai mic, cu atât mai bine. Eșecurile privind cerințele de pagină și fragment sunt substanțial mai comune decât eșecurile de pagini inutilizabile sau înregistrări invalide. Parallel are detalii de diagnostic pentru 350 de sarcini, în timp ce celelalte rânduri acoperi 490–500 de sarcini.

Search as Code se potrivește bine cu această formă de sarcină. Un model poate exprima regăsirea, filtrarea, extinderea (fan-out), randarea, îmbinările (joins), deduplicarea și logica de oprire ca program, în timp ce calculul determinist se ocupă de operațiunile repetate în afara contextului modelului. Acest profil este în concordanță cu retenția mai bună a lățimii și construcția fragmentelor a lui Perplexity, deși nu conduce la fiecare strat: Anthropic are cea mai mică rată de eșec a cerințelor de pagină.

Ce urmează

WANDR oferă mai mult decât un singur scor de clasament. Structura sa comună de sarcini și fluxul de lucru semi-automat sprijină generarea variată și la volum mare de sarcini, în timp ce verdictul pe înregistrare și scorurile la nivel de ierarhie arată unde eșuează o rulare: descoperire, îmbogățire, gestionarea identității, calificare semantică sau construcția de dovezi. Sarcinile lansate, verificatorul și diagnosticele structurale oferă o bază pentru îmbunătățirea sistemelor de căutare cuprinzătoare și testarea dacă aceste câștiguri se mențin la scară.

Aceeași structură poate face ca WANDR să fie util și pentru învățarea prin consolidare (reinforcement learning). În loc să se bazeze pe o singură recompensă terminală rară, un antrenor poate folosi judecăți la nivel de înregistrare și ramură, poate atribui credite parțiale pentru progresul în descoperire și îmbogățire și poate construi un curriculum prin creșterea numărului necesar în timp. Fluxul de lucru poate genera sarcini surori izolate în diverse domenii, forme de ierarhie, reguli de dovezi și setări lățime-adâncime fără a enumera răspunsuri ideale (gold answers). Aceasta creează o cale spre antrenarea agenților nu doar să găsească fapte corecte, ci și să planifice pentru acoperire, să detecteze ramurile lipsă și să se recupereze înainte de oprire.

Sarcinile benchmark, mediul de evaluare și raportul tehnic complet sunt disponibile pe GitHub.

Citare

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}