Benchmark WANDR: valutazione di agenti di ricerca

Un benchmark per il lavoro di conoscenza ad alto volume

AutoriPerplexity Research

Oggi rilasciamo WANDR (Wide ANd Deep Research), un benchmark aperto e uno strumento di valutazione basato su 500 attività di raccolta dati realistiche e complesse per il lavoro basato sulla conoscenza. WANDR è il partner "wide" (esteso) del nostro benchmark DRACO per la Ricerca approfondita. DRACO si interroga se un agente sia in grado di produrre un rapporto lungo, accurato, completo e obiettivo; WANDR verifica se sia capace di costruire una vasta raccolta e di supportare ogni elemento con prove specifiche.

Questi sono i tipi di incarichi che le persone affidano già agli agenti di ricerca: mappatura competitiva, due diligence, revisione della letteratura, analisi di mercato, confronto di prodotti, ricerca di talenti e altro ancora. Le attività variano da dozzine a migliaia di record verificabili in modo indipendente. Anche con un livello di impegno elevato, il sistema più forte nella nostra valutazione raggiunge appena 0,363 di F1 soft e 0,133 di F1 hard. La ricerca estesa e approfondita è ancora lontana dall'essere risolta.

Scala di riferimento WANDR e i migliori punteggi soft F1 e hard F1 riportati in questa valutazione.

Perché la ricerca estesa e approfondita è importante

Molti utili incarichi di ricerca non terminano quando un agente trova una risposta. Un analista di mercato potrebbe aver bisogno di ogni concorrente qualificante, con la stessa documentazione probatoria per ciascuno di essi. Un team di due diligence potrebbe richiedere dozzine di aziende, quindi la loro proprietà, i dirigenti, il finanziamento e lo stato normativo per ognuna di esse. Ciò crea due richieste distinte:

Estesa (Wide): scoprire un insieme ampio e spesso illimitato di entità qualificanti.

Approfondita (Deep): investigare ogni entità in misura sufficiente a supportare ciascuna pretesa avanzata con prove.

Combinare i due elementi modifica il problema. Una manciata di esempi convincenti non è sufficiente, così come non lo è una narrazione curata basata su una ricerca incompleta. L'agente deve sostenere un'ampia attività di scoperta senza sacrificare la qualità fattuale da un record all'altro.

WANDR cattura tale struttura con una gerarchia di chiavi di qualificazione flessibile e componibile. Un'attività potrebbe richiedere

azienda(n) → dipendente(m) → url(k)

Ciò significa trovare n aziende qualificanti, m dipendenti qualificanti presso ciascuna azienda e k pagine di supporto per ogni dipendente. Ogni percorso completo attraverso l'albero può essere validato indipendentemente. La stessa struttura di base può rappresentare un elenco piatto, una ricerca nidificata, una matrice o un'attività con molteplici rami di prova. Questi modelli possono anche essere combinati, consentendo a una singola rappresentazione di coprire una vasta gamma di casi d'uso nel mondo reale.

Sei modelli gerarchici comuni. I cerchi pieni rappresentano le entità, i cerchi tratteggiati le etichette fisse e i quadrati le foglie URL. Nella matrice, le etichette secondarie ripetute indicano gli stessi valori secondari sotto genitori differenti.

Un'attività rilasciata illustra questa struttura nella pratica.

ceo_cfo_appointments

Attività primaria. Trovare almeno 70 aziende con sede negli Stati Uniti con una nomina a CEO o CFO annunciata per la prima volta tra il 1° marzo e il 30 aprile 2026. Per ogni azienda, fornire una pagina di nomina autorevole che identifichi l'azienda e il nominato, stabilisca il ruolo e la data dell'annuncio, e provenga dall'emittente, da un deposito, da un notiziario o da giornalismo commerciale di prima mano direttamente attribuito.

Gerarchia primaria. azienda(70) → nominato_azienda(1) → url(1).

Sotto-attività di elenco aziendale. Per le stesse aziende, fornire una pagina di un'autorità di quotazione riconosciuta che mostri una quotazione in una borsa valori nazionale statunitense o lo stato di emittente che riporta ai sensi del SEC Exchange Act, con sede negli Stati Uniti.

Gerarchia della sotto-attività. azienda(70) → url(1).

Record richiesti. 140: 70 record di nomina più 70 record di quotazione.

Ogni percorso termina in una pagina ed estratti che il valutatore può riesaminare. La chiave aziendale condivisa allinea i rami di nomina e di quotazione, pertanto una nomina senza una distinta prova dello stato di quotazione lascia tale azienda incompleta.

Attività realistiche, generate su larga scala

WANDR parte da modelli de-identificati osservati nell'utilizzo in produzione piuttosto che da prompt sintetici. Ciò mantiene il benchmark vicino al lavoro che le persone delegano effettivamente: scoperta aperta, arricchimento ripetuto, controlli incrociati tra le fonti e confronti strutturati su scala professionale. Una pipeline semi-automatizzata trasforma tali modelli in attività, riservando l'impegno umano al controllo qualità anziché alla minuziosa annotazione delle risposte.

La pipeline ha quattro fasi. Il Seeding estrae richieste di prodotto de-identificate per un modello di ricerca estesa riutilizzabile. L' Authoring esegue un ciclo autore-critico alternato: gli agenti abbozzano e testano il design, scrivono le specifiche dell'attività e il criterio di giudizio, creano record di prova e utilizzano un linter meccanico per mantenere tutto allineato. L' Admission verifica che il volume target sia raggiungibile unendo 10-12 rollout di authoring, controlla il giudice specifico dell'attività e aggiunge facoltativamente il via libera umano. La Curation etichetta le attività ammesse e seleziona un set finale bilanciato tra argomenti, scala, topologia e difficoltà.

La pipeline di costruzione dei task ha quattro fasi. Il seeding identifica una richiesta realistica; l'autoring la trasforma in un task autosufficiente attraverso un ciclo autore–critico e controlli meccanici; i test di ammissione verificano la fattibilità e la qualità del giudice; e la curatela seleziona una release equilibrata. L'output è composto da 500 pacchetti di task pubblici.

L'attività mediana richiede 50 membri, quattro record per membro e 245 record complessivi. Nel complesso, le 500 attività richiedono 170.495 record supportati da fonti. Calibriamo la difficoltà dai rollout storici della fase di progettazione, quindi suddividiamo le attività per grado in 167 esempi a difficoltà inferiore, 166 intermedia e 167 superiore. Il grafico sottostante mostra che la difficoltà non è determinata solo dalla scala; dipende anche dal lavoro richiesto per ogni record.

Difficoltà complessiva dell'attività attraverso il piano ampiezza-profondità (log-log; 500 attività di benchmark). L'ampiezza è il numero di membri richiesti; la profondità è il conteggio dei record richiesti diviso per quel conteggio di membri. Il colore del punto denota l'etichetta di difficoltà complessiva. Le guide tratteggiate segnano l'ampiezza mediana (50 membri) e la profondità mediana (4,00 record per membro).

Valutazione senza riferimenti, verificata tramite prove

Una chiave di risposta fissa è poco adatta alla ricerca aperta. È costosa da costruire, diventa rapidamente obsoleta e rappresenta scarsamente le domande le cui risposte cambiano nel tempo. WANDR valuta invece ogni reclamo presentato rispetto alla documentazione che l'agente cita.

Ogni record contiene un elemento, un URL, estratti selezionati e una risposta. Il valutatore recupera nuovamente la pagina e controlla se è utilizzabile, se la richiesta è chiara e nell'ambito, se gli estratti appaiono fedelmente nella pagina e se sia la pagina che gli estratti supportano ogni requisito.

Questi verdetti binari sui record si aggregano lungo la gerarchia. Precision misura la qualità di ciò che il sistema ha inviato. Recall misura il completamento corretto per la qualità rispetto al volume richiesto, colmando eventuali carenze con zeri. F1 bilancia i due valori. I punteggi soft assegnano credito parziale ai membri incompleti; i punteggi hard conteggiano solo i membri il cui intero sottoalbero richiesto è corretto. Per la diagnosi, WANDR riporta anche un verdetto solo di retrieval che verifica se la pagina recuperata soddisfa il compito prima di applicare i controlli più rigorosi su validità ed estratti inviati.

Questo rende i fallimenti interpretabili e localizzabili. Un'alta precisione con un basso recall di solito significa che il sistema ha trovato alcuni membri validi, ma non abbastanza. Un ampio calo da soft a hard significa che ha fatto progressi parziali, ma ha completato di rado ogni ramo necessario per ottenere il credito pieno. L'albero dei punteggi può localizzare la perdita nella scoperta, nell'arricchimento, nella gestione dell'identità, nella qualificazione della pagina o nell'estrazione delle evidenze.

La pipeline di classificazione. La risoluzione normalizza l'output di ogni sistema; il recupero reperisce ogni pagina citata e riprova i recuperi interrotti in un browser; il giudizio risolve le identità e valuta ogni record; e il punteggio trasforma i verdetti in precisione, richiamo e F1 a livello di attività.

Cosa abbiamo riscontrato

Abbiamo confrontato sei sistemi di produzione: API di attività e ricerca ospitate, API di web-agent generiche, un prodotto di Ricerca approfondita e il nostro sistema programmatico di orchestrazione della ricerca, Search as Code (SaC). Ognuno è stato programmato su tutte le 500 attività con una configurazione bloccata, quindi è passato attraverso la stessa pipeline di recupero, giudizio, risoluzione dell'identità e punteggio.

Perplexity Search as Code è in testa con 0,363 di F1 soft e 0,133 di F1 hard. Anthropic è seconda con 0,249 e 0,072; ogni altro sistema raggiunge al massimo 0,121 di F1 soft e 0,035 di F1 hard. Nessun sistema domina sia la qualità che l'efficienza. Perplexity si colloca a metà della fascia di costo a 5,20 $ per attività, con un tempo di risoluzione mediano di 14,9 minuti e 3,82 milioni di token riportati per attività. OpenAI ed Exa sono più veloci ed economici ma ottengono punteggi molto più bassi. Anthropic si avvicina di più sulla qualità, ma utilizza sostanzialmente più tempo, denaro e token.

Precision e recall soft e hard rispetto al costo, alla latenza mediana e all'uso di token riportato su WANDR.
Precisione e richiamo soft e hard (in alto), e F1 soft e hard (in basso), rispetto a costo, latenza di risoluzione mediana e utilizzo dei token riportati. Più alto e più a sinistra è meglio. Exa e Parallel sono assenti dalle viste dei token perché non espongono i conteggi dei token.

Abbiamo anche valutato ogni impostazione di impegno disponibile sullo stesso sottoinsieme di 45 attività. Un maggiore impegno migliora Perplexity, Gemini ed Exa ad ogni passo; Perplexity raggiunge 0,447 di F1 soft e 0,224 di F1 hard a xhigh. Un impegno maggiore non è tuttavia uniformemente migliore: OpenAI raggiunge il picco a high e l'F1 hard di Parallel scivola leggermente tra ultra2x e ultra4x. Il costo copre più di quattro ordini di grandezza, da 0,03 $ per attività per Exa low a 324,83 $ per Gemini max.

Soft F1 rispetto al costo, alla latenza mediana e all'uso di token riportato tra le impostazioni di effort sul sottoinsieme WANDR da 45 task.
F1 soft (in alto) e F1 hard (in basso) su tutte le impostazioni di impegno disponibili sul sottoinsieme abbinato di 45 attività. I percorsi più scuri denotano un maggiore impegno.

Quattro risultati spiccano.

Il progresso parziale è comune; la copertura completa no. Il recall soft è inferiore alla precision soft per tutti i sistemi, il che significa che le prestazioni calano una volta che il volume richiesto completo entra nel denominatore. Perplexity mantiene 0,357 di recall a fronte di 0,389 di precision, il divario più piccolo; Anthropic scende da 0,354 a 0,222. La conversione da soft a hard è ancora più severa. Perplexity scende da 0,363 di F1 soft a 0,133 di F1 hard, e Anthropic da 0,249 a 0,072. La migliore precision hard è 0,150 e il miglior recall hard è 0,134: anche il leader ottiene il credito pieno per circa solo un membro su sette che invia e uno su sette richiesti dal compito.

La scala aggrava il problema. Dal contenitore di volume target più piccolo a quello più grande, la precisione hard di Perplexity scende da 0,235 a 0,096 e il suo richiamo hard da 0,219 a 0,079. Anthropic scende da 0,205 a 0,113 e da 0,127 a 0,042; OpenAI scende da 0,109 a 0,034 e da 0,102 a 0,016. Il richiamo solitamente scende più velocemente della precisione: un sistema può mantenere una piccola riserva di membri completi pur coprendo sempre meno l'insieme richiesto.

Le gerarchie più profonde sono ancora più severe. Passando da nessuna chiave intermedia a tre o più, la precisione hard di Perplexity scende da 0,392 a 0,019 e il richiamo hard da 0,378 a 0,017; Anthropic scende da 0,311 a 0,049 e da 0,229 a 0,022; OpenAI scende da 0,136 a 0,012 e da 0,120 a 0,011. Ogni ramo aggiunto crea un altro punto in cui un membro può mancare il punteggio hard tutto-o-niente. Il costo e la latenza non seguono un modello monotono comune.

Precisione hard, richiamo hard, latenza di risoluzione mediana e costo medio attraverso il volume dei record target (in alto) e la profondità della gerarchia intermedia (in basso). Ogni linea rappresenta una configurazione fissa di esecuzione principale. Le linee collegano gli aggregati di contenitori di attività per leggibilità e non implicano un effetto causale della scala o della struttura.

Ancor prima di giudicare la qualità, la scoperta è il primo collo di bottiglia strutturale. Osservando solo i conteggi grezzi pre-collasso, il completamento medio della scoperta di alto livello varia da 0,611 a 0,951. L'arricchimento condizionale è più forte a 0,767-0,967 e il completamento dello slot di prova terminale raggiunge 0,979-0,994 una volta che esiste un membro e il suo percorso di arricchimento. Perplexity guida la scoperta a 0,951 e l'arricchimento a 0,967, ma OpenAI è leggermente superiore sugli slot di prova terminali a 0,994 contro 0,991. Il collasso dei duplicati rappresenta solo 0,017-0,205 punti percentuali di perdita di conteggio nelle sei esecuzioni complete, quindi la sotto-consegna, non la fusione dell'identità, è la spiegazione aggregata principale. Le maggiori perdite strutturali grezze si verificano prima che venga allegato l'URL finale.

Completamento strutturale grezzo a livello di attività dagli alberi di verifica. La scoperta è la chiave principale, l'arricchimento copre le chiavi intermedie e la prova è la chiave terminale. I valori utilizzano i conteggi forniti pre-collasso, quindi la figura isola dove manca il volume presentato prima che venga giudicata la qualità del record.

Trovare una pagina utilizzabile è solitamente facile; trovare prove complete è difficile. Per cinque sistemi, solo il 3,2%-8,9% delle pagine presentate non è utilizzabile; OpenAI è l'anomalia al 23,1%. Anche i record non validi o di tipo errato sono relativamente non comuni, dal 4,2% al 17,4%. Le perdite dominanti arrivano dopo: il 33,6%-68,3% delle pagine presentate fallisce almeno un requisito sostanziale dell'attività e il 57,5%-86,6% degli estratti presentati non riesce a supportare tutto ciò che il record sostiene. I tassi di Perplexity sono il 41,4% e il 57,5%. Il suo F1 soft scende da 0,531 sotto il controllo basato solo sul recupero, che chiede solo se la pagina soddisfa ogni requisito sostanziale, a 0,363 sotto il verdetto completo, che richiede anche i controlli universali, la validità specifica dell'attività e il supporto completo degli estratti. L'F1 hard scende analogamente da 0,245 a 0,133. La parte difficile non è solo raggiungere una pagina plausibile; è trasformare quella pagina in una prova sufficiente per l'intera pretesa.

Sonde di fallimento a livello di record misurate dai dettagli del verificatore disponibili, in percentuale; più basso è meglio. I fallimenti sui requisiti di pagina ed estratti sono sostanzialmente più comuni rispetto ai fallimenti di pagina inutilizzabile o record non valido. Parallel ha dettagli diagnostici per 350 attività, mentre le altre righe coprono 490-500 attività.

Search as Code è ben abbinato a questa forma di attività. Un modello può esprimere recupero, filtraggio, fan-out, rendering, join, deduplicazione e logica di arresto come un programma, mentre il calcolo deterministico gestisce le operazioni ripetute al di fuori del contesto del modello. Quel profilo è coerente con la maggiore ritenzione di ampiezza e la costruzione di estratti di Perplexity, sebbene non guidi ad ogni livello: Anthropic ha il tasso di fallimento del requisito di pagina più basso.

Cosa c'è dopo

WANDR fornisce più di un singolo punteggio di classifica. La sua struttura comune di attività e la pipeline semi-automatizzata supportano la generazione di attività varie e ad alto volume, mentre i verdetti per record e i punteggi a livello di gerarchia mostrano dove fallisce un'esecuzione: scoperta, arricchimento, gestione dell'identità, qualificazione semantica o costruzione della prova. Le attività rilasciate, il verificatore e la diagnostica strutturale forniscono una base per migliorare i sistemi di ricerca completi e testare se tali guadagni reggono su larga scala.

La stessa struttura può rendere WANDR utile anche per il reinforcement learning. Anziché fare affidamento su un singolo reward terminale sparso, un trainer può usare giudizi a livello di record e di ramo, assegnare credito parziale ai progressi di scoperta e arricchimento e costruire un curriculum aumentando nel tempo i conteggi richiesti. La pipeline può generare task fratelli held-out su domini, forme gerarchiche, regole sulle evidenze e impostazioni breadth–depth senza enumerare le risposte gold. Questo crea un percorso per addestrare gli agenti non solo a trovare i fatti corretti, ma anche a pianificare la copertura, individuare i rami mancanti e recuperare prima di fermarsi.

Le attività di benchmark, lo strumento di valutazione e il rapporto tecnico completo sono disponibili su GitHub.

Citazione

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}