Valutazione delle prestazioni di Ricerca approfondita con il benchmark DRACO

Oggi pubblichiamo il benchmark DRACO (Deep Research Accuracy, Completeness, and Objectivity), un benchmark aperto per la valutazione di agenti di Ricerca approfondita basato sul modo in cui gli utenti utilizzano realmente l'IA per attività di ricerca complesse. Rendendo DRACO open source, puntiamo ad aiutare la comunità IA più ampia a costruire strumenti di ricerca che rispondano meglio alle esigenze reali degli utenti.

DRACO mette in luce il divario tra la risoluzione di attività sintetiche e il soddisfacimento di autentiche esigenze di ricerca. Il sistema di valutazione è agnostico rispetto al modello: man mano che emergeranno LLM agentici più potenti, rieseguiremo le valutazioni e pubblicheremo i risultati aggiornati. Inoltre, man mano che rilasceremo miglioramenti alla Ricerca approfondita su Perplexity.ai, gli utenti vedranno tali progressi riflessi sia nelle prestazioni del prodotto che nei punteggi del benchmark.

Ricerca approfondita all'avanguardia

La Ricerca approfondita di Perplexity raggiunge prestazioni all'avanguardia nei principali benchmark esterni, inclusi DeepSearchQA di Google DeepMind e ResearchRubrics di Scale AI.

Espandi

Espandi

Questi risultati derivano dalla combinazione dei migliori modelli disponibili con le funzionalità agentiche appositamente create da Perplexity: strumenti di ricerca proprietari, infrastruttura del browser ed esecuzione di codice. Insieme, formano un sistema ottimizzato end-to-end per il recupero, la sintesi e il ragionamento su informazioni del mondo reale.

Nel processo di creazione di questo prodotto, abbiamo compreso che i benchmark esterni, pur essendo utili per confrontare i modelli, spesso non colgono le query sfaccettate e le esigenze di sintesi che gli utenti reali pongono ogni giorno. Oggi, rendiamo open-source il benchmark DRACO, un benchmark basato sul modo in cui le persone utilizzano realmente la Ricerca approfondita, motivato da milioni di attività di produzione in dieci domini.

Espandi

Perché la valutazione basata sulla produzione è importante

I benchmark esistenti spesso testano competenze limitate in isolamento: recuperare un singolo fatto, rispondere a una domanda di cultura generale o risolvere un problema ben definito. Ma le query di ricerca reali richiedono sintesi tra le fonti, analisi sfumate e indicazioni attuabili, il tutto mantenendo l'accuratezza fattuale e una citazione corretta.

Il benchmark DRACO comprende 100 attività accuratamente selezionate che abbracciano i settori accademico, finanziario, legale, medico, tecnologico, cultura generale, progettazione UX, assistente personalizzato, shopping/confronto prodotti e 'Needle in a Haystack', ciascuna abbinata a rubriche create da esperti con una media di circa 40 criteri di valutazione.

Queste attività hanno origine da richieste reali degli utenti su Ricerca approfondita di Perplexity, campionate da milioni di richieste di produzione e poi riformulate, aumentate e filtrate sistematicamente attraverso una pipeline in cinque fasi: rimuoviamo le informazioni di identificazione personale, aggiungiamo contesto e ambito, filtriamo per oggettività e difficoltà e conduciamo una revisione finale da parte di esperti di dominio. Il risultato è un benchmark che riflette le esigenze autentiche degli utenti piuttosto che esercizi sintetici o attività selezionate da esperti.

Come funziona il benchmark DRACO

Espandi

Ogni attività nel benchmark è stata sottoposta a un rigoroso processo di sviluppo delle rubriche. Perplexity ha collaborato con un partner di generazione dati, The LLM Data Company, per sviluppare e sottoporre a stress test le rubriche di valutazione per il set. Gli esperti in materia hanno redatto le rubriche iniziali con l'ausilio di strumenti LLM, per poi procedere attraverso revisione paritaria e calibrazione. Le rubriche mal specificate o eccessivamente indulgenti sono state restituite per la revisione, con circa il 45% delle rubriche perfezionate almeno una volta attraverso questo processo. Il risultato consiste in criteri di valutazione che distinguono genuinamente le capacità del sistema.

Le rubriche valutano quattro dimensioni: accuratezza fattuale (circa la metà di tutti i criteri), ampiezza e profondità dell'analisi, qualità della presentazione e citazione delle fonti primarie. Ogni criterio riceve un peso che riflette la sua importanza e alcuni criteri sono negativi, penalizzando errori come allucinazioni o affermazioni non supportate.

Le risposte vengono classificate utilizzando un protocollo LLM-as-judge, in cui ogni criterio riceve un verdetto binario. Questo approccio è particolarmente adatto per la valutazione dell'accuratezza fattuale perché le rubriche ancorano il giudizio a dati del mondo reale derivati dai risultati di ricerca, trasformando la valutazione soggettiva in un controllo dei fatti verificabile. Abbiamo convalidato l'affidabilità attraverso tre modelli di giudizio e abbiamo riscontrato che, sebbene i punteggi assoluti varino, le classifiche relative dei sistemi rimangono coerenti.

Espandi

Strumenti e ambiente di valutazione

Il benchmark è progettato per valutare agenti con accesso a un set completo di strumenti di ricerca, inclusi una sandbox per l'esecuzione di codice e funzionalità del browser.

Cosa abbiamo scoperto

Prestazioni per dominio. Abbiamo valutato quattro sistemi di Ricerca approfondita in 10 domini di conoscenza misurando i tassi di superamento (percentuale di criteri di valutazione soddisfatti). La Ricerca approfondita ha ottenuto i tassi di superamento più elevati in tutti i domini, con prestazioni particolarmente forti in ambito Legale (89,4%) e Accademico (82,4%).

Espandi

Per gli utenti, ciò significa risposte più affidabili, sia che si stia preparando un parere legale, conducendo una revisione della letteratura o confrontando opzioni di trattamento medico. I divari nelle prestazioni si sono ampliati significativamente nelle attività di ragionamento complesso: negli scenari di Assistente personalizzato e 'Needle in a Haystack', Perplexity ha superato il sistema con il punteggio più basso di oltre 20 punti percentuali. Questi domini rispecchiano le esigenze reali degli utenti come raccomandazioni personalizzate e la ricerca di fatti specifici sepolti in grandi documenti.

Espandi

Prestazioni per aspetto di valutazione. Attraverso quattro dimensioni chiave di valutazione, la Ricerca approfondita ha guidato in tre: Accuratezza fattuale, Ampiezza e profondità dell'analisi e Qualità della citazione. Queste sono le dimensioni che contano di più quando è necessario affidarsi alla propria ricerca per decisioni reali, sia che si stia consigliando un cliente, effettuando un investimento o scrivendo un rapporto con il proprio nome. Solo un altro sistema ha mostrato prestazioni paragonabili alla Ricerca approfondita di Perplexity sulla Qualità della presentazione, indicando che i problemi difficili nella Ricerca approfondita non riguardano la formattazione, bensì l'ottenimento di fatti corretti e un'analisi completa.

Espandi

Qualità ed efficienza. In particolare, il sistema con le migliori prestazioni ha anche ottenuto la latenza più bassa (459,6 secondi contro 592-1808 secondi per i concorrenti). Per gli utenti, ciò significa non dover scegliere tra una ricerca approfondita e l'ottenimento rapido di risposte. Ciò riflette il vantaggio di un'infrastruttura integrata verticalmente e end-to-end: una ricerca¹ migliore [link a piè di pagina alla nostra API di ricerca] e un'integrazione del browser con ambienti di esecuzione ottimizzati si traducono direttamente in una ricerca più rapida e accurata.

Cosa ci aspetta

Il sistema di Ricerca approfondita di Perplexity è agnostico rispetto al modello: man mano che emergeranno LLM agentici più potenti, rieseguiremo le valutazioni e pubblicheremo i risultati aggiornati. Inoltre, man mano che rilasceremo miglioramenti alla Ricerca approfondita su Perplexity.ai, gli utenti vedranno tali progressi riflessi sia nelle prestazioni del prodotto che nei punteggi del benchmark.

Il benchmark attualmente valuta solo interazioni in inglese, a turno singolo, attraverso dieci domini. Le iterazioni future espanderanno la diversità linguistica, aggiungeranno la valutazione a turni multipli e amplieranno la copertura dei domini.

Costruisci migliori agenti di ricerca con il benchmark DRACO

Il benchmark DRACO è ora completamente open source. Qualsiasi team che costruisce sistemi di Ricerca approfondita può valutare i propri modelli rispetto ad attività di ricerca reali anziché a puzzle accademici sintetici. Rilasciamo il benchmark completo, tutte le rubriche e il prompt del giudice.

Per saperne di più sulla metodologia e sui risultati dettagliati, leggi il rapporto tecnico completo: benchmark DRACO ed esplora il dataset su Hugging Face.

Citazione

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}