Evaluarea performanței cercetării aprofundate în mediul real cu benchmarkul DRACO

Astăzi, lansăm benchmarkul DRACO (Deep Research Accuracy, Completeness, and Objectivity), un benchmark deschis pentru evaluarea agenților de cercetare aprofundată, bazat pe modul în care utilizatorii folosesc de fapt inteligența artificială pentru sarcini de cercetare complexe. Prin lansarea DRACO în sursă deschisă, ne propunem să ajutăm comunitatea mai largă de AI să construiască instrumente de cercetare care să deservească mai bine nevoile reale ale utilizatorilor.

DRACO evidențiază discrepanța dintre rezolvarea sarcinilor sintetice și satisfacerea nevoilor de cercetare autentice. Sistemul de evaluare este agnostic în privința modelului: pe măsură ce apar modele lingvistice mari (LLM) agentice mai puternice, vom reface evaluările și vom publica rezultate actualizate. Pe măsură ce aducem îmbunătățiri funcției de cercetare aprofundată pe Perplexity.ai, utilizatorii vor vedea aceste beneficii reflectate atât în performanța produsului, cât și în scorurile din benchmark.

Cercetare aprofundată de ultimă generație

Funcția de cercetare aprofundată Perplexity obține performanțe de ultimă generație în benchmarkurile externe de top, inclusiv DeepSearchQA de la Google DeepMind și ResearchRubrics de la Scale AI.

Extinde

Extinde

Aceste rezultate provin din combinarea celor mai bune modele disponibile cu capabilitățile agentice special construite ale Perplexity: instrumente de căutare proprietare, infrastructură de browser și execuție de cod. Împreună, acestea formează un sistem optimizat cap-coadă pentru preluarea, sintetizarea și raționamentul pe baza informațiilor din lumea reală.

În procesul de creare a acestui produs, am realizat că benchmarkurile externe, deși utile pentru compararea modelelor, nu surprind adesea interogările fațetate și cerințele de sinteză pe care utilizatorii reali le au în fiecare zi. Astăzi, lansăm ca sursă deschisă benchmarkul DRACO, un benchmark bazat pe modul în care oamenii folosesc efectiv cercetarea aprofundată, motivat de milioane de sarcini de producție din zece domenii.

Extinde

De ce contează evaluarea bazată pe producție

Benchmarkurile existente testează adesea abilități restrânse în mod izolat: preluarea unui singur fapt, răspunsul la o întrebare de cultură generală sau rezolvarea unei probleme bine definite. Însă interogările de cercetare reale solicită sinteză între surse, analiză nuanțată și îndrumări acționabile, menținând în același timp acuratețea factuală și citarea corectă.

Benchmarkul DRACO cuprinde 100 de sarcini atent selecționate care acoperă domeniile Academic, Finanțe, Drept, Medicină, Tehnologie, Cunoștințe generale, Design UX, Asistent personalizat, Cumpărături/Comparare produse și Acul în carul cu fân, fiecare fiind asociat cu grile de evaluare elaborate de experți, cu o medie de aproximativ 40 de criterii de evaluare.

Aceste sarcini provin din solicitări reale ale utilizatorilor de la Perplexity Cercetare aprofundată, eșantionate din milioane de cereri de producție și apoi reformulate în mod sistematic, augmentate și filtrate printr-un flux de lucru în cinci etape: eliminăm informațiile de identificare personală, adăugăm context și sferă de cuprindere, filtrăm în funcție de obiectivitate și dificultate și efectuăm o revizuire finală de către experți în domeniu. Rezultatul este un benchmark care reflectă nevoile autentice ale utilizatorilor, mai degrabă decât exerciții sintetice sau sarcini curate de experți.

Cum funcționează benchmarkul DRACO

Extinde

Fiecare sarcină din benchmark a trecut printr-un proces riguros de dezvoltare a grilei de evaluare. Perplexity a colaborat cu un partener de generare de date, The LLM Data Company, pentru a dezvolta și testa grile de evaluare pentru set. Experții în domeniu au redactat grilele inițiale cu ajutorul instrumentelor bazate pe LLM, apoi le-au revizuit prin evaluare interegală și calibrare. Grilele specificate greșit sau prea indulgente au fi returnate pentru revizuire, aproximativ 45% dintre ele fiind rafinate cel puțin o dată prin acest proces. Rezultatul constă în criterii de evaluare care disting în mod autentic capabilitățile sistemului.

Grilele evaluează patru dimensiuni: acuratețea factuală (aproximativ jumătate din totalul criteriilor), amplitudinea și profunzimea analizei, calitatea prezentării și citarea surselor primare. Fiecare criteriu primește o pondere care îi reflectă importanța, iar unele criterii sunt negative, penalizând erori precum halucinațiile sau afirmațiile nesusținute.

Răspunsurile sunt notate folosind un protocol de tip LLM-ca-judecător, în care fiecare criteriu primește un verdict binar. Această abordare este bine adaptată pentru evaluarea acurateței factuale, deoarece grilele fundamentează judecătorul pe date din lumea reală derivate din rezultatele căutării, transformând evaluarea subiectivă într-o verificare verificabilă a faptelor. Am validat fiabilitatea pe trei modele de judecători și am descoperit că, deși scorurile absolute variaza, clasamentele relative ale sistemelor rămân consistente.

Extinde

Set de instrumente și mediu de evaluare

Benchmarkul este conceput pentru a evalua agenții care au acces la un set complet de instrumente de cercetare, inclusiv un sandbox pentru execuția codului și capabilități de browser.

Ce am descoperit

Performanța per domeniu. Am evaluat patru sisteme de cercetare aprofundată în 10 domenii de cunoștințe, măsurând ratele de promovare (procentul de criterii de evaluare îndeplinite). Cercetarea aprofundată a obținut cele mai ridicate rate de promovare în toate domeniile, cu o performanță deosebit de puternică în Drept (89,4%) și Academic (82,4%).

Extinde

Pentru utilizatori, acest lucru înseamnă răspunsuri mai fiabile, fie că pregătiți o notă informativă juridică, efectuați o trecere în revistă a literaturii de specialitate sau comparați opțiuni de tratament medical. Diferențele de performanță s-au extins semnificativ în sarcinile de raționament complex: în scenariile de asistent personalizat și ac în carul cu fân, Perplexity a depășit sistemul cu cele mai slabe rezultate cu peste 20 de puncte procentuale. Aceste domenii oglindesc nevoile reale ale utilizatorilor, cum ar fi recomandările personalizate și găsirea unor fapte specifice îngropate în documente mari.

Extinde

Performanța per aspect de evaluare. În cele patru dimensiuni cheie de evaluare, Cercetarea aprofundată a condus în trei: acuratețea factuală, amplitudinea și profunzimea analizei și calitatea citării. Acestea sunt dimensiunile care contează cel mai mult atunci când trebuie să aveți încredere în cercetarea dumneavoastră pentru decizii reale, indiferent dacă consiliați un client, faceți o investiție sau scrieți un raport care vă poartă numele. Doar un singur alt sistem a arătat o performanță comparabilă cu cea a Perplexity Cercetare aprofundată în ceea ce privește calitatea prezentării, indicând faptul că problemele dificile din cercetarea aprofundată nu țin de formatare, ci de corectitudinea faptelor și completitudinea analizei.

Extinde

Calitate și eficiență. În mod remarcabil, sistemul cu cele mai bune performanțe a obținut, de asemenea, cea mai mică latență (459,6 secunde comparativ cu 592 - 1808 secunde pentru competitori). Pentru utilizatori, acest lucru înseamnă că nu trebuie să alegeți între cercetarea amănunțită și obținerea rapidă a răspunsurilor. Acest lucru reflectă avantajul unei infrastructuri integrate vertical, de la cap la coadă: căutarea mai bună¹ [link la notă de subsol către API-ul nostru de căutare] și integrarea browserului cu medii de execuție optimizate se traduc direct într-o cercetare mai rapidă și mai precisă.

Ce urmează

Sistemul de cercetare aprofundată de la Perplexity este agnostic față de model: pe măsură ce apar modele LLM agentice mai puternice, vom reface evaluările și vom publica rezultate actualizate. Pe măsură ce aducem îmbunătățiri funcției de cercetare aprofundată pe Perplexity.ai, utilizatorii vor vedea aceste beneficii reflectate atât în performanța produsului, cât și în scorurile din benchmark.

Benchmarkul evaluează în prezent doar interacțiuni în limba engleză, cu un singur rând de interacțiune pe zece domenii. Iterările viitoare vor extinde diversitatea lingvistică, vor adăuga evaluarea cu mai multe rânduri și vor lărgi acoperirea domeniilor.

Construiți agenți de cercetare mai buni cu benchmarkul DRACO

Benchmarkul DRACO este acum complet în sursă deschisă. Orice echipă care construiește sisteme de cercetare aprofundată își poate evalua modelele în raport cu sarcini de cercetare din lumea reală, în loc de puzzle-uri academice sintetice. Lansăm benchmarkul complet, toate grilele de evaluare și promptul judecătorului.

Pentru a afla mai multe despre metodologie și rezultatele detaliate, citiți raportul tehnic complet: benchmarkul DRACO și explorați setul de date pe Hugging Face.

Citare

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}