Avaluació del rendiment de la investigació profunda en entorns reals amb el punt de referència DRACO

Avui publiquem el punt de referència DRACO (Deep Research Accuracy, Completeness, and Objectivity), un punt de referència obert per avaluar agents d'investigació profunda basat en com els usuaris utilitzen realment la IA per a tasques de recerca complexes. En fer que DRACO sigui de codi obert, pretenem ajudar la comunitat d'IA en general a crear eines de recerca que s'ajustin millor a les necessitats reals dels usuaris.

DRACO posa de manifest la bretxa entre resoldre tasques sintètiques i satisfer necessitats de recerca autèntiques. El banc de proves és agnòstic respecte al model: a mesura queorgein LLM d'agents més potents, tornarem a executar les avaluacions i publicarem resultats actualitzats. I a mesura que introduïm millores a la investigació profunda a Perplexity.ai, els usuaris veuran aquests guanys reflectits tant en el rendiment del producte com en les puntuacions de referència.

Investigació profunda d'última generació

La investigació profunda de Perplexity aconsegueix un rendiment d'última generació en referències externes líders, incloent-hi DeepSearchQA de Google DeepMind i ResearchRubrics de Scale AI.

Amplia

Amplia

Aquests resultats sorgeixen de combinar els millors models disponibles amb les capacitats d'agent dissenyades específicament de Perplexity: eines de cerca propietàries, infraestructura de navegació i execució de codi. Junts, aquests elements formen un sistema optimitzat de principi a fi per recuperar, sintetitzar i raonar sobre informació del món real.

En el procés de construcció d'aquest producte, ens vam adonar que les referències externes, tot i ser útils per comparar models, sovint no capten les consultes multifacètiques i les demandes de síntesi que els usuaris reals fan cada dia. Avui fem de codi obert el punt de referència DRACO, un punt de referència basat en com la gent utilitza realment la investigació profunda, motivat per milions de tasques de producció en deu dominis.

Amplia

Per què importa l'avaluació basada en la producció

Les referències existents sovint proven habilitats estretes de manera aïllada: recuperar un sol fet, respondre una pregunta de trivia o resoldre un problema ben definit. Però les consultes de recerca reals exigeixen síntesi entre fonts, anàlisi matisada i orientació accionable, tot mantenint la precisió factual i la citació adequada.

El punt de referència DRACO inclou 100 tasques curosament seleccionades que abasten acadèmia, finances, dret, medicina, tecnologia, coneixement general, disseny UX, assistent personalitzat, compres/comparació de productes i agulla en un paller, cadascuna combinada amb rúbriques elaborades per experts amb una mitjana de ~40 criteris d'avaluació.

Aquestes tasques provenen de sol·licituds reals d'usuaris a la investigació profunda de Perplexity, mostrejades de milions de sol·licituds de producció i després reformulades, augmentades i filtrades sistemàticament mitjançant un pipeline de cinc etapes: eliminem la informació d'identificació personal, afegim context i abast, filtrem per objectivitat i dificultat, i fem una revisió final per part d'experts en la matèria. El resultat és un punt de referència que reflecteix les necessitats autèntiques dels usuaris en lloc d'exercicis sintètics o tasques comissariades per experts.

Com funciona el punt de referència DRACO

Amplia

Cada tasca del punt de referència ha passat per un rigorós procés de desenvolupament de rúbriques. Perplexity ha treballat amb un soci de generació de dades, The LLM Data Company, per desenvolupar i provar rúbriques d'avaluació per al conjunt. Els experts en la matèria van redactar les rúbriques inicials amb l'ajuda d'eines d'LLM, i després van iterar mitjançant revisió per pares i calibratge. Les rúbriques mal especificades i excessivament indulgents es van retornar per a la seva revisió, amb aproximadament el 45% de les rúbriques refinades almenys una vegada mitjançant aquest procés. El resultat són criteris d'avaluació que distingeixen autènticament les capacitats del sistema.

Les rúbriques avaluen quatre dimensions: precisió factual (aproximadament la meitat de tots els criteris), amplitud i profunditat de l'anàlisi, qualitat de la presentació i citació de fonts primàries. Cada criteri rep un pes que reflecteix la seva importància i alguns criteris són negatius, penalitzant errors com al·lucinacions o afirmacions sense suport.

Les respostes es qualifiquen mitjançant un protocol d'LLM com a jutge, on cada criteri rep un veredicte binari. Aquest enfocament s'adapta bé a l'avaluació de la precisió factual perquè les rúbriques basen el jutge en dades del món real derivades dels resultats de cerca, transformant l'avaluació subjectiva en una comprovació de fets verificable. Hem validat la fiabilitat en tres models de jutges i hem trobat que, tot i que les puntuacions absolutes varien, les classificacions relatives del sistema es mantenen coherents.

Amplia

Conjunt d'eines i entorn d'avaluació

El punt de referència està dissenyat per avaluar agents amb accés a un conjunt complet d'eines de recerca, incloent-hi un entorn de proves d'execució de codi i capacitats de navegador.

Què hem trobat

Rendiment per domini. Hem evaluat quatre sistemes d'investigació profunda en 10 dominis de coneixement mesurant les taxes d'èxit (percentatge de criteris d'avaluació complerts). La investigació profunda ha aconseguit les taxes d'èxit més altes en tots els dominis, amb un rendiment especialment fort en Dret (89,4%) i Acadèmic (82,4%).

Amplia

Per als usuaris, això significa respostes més fiables tant si esteu preparant un escrit jurídic, realitzant una revisió bibliogràfica o comparant opcions de tractament mèdic. Les bretxes de rendiment s'han ampliat significativament en tasques de raonament complex: en escenaris d'assistent personalitzat i d'agulla en un paller, Perplexity ha superat el sistema amb menor puntuació per més de 20 punts percentuals. Aquests dominis reflecteixen necessitats reals dels usuaris com ara recomanacions personalitzades i la recerca de fets específics enterrats en documents grans.

Amplia

Rendiment per aspecte d'avaluació. En quatre dimensions clau d'avaluació, la investigació profunda ha liderat en tres: precisió factual, amplitud i profunditat de l'anàlisi, i qualitat de la citació. Aquestes són les dimensions que més importen quan heu de confiar en la vostra recerca per prendre decisions reals, tant si esteu assessorant un client, fent una inversió o escrivint un informe amb el vostre nom. Només un altre sistema ha mostrat un rendiment comparable al de la investigació profunda de Perplexity en qualitat de presentació, la qual cosa indica que els problemes difícils en la investigació profunda no tracten sobre el format, sinó sobre encertar els fets i completar l'anàlisi.

Amplia

Qualitat i eficiència. Val a dir que el sistema amb millor rendiment també ha aconseguit la latència més baixa (459,6 segons enfront dels 592 a 1808 segons dels competidors). Per als usuaris, això significa que no heu de triar entre una recerca exhaustiva i obtenir respostes ràpidament. Això reflecteix l'avantatge d'una infraestructura integrada verticalment de principi a fi: una millor cerca¹ [enllaç a peu de pàgina de la nostra API de cerca] i la integració del navegador amb entorns d'execució optimitzats es tradueixen directament en una recerca més ràpida i precisa.

Què és el següent

El banc de proves d'investigació profunda de Perplexity és agnòstic respecte al model: a mesura queorgein LLM d'agents més potents, tornarem a executar les avaluacions i publicarem resultats actualitzats. I a mesura que introduïm millores a la investigació profunda a Perplexity.ai, els usuaris veuran aquests guanys reflectits tant en el rendiment del producte com en les puntuacions de referència.

El punt de referència actualment avalua només en anglès, interaccions d'un sol torn en deu dominis. Les iteracions futures ampliat la diversitat lingüística, afegiran avaluació de múltiples torns i ampliaran la cobertura de dominis.

Creeu millors agents de recerca amb el punt de referència DRACO

El punt de referència DRACO ja és completament de codi obert. Qualsevol equip que creï sistemes d'investigació profunda pot avaluar els seus models enfront de tasques de recerca del món real en lloc de trencaclosques acadèmics sintètics. Publiquem el punt de referència complet, totes les rúbriques i el missatge del jutge.

Per obtenir més informació sobre la metodologia i els resultats detallats, llegiu l'informe tècnic complet: Punt de referència DRACO i exploreu el conjunt de dades a Hugging Face.

Citació

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}