Mat á frammistöðu ítarlegrar rannsóknar í náttúrunni með DRACO-viðmiðinu

Í dag kynnum við DRACO Benchmark (Deep Research Accuracy, Completeness, and Objectivity), opið viðmið til að meta ítarlegar rannsóknaraðgerðir sem byggja á því hvernig notendur nota gervigreind í raun fyrir flókin rannsóknarverkefni. Með því að opna DRACO stefnum við að því að hjálpa víðtækara gervigreindarsamfélagi að byggja upp rannsóknartæki sem þjóna raunverulegum þörfum notenda betur.

DRACO undirstrikar bilið á milli þess að leysa tilbúin verkefni og að þjóna raunverulegum rannsóknarþörfum. Matskerfið er líkanóháð: þegar öflugri gervigreindarlíkön koma fram munum við keyra mat aftur og birta uppfærðar niðurstöður. Og þegar við sendum frá okkur endurbætur á ítarleg rannsókn á Perplexity.ai munu notendur sjá þann ávinning endurspeglast bæði í vöruskilvirkni og einkunnum í viðmiðum.

Fullkomin ítarleg rannsókn

Ítarleg rannsókn frá Perplexity nær framúrskarandi árangri á helstu ytri viðmiðum, þar á meðal DeepSearchQA hjá Google DeepMind og ResearchRubrics hjá Scale AI.

Stækka

Stækka

Þessar niðurstöður stafa af því að sameina bestu tiltæku líkönin og sérhannaða eiginleika Perplexity fyrir sjálfstæð verk: einkaleyfisvarin leitartæki, vafrainviði og kóðaframkvæmd. Saman mynduðu þessir þættir kerfi sem er fínstillt frá upphafi til enda til að sækja, samþætta og færa rök fyrir upplýsingum úr hinum raunverulega heimi.

Við smíði þessarar vöru áttuðum við okkur á því að ytri viðmið, þótt þau séu gagnleg til að bera saman líkön, ná oft ekki utan um þær margþættu fyrirspurnir og samþættingarkröfur sem raunverulegir notendur biðja um á hverjum degi. Í dag opnum við DRACO Benchmark, sem er viðmið byggt á því hvernig fólk notar í raun ítarlegar rannsóknir, knúið áfram af milljónum framleiðsluverkefna þvert á tíu svið.

Stækka

Hvers vegna mat byggt á framleiðslu skiptir máli

Fyrirliggjandi viðmið prófa oft þrönga hæfileika einangrað: að sækja staka staðreynd, svara smáatriðaspurningu eða leysa vel skilgreint vandamál. En raunverulegar rannsóknarfyrirspurnir krefjast samþættingar þvert á heimildir, blæbrigðaríkrar greiningar og hagnýtra leiðbeiningar, á sama tíma og staðreyndanákvæmni og viðeigandi tilvísanir eru hafðar að leiðarljósi.

DRACO Benchmark samanstendur af 100 vandlega völdum verkefnum sem ná yfir fræðasvið, fjármál, lögfræði, læknisfræði, tækni, almenna þekkingu, notendaupplifunarhönnun, persónulegan aðstoðarmann, verslunar-/vörusamning og nál í heystakki, sem hvert um sig er parað við sérfræðihannaða mælikvarða sem eru að meðaltali ~40 matsviðmið.

Þessi verkefni eru upprunnin frá raunverulegum notendabeiðnum um ítarleg rannsókn hjá Perplexity, sem valdar voru af handahófi úr milljónum framleiðslubeiðna og síðan endurgerðar, auknar og síaðar kerfisbundið í gegnum fimm þrepa leiðsluferli: við fjarlægjum persónugreinanlegar upplýsingar, bætum við samhengi og umfangi, síum eftir hlutlægni og erfiðleika og framkvæmum lokayfirlestur af hálfu sérfræðinga á viðkomandi sviði. Niðurstaðan er viðmið sem endurspeglar raunverulegar þarfir notenda í stað tilbúinna æfinga eða sérfræðivinnaðra verkefna.

Hvernig DRACO Benchmark virkar

Stækka

Öll verkefni í viðmiðinu gengu í gegnum strangt þróunarferli mælikvarða. Perplexity vann með gagnagerðaraðila, The LLM Data Company, að því að þróa og þrýstiprófa matsreglur fyrir safnið. Sérfræðingar á sviðinu unnu drög að upphaflegum mælikvarða með hjálp gervigreindartækja og fóru síðan í gegnum jafningjamat og kvörðun. Óskilgreindir og of mildir mælikvarðar voru sendir til baka til endurskoðunar, og um 45% mælikvarða voru endurbætt að minnsta kosti einu sinni í þessu ferli. Niðurstaðan eru matsviðmið sem aðgreina getu kerfa á raunverulegan hátt.

Matsreglur meta fjórar víddir: staðreyndanákvæmni (u.þ.b. helmingur allra viðmiða), breidd og dýpt greiningar, kynningargæði og tilvísun í frumheimildir. Hvert viðmið fær vægi sem endurspeglar mikilvægi þess og sum viðmið eru neikvæð og refsa fyrir villur eins ogofskynjanir eða fullyrðingar sem eru ekki studdar gögnum.

Svör eru metin með því að nota gervigreind sem dómara-bókun, þar sem hvert viðmið fær tvíundarniðurstöðu. Þessi nálgun hentar vel til mats á staðreyndanákvæmni vegna þess að matsreglur festa dómarann í raunverulegum gögnum sem fengin eru úr leitarniðurstöðum, og breyta huglægu mati í sannreynanlega staðreyndaleit. Við staðfestum áreiðanleika yfir þrjú dómaralíkön og komumst að því að þótt algerar einkunnir séu breytilegar, haldast hlutfallslegar raðanir kerfa stöðugar.

Stækka

Tólakista og matsumhverfi

Viðmiðið er hannað til að meta umboðsmenn með aðgang að fullu rannsóknartólasetti, þar á meðal kóðaframkvæmdasandkassi og vafraeiginleikum.

Það sem við fundum

Frammistaða eftir sviði. Við metuðum fjögur ítarleg rannsóknarkerfi þvert á 10 þekkingarsvið með því að mæla hlutfall samþykktra (prósentu uppfylltra matsviðmiða). Ítarleg rannsókn náði hæsta hlutfalli samþykktra á öllum sviðum, með sérstaklega sterka frammistöðu í lögfræði (89,4%) og fræðasviði (82,4%).

Stækka

Fyrir notendur þýðir þetta áreiðanlegri svör hvort sem þú ert að undirbúa lögfræðilegt minnisblað, vinna heimildaritgerð eða bera saman valkosti við læknismeðferð. Bilið í frammistöðu stækkaði verulega í flóknum röksemdarverkefnum: í aðstæðum varðandi persónulegan aðstoðarmann og nál í heystakki skilaði Perplexity betri árangri en kerfið með lægstu einkunnina um yfir 20 prósentustig. Þessi svið endurspegla raunverulegar þarfir notenda eins og persónulegar ráðleggingar og að finna sérstakar staðreyndir sem eru faldar í stórum skjölum.

Stækka

Frammistaða eftir matshluta. Yfir fjórar lykilmatvíddir var ítarleg rannsókn leiðandi í þremur: Staðreyndanákvæmni, breidd og dýpt greiningar og gæði tilvísana. Þetta eru víddirnar sem skipta mestu máli þegar þú þarft að treysta rannsókn þinni fyrir raunverulegum ákvörðunum, hvort sem þú ert að veita viðskiptavini ráðgjöf, taka fjárfestingu eða skrifa skýrslu með þínu nafni á. Aðeins eitt annað kerfi sýndi sambærilega frammistöðu og Perplexity ítarleg rannsókn á kynningargæðum, sem gefur til kynna að hin erfiðu vandamál í ítarlegum rannsóknum snúist ekki um snið heldur um að hafa staðreyndirnar á hreinu og greininguna tæmandi.

Stækka

Gæði og skilvirkni. Það sem meira er, kerfið sem skilaði bestum árangri náði einnig lægstu seinkun (459,6 sekúndur samanborið við 592 til 1808 sekúndur fyrir keppinauta). Fyrir notendur þýðir þetta að þú þarft ekki að velja á milli ítarlegrar rannsóknar og þess að fá svör fljótt. Þetta endurspeglar kostinn við lóðrétt samþætta innviði frá upphafi til enda: betri leit¹ [neðanmálsgreinartengill við leitaraðgerð okkar] og vafrasamþætting með fínstilltu framkvæmdarumhverfi skilar sér beint í hraðari og nákvæmari rannsóknum.

Hvað er næst

Ítarleg rannsókn-harness frá Perplexity er líkanóháð: þegar öflugri gervigreindarlíkön koma fram munum við keyra mat aftur og birta uppfærðar niðurstöður. Og þegar við sendum frá okkur endurbætur á ítarleg rannsókn á Perplexity.ai munu notendur sjá þann ávinning endurspeglast bæði í vöruskilvirkni og einkunnum í viðmiðum.

Viðmiðið metur eins er stendur aðeins ensku, einumendingarsamskipti þvert á tíu svið. Framtíðarútgáfur munu stækka tungumálafræðilegan fjölbreytileika, bæta við fjölmendingarmati og breikka sviðsumfangið.

Byggðu upp betri rannsóknaraðila með DRACO Benchmark

DRACO Benchmark er nú alveg opinn uppspretta. Hvaða teymi sem byggir upp ítarleg rannsóknarkerfi getur metið líkön sín gegn raunverulegum rannsóknarverkefnum í stað tilbúinna fræðilegra þrauta. Við erum að gefa út heildarviðmiðið, alla mælikvarða og dómaraáminninguna.

Til að læra meira um aðferðafræði og ítarlegar niðurstöður skaltu lesa alla tækniskýrsluna: DRACO benchmark og kanna gagnasafnið á Hugging Face.

Tilvitnun

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}