DRACO బెంచ్‌మార్క్‌తో వాస్తవ ప్రపంచంలో లోతైన పరిశోధన పనితీరును అంచనా వేయడం

ఈ రోజు, మేము డీప్ రీసెర్చ్ అక్యూరసీ, కంప్లీట్‌నెస్, అండ్ ఆబ్జెక్టివిటీ (DRACO) బెంచ్‌మార్క్‌ను విడుదల చేస్తున్నాము. సంక్లిష్టమైన పరిశోధన పనుల కోసం వినియోగదారులు వాస్తవానికి AIని ఎలా ఉపయోగిస్తారనే దానిపై ఆధారపడిన లోతైన పరిశోధన ఏజెంట్లను మూల్యాంకనం చేయడానికి ఇది ఒక ఓపెన్ బెంచ్‌మార్క్. DRACOను ఓపెన్ సోర్సింగ్ చేయడం ద్వారా, వాస్తవ వినియోగదారుల అవసరాలను మెరుగ్గా తీర్చే పరిశోధన సాధనాలను రూపొందించడంలో విస్తృత AI కమ్యూనిటీకి సహాయం చేయాలని మేము లక్ష్యంగా పెట్టుకున్నాము.

DRACO సింథటిక్ పనులను పరిష్కరించడం మరియు నిజమైన పరిశోధన అవసరాలను తీర్చడం మధ్య ఉన్న తేడాను హైలైట్ చేస్తుంది. మూల్యాంకన harness మోడల్-అగ్నోస్టిక్: మరింత శక్తివంతమైన agentic LLMs వెలువడినప్పుడు, మేము మూల్యాంకనాలను మళ్లీ అమలు చేసి నవీకరించిన ఫలితాలను ప్రచురిస్తాము. అలాగే మేము Perplexity.aiలో Deep Researchకు మెరుగుదలలను విడుదల చేస్తున్నప్పుడు, ఆ లాభాలు ఉత్పత్తి పనితీరు మరియు బెంచ్‌మార్క్ స్కోర్లలో రెండింటిలోనూ ప్రతిబింబించబడుతున్నట్లు వినియోగదారులు చూస్తారు.

అత్యాధునిక లోతైన పరిశోధన

Google DeepMind యొక్క DeepSearchQA మరియు Scale AI యొక్క ResearchRubricsతో సహా ప్రముఖ బాహ్య బెంచ్‌మార్క్‌లలో Perplexity లోతైన పరిశోధన అత్యుత్తమ పనితీరును సాధించింది.

విస్తరించు

విస్తరించు

అందుబాటులో ఉన్న ఉత్తమ మోడళ్లతో Perplexity యొక్క ప్రత్యేకంగా రూపొందించిన ఏజెంటిక్ సామర్థ్యాలను కలపడం ద్వారా ఈ ఫలితాలు వచ్చాయి: యాజమాన్య శోధన సాధనాలు, బ్రౌజర్ అవస్థాపన మరియు కోడ్ అమలు. ఇవన్నీ కలిసి వాస్తవ-ప్రపంచ సమాచారాన్ని పొందేందుకు, సంశ్లేషణ చేయడానికి మరియు తర్కించడానికి ఎండ్-టు-ఎండ్ ఆప్టిమైజ్ చేయబడిన సిస్టమ్‌ను ఏర్పరుస్తాయి.

ఈ ఉత్పత్తిని నిర్మించే ప్రక్రియలో, బాహ్య బెంచ్‌మార్క్‌లు మోడళ్లను పోల్చడానికి ఉపయోగపడినప్పటికీ, నిజమైన వినియోగదారులు ప్రతిరోజూ అడిగే బహుముఖ ప్రశ్నలు మరియు సంశ్లేషణ డిమాండ్‌లను తరచుగా సంగ్రహించలేవని మేము గ్రహించాము. ఈ రోజు, మేము DRACO బెంచ్‌మార్క్‌ను ఓపెన్-సోర్సింగ్ చేస్తున్నాము, ఇది పది డొమైన్‌లలో మిలియన్ల కొద్దీ ప్రొడక్షన్ టాస్క్‌ల ద్వారా ప్రేరేపించబడి, ప్రజలు లోతైన పరిశోధనను వాస్తవంగా ఎలా ఉపయోగిస్తారనే దానిపై ఆధారపడిన బెంచ్‌మార్క్.

విస్తరించు

ప్రొడక్షన్-గ్రౌండెడ్ మూల్యాంకనం ఎందుకు ముఖ్యం

ఇప్పటికే ఉన్న బెంచ్‌మార్క్‌లు తరచుగా ఇరుకైన నైపుణ్యాలను వేరువేరుగా పరీక్షిస్తాయి: ఒకే వాస్తవాన్ని తిరిగి పొందడం, ట్రివియా ప్రశ్నకు సమాధానం ఇవ్వడం లేదా బాగా నిర్వచించబడిన సమస్యను పరిష్కరించడం. కానీ వాస్తవ పరిశోధన ప్రశ్నలకు మూలాల అంతటా సంశ్లేషణ, సూక్ష్మమైన విశ్లేషణ మరియు చర్య తీసుకునే మార్గదర్శకత్వం అవసరం, ఇవన్నీ వాస్తవిక ఖచ్చితత్వం మరియు సరైన అనులేఖనాన్ని నిర్వహిస్తాయి.

DRACO బెంచ్‌మార్క్‌లో అకడమిక్, ఫైనాన్స్, లా, మెడిసిన్, టెక్నాలజీ, జనరల్ నాలెడ్జ్, UX డిజైన్, పర్సనలైజ్డ్ అసిస్టెంట్, షాపింగ్/ప్రొడక్ట్ కంపారిజన్ మరియు నీడిల్ ఇన్ ఎ హేస్టాక్ అనే 10 జాగ్రత్తగా క్యూరేట్ చేయబడిన టాస్క్‌లు ఉన్నాయి, ప్రతి ఒక్కటి సగటున ~40 మూల్యాంకన ప్రమాణాలతో నిపుణులు రూపొందించిన రుబ్రిక్‌లతో జత చేయబడింది.

ఈ టాస్క్‌లు Perplexity లోతైన పరిశోధనపై వాస్తవ వినియోగదారు అభ్యర్థనల నుండి ఉద్భవించాయి, మిలియన్ల కొద్దీ ప్రొడక్షన్ అభ్యర్థనల నుండి నమూనా చేయబడ్డాయి మరియు ఆ తర్వాత ఐదు దశల పైప్‌లైన్ ద్వారా క్రమపద్ధతిలో పునర్వ్యవీకరించబడ్డాయి, మెరుగుపరచబడ్డాయి మరియు ఫిల్టర్ చేయబడ్డాయి: మేము వ్యక్తిగతంగా గుర్తించదగిన సమాచారాన్ని తీసివేస్తాము, సందర్భం మరియు పరిధిని జోడిస్తాము, ఆబ్జెక్టివిటీ మరియు కష్టాల కోసం ఫిల్టర్ చేస్తాము మరియు డొమైన్ నిపుణుల ద్వారా తుది సమీక్షను నిర్వహిస్తాము. దీని ఫలితంగా సింథటిక్ వ్యాయామాలు లేదా నిపుణులు క్యూరేట్ చేసిన టాస్క్‌ల కంటే ప్రామాణికమైన వినియోగదారు అవసరాలను ప్రతిబింబించే బెంచ్‌మార్క్ వస్తుంది.

DRACO బెంచ్‌మార్క్ ఎలా పనిచేస్తుంది

విస్తరించు

బెంచ్‌మార్క్‌లోని ప్రతి టాస్క్ కఠినమైన రుబ్రిక్ అభివృద్ధి ప్రక్రియ ద్వారా వెళ్ళింది. సెట్ కోసం మూల్యాంకన రుబ్రిక్‌లను అభివృద్ధి చేయడానికి మరియు ఒత్తిడి-పరీక్షించడానికి Perplexity డేటా జనరేషన్ భాగస్వామి అయిన The LLM Data Companyతో కలిసి పనిచేశారు. సబ్జెక్ట్ మేటర్ నిపుణులు LLM టూలింగ్ సహాయంతో ప్రారంభ రుబ్రిక్‌లను రూపొందించారు, ఆపై పీర్ రివ్యూ మరియు కాలిబ్రేషన్ ద్వారా పునరావృతం చేశారు. సరిగ్గా పేర్కొనబని మరియు అతిగా క్షమించే రుబ్రిక్‌లు పునర్విమర్శ కోసం తిరిగి ఇవ్వబడ్డాయి, ఈ ప్రక్రియ ద్వారా దాదాపు 45% రుబ్రిక్‌లు కనీసం ఒక్కసారైనా మెరుగుపరచబడ్డాయి. దీని ఫలితంగా సిస్టమ్ సామర్థ్యాలను నిజంగా వేరు చేసే మూల్యాంకన ప్రమాణాలు వచ్చాయి.

రూబ్రిక్‌లు నాలుగు పరిమాణాలను అంచనా వేస్తాయి: వాస్తవ ఖచ్చితత్వం (అన్ని ప్రమాణాలలో సుమారు సగం), విశ్లేషణ యొక్క విస్తృతి మరియు లోతు, ప్రదర్శన నాణ్యత, మరియు ప్రాథమిక మూలాల ఉల్లేఖనం. ప్రతి ప్రమాణానికి దాని ప్రాముఖ్యతను ప్రతిబింబించే బరువు ఇవ్వబడుతుంది, మరియు కొన్ని ప్రమాణాలు ప్రతికూలంగా ఉంటాయి; అవి హాల్యూసినేషన్లు లేదా ఆధారంలేని అభ్యర్థనలు వంటి తప్పులను శిక్షిస్తాయి.

ప్రతి ప్రమాణానికి బైనరీ తీర్పు లభించే LLM-అజ్-జడ్జ్ ప్రోటోకాల్‌ని ఉపయోగించి ప్రతిస్పందనలు గ్రేడ్ చేయబడతాయి. శోధన ఫలితాల నుండి తీసుకోబడిన వాస్తవ ప్రపంచ డేటాలో రుబ్రిక్‌లు న్యాయమూర్తిని ఉంచుతాయి కాబట్టి ఈ విధానం వాస్తవిక ఖచ్చితత్వ మూల్యాంకనానికి బాగా సరిపోతుంది, ఇది వ్యక్తిగత అంచనాను ధృవీకరించదగిన వాస్తవ-తనిఖీగా మారుస్తుంది. మేము ముగ్గురు న్యాయమూర్తి మోడళ్లలో విశ్వసనీయతను ధృవీకరించాము మరియు సంపూర్ణ స్కోర్‌లు మారుతుండగా, సాపేక్ష సిస్టమ్ ర్యాంకింగ్‌లు స్థిరంగా ఉన్నాయని కనుగొన్నాము.

విస్తరించు

టూల్‌సెట్ మరియు మూల్యాంకన వాతావరణం

కోడ్ ఎసిడ్యూషన్ శాండ్‌బాక్స్ మరియు బ్రౌజర్ సామర్థ్యాలతో సహా పూర్తి పరిశోధన టూల్‌సెట్‌కు ప్రాప్యత కలిగిన ఏజెంట్లను మూల్యాంకనం చేయడానికి బెంచ్‌మార్క్ రూపొందించబడింది.

మేము ఏమి కనుగొన్నాము

డొమైన్ వారీగా పనితీరు. పాస్ రేట్లను (నెరవేరిన మూల్యాంకన ప్రమాణాల శాతాన్ని) కొలవడం ద్వారా మేము 10 జ్ఞాన డొమైన్‌లలో నాలుగు లోతైన పరిశోధన వ్యవస్థలను మూల్యాంకనం చేసాము. డొమైన్‌లన్నింటిలోనూ లోతైన పరిశోధన అత్యధిక పాస్ రేట్లను సాధించింది, ముఖ్యంగా లా (89.4%) మరియు అకడమిక్ (82.4%) లో బలమైన పనితీరును కనబరిచింది.

విస్తరించు

వినియోగదారుల కోసం, దీని అర్థం మీరు లీగల్ బ్రీఫ్‌ను సిద్ధం చేస్తున్నా, లిటరేచర్ రివ్యూ నిర్వహిస్తున్నా లేదా వైద్య చికిత్స ఎంపికలను పోల్చుతున్నా మరింత విశ్వసనీయమైన సమాధానాలు లభిస్తాయి. సంక్లిష్టమైన తార్కిక పనులలో పనితీరు అంతరాలు గణనీయంగా పెరిగాయి: పర్సనలైజ్డ్ అసిస్టెంట్ మరియు నీడిల్ ఇన్ ఎ హేస్టాక్ దృశ్యాలలో, Perplexity అత్యల్ప స్కోరింగ్ సిస్టమ్‌ను 20 శాతానికి పైగా అధిగమించింది. ఈ డొమైన్‌లు వ్యక్తిగతీకరించిన సిఫార్సులు మరియు పెద్ద డాక్యుమెంట్‌లలో దాగి ఉన్న నిర్దిష్ట వాస్తవాలను కనుగొనడం వంటి నిజమైన వినియోగదారు అవసరాలను ప్రతిబింబిస్తాయి.

విస్తరించు

మూల్యాంకన కోణం ద్వారా పనితీరు. నాలుగు కీలక మూల్యాంకన కొలమానాలలో, లోతైన పరిశోధన మూడింటిలో ముందుంది: వాస్తవిక ఖచ్చితత్వం, విశ్లేషణ యొక్క వెడల్పు మరియు లోతు, మరియు అనులేఖన నాణ్యత. మీరు క్లయింట్‌కు సలహా ఇస్తున్నా, పెట్టుబడి పెడుతున్నా లేదా మీ పేరుతో నివేదిక వ్రాస్తున్నా, నిజమైన నిర్ణయాల కోసం మీ పరిశోధనను మీరు విశ్వసించాల్సిన అవసరం వచ్చినప్పుడు ఇవి అత్యంత ముఖ్యమైన కొలమానాలు. ప్రెజెంటేషన్ నాణ్యతపై Perplexity లోతైన పరిశోధనకు అనుగుణంగా కేవలం ఒకే ఒక సిస్టమ్ మాత్రమే పనితీరును చూపింది, లోతైన పరిశోధనలో కష్టమైన సమస్యలు ఫార్మాటింగ్ గురించి కాదని, వాస్తవాలను సరిగ్గా పొందడం మరియు విశ్లేషణను పూర్తి చేయడం గురించి అని ఇది సూచిస్తుంది.

విస్తరించు

నాణ్యత మరియు సామర్థ్యం. గమనార్హంగా, అత్యుత్తమ పనితీరు చూపిన వ్యవస్థ అత్యల్ప లేటెన్సీని కూడా సాధించింది (459.6 సెకన్లు vs. పోటీదారులకు 592 నుండి 1808 సెకన్లు). వినియోగదారుల కోసం, దీని అర్థం సమగ్ర పరిశోధన మరియు త్వరగా సమాధానాలు పొందడం మధ్య మీరు ఎంపిక చేయాల్సిన అవసరం లేదు. ఇది వర్టికల్‌గా సమగ్రీకృత, ఎండ్ టు ఎండ్ మౌలిక సదుపాయాల ప్రయోజనాన్ని ప్రతిబింబిస్తుంది: మెరుగైన శోధన¹ [footnote link to our search api] మరియు ఆప్టిమైజ్ చేసిన ఎగ్జిక్యూషన్ పరిసరాలతో బ్రౌజర్ సమగ్రత నేరుగా మరింత వేగవంతమైన, మరింత ఖచ్చితమైన పరిశోధనగా మారుతుంది.

తర్వాత ఏమిటి

Perplexity యొక్క లోతైన పరిశోధన harness మోడల్-అగ్నోస్టిక్: మరింత శక్తివంతమైన agentic LLMలు వెలుసుతున్న కొద్దీ, మేము మళ్లీ మూల్యాంకనాలను నిర్వహించి నవీకరించిన ఫలితాలను ప్రచురిస్తాము. అలాగే మేము Perplexity.aiపై Deep Research‌కు మెరుగుదలలను విడుదల చేస్తూ ఉండగా, వినియోగదారులు ఆ లాభాలు ఉత్పత్తి పనితీరు మరియు బెంచ్‌మార్క్ స్కోర్ల రెండింటిలోనూ ప్రతిఫలించినట్లు చూస్తారు.

బెంచ్‌మార్క్ ప్రస్తుతం పది డొమైన్‌లలో ఇంగ్లీష్ మాత్రమే, సింగిల్ టర్న్ పరస్పర చర్యలను అంచనా వేస్తుంది. భవిష్యత్ పునరావృత్తులు భాషా వైవిధ్యాన్ని విస్తరిస్తాయి, మల్టీ టర్న్ మూల్యాంకనాన్ని జోడిస్తాయి మరియు డొమైన్ కవరేజీని విస్తృతం చేస్తాయి.

DRACO బెంచ్‌మార్క్‌తో మెరుగైన పరిశోధన ఏజెంట్లను రూపొందించండి

DRACO బెంచ్‌మార్క్ ఇప్పుడు పూర్తిగా ఓపెన్ సోర్స్. లోతైన పరిశోధన వ్యవస్థలను నిర్మించే ఏ బృందమైనా సింథటిక్ అకడమిక్ పజిళ్లకు బదులుగా వాస్తవ ప్రపంచ పరిశోధన పనులకు వ్యతిరేకంగా తమ మోడళ్లను అంచనా వేయవచ్చు. మేము పూర్తి బెంచ్‌మార్క్, అన్ని రుబ్రిక్‌లు మరియు జడ్జ్ ప్రాంప్ట్‌ను విడుదల చేస్తున్నాము.

పద్ధతి మరియు వివరణాత్మక ఫలితాల గురించి మరింత తెలుసుకోవడానికి, పూర్తి సాంకేతిక నివేదికను చదవండి: DRACO బెంచ్‌మార్క్ మరియు Hugging Faceలో డేటాసెట్‌ను అన్వేషించండి.

ఉదాహరణ

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}