DRACO बेंचमार्क के साथ गहन शोध प्रदर्शन का मूल्यांकन

आज, हम 'डीप रिसर्च एक्यूरेसी, कंप्लीटनेस, एंड ऑब्जेक्टिविटी (DRACO) बेंचमार्क' जारी कर रहे हैं, जो डीप रिसर्च एजेंटों के मूल्यांकन के लिए एक ओपन बेंचमार्क है। यह बेंचमार्क इस बात पर आधारित है कि उपयोगकर्ता वास्तव में जटिल शोध कार्यों के लिए AI का उपयोग कैसे करते हैं। DRACO को ओपन सोर्स करके, हमारा उद्देश्य व्यापक AI समुदाय को ऐसे शोध उपकरण बनाने में मदद करना है जो वास्तविक उपयोगकर्ता की जरूरतों को बेहतर ढंग से पूरा करते हों।

DRACO सिंथेटिक कार्यों को हल करने और वास्तविक शोध जरूरतों को पूरा करने के बीच के अंतर को उजागर करता है। मूल्यांकन का साधन (evaluation harness) मॉडल अज्ञेयवादी (model agnostic) है: जैसे-जैसे अधिक शक्तिशाली एजेंटिक LLMs उभरेंगे, हम पुनः मूल्यांकन करेंगे और अद्यतन परिणाम प्रकाशित करेंगे। और जैसे-जैसे हम Perplexity.ai पर गहन शोध में सुधार करेंगे, उपयोगकर्ता उन लाभों को उत्पाद के प्रदर्शन और बेंचमार्क स्कोर दोनों में देखेंगे।

अत्याधुनिक गहन शोध

Perplexity गहन शोध प्रमुख बाहरी बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है, जिसमें Google DeepMind का DeepSearchQA और Scale AI का ResearchRubrics शामिल है।

बड़ा करें

बड़ा करें

ये परिणाम उपलब्ध सर्वोत्तम मॉडलों को Perplexity की विशेष रूप से निर्मित एजेंटिक क्षमताओं के साथ जोड़ने से प्राप्त होते हैं: प्रोप्राइटरी सर्च टूल्स, ब्राउज़र इंफ्रास्ट्रक्चर और कोड निष्पादन। सामूहिक रूप से, ये वास्तविक दुनिया की जानकारी को पुनः प्राप्त करने, संश्लेषित करने और उस पर तर्क करने के लिए शुरू से अंत तक अनुकूलित एक प्रणाली का निर्माण करते हैं।

इस उत्पाद को बनाने की प्रक्रिया में, हमने महसूस किया कि बाहरी बेंचमार्क, हालांकि मॉडल की तुलना करने के लिए उपयोगी हैं, अक्सर उन बहुआयामी प्रश्नों और संश्लेषण की मांगों को शामिल नहीं करते हैं जो वास्तविक उपयोगकर्ता हर दिन पूछते हैं। आज, हम DRACO बेंचमार्क को ओपन-सोर्स कर रहे हैं, जो इस बात पर आधारित है कि लोग वास्तव में गहन शोध का उपयोग कैसे करते हैं। यह दस डोमेन में लाखों उत्पादन कार्यों से प्रेरित है।

बड़ा करें

उत्पादन-आधारित मूल्यांकन क्यों मायने रखता है

मौजूदा बेंचमार्क अक्सर संकीर्ण कौशल का अलग-अलग परीक्षण करते हैं: एक तथ्य प्राप्त करना, सामान्य ज्ञान के प्रश्न का उत्तर देना, या अच्छी तरह से परिभाषित समस्या को हल करना। लेकिन वास्तविक शोध प्रश्नों के लिए स्रोतों के बीच संश्लेषण, सूक्ष्म विश्लेषण और व्यावहारिक मार्गदर्शन की आवश्यकता होती है, साथ ही तथ्यात्मक सटीकता और उचित उद्धरण बनाए रखना भी आवश्यक है।

DRACO बेंचमार्क में शैक्षणिक, वित्त, कानून, चिकित्सा, प्रौद्योगिकी, सामान्य ज्ञान, UX डिज़ाइन, व्यक्तिगत सहायक, खरीदारी/उत्पाद तुलना और 'नीडल इन ए हेस्टैक' (Needle in a Haystack) जैसे 100 सावधानीपूर्वक क्यूरेट किए गए कार्य शामिल हैं, जिनमें से प्रत्येक को विशेषज्ञ द्वारा तैयार किए गए रूब्रिक्स के साथ जोड़ा गया है, जिनमें औसतन ~40 मूल्यांकन मानदंड हैं।

ये कार्य Perplexity गहन शोध पर वास्तविक उपयोगकर्ता अनुरोधों से उत्पन्न होते हैं, जिन्हें लाखों उत्पादन अनुरोधों से लिया गया है और फिर व्यवस्थित रूप से सुधार, संवर्धित और पांच-चरणीय पाइपलाइन के माध्यम से फ़िल्टर किया गया है: हम व्यक्तिगत रूप से पहचान योग्य जानकारी को हटाते हैं, संदर्भ और दायरा जोड़ते हैं, निष्पक्षता और कठिनाई के लिए फ़िल्टर करते हैं, और डोमेन विशेषज्ञों द्वारा अंतिम समीक्षा करते हैं। परिणाम एक ऐसा बेंचमार्क है जो सिंथेटिक अभ्यासों या विशेषज्ञ द्वारा क्यूरेट किए गए कार्यों के बजाय प्रामाणिक उपयोगकर्ता जरूरतों को दर्शाता है।

DRACO बेंचमार्क कैसे काम करता है

बड़ा करें

बेंचमार्क में प्रत्येक कार्य एक कठोर रूब्रिक विकास प्रक्रिया से गुजरा। Perplexity ने एक डेटा जनरेशन पार्टनर, The LLM Data Company के साथ काम किया, ताकि सेट के लिए मूल्यांकन रूब्रिक्स विकसित और टेस्ट किए जा सकें। विषय विशेषज्ञों ने LLM टूलिंग की सहायता से प्रारंभिक रूब्रिक्स का मसौदा तैयार किया, फिर सहकर्मी समीक्षा और अंशांकन (calibration) के माध्यम से पुनरावृत्ति की। गलत तरीके से निर्दिष्ट और अत्यधिक उदार रूब्रिक्स को संशोधन के लिए वापस भेज दिया गया था, जिसमें लगभग 45% रूब्रिक्स इस प्रक्रिया के माध्यम से कम से कम एक बार संशोधित किए गए थे। परिणाम ऐसे मूल्यांकन मानदंड हैं जो वास्तव में सिस्टम क्षमताओं के बीच अंतर करते हैं।

रूब्रिक्स चार आयामों का आकलन करते हैं: तथ्यात्मक सटीकता (सभी मानदंडों का लगभग आधा), विश्लेषण की व्यापकता और गहराई, प्रस्तुति की गुणवत्ता, और प्राथमिक स्रोतों का उद्धरण। प्रत्येक मानदंड को उसके महत्व को दर्शाने वाला भार (weight) प्राप्त होता है और कुछ मानदंड नकारात्मक होते हैं, जो मतिभ्रम (hallucinations) या असमर्थित दावों जैसी त्रुटियों के लिए दंडित करते हैं।

प्रतिक्रियाओं को 'LLM-as-judge' प्रोटोकॉल का उपयोग करके ग्रेड किया जाता है, जहाँ प्रत्येक मानदंड को एक बाइनरी निर्णय प्राप्त होता है। यह दृष्टिकोण तथ्यात्मक सटीकता मूल्यांकन के लिए उपयुक्त है क्योंकि रूब्रिक्स खोज परिणामों से प्राप्त वास्तविक दुनिया के डेटा में न्यायाधीश को आधार प्रदान करते हैं, जिससे व्यक्तिपरक मूल्यांकन को सत्यापन योग्य तथ्य-जांच में बदल दिया जाता है। हमने तीन न्यायाधीश मॉडलों में विश्वसनीयता को मान्य किया और पाया कि जबकि पूर्ण स्कोर भिन्न होते हैं, सापेक्ष सिस्टम रैंकिंग सुसंगत रहती है।

बड़ा करें

टूलसेट और मूल्यांकन वातावरण

बेंचमार्क को कोड निष्पादन सैंडबॉक्स और ब्राउज़र क्षमताओं सहित पूर्ण शोध टूलसेट तक पहुंच वाले एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया है।

हमने क्या पाया

डोमेन के अनुसार प्रदर्शन। हमने पास दरों (मूल्यांकन मानदंडों का प्रतिशत पूरा हुआ) को मापकर 10 ज्ञान डोमेन में चार गहन शोध प्रणालियों का मूल्यांकन किया। गहन शोध ने सभी डोमेन में उच्चतम पास दर हासिल की, विशेष रूप से कानून (89.4%) और शैक्षणिक (82.4%) में मजबूत प्रदर्शन किया।

बड़ा करें

उपयोगकर्ताओं के लिए, इसका मतलब है कि आप कानूनी ब्रीफ तैयार कर रहे हों, साहित्य समीक्षा कर रहे हों, या चिकित्सा उपचार विकल्पों की तुलना कर रहे हों, तो आपको अधिक विश्वसनीय उत्तर मिलेंगे। जटिल तर्क कार्यों में प्रदर्शन का अंतर काफी बढ़ गया: व्यक्तिगत सहायक और 'नीडल इन ए हेस्टैक' परिदृश्यों में, Perplexity ने सबसे कम स्कोर करने वाली प्रणाली को 20 प्रतिशत अंकों से अधिक से पीछे छोड़ दिया। ये डोमेन वास्तविक उपयोगकर्ता की जरूरतों को दर्शाते हैं जैसे वैयक्तिकृत सिफारिशें और बड़े दस्तावेजों में दबे विशिष्ट तथ्यों को खोजना।

बड़ा करें

मूल्यांकन पहलू द्वारा प्रदर्शन। चार प्रमुख मूल्यांकन आयामों में, गहन शोध तीन में अग्रणी रहा: तथ्यात्मक सटीकता, विश्लेषण की व्यापकता और गहराई, और उद्धरण गुणवत्ता। ये वे आयाम हैं जो सबसे अधिक मायने रखते हैं जब आपको वास्तविक निर्णयों के लिए अपने शोध पर भरोसा करने की आवश्यकता होती है, चाहे आप किसी क्लाइंट को सलाह दे रहे हों, निवेश कर रहे हों, या अपना नाम लिखकर कोई रिपोर्ट लिख रहे हों। केवल एक अन्य प्रणाली ने प्रस्तुति गुणवत्ता पर Perplexity गहन शोध के बराबर प्रदर्शन दिखाया, जो यह दर्शाता है कि गहन शोध में कठिन समस्याएं स्वरूपण (formatting) के बारे में नहीं हैं, बल्कि तथ्यों को सही रखने और विश्लेषण को पूर्ण बनाने के बारे में हैं।

बड़ा करें

गुणवत्ता और दक्षता। विशेष रूप से, शीर्ष प्रदर्शन करने वाली प्रणाली ने सबसे कम विलंबता (459.6 सेकंड बनाम प्रतिस्पर्धियों के लिए 592 से 1808 सेकंड) भी हासिल की। उपयोगकर्ताओं के लिए, इसका मतलब है कि आपको गहन शोध और जल्दी उत्तर प्राप्त करने के बीच चयन करने की आवश्यकता नहीं है। यह लंबवत एकीकृत (vertically integrated), एंड-टू-एंड इंफ्रास्ट्रक्चर के लाभ को दर्शाता है: बेहतर खोज और अनुकूलित निष्पादन वातावरण के साथ ब्राउज़र एकीकरण सीधे तेजी से, अधिक सटीक शोध में बदल जाता है।

आगे क्या है

Perplexity का गहन शोध हार्नेस मॉडल अज्ञेयवादी है: जैसे-जैसे अधिक शक्तिशाली एजेंटिक LLMs उभरेंगे, हम पुनः मूल्यांकन करेंगे और अद्यतन परिणाम प्रकाशित करेंगे। और जैसे-जैसे हम Perplexity.ai पर गहन शोध में सुधार करेंगे, उपयोगकर्ता उन लाभों को उत्पाद प्रदर्शन और बेंचमार्क स्कोर दोनों में देखेंगे।

बेंचमार्क वर्तमान में केवल अंग्रेजी, दस डोमेन में एकल-टर्न इंटरैक्शन का मूल्यांकन करता है। भविष्य के पुनरावृत्तियां भाषाई विविधता का विस्तार करेंगी, मल्टी-टर्न मूल्यांकन जोड़ेंगी, और डोमेन कवरेज को व्यापक बनाएंगी।

DRACO बेंचमार्क के साथ बेहतर शोध एजेंट बनाएं

DRACO बेंचमार्क अब पूरी तरह से ओपन सोर्स है। गहन शोध प्रणाली बनाने वाली कोई भी टीम अपने मॉडलों का मूल्यांकन सिंथेटिक शैक्षणिक पहेलियों के बजाय वास्तविक दुनिया के शोध कार्यों के खिलाफ कर सकती है। हम पूरा बेंचमार्क, सभी रूब्रिक्स और जज प्रॉम्प्ट जारी कर रहे हैं।

कार्यप्रणाली और विस्तृत परिणामों के बारे में अधिक जानने के लिए, पूर्ण तकनीकी रिपोर्ट पढ़ें: DRACO बेंचमार्क और Hugging Face पर डेटासेट देखें।

उद्धरण

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}