DRACO बेंचमार्कसह रिअल-वर्ल्डमधील सखोल संशोधन कार्यप्रदर्शनाचे मूल्यांकन करणे

आज, आम्ही डीप रिसर्च ॲक्युरसी, कम्प्लिटनेस आणि ऑब्जेक्टिव्हिटी (DRACO) बेंचमार्क लॉन्च करत आहोत, हा एक ओपन बेंचमार्क आहे जो जटिल संशोधन कार्यांसाठी वापरकर्ते प्रत्यक्षात AI चा कसा वापर करतात यावर आधारित सखोल संशोधन एजंट्सचे मूल्यांकन करण्यासाठी तयार केला आहे. DRACO ओपन सोर्स करून, आमचा उद्देश व्यापक AI समुदायाला वास्तविक वापरकर्त्यांच्या गरजा अधिक चांगल्या प्रकारे पूर्ण करणारी संशोधन साधने तयार करण्यात मदत करणे हा आहे.

DRACO हे कृत्रिम (synthetic) कार्ये सोडवणे आणि खऱ्या संशोधन गरजा पूर्ण करणे यामधील अंतर अधोरेखित करते. मूल्यात्कन हार्नेस मॉडेल अज्ञेयवादी (agnostic) आहे: जसजसे मजबूत एजंट्स LLMs उदयास येतात, तसतसे आम्ही मूल्यमापन पुन्हा करू आणि अद्यतनित निकाल प्रकाशित करू. आणि जसे आम्ही Perplexity.ai वरील सखोल संशोधनात सुधारणा पाठवतो, वापरकर्त्यांना उत्पादन कार्यप्रदर्शन आणि बेंचमार्क गुण दोन्हीमध्ये त्या फायद्यांचे प्रतिबिंब दिसेल.

अत्याधुनिक सखोल संशोधन

Perplexity सखोल संशोधन हे Google DeepMind चे DeepSearchQA आणि Scale AI चे ResearchRubrics यांसह अग्रगण्य बाह्य बेंचमार्कवर अत्याधुनिक कार्यप्रदर्शन साध्य करते.

विस्तृत करा

विस्तृत करा

हे निकाल उपलब्ध सर्वोत्तम मॉडेल्सना Perplexity च्या उद्देश-निर्मित एजंट क्षमतांसह एकत्र करण्यावरून मिळतात: मालकीची शोध साधने, ब्राउझर पायाभूत सुविधा आणि कोड अंमलबजावणी. एकत्र येऊन, हे रिअल-वर्ल्ड माहिती पुनर्प्राप्त करण्यासाठी, संश्लेषित करण्यासाठी आणि त्यावर तर्क करण्यासाठी एंड-टू-एंड ऑप्टिमाइझ केलेली प्रणाली तयार करतात.

हे उत्पादन तयार करण्याच्या प्रक्रियेत, आम्हाला जाणीव झाली की बाह्य बेंचमार्क, मॉडेल्सची तुलना करण्यासाठी उपयुक्त असले तरी, रिअल वापरकर्ते दररोज विचारत असलेल्या बहुआयामी प्रश्नांची आणि संभाषणात्मक मागण्यांची नोंद करू शकत नाहीत. आज, आम्ही DRACO बेंचमार्क ओपन-सोर्स करत आहोत, जो दहा डोमेनमधील लाखो उत्पादन कार्यांद्वारे प्रेरित, लोक प्रत्यक्षात सखोल संशोधनाचा कसा वापर करतात यावर आधारित बेंचमार्क आहे.

विस्तृत करा

उत्पादन-आधारित मूल्यमापन का महत्त्वाचे आहे

विद्यमान बेंचमार्क अनेकदा अलगीकरणात अरुंद कौशल्ये तपासतात: एकच तथ्य पुनर्प्राप्त करणे, ट्रिव्हिया प्रश्नाचे उत्तर देणे किंवा सु-परिभाषित समस्या सोडवणे. परंतु वास्तविक संशोधनासाठी विचारलेल्या प्रश्नांना स्त्रोतांमध्ये संश्लेषण, सूक्ष्म विश्लेषण आणि कृती करण्यायोग्य मार्गदर्शनाची आवश्यकता असते, हे सर्व करत असताना तथ्याची अचूकता आणि योग्य संदर्भ राखणे गरजेचे असते.

DRACO बेंचमार्क मध्ये शैक्षणिक, वित्त, कायदा, वैद्यकीय, तंत्रज्ञान, सामान्य ज्ञान, UX डिझाइन, वैयक्तिक सहाय्यक, खरेदी/उत्पादन तुलना आणि नीडल इन अ हेयस्टॅक (Needle in a Haystack) पसरलेली १०० काळजीपूर्वक क्युरेट केलेली कार्ये समाविष्ट आहेत, प्रत्येक तज्ञांच्या क्युरेट केलेल्या रुब्रिक्ससह जोडलेले आहे ज्याचे सरासरी ~४० मूल्यमापन निकष आहेत.

ही कार्ये Perplexity सखोल संशोधनावरील वास्तविक वापरकर्त्याच्या विनंत्यांवरून उद्भवतात, लाखो उत्पादन विनंत्याधून सॅम्पल केली जातात आणि नंतर पद्धतशीरपणे पुनर्रचित, संवर्धित आणि पाच टप्प्यांच्या पाइपलाइनद्वारे फिल्टर केली जातात: आम्ही वैयक्तिकरित्या ओळखण्यायोग्य माहिती काढून टाकतो, संदर्भ आणि व्याप्ती जोडतो, वस्तुनिष्ठता आणि अडचणीसाठी फिल्टर करतो, आणि डोमेन तज्ञांद्वारे अंतिम पुनरावलोकन आयोजित करतो. परिणामी एक असा बेंचमार्क तयार होतो जो कृत्रिम व्यायाम किंवा तज्ञांच्या क्युरेट केलेल्या कार्यांऐवजी अस्सल वापरकर्त्यांच्या गरजा प्रतिबिंबित करतो.

DRACO बेंचमार्क कसा कार्य करतो

विस्तृत करा

बेंचमार्क मधील प्रत्येक कार्य कठोर रुब्रिक विकास प्रक्रियेतून गेले. Perplexity ने द LLM डेटा कंपनी या डेटा जनरेशन पार्टनरसोबत काम करून संचसाठी मूल्यमापन रुब्रिक्स विकसित आणि चाचणी केली. विषय तज्ञांनी LLM टूलिंगच्या मदतीने सुरुवातीची रुब्रिक्स तयार केली, त्यानंतर पीअर रिव्ह्यू आणि कॅलिब्रेशन द्वारे पुनरावृत्ती केली. सदोष आणि अतिशय सौम्य रुब्रिक्स पुनरावृत्तीसाठी परत पाठवले गेले, या प्रक्रियेद्वारे जवळपास ४५% रुब्रिक्स किमान एकदा सुधारित केले गेले. परिणामी असे मूल्यमापन निकष मिळाले जे खऱ्या अर्थाने प्रणालीच्या क्षमता वेगळ्या दाखवतात.

रुब्रिक्स चार परिमाणांचे मूल्यांकन करतात: तथ्याची अचूकता (सर्व निकषांपैकी अंदाजे अर्धी), विश्लेषणाची रुंदी आणि खोली, सादरीकरणाची गुणवत्ता आणि प्राथमिक स्त्रोतांचे संदर्भ. प्रत्येक निकषाला त्याचे महत्त्व प्रतिबिंबित करणारे वजन मिळते आणि काही निकष नकारात्मक असतात, जसे की हॅुसिनेशन (hallucinations) किंवा विना-समर्थित दाव्यांसारख्या त्रुटींवर दंड आकारणे.

LLM-as-judge प्रोटोकॉल वापरून प्रतिसादांना श्रेणी दिली जाते, जिथे प्रत्येक निकषाला बायनरी निकाल मिळतो. हा दृष्टीकोन तथ्यात्मक अचूकता मूल्यांकनासाठी योग्य आहे कारण रुब्रिक्स शोध निकालां from मिळवलेल्या वास्तविक जगातल्या डेटामध्ये न्यायाधीशाला ग्राउंड करतात, ज्यामूळे व्यक्तिनिष्ठ मूल्यांकनाची पडताळणी करता येण्याजोग्या तथ्य-तपासणीमध्ये रूपांतर होते. आम्ही तीन न्यायाधीश मॉडेल्समध्ये विश्वासार्हतेची पडताळणी केली आणि असे आढळले की संपूर्ण गुण भिन्न असले तरी, नातेसंबंध प्रणाली क्रमवारी सुसंगत राहते.

विस्तृत करा

टूलसेट आणि मूल्यमापन पर्यावरण

हा बेंचमार्क कोड एक्झिक्यूशन सँडबॉक्स (sandbox) आणि ब्राउझर क्षमतांसह संपूर्ण संशोधन टूलसेटमध्ये प्रवेश असलेल्या एजंट्सचे मूल्यांकन करण्यासाठी डिझाइन केला आहे.

आम्हाला काय आढळले

डोमेननुसार कार्यप्रदर्शन. उत्तीर्ण दर (मूल्यमापन निकषांची पूर्तता टक्केवारी) मोजून आम्ही १० ज्ञान डोमेनमध्ये चार सखोल संशोधन प्रणालींचे मूल्यांकन केले. सखोल संशोधन (Deep Research) ने सर्व डोमेन्समध्ये सर्वाधिक उत्तीर्ण दर साध्य केला, ज्यामध्ये कायदा (८९.४%) आणि शैक्षणिक (८२.४%) मध्ये विशेषतः मजबूत कार्यप्रदर्शन होते.

विस्तृत करा

वापरकर्त्यांसाठी, याचा अर्थ असा होतो की तुम्ही कायदेशीर संक्षिप्त तयार करत असाल, साहित्याचे पुनरावलोकन करत असाल किंवा वैद्यकीय उपचारांच्या पर्यायांची तुलना करत असाल तरीही अधिक विश्वासार्ह उत्तरे मिळतात. जटिल तार्किक कार्यांमध्ये कार्यप्रदर्शनातील तफावत लक्षणीयरीत्या वाढली: वैयक्तिक सहाय्यक आणि नीडल इन अ हेयस्टॅक परिस्थितीमध्ये, Perplexity ने सर्वात कमी गुण मिळवणाऱ्या प्रणालीला २० टक्क्यांहून अधिक गुणांनी मागे टाकले. हे डोमेन वैयक्तिक शिफारसी आणि मोठ्या कागदपत्रांमध्ये पुरलेली विशिष्ट तथ्ये शोधणे यासारख्या वास्तविक वापरकर्त्याच्या गरजा प्रतिबिंबित करतात.

विस्तृत करा

मूल्यमापन पैलूंनुसार कार्यप्रदर्शन. चार प्रमुख मूल्यमापन परिमाणांपैकी, सखोल संशोधन (Deep Research) ने तिन्हींमध्ये नेतृत्व केले: तथ्यात्मक अचूकता, विश्लेषणाची रुंदी आणि खोली, आणि संदर्भ गुणवत्ता. जेव्हा तुम्हाला खऱ्या निर्णयांसाठी तुमच्या संशोधनावर विश्वास ठेवण्याची आवश्यकता असते, मग तुम्ही क्लायंटला सल्ला देत असाल, गुंतवणूक करत असाल किंवा तुमच्या नावाचा अहवाल लिहीत असाल तेव्हा ही परिमाणे सर्वात महत्त्वाची असतात. सादरीकरण गुणवत्तेवर Perplexity सखोल संशोधनाशी केवळ एका इतर प्रणालीने तुलना करता येईल असे कार्यप्रदर्शन दर्शवले, जे हे दर्शवते की सखोल संशोधनातील कठीण समस्या फॉरमॅटिंगबद्दल नसून तथ्ये अचूक मिळवणे आणि विश्लेषण पूर्ण करण्याबद्दल आहेत.

विस्तृत करा

गुणवत्ता आणि कार्यक्षमता. विशेष म्हणजे, सर्वोत्कृष्ट कामगिरी करणाऱ्या प्रणालीने सर्वात कमी विलंब (latency) देखील साध्य केला (स्पर्धकांसाठी ५९२ ते १८०८ सेकंदांच्या तुलनेत ४५९.६ सेकंद). वापरकर्त्यांसाठी, याचा अर्थ असा आहे की तुम्हाला संपूर्ण संशोधन आणि त्वरीत उत्तरे मिळवणे यापैकी एक निवडण्याची गरज नाही. हे अनुलंबरित्या एकात्मिक, अंत-ते-शेवट पायाभूत सुविधांचा फायदा प्रतिबिंबित करते: अधिक चांगला शोध¹ [आमच्या शोध api साठी तळटीप दुवा] आणि ऑप्टिमाइझ केलेल्या अंमलबजावणी वातावरणासह ब्राउझर एकात्मता थेट जलद, अधिक अचूक संशोधनात अनुवादित करते.

पुढे काय आहे

Perplexity चा सखोल संशोधन हार्नेस मॉडेल अज्ञेयवादी आहे: जसजसे मजबूत एजंट्स LLMs उदयास येतात, तसतसे आम्ही मूल्यमापन पुन्हा करू आणि अद्यतनित निकाल प्रकाशित करू. आणि जसे आम्ही Perplexity.ai वरील सखोल संशोधनात सुधारणा पाठवतो, वापरकर्त्यांना उत्पादन कार्यप्रदर्शन आणि बेंचमार्क गुण दोन्हीमध्ये त्या फायद्यांचे प्रतिबिंब दिसेल.

बेंचमार्क सध्या दहा डोमेन्समधील इंग्रजी केवळ, सिंगल टर्न परस्परसंवादांचे मूल्यांकन करतो. भविष्यातील पुनरावृत्ती भाषिक विविधता वाढवतील, मल्टी टर्न मूल्यमापन जोडतील आणि डोमेन कव्हरेज विस्तृत करतील.

DRACO बेंचमार्कसह अधिक चांगले संशोधन एजंट तयार करा

DRACO बेंचमार्क आता पूर्णपणे ओपन सोर्स आहे. डीप रिसर्च सिस्टिम्स तयार करणारी कोणतीही टीम त्यांच्या मॉडेल्सचे मूल्यमापन सिंथेटिक शैक्षणिक कोडींपेक्षा प्रत्यक्ष जगातील संशोधन कार्यांवर करू शकते. आम्ही संपूर्ण बेंचमार्क, सर्व रुब्रिक्स आणि जज प्रॉम्प्ट रिलीज करत आहोत.

पद्धतशास्त्र आणि तपशीलवार परिणामांबद्दल अधिक जाणून घेण्यासाठी, संपूर्ण तांत्रिक अहवाल वाचा: DRACO बेंचमार्क आणि Hugging Face वरील डेटासेट एक्सप्लोर करा.

उद्धरण

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}