WANDR बेंचमार्क: उन शोध एजेंटों का मूल्यांकन जो व्यापक और गहरे खोजें

आज, हम WANDR (Wide ANd Deep Research) जारी कर रहे हैं, जो ज्ञान संबंधी कार्य के लिए 500 यथार्थवादी, चुनौतीपूर्ण डेटा-संग्रहण कार्यों के इर्द-गिर्द निर्मित एक ओपन बेंचमार्क और मूल्यांकन हार्नेस है। WANDR हमारे गहन शोध (deep research) के लिए DRACO बेंचमार्क का विस्तृत (wide) सहयोगी है। DRACO पूछता है कि क्या कोई एजेंट एक सटीक, पूर्ण और निष्पक्ष विस्तृत रिपोर्ट तैयार कर सकता है; WANDR पूछता है कि क्या वह एक बड़ा संग्रह बना सकता है और प्रत्येक सदस्य को विशिष्ट प्रमाणों के साथ पुष्ट कर सकता है।

ये वे कार्य हैं जिन्हें लोग पहले ही शोध एजेंटों को सौंपते हैं: प्रतिस्पर्धी मैपिंग, उचित परिश्रम (due diligence), साहित्य समीक्षा, बाजार विश्लेषण, उत्पाद तुलना, प्रतिभा की खोज, और बहुत कुछ। कार्य दर्जनों से लेकर हजारों स्वतंत्र रूप से सत्यापित रिकॉर्ड तक फैले हुए हैं। उच्च प्रयास सेटिंग में भी, हमारे मूल्यांकन में सबसे मजबूत प्रणाली केवल 0.363 सॉफ्ट F1 और 0.133 हार्ड F1 तक पहुँचती है। गहन शोध (deep research) अभी भी पूर्ण होने से बहुत दूर है।

बड़ा करें

गहन शोध (deep research) क्यों मायने रखता है

कई उपयोगी शोध कार्य तब समाप्त नहीं होते जब कोई एजेंट एक उत्तर ढूँढ लेता है। एक बाजार विश्लेषक को प्रत्येक योग्य प्रतियोगी की आवश्यकता हो सकती है, जिसमें प्रत्येक के लिए समान प्रमाण हों। एक उचित परिश्रम टीम को दर्जनों कंपनियों की आवश्यकता हो सकती है, फिर उनमें से प्रत्येक के लिए स्वामित्व, कार्यकारी, वित्तपोषण और नियामक स्थिति की आवश्यकता हो सकती है। यह दो अलग-अलग मांगें पैदा करता है:

विस्तृत (Wide): योग्य संस्थाओं का एक बड़ा और अक्सर खुला सेट खोजें।

गहन (Deep): प्रत्येक संस्था की पर्याप्त गहराई से जाँच करें ताकि प्रत्येक अनुरोधित दावे को प्रमाणों के साथ समर्थित किया जा सके।

दोनों को मिलाने से समस्या बदल जाती है। कुछ सम्मोहक उदाहरण पर्याप्त नहीं हैं, और अधूरे शोध पर बनी पॉलिश की हुई कथा भी पर्याप्त नहीं है। एजेंट को एक रिकॉर्ड से दूसरे रिकॉर्ड तक तथ्यात्मक गुणवत्ता से समझौता किए बिना व्यापक खोज जारी रखनी चाहिए।

WANDR उस संरचना को एक लचीले, संयोजनीय योग्यता कुंजी पदानुक्रम (qualification key hierarchy) के साथ कैप्चर करता है। एक कार्य यह माँग कर सकता है

company(n) → employee(m) → url(k)

इसका मतलब है n योग्य कंपनियों को खोजना, प्रत्येक कंपनी में m योग्य कर्मचारियों को खोजना, और प्रत्येक कर्मचारी के लिए k सहायक पृष्ठ खोजना। पेड़ के माध्यम से प्रत्येक पूर्ण पथ को स्वतंत्र रूप से मान्य किया जा सकता है। समान बुनियादी संरचना एक फ्लैट सूची, एक नेस्टेड खोज, एक मैट्रिक्स, या कई प्रमाण शाखाओं वाले कार्य का प्रतिनिधित्व कर सकती है। इन पैटर्नों को संयोजित भी किया जा सकता है, जिससे एक प्रतिनिधित्व को वास्तविक दुनिया के उपयोग के मामलों की एक विस्तृत श्रृंखला को कवर करने की अनुमति मिलती है।

बड़ा करें

एक जारी किया गया कार्य व्यवहार में इस संरचना को स्पष्ट करता है।

ceo_cfo_appointments

प्राथमिक कार्य। कम से कम 70 अमेरिकी-स्थित कंपनियों को खोजें जिनमें CEO या CFO की नियुक्ति की घोषणा पहली बार 1 मार्च और 30 अप्रैल, 2026 के बीच की गई हो। प्रत्येक कंपनी के लिए, एक आधिकारिक नियुक्ति पृष्ठ प्रदान करें जो कंपनी और नियुक्त व्यक्ति की पहचान करता है, भूमिका और घोषणा की तारीख स्थापित करता है, और जारीकर्ता, फाइलिंग, न्यूजवायर, या सीधे तौर पर जिम्मेदार प्रथम-हस्त व्यापार पत्रकारिता से आता है।

प्राथमिक पदानुक्रम। company(70) → company_appointee(1) → url(1).

कंपनी-सूची उप-कार्य। समान कंपनियों के लिए, एक मान्यता प्राप्त सूची-प्राधिकरण पृष्ठ प्रदान करें जो अमेरिकी राष्ट्रीय प्रतिभूति एक्सचेंज पर एक सूची या अमेरिकी-अधिवासित SEC एक्सचेंज एक्ट रिपोर्टिंग जारीकर्ता के रूप में स्थिति दिखाता हो।

उप-कार्य पदानुक्रम। company(70) → url(1).

आवश्यक रिकॉर्ड। 140: 70 नियुक्ति रिकॉर्ड और 70 सूची रिकॉर्ड।

प्रत्येक पथ एक पृष्ठ और अंशों में समाप्त होता है जिसे ग्रेडर दोबारा जाँच सकता है। साझा कंपनी कुंजी नियुक्ति और सूची शाखाओं को संरेखित करती है, इसलिए सूची स्थिति के अलग प्रमाण के बिना एक नियुक्ति उस कंपनी को अधूरा छोड़ देती है।

यथार्थवादी कार्य, बड़े पैमाने पर उत्पन्न

WANDR सिंथेटिक प्रॉम्प्ट्स के बजाय उत्पादन उपयोग में देखे गए डी-आइडेंटिफाइड पैटर्न से शुरू होता है। यह बेंचमार्क को उस कार्य के करीब रखता है जिसे लोग वास्तव में सौंपते हैं: ओपन-एंडेड खोज, बार-बार संवर्धन, क्रॉस-सोर्स चेक, और पेशेवर पैमाने पर संरचित तुलना। एक अर्ध-स्वचालित पाइपलाइन उन पैटर्नों को कार्यों में बदल देती है, जो विस्तृत उत्तर एनोटेशन के बजाय गुणवत्ता नियंत्रण के लिए मानवीय प्रयास को सुरक्षित रखती है।

पाइपलाइन के चार चरण हैं। सीडिंग पुन: प्रयोज्य विस्तृत-शोध पैटर्न के लिए डी-आइडेंटिफाइड उत्पाद अनुरोधों को माइन करती है। ऑथरिंग एक इंटरलीव्ड लेखक-आलोचक लूप चलाती है: एजेंट डिज़ाइन का स्केच और तनाव-परीक्षण करते हैं, कार्य विनिर्देश और जज लिखते हैं, फिक्स्चर रिकॉर्ड बनाते हैं, और सब कुछ संरेखित रखने के लिए एक मैकेनिकल लिंटर का उपयोग करते हैं। एडमिशन यह जाँचता है कि लक्ष्य वॉल्यूम 10-12 ऑथरिंग रोलआउट को मर्ज करके प्राप्त किया जा सकता है या नहीं, कार्य-विशिष्ट जज का ऑडिट करता है, और वैकल्पिक रूप से मानवीय हस्ताक्षर जोड़ता है। क्यूरेशन स्वीकृत कार्यों को लेबल करता है और विषयों, पैमाने, टोपोलॉजी और कठिनाई के आधार पर एक संतुलित अंतिम सेट चुनता है।

बड़ा करें

औसत कार्य 50 सदस्यों, प्रति सदस्य चार रिकॉर्ड, और कुल मिलाकर 245 रिकॉर्ड के लिए कहता है। कुल मिलाकर, 500 कार्य 170,495 स्रोत-समर्थित रिकॉर्ड के लिए कहते हैं। हम ऐतिहासिक डिज़ाइन-चरण रोलआउट से कठिनाई को कैलिब्रेट करते हैं, फिर कार्यों को रैंक के आधार पर 167 निम्न-, 166 मध्यम-, और 167 उच्च-कठिनाई वाले उदाहरणों में विभाजित करते हैं। नीचे दिया गया प्लॉट दिखाता है कि कठिनाई केवल पैमाने से निर्धारित नहीं होती है; यह प्रत्येक रिकॉर्ड के लिए आवश्यक कार्य पर भी निर्भर करती है।

बड़ा करें

संदर्भ-मुक्त, प्रमाण-सत्यापित ग्रेडिंग

एक निश्चित उत्तर कुंजी ओपन-एंडेड शोध के लिए खराब फिट है। इसे बनाना महंगा है, जल्दी ही पुराना हो जाता है, और उन प्रश्नों का खराब तरीके से प्रतिनिधित्व करता है जिनके उत्तर समय के साथ बदलते हैं। WANDR इसके बजाय प्रत्येक सबमिट किए गए दावे को उस प्रमाण के विरुद्ध ग्रेड देता है जिसका एजेंट हवाला देता है।

प्रत्येक रिकॉर्ड में एक आइटम, एक URL, चयनित अंश और एक उत्तर होता है। ग्रेडर पृष्ठ को फिर से प्राप्त करता है और जाँचता है कि क्या यह प्रयोग करने योग्य है, क्या दावा स्पष्ट और दायरे में है, क्या अंश पृष्ठ पर ईमानदारी से दिखाई देते हैं, और क्या पृष्ठ और अंश दोनों प्रत्येक आवश्यकता का समर्थन करते हैं।

ये बाइनरी रिकॉर्ड फैसले पदानुक्रम के माध्यम से रोल अप होते हैं। प्रेसिजन सिस्टम द्वारा सबमिट की गई सामग्री की गुणवत्ता को मापता है। रिकॉल अनुरोधित वॉल्यूम के मुकाबले गुणवत्ता-समायोजित पूर्णता को मापता है, किसी भी कमी को शून्य से भरता है। F1 दोनों को संतुलित करता है। सॉफ्ट स्कोर अधूरे सदस्यों को आंशिक क्रेडिट देते हैं; हार्ड स्कोर केवल उन सदस्यों को गिनते हैं जिनका पूर्ण आवश्यक सबट्री सही है। निदान के लिए, WANDR एक केवल-पुनर्प्राप्ति (retrieval-only) फैसला भी रिपोर्ट करता है जो वैधता और सबमिट किए गए अंशों पर सख्त जाँच जोड़ने से पहले यह पूछता है कि क्या प्राप्त पृष्ठ कार्य को पूरा करता है।

यह विफलताओं को व्याख्या योग्य और स्थानीय योग्य बनाता है। कम रिकॉल के साथ उच्च प्रेसिजन का आमतौर पर मतलब है कि सिस्टम ने कुछ अच्छे सदस्य ढूंढे लेकिन उनमें से पर्याप्त नहीं। एक बड़े सॉफ्ट-टू-हार्ड ड्रॉप का मतलब है कि इसने आंशिक प्रगति की लेकिन शायद ही कभी पूर्ण क्रेडिट के लिए आवश्यक हर शाखा को पूरा किया। स्कोर ट्री नुकसान को खोज, संवर्धन, पहचान प्रबंधन, पृष्ठ योग्यता, या प्रमाण निष्कर्षण के लिए स्थानीय बना सकता है।

बड़ा करें

हमें क्या मिला

हमने छह उत्पादन प्रणालियों की तुलना की: होस्टेड टास्क और सर्च API, सामान्य वेब-एजेंट API, एक गहन-शोध (deep-research) उत्पाद, और हमारी प्रोग्रामेटिक सर्च-ऑर्केस्ट्रेशन प्रणाली, Search as Code (SaC)। प्रत्येक को एक पिन की गई कॉन्फ़िगरेशन के तहत सभी 500 कार्यों पर शेड्यूल किया गया था, फिर उसी फेच, जज, पहचान-संकल्प, और स्कोरिंग पाइपलाइन से गुजरा।

Perplexity Search as Code 0.363 सॉफ्ट F1 और 0.133 हार्ड F1 पर आगे है। Anthropic 0.249 और 0.072 पर दूसरे स्थान पर है; अन्य सभी सिस्टम 0.121 सॉफ्ट F1 और 0.035 हार्ड F1 पर समाप्त होते हैं। कोई भी सिस्टम गुणवत्ता और दक्षता दोनों पर हावी नहीं है। Perplexity $5.20 प्रति कार्य लागत सीमा के बीच में है, जिसमें 14.9-मिनट का औसत समाधान समय और प्रति कार्य 3.82 मिलियन रिपोर्ट किए गए टोकन हैं। OpenAI और Exa तेज और सस्ते हैं लेकिन बहुत कम स्कोर करते हैं। Anthropic गुणवत्ता पर सबसे करीब आता है, लेकिन काफी अधिक समय, पैसा और टोकन का उपयोग करता है।

बड़ा करें

बड़ा करें

हमने उसी 45-कार्य सबसेट पर उपलब्ध प्रत्येक प्रयास सेटिंग का भी मूल्यांकन किया। अधिक प्रयास प्रत्येक चरण पर Perplexity, Gemini, और Exa में सुधार करता है; Perplexity xhigh पर 0.447 सॉफ्ट F1 और 0.224 हार्ड F1 तक पहुँचता है। हालांकि, उच्च प्रयास समान रूप से बेहतर नहीं है: OpenAI high पर चरम पर है, और Parallel का हार्ड F1 ultra2x और ultra4x के बीच थोड़ा फिसल जाता है। लागत परिमाण के चार से अधिक आदेशों तक फैली हुई है, Exa low के लिए $0.03 प्रति कार्य से लेकर Gemini max के लिए $324.83 तक।

बड़ा करें

बड़ा करें

चार निष्कर्ष अलग दिखते हैं।

आंशिक प्रगति सामान्य है; पूर्ण कवरेज नहीं है। सॉफ्ट रिकॉल हर सिस्टम के लिए सॉफ्ट प्रेसिजन से कम है, जिसका अर्थ है कि प्रदर्शन गिर जाता है जब पूर्ण अनुरोधित वॉल्यूम हर (denominator) में प्रवेश करता है। Perplexity 0.389 प्रेसिजन से 0.357 रिकॉल बरकरार रखता है, जो सबसे छोटा अंतर है; Anthropic 0.354 से 0.222 तक गिर जाता है। सॉफ्ट-टू-हार्ड रूपांतरण और भी कठोर है। Perplexity 0.363 सॉफ्ट F1 से 0.133 हार्ड F1 तक गिर जाता है, और Anthropic 0.249 से 0.072 तक गिर जाता है। सर्वश्रेष्ठ हार्ड प्रेसिजन 0.150 है और सर्वश्रेष्ठ हार्ड रिकॉल 0.134 है: लीडर भी उन सदस्यों में से केवल सात में से एक के लिए पूर्ण क्रेडिट अर्जित करता है जिसे वह सबमिट करता है और उन सदस्यों में से सात में से एक जिसे कार्य मांगता है।

पैमाना समस्या को और अधिक जटिल बनाता है। सबसे छोटे से सबसे बड़े लक्ष्य-वॉल्यूम बिन तक, Perplexity का हार्ड प्रेसिजन 0.235 से 0.096 तक और इसका हार्ड रिकॉल 0.219 से 0.079 तक गिर जाता है। Anthropic 0.205 से 0.113 तक और 0.127 से 0.042 तक गिर जाता है; OpenAI 0.109 से 0.034 तक और 0.102 से 0.016 तक गिर जाता है। रिकॉल आमतौर पर प्रेसिजन की तुलना में तेजी से गिरता है: एक सिस्टम पूर्ण सदस्यों की एक छोटी जेब रख सकता है जबकि अनुरोधित सेट का कम से कम हिस्सा कवर कर सकता है।

गहरे पदानुक्रम और भी कठोर हैं। बिना किसी मध्यवर्ती कुंजी से तीन या अधिक तक जाने पर, Perplexity का हार्ड प्रेसिजन 0.392 से 0.019 तक और हार्ड रिकॉल 0.378 से 0.017 तक गिर जाता है; Anthropic 0.311 से 0.049 तक और 0.229 से 0.022 तक गिर जाता है; OpenAI 0.136 से 0.012 तक और 0.120 से 0.011 तक गिर जाता है। प्रत्येक जोड़ी गई शाखा एक और जगह बनाती है जहां एक सदस्य ऑल-ऑर-नथिंग हार्ड स्कोर से चूक सकता है। लागत और विलंबता एक सामान्य मोनोटोनिक पैटर्न का पालन नहीं करते हैं।

बड़ा करें

गुणवत्ता का निर्णय करने से पहले भी, खोज पहली संरचनात्मक बाधा है। केवल कच्चे, प्री-कोलैप्स काउंट्स को देखते हुए, माध्य शीर्ष-स्तरीय खोज पूर्णता 0.611 से 0.951 तक होती है। सशर्त संवर्धन 0.767-0.967 पर मजबूत है, और टर्मिनल साक्ष्य-स्लॉट पूर्णता 0.979-0.994 तक पहुँचती है जब एक सदस्य और उसका संवर्धन पथ मौजूद होता है। Perplexity 0.951 पर खोज और 0.967 पर संवर्धन का नेतृत्व करती है, लेकिन OpenAI टर्मिनल साक्ष्य स्लॉट पर 0.994 बनाम 0.991 पर थोड़ा अधिक है। डुप्लिकेट कोलैप्स छह पूर्ण रनों में गणना हानि के केवल 0.017-0.205 प्रतिशत अंक के लिए जिम्मेदार है, इसलिए अंडर-डिलीवरी, न कि पहचान विलय, मुख्य कुल स्पष्टीकरण है। सबसे बड़े कच्चे संरचनात्मक नुकसान अंतिम URL के जुड़ने से पहले होते हैं।

बड़ा करें

प्रयोग करने योग्य पृष्ठ खोजना आमतौर पर आसान होता है; पूर्ण प्रमाण खोजना कठिन होता है। पांच प्रणालियों के लिए, सबमिट किए गए पृष्ठों का केवल 3.2%-8.9% अनुपयोगी है; OpenAI 23.1% आउटलेयर है। अमान्य या गलत-प्रकार के रिकॉर्ड भी 4.2%-17.4% पर अपेक्षाकृत असामान्य हैं। प्रमुख नुकसान आगे आते हैं: सबमिट किए गए पृष्ठों का 33.6%-68.3% कम से कम एक मूल कार्य आवश्यकता पर विफल रहता है, और सबमिट किए गए अंशों का 57.5%-86.6% रिकॉर्ड द्वारा दावा की गई हर चीज का समर्थन करने में विफल रहता है। Perplexity की दरें 41.4% और 57.5% हैं। इसका सॉफ्ट F1 केवल-पुनर्प्राप्ति चेक के तहत 0.531 से गिर जाता है, जो केवल यह पूछता है कि क्या पृष्ठ हर मूल आवश्यकता को पूरा करता है, पूर्ण फैसले के तहत 0.363 तक, जिसके लिए यूनिवर्सल चेक, कार्य-विशिष्ट वैधता, और पूर्ण अंश समर्थन की भी आवश्यकता होती है। हार्ड F1 भी 0.245 से 0.133 तक गिर जाता है। कठिन हिस्सा सिर्फ एक प्रशंसनीय पृष्ठ तक पहुंचना नहीं है; इसे उस पृष्ठ को पूरे दावे के लिए पर्याप्त प्रमाण में बदलना है।

बड़ा करें

Search as Code इस कार्य आकार के लिए अच्छी तरह से मेल खाता है। एक मॉडल पुनर्प्राप्ति, फ़िल्टरिंग, फैन-आउट, रेंडरिंग, जॉइन, डिडुप्लीकेशन और स्टॉपिंग लॉजिक को एक प्रोग्राम के रूप में व्यक्त कर सकता है, जबकि नियतात्मक कंप्यूट मॉडल संदर्भ के बाहर दोहराए गए संचालन को संभालता है। वह प्रोफ़ाइल Perplexity के मजबूत ब्रेड्थ रिटेंशन और अंश निर्माण के अनुरूप है, हालांकि यह हर परत पर नेतृत्व नहीं करता है: Anthropic की पृष्ठ-आवश्यकता विफलता दर सबसे कम है।

आगे क्या है

WANDR एकल लीडरबोर्ड स्कोर से अधिक प्रदान करता है। इसकी सामान्य कार्य संरचना और अर्ध-स्वचालित पाइपलाइन विविध, उच्च-वॉल्यूम कार्य निर्माण का समर्थन करती है, जबकि प्रति-रिकॉर्ड फैसले और पदानुक्रम-स्तरीय स्कोर दिखाते हैं कि रन कहाँ विफल होता है: खोज, संवर्धन, पहचान प्रबंधन, अर्थ संबंधी योग्यता, या साक्ष्य निर्माण। जारी किए गए कार्य, verifier, और संरचनात्मक निदान व्यापक खोज प्रणालियों में सुधार और यह परीक्षण करने के लिए एक आधार प्रदान करते हैं कि क्या वे लाभ पैमाने पर बने रहते हैं।

वही संरचना WANDR को सुदृढीकरण सीखने (reinforcement learning) के लिए उपयोगी बना सकती है। एकल विरल टर्मिनल रिवॉर्ड पर भरोसा करने के बजाय, एक प्रशिक्षक रिकॉर्ड- और शाखा-स्तरीय निर्णयों का उपयोग कर सकता है, खोज और संवर्धन प्रगति के लिए आंशिक क्रेडिट्स (credits) निर्दिष्ट कर सकता है, और समय के साथ आवश्यक गणना बढ़ाकर एक पाठ्यक्रम बना सकता है। पाइपलाइन स्वर्ण उत्तरों को सूचीबद्ध किए बिना डोमेन, पदानुक्रम आकार, साक्ष्य नियम, और ब्रेड्थ-डेप्थ सेटिंग्स के पार आयोजित सिबलिंग कार्यों को उत्पन्न कर सकती है। यह एजेंटों को न केवल सही तथ्यों को खोजने के लिए, बल्कि कवरेज के लिए योजना बनाने, लापता शाखाओं का पता लगाने और रुकने से पहले पुनर्प्राप्त करने के लिए प्रशिक्षित करने का एक रास्ता बनाता है।

बेंचमार्क कार्य, मूल्यांकन हार्नेस, और पूर्ण तकनीकी रिपोर्ट GitHub पर उपलब्ध हैं।

उद्धरण

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}