WANDR बेंचमार्क: वाइड आणि डीप शोधणे आवश्यक असलेल्या संशोधन एजंटचे मूल्यमापन

आज, आम्ही WANDR (Wide ANd Deep Research) रिलीज करत आहोत, ज्ञान कार्यासाठी ५०० वास्तववादी, आव्हानात्मक डेटा-कलेक्शन कार्यांभोवती बनवलेले एक ओपन बेंचमार्क आणि मूल्यमापन हार्नेस. WANDR हे आमच्या सखोल संशोधनासाठी DRACO बेंचमार्कचे वाइड भावंड आहे. DRACO विचारते की एखादा एजंट अचूक, संपूर्ण आणि वस्तुनिष्ठ दीर्घ स्वरूपाचा अहवाल तयार करू शकतो का; WANDR विचारते की तो मोठा संग्रह तयार करू शकतो का आणि प्रत्येक सदस्याला विशिष्ट पुराव्यासह बॅक अप करू शकतो का.

हे अशा प्रकारचे जॉब्स आहेत जे लोक आधीपासून संशोधन एजंटना देतात: स्पर्धात्मक मॅपिंग, ड्यु डिलिजन्स, साहित्य पुनरावलोकन, बाजार विश्लेषण, उत्पादन तुलना, टॅलेंट सोर्सिंग आणि बरेच काही. कार्य डझनभर ते हजारो स्वतंत्रपणे पडताळणी करण्यायोग्य रेकॉर्डपर्यंत असतात. उच्च प्रयत्नांच्या सेटिंगमध्येही, आमच्या मूल्यमापनातील सर्वात मजबूत सिस्टीम फक्त 0.363 सॉफ्ट F1 आणि 0.133 हार्ड F1 पर्यंत पोहोचते. वाइड-अँड-डीप संशोधन सोडवण्यापासून अजूनही खूप दूर आहे.

विस्तृत करा

वाइड-अँड-डीप संशोधन का महत्त्वाचे आहे

एखाद्या एजंटला एक उत्तर सापडल्या संपत नाही. मार्केट विश्लेषकाला प्रत्येक पात्र प्रतिस्पर्ध्याची आवश्यकता असू शकते, प्रत्येकासाठी समान पुराव्यासह. ड्यु-डिलिजन्स टीमला डझनभर कंपन्या, नंतर मालकी, कार्यकारी अधिकारी, वित्तपुरवठा आणि प्रत्येकाची नियामक स्थिती आवश्यक असू शकते. ज्यामुळे दोन स्वतंत्र मागण्या निर्माण होतात:

वाइड (रुंद): पात्र घटकांचा एक मोठा आणि अनेकदा ओपन-एंडेड संच शोधा.

डीप (खोल): पुराव्यासह प्रत्येक विनंती केलेल्या दाव्याला समर्थन देण्यासाठी प्रत्येक घटकाची पुरेशा प्रमाणात तपासणी करा.

दोन्ही एकत्र केल्याने समस्या बदलते. काही आकर्षक उदाहरणे पुरेशी नसतात आणि अपूर्ण संशोधनावर तयार केलेले पॉलिश केलेले कथन देखील पुरेशी नसते. एका रेकॉर्डवरून दुसऱ्या रेकॉर्डवर तथ्याची गुणवत्ता कमी न करता एजंटने व्यापक शोध कायम ठेवला पाहिजे.

WANDR लवचिक, कंपोजेबल क्वालिफिकेशन की हायरार्की सह ती रचना कॅप्चर करते. एखादे कार्य खालीलप्रमाणे विचारू शकते

company(n) → employee(m) → url(k)

याचा अर्थ n पात्र कंपन्या, प्रत्येक कंपनीतील m पात्र कर्मचारी, आणि प्रत्येक कर्मचाऱ्यासाठी k सहाय्यक पृष्ठे शोधणे असा होतो. झाडातील प्रत्येक संपूर्ण मार्ग स्वतंत्रपणे सत्यापित करता येतो. हीच मूलभूत रचना एका सपाट यादीचे, एका नेस्टेड शोधाचे, एका मॅट्रिक्सचे, किंवा अनेक पुरावा शाखा असलेल्या एका कार्याचे प्रतिनिधित्व करू शकते. हे नमुने एकत्रही करता येतात, ज्यामुळे एकाच प्रतिनिधीकरणाने वास्तविक वापराच्या विस्तृत श्रेणीला कव्हर करता येते.

विस्तृत करा

एक रिलीज केलेले कार्य प्रत्यक्षात ही रचना स्पष्ट करते.

ceo_cfo_appointments

प्राथमिक कार्य. १ मार्च आणि ३० एप्रिल २०२६ दरम्यान पहिल्यांदा घोषित केलेली CEO किंवा CFO नियुक्ती असलेल्या यूएस-आधारित किमान ७० कंपन्या शोधा. प्रत्येक कंपनीसाठी, एक अधिकृत नियुक्ती पृष्ठ प्रदान करा जे कंपनी आणि नियुक्त व्यक्ती ओळखते, भूमिका आणि घोषणेची तारीख स्थापित करते आणि जारीकर्ता, फाइलिंग, न्यूझवायर किंवा थेट विशेषता असलेल्या प्रथम-हस्तांकित व्यवसाय पत्रकारितेकडून येते.

प्राथमिक हायरार्की. company(70) → company_appointee(1) → url(1).

कंपनी-सूची उपकार्य. त्याच कंपन्यांसाठी, यूएस राष्ट्रीय सिक्युरिटीज एक्सचेंजवरील सूची किंवा यूएस-डोमिसिल्ड एसईसी एक्सचेंज कायदा अहवाल जारीकर्ता म्हणून स्थिती दर्शवणारे मान्यताप्राप्त सूची-प्राधिकृत पृष्ठ प्रदान करा.

उपकार्य हायरार्की. company(70) → url(1).

आवश्यक रेकॉर्ड. १४०: ७० नियुक्ती रेकॉर्ड अधिक ७० सूची रेकॉर्ड.

प्रत्येक मार्ग एका पृष्ठावर आणि अर्क संपतो ज्याची ग्रेडर पुन्हा तपासणी करू शकतो. सामायिक कंपनी की नियुक्ती आणि सूची शाखा संरेखित करते, त्यामुळे सूची स्थितीचा स्वतंत्र पुरावा नसलेली नियुक्ती देखील त्या कंपनीला अपूर्ण सोडते.

वास्तववादी कार्ये, प्रमाणावर निर्माण केलेली

WANDR कृत्रिम प्रॉम्प्ट्सऐवजी उत्पादन वापरात निरीक्षित केलेल्या de-identified नमुन्यांपासून सुरू होते. यामुळे बेंचमार्क लोक प्रत्यक्षात ज्याची जबाबदारी देतात त्या कामांच्या जवळ राहतो: खुले-शेवटचे शोधकार्य, पुनरावृत्तीने समृद्धीकरण, विविध स्रोतांतील तपासण्या, आणि व्यावसायिक प्रमाणावर संरचित तुलना. एक अर्धस्वयंचलित पाइपलाइन त्या नमुन्यांना कार्यांमध्ये रूपांतरित करते, आणि मानवाच्या प्रयत्नांना सर्वसमावेशक उत्तर-अनोटेशनऐवजी गुणवत्ता नियंत्रणासाठी राखून ठेवते.

पाइपलाइनचे चार टप्पे आहेत. सीडिंग पुनर्वापर करण्यायोग्य वाइड-संशोधन पॅटर्नसाठी डी-आयडेंटिफाय केलेल्या उत्पादन विनंत्या मायन करते. ऑथरिंग एक इंटरलीव्ह्ड ऑथर-क्रिटिक लूप चालवते: एजंट डिझाइनचे रेखाटन करतात आणि ताण-चाचणी करतात, कार्य तपशील आणि जज लिहितात, फिक्स्चर रेकॉर्ड तयार करतात आणि सर्व काही संरेखित ठेवण्यासाठी मेकॅनिकल लिइंटर वापरतात. अ‍ॅडमिशन १०-१२ ऑथरिंग रोलआउट विलीन करून लक्ष्य व्हॉल्यूम पोहोचण्यायोग्य आहे का ते तपासते, कार्य-विशिष्ट जजचे ऑडिट करते आणि पर्यायीपणे मानवी स्वाक्षरी जोडते. क्युरेशन प्रवेश दिलेल्या कार्यांना लेबल्स करतो आणि विषय, प्रमाण, टोपोलॉजी आणि अडचण यावर एक संतुलित अंतिम संच निवडतो.

विस्तृत करा

मध्यक कार्यास ५० सदस्य, प्रत्येक सदस्यासाठी चार रेकॉर्ड आणि एकूण २४५ रेकॉर्ड आवश्यक आहेत. एकत्रितपणे, ५०० कार्यांसाठी १७०,४९५ स्रोत-समर्थित रेकॉर्ड आवश्यक आहेत. आम्ही ऐतिहासिक डिझाइन-टप्पा रोलआउट्सवरून अडचण कॅलिब्रेट करतो, नंतर रँकनुसार कार्यांचे १६७ कमी-, १६६ मध्यम- आणि १६७ उच्च-अडचण उदाहरणांमध्ये विभाजन करतो. खालील प्लॉट दर्शवतो की अडचण केवळ प्रमाणाद्वारे ठरवली जात नाही; हे प्रत्येक रेकॉर्डसाठी आवश्यक कामावर देखील अवलंबून असते.

विस्तृत करा

संदर्भ-मुक्त, पुरावा-सत्यापित ग्रेडिंग

निश्चित उत्तर की ओपन-एंडेड संशोधनासाठी योग्य फिट नाही. हे तयार करणे महाग आहे, लवकरच जुने होते आणि ज्यांची उत्तरे कालांतराने बदलतात अशा प्रश्नांचे खराब प्रतिनिधित्व करते. WANDR त्याऐवजी एजंट उद्धृत केलेल्या पुराव्याविरुद्ध प्रत्येक सबमिट केलेल्या दाव्याची ग्रेड करते.

प्रत्येक रेकॉर्डमध्ये एक आयटम, एक URL, निवडलेले अर्क आणि उत्तर असते. ग्रेडर पृष्ठ पुन्हा फेच करतो आणि ते वापरण्यायोग्य आहे की नाही, दावा स्पष्ट आणि व्याख्येत आहे की नाही, अर्क पृष्ठावर विश्वासूपणे दिसतात की नाही आणि पृष्ठ आणि अर्क दोन्ही प्रत्येक आवश्यकतांचे समर्थन करतात की नाही हे तपासतो.

हे द्वैधी record verdicts श्रेणीक्रमातून वर एकत्रित केले जातात. Precision प्रणालीने सादर केलेल्या गोष्टींची गुणवत्ता मोजते. Recall विनंती केलेल्या प्रमाणाशी तुलना करून गुणवत्ता-समायोजित पूर्णता मोजते, आणि कोणतीही कमतरता शून्यांनी भरते. F1 या दोन्हींमध्ये संतुलन राखते. Soft scores अपूर्ण सदस्यांना अंशतः क्रेडिट देतात; hard scores फक्त त्या सदस्यांना मोजतात ज्यांचे पूर्ण आवश्यक subtree बरोबर आहे. निदानासाठी, WANDR एक retrieval-only verdict देखील नोंदवते, जे कठोर validity आणि सादर केलेल्या excerpts तपासण्यांपूर्वी fetched page कार्यास पूरक ठरतो का हे विचारते.

यामुळे अपयश अर्थ लावणारे आणि स्थानिकीकरण करण्यायोग्य बनतात. कमी रिकॉलसह उच्च प्रिसिजनचा सामान्यत: अर्थ होतो की सिस्टीमला काही चांगले सदस्य सापडले परंतु त्यातील पुरेसे सापडले नाहीत. मोठ्या सॉफ्ट-टू-हार्ड थेंबाचा अर्थ असा आहे की त्याने आंशिक प्रगती केली परंतु पूर्ण क्रेडिटसाठी आवश्यक प्रत्येक शाखा क्वचितच पूर्ण केली. स्कोअर ट्री शोध, संवर्धन, ओळख हाताळणी, पृष्ठ पात्रता किंवा पुरावा काढण्यावर नुकसान स्थानिकीकृत करू शकते.

विस्तृत करा

आम्हाला काय आढळले

आम्ही सहा उत्पादन प्रणालींची तुलना केली: होस्ट केलेल्या कार्य आणि शोध API, सामान्य वेब-एजंट API, सखोल संशोधन उत्पादन आणि हमारी प्रोग्रामेटिक शोध-ऑर्केस्ट्रेशन सिस्टम, Search as Code (SaC). प्रत्येकाचे पिन केलेल्या कॉन्फिगरेशन अंतर्गत सर्व ५०० कार्यांवर वेळापत्रक केले गेले, नंतर समान फेच, जज, ओळख-निराकरण आणि स्कोअरिंग पाइपलाइनमधून गेले.

Perplexity Search as Code 0.363 सॉफ्ट F1 आणि 0.133 हार्ड F1 वर आघाडीवर आहे. अ‍ंथ्रोपिक ०.२४९ आणि ०.०७२ सह दुसऱ्या स्थानावर आहे; इतर प्रत्येक सिस्टीम ०.१२१ सॉफ्ट F1 आणि ०.०३५ हार्ड F1 वर शीर्षस्थानी आहे. कोणतीही सिस्टीम गुणवत्ता आणि कार्यक्षमता दोन्हीवर वर्चस्व गाजवत नाही. प्रति कार्य ५.२० डॉलर दराने Perplexity खर्चाच्या श्रेणीच्या मध्यभागी बसते, १४.९ मिनिटांची मध्यक सोल्व्ह वेळ आणि प्रति कार्य ३.८२ दशलक्ष नोंदवलेले टोकन आहेत. OpenAI आणि Exa वेगवान आणि स्वस्त आहेत परंतु खूप कमी गुण मिळवतात. गुणवत्तेवर Anthropic सर्वात जवळ आहे, परंतु लक्षणीयरीत्या अधिक वेळ, पैसा आणि टोकन वापरते.

विस्तृत करा

विस्तृत करा

आम्ही समान ४५-कार्य उपसंचावर प्रत्येक उपलब्ध प्रयत्न सेटिंगचे देखील मूल्यमापन केले. अधिक प्रयत्नांमुळे प्रत्येक टप्प्यावर Perplexity, Gemini आणि Exa सुधारतात; xhigh वर Perplexity ०.४४७ सॉफ्ट F1 आणि ०.२२४ हार्ड F1 पर्यंत पोहोचते. तथापि, उच्च प्रयत्न सर्वत्र चांगले नाही: OpenAI high वर शीर्षस्थानी पोहोचते आणि ultra2x आणि ultra4x दरम्यान Parallel चा हार्ड F1 थोडा घसरतो. Exa low साठी प्रति कार्य $०.०३ पासून Gemini max साठी $३२४.८३ पर्यंत खर्च चार आदेशांपेक्षा जास्त पसरतो.

विस्तृत करा

विस्तृत करा

चार निष्कर्ष समोर येतात.

आंशिक प्रगती सामान्य आहे; संपूर्ण कव्हरेज नाही. सॉफ्ट रिकॉल प्रत्येक सिस्टीमसाठी सॉफ्ट प्रिसिजनपेक्षा कमी आहे, ज्याचा अर्थ असा आहे की संपूर्ण विनंती केलेले व्हॉल्यूम भाजकात प्रवेश केल्यावर कामगिरी कमी होते. Perplexity ०.३८९ प्रिसिजनवरून ०.३५७ रिकॉल राखते, जे सर्वात लहान अंतर आहे; Anthropic ०.३५४ वरून ०.२२२ पर्यंत घसरते. सॉफ्ट-टू-हार्ड रूपांतरण आणखी कठीण आहे. Perplexity ०.३६३ सॉफ्ट F1 वरून ०.१३३ हार्ड F1 पर्यंत खाली येते आणि Anthropic ०.२४९ वरून ०.०७२ पर्यंत खाली येते. सर्वोत्तम हार्ड प्रिसिजन ०.१५० आहे आणि सर्वोत्तम हार्ड रिकॉल ०.१३४ आहे: नेता देखील सबमिट केलेल्या सुमारे सात सदस्यांपैकी एकासाठी आणि कार्याद्वारे विचारलेल्या सात सदस्यांपैकी एकासाठी पूर्ण क्रेडिट कमावतो.

प्रमाण समस्या वाढवते. सर्वात लहान ते सर्वात मोठ्या लक्ष्य-व्हॉल्यूम बिनपर्यंत, Perplexity ची हार्ड प्रिसिजन ०.२३५ वरून ०.०९६ पर्यंत घसरते आणि तिची हार्ड रिकॉल ०.२१९ वरून ०.०७९ पर्यंत घसरते. Anthropic ०.२०५ वरून ०.११३ पर्यंत आणि ०.१२७ वरून ०.०४२ पर्यंत घसरते; OpenAI ०.१०९ वरून ०.०३४ पर्यंत आणि ०.१०२ वरून ०.०१६ पर्यंत घसरते. रिकॉल सहसा प्रिसिजनपेक्षा वेगाने घसरते: विनंती केलेल्या संचाचा कमी आणि कमी भाग कव्हर करताना सिस्टीम संपूर्ण सदस्यांची लहान खिशी ठेवू शकते.

खोल हायरार्की आणखी कठीण असतात. कोणतीही मध्यवर्ती की नसण्यावरून तीन किंवा अधिकवर जाताना, Perplexity ची हार्ड प्रिसिजन ०.३९२ वरून ०.०१९ पर्यंत आणि हार्ड रिकॉल ०.३७८ वरून ०.०१७ पर्यंत घसरते; Anthropic ०.३११ वरून ०.०४९ पर्यंत आणि ०.२२९ वरून ०.०२२ पर्यंत घसरते; OpenAI ०.१३६ वरून ०.०१२ पर्यंत आणि ०.१२० वरून ०.०११ पर्यंत घसरते. प्रत्येक जोडलेली शाखा अशी जागा तयार करते जिथे एखादा सदस्य सर्व-किंवा-काहीही नसलेला हार्ड स्कोअर चुकवू शकतो. खर्च आणि लेटन्सी सामान्य एकात्मिक पॅटर्नचे अनुसरण करत नाहीत.

विस्तृत करा

गुणवत्तेचा न्याय करण्यापूर्वीही, शोध ही पहिली स्ट्रक्चरल बॉटलनेक आहे. केवळ कच्च्या, पूर्व-कोलाप्स मोजणीकडे पाहता, सरासरी शीर्ष-स्तरीय शोध पूर्णता ०.६११ ते ०.९५१ पर्यंत असते. सशर्त संवर्धन ०.७६७-०.९६७ वर मजबूत आहे आणि एक सदस्य आणि त्याचा संवर्धन मार्ग अस्तित्वात आल्यावर टर्मिनल पुरावा-स्लॉट पूर्णता ०.९७९-०.९९४ पर्यंत पोहोचते. Perplexity ०.९५१ वर शोध आणि ०.९६७ वर संवर्धनात आघाडीवर आहे, परंतु OpenAI ०.९९४ विरुद्ध ०.९९१ सह टर्मिनल पुरावा स्लोट्सवर थोडे जास्त आहे. ड्युप्लिकेट कोलाप्समुळे सहा पूर्ण रन्समध्ये मोजणीच्या नुकसानीच्या केवळ ०.०१७-०.२०५ टक्के पॉईंट्स असतात, त्यामुळे कमी-वितरण, ओळख विलीनीकरण नाही, मुख्य एकूण स्पष्टीकरण आहे. अंतिम URL जोडण्यापूर्वी सर्वात मोठी कच्ची स्ट्रक्चरल हानी होते.

विस्तृत करा

वापरण्यायोग्य पृष्ठ शोधणे सामान्यत: सोपे असते; संपूर्ण पुरावा शोधणे कठीण असते. पाच प्रणालींसाठी, सबमिट केलेल्या पृष्ठांपैकी केवळ ३.२%-८.९% वापरण्यायोग्य नसतात; OpenAI २३.१% आउटलायर आहे. अवैध किंवा चुकीच्या-प्रकाराचे रेकॉर्ड देखील ४.२%-१७.४% वर तुलनेने दुर्मिळ आहेत. प्रभावी तोटे पुढे येतात: सबमिट केलेल्या पृष्ठांपैकी ३३.६%-६८.३% कमीत कमी एक महत्त्वपूर्ण कार्य आवश्यकता पूर्ण करण्यात अपयशी ठरतात आणि सबमिट केलेल्या अर्कांपैकी ५७.५%-८६.६% रेकॉर्ड दावा करत असलेल्या प्रत्येक गोष्टीचे समर्थन करण्यात अपयशी ठरतात. Perplexity चे दर ४१.४% आणि ५७.५% आहेत. केवळ-पुनर्प्राप्ती तपासणी अंतर्गत तिचा सॉफ्ट F1 ०.५३१ वरून घसरतो, जी केवळ पृष्ठ प्रत्येक महत्त्वपूर्ण आवश्यकता पूर्ण करते की नाही हे विचारते, पूर्ण वर्डिक्ट अंतर्गत ०.३६३ पर्यंत, ज्याला सार्वत्रिक तपासणी, कार्य-विशिष्ट वैधता आणि संपूर्ण अर्क समर्थनाची देखील आवश्यकता असते. हार्ड F1 देखील ०.२४५ वरून ०.१३३ पर्यंत घसरतो. कठीण भाग केवळ प्रशंसनीय पृष्ठापर्यंत पोहोचणे नाही; ते पृष्ठ संपूर्ण दाव्यासाठी पुरेसा पुरावा बनवणे आहे.

विस्तृत करा

Search as Code या कार्य आकाराशी चांगले जुळते. एखादे मॉडेल प्रोग्राम म्हणून पुनर्प्राप्ती, फिल्टरिंग, फॅन-आउट, रेंडरिंग, जोइन्स, ड्युप्लिकेशन आणि थांबण्याची लॉजिक व्यक्त करू शकते, तर निर्धारित संगणन मॉडेल संदर्भाबाहेर वारंवार होणाऱ्या ऑपरेशन्स हाताळते. ते प्रोफाईल Perplexity च्या मजबूत रुंदी धारणा आणि अर्क बांधणीशी सुसंगत आहे, जरी ते प्रत्येक स्तरावर नेतृत्व करत नाही: Anthropic कडे सर्वात कमी पृष्ठ-आवश्यकता अपयश दर आहे.

पुढे काय आहे

WANDR एका एकल लीडरबोर्ड स्कोअरपेक्षा अधिक प्रदान करते. त्याची सामान्य कार्य रचना आणि अर्ध-स्वयंचलित पाइपलाइन विविध, उच्च-व्हॉल्यूम कार्य पिढीला समर्थन देतात, तर प्रति-रेकॉर्ड वर्डिक्ट्स आणि हायरार्की-स्तरीय स्कोअर रन कुठे अपयशी ठरते हे दर्शवतात: शोध, संवर्धन, ओळख हाताळणी, सिमेंटिक पात्रता किंवा पुरावा बांधणी. रिलीज केलेली कार्ये, व्हायरीफायर आणि स्ट्रक्चरल निदान सर्वसमावेशक शोध प्रणाली सुधारण्यासाठी आणि त्या वाढ प्रमाणावर टिकून आहेत की नाही याची चाचणी घेण्यासाठी आधार प्रदान करतात.

समान रचना WANDR ला रीइंफोर्समेंट लर्निंगसाठी देखील उपयुक्त बनवू शकते. एकाच विरल टर्मिनल बक्षीसावर अवलंबून राहण्याऐवजी, ट्रेनर रेकॉर्ड- आणि शाखा-स्तरीय निर्णय वापरू शकतो, शोध आणि संवर्धन प्रगतीसाठी आंशिक क्रेडिट नियुक्त करू शकतो आणि कालांतराने आवश्यक मोजणी वाढवून अभ्यासक्रम तयार करू शकतो. पाइपलाइन सोनेरी उत्तरे सूचीबद्ध न करता डोमेन, हायरार्की आकार, पुरावा नियम आणि रुंदी-खोली सेटिंग्जमध्ये धरून ठेवलेले भावंड कार्य तयार करू शकते. यामुळे एजंटना केवळ योग्य तथ्ये शोधण्यासाठीच नव्हे, तर कव्हरेजसाठी योजना आखण्यासाठी, गहाळ शाखा शोधण्यासाठी आणि थांबण्यापूर्वी पुनर्प्राप्त करण्यासाठी प्रशिक्षित करण्याचा मार्ग तयार होतो.

बेंचमार्क कार्ये, मूल्यमापन हार्नेस आणि संपूर्ण तांत्रिक अहवाल GitHub वर उपलब्ध आहेत.

उद्धरण

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}