Q2D-Web: बड़े पैमाने पर फर्स्ट-स्टेज रिट्रीवर का मूल्यांकन

70 हज़ार एजेंट क्वेरी, 190 मिलियन वेब दस्तावेज़, और प्रासंगिकता निर्णयों के तीन सेट वाला एक बेंचमार्क और लीडरबोर्ड।

लेखकPerplexity Research

आज, हम एजेंटिक RAG सिस्टम में रिट्रीवल का मूल्यांकन करने के लिए एक निजी बेंचमार्क और सार्वजनिक लीडरबोर्ड, Q2D-Web (Query2Doc-Web) पेश कर रहे हैं। Q2D-Web हमारे मूल Q2D बेंचमार्क को बड़े पैमाने पर कॉर्पस, एक बड़ी क्वेरी सेट और गहरे निर्णय एनोटेशन तक विस्तारित करता है।

Q2D-Web को बड़े पैमाने पर वेब सर्च पर एम्बेडिंग मॉडल का मूल्यांकन करने के लिए बनाया गया है। इसमें नौ महीने के PII-मुक्त प्रोडक्शन सर्च ट्रैफ़िक पर सैंपल किए गए दस भाषाओं में 190 मिलियन वेब दस्तावेज़ और 69,721 एजेंट-सुधारे गए क्वेरी शामिल हैं।

इस पैमाने पर, क्वेरी-दस्तावेज़ स्तर पर प्रासंगिकता सिग्नल अनिवार्य रूप से कम (विरल) होता है। किसी एक स्रोत को ग्राउंड ट्रूथ मानने के बजाय, हम एजेंट उद्धरणों, प्रोडक्शन वेब रैंकिंग, और पहले से अनियंत्रित जोड़ों के लिए अतिरिक्त LLM निर्णयों से प्राप्त तीन प्रासंगिकता-निर्णय सेट प्रदान करते हैं। एकाधिक स्रोत किसी भी एकल लेबलिंग पाइपलाइन से पूर्वाग्रह को सीमित करते हैं, जबकि गहरी एनोटेशन झूठी नेगेटिव (फॉल्स नेगेटिव) को कम करती है।

हमारा लीडरबोर्ड सार्वजनिक रूप से जारी किए गए रिट्रीवल मॉडल के परिणामों की रिपोर्ट करता है, जिनका मूल्यांकन एक सुसंगत इंडेक्सिंग, रिट्रीवल और स्कोरिंग पाइपलाइन का उपयोग करके सीधे बेंचमार्क के मुकाबले किया जाता है। मूल्यांकन हमारे अनुरोध फ़ॉर्म के माध्यम से सबमिट किया जा सकता है।

यथार्थवादी रिट्रीवल मूल्यांकन की चुनौती

प्रत्येक क्वेरी के लिए, एक प्रोडक्शन-स्केल रिट्रीवल सिस्टम अरबों वेब पेजों के कॉर्पस में खोज करता है और हज़ारों उम्मीदवार दस्तावेज़ लौटाता है। ये उम्मीदवार यह निर्धारित करते हैं कि डाउनस्ट्रीम सिस्टम कौन से स्रोतों को देख सकते हैं, जो सीधे एजेंट के लिए उपलब्ध साक्ष्य को आकार देते हैं।

इसलिए इस पहले चरण के यथार्थवादी मूल्यांकन के लिए ऐसे बेंचमार्क की आवश्यकता होती है जो तीन आयामों पर स्केल करते हैं: कॉर्पस में दस्तावेज़ों की संख्या, आंकी गई क्वेरी की संख्या, और प्रति क्वेरी प्रासंगिकता निर्णयों की संख्या।

बड़े कॉर्पस कठिन नकारात्मक (हार्ड नेगेटिव) पेश करके बेंचमार्क को अधिक विभेदक बना सकते हैं- ऐसे दस्तावेज़ जो किसी क्वेरी के सिमेंटिक रूप से समान होते हैं लेकिन अनुरोधित जानकारी प्रदान नहीं करते हैं। रिट्रीवर को इन प्रशंसनीय मिलानों को प्रासंगिक दस्तावेज़ों से अलग करना होगा। ज्ञात प्रासंगिक दस्तावेज़ों को बनाए रखते हुए कॉर्पस को सिकोड़ने से ये डिस्ट्रेक्टर हट सकते हैं और रिकॉल बढ़ सकता है, जैसा कि नीचे दिए गए हमारे सबसैंपलिंग प्रयोग दिखाते हैं।

अधिक आंकी गई क्वेरी प्रदर्शन अनुमानों को अधिक विश्वसनीय बनाती हैं। एक छोटे क्वेरी सेट के साथ, बेंचमार्क परिणाम इस बात पर बहुत अधिक निर्भर करते हैं कि कौन सी क्वेरी सैंपल की गई थी, जिससे प्रत्येक मॉडल के प्रदर्शन का सटीक अनुमान लगाना और मॉडल के बीच आत्मविश्वास से अंतर करना कठिन हो जाता है।

गहरे निर्णय मूल्यांकन में झूठे नेगेटिव (फॉल्स नेगेटिव) को कम करते हैं। विरल लेबल के साथ, एक रिट्रीवर प्रासंगिक दस्तावेज़ों को सामने ला सकता है जिनका मूल्यांकन नहीं किया गया है और इसलिए उन्हें गलत तरीके से गैर-प्रासंगिक के रूप में गिना जाता है। इससे मूल्यांकन कम विश्वसनीय हो जाता है। MS MARCO सूचना पुनर्प्राप्ति में मुख्य बड़े पैमाने पर खुला डेटाबेस है और इसने तंत्रिका पुनर्प्राप्ति (न्यूरल रिट्रीवल) मॉडल के विकास को आकार दिया। वहाँ, मैन्युअल रूप से निरीक्षण किए गए शीर्ष-पुनर्प्राप्त लेकिन बिना लेबल वाले अंशों में से 70% वास्तव में प्रासंगिक थे।

मौजूदा बेंचमार्क इन आयामों में से केवल एक या दो में स्केल करते हैं: वेब-स्केल कलेक्शन में अक्सर अपेक्षाकृत कम आंकी गई क्वेरी होती हैं, जबकि कई क्वेरी वाले बेंचमार्क आम तौर पर बहुत छोटे कॉर्पस और विरल (स्पार्स) लेबल का उपयोग करते हैं। इसके अलावा, अधिकांश बेंचमार्क मानव-लिखित क्वेरी का उपयोग करते हैं, जबकि एजेंटिक RAG सिस्टम एजेंट-सुधारे गए क्वेरी के साथ खोज करते हैं जो शब्दावली, संरचना और विशिष्टता में भिन्न हो सकते हैं।

Q2D-Web सभी तीन आयामों में स्केल करता है। इसमें 190 मिलियन वेब दस्तावेज़, 69,721 एजेंट-सुधारे गए क्वेरी, और इसके संयुक्त निर्णय सेट में प्रति क्वेरी औसतन 99.6 सकारात्मक प्रासंगिकता निर्णय शामिल हैं। सबसे करीबी सार्वजनिक तुलना MS MARCO Web Search है, जो MS MARCO का वेब-स्केल संस्करण है। इसमें 100.9 मिलियन दस्तावेज़, 9,374 परीक्षण क्वेरी, और प्रति क्वेरी एक क्लिक-व्युत्पन्न सकारात्मक लेबल है।

हमने Q2D-Web कैसे बनाया

Q2D-Web निर्माण: गोपनीयता-फ़िल्टर की गई क्वेरी सैंपलिंग, कॉर्पस असेंबली और डीडुप्लीकेशन, प्रासंगिकता लेबलिंग, और सबकॉर्पस सैंपलिंग।

क्वेरी

Q2D-Web को नौ महीने की अवधि में एकत्र की गई दस भाषाओं और दर्जनों डोमेन में 23,000 PII-मुक्त प्रोडक्शन सर्च के आधार पर बनाया गया है।

एक सर्च में वे सभी वेब सर्च टूल कॉल शामिल होते हैं जो कोई एजेंट किसी उपयोगकर्ता के संदेश के जवाब में करता है। प्रत्येक टूल कॉल में एक या एक से अधिक क्वेरी होती हैं। प्रत्येक क्वेरी को उपयोगकर्ता के अनुरोध, पिछली बातचीत और, जहाँ लागू हो, उसी सर्च में पहले प्राप्त किए गए दस्तावेज़ों के आधार पर दोबारा तैयार (रीफॉर्म्युलेट) किया जाता है। प्रत्येक प्रोडक्शन सर्च में एक प्राथमिक क्वेरी होती है, जो उपयोगकर्ता की सूचना की ज़रूरत को दोहराती है, और शून्य या अधिक सहायता प्रदान करने वाली क्वेरी होती हैं, जो वैकल्पिक रूप से शब्दों को अलग तरह से पेश करने, पृष्ठभूमि की जानकारी या संबंधित संस्थाओं की खोज करती हैं। हालाँकि वे एक ही व्यापक अनुरोध को संबोधित करती हैं, लेकिन उनके लिए अलग-अलग दस्तावेज़ों की आवश्यकता हो सकती है, इसलिए Q2D-Web प्रत्येक क्वेरी का मूल्यांकन स्वतंत्र रूप से अपने स्वयं के प्रासंगिकता निर्णयों के साथ करता है।

Q2D-Web की 69,721 क्वेरीज़ की लंबाई और भाषा का वितरण। लंबाई वर्णों में मापी जाती है; बार प्रत्येक श्रेणी में क्वेरीज़ का अंश दर्शाते हैं।
विषय डोमेन में Q2D-Web क्वेरीज़ का वितरण। बार क्वेरी सेट का प्रत्येक डोमेन का हिस्सा दिखाते हैं; "अन्य" पंद्रह अतिरिक्त डोमेन को समूहित करता है।


हम सभी शामिल क्वेरी के लिए कड़े गोपनीयता फ़िल्टर लागू करते हैं। क्वेरी उन उपयोगकर्ताओं से आनी चाहिए जिन्होंने अपने डेटा का उपयोग करने की अनुमति दी है, और perplexity-ai/pplx-pii-masking का उपयोग करके PII पहचान व्यक्तिगत जानकारी वाली क्वेरी को बाहर करती है। हम सटीक डुप्लिकेट, बहुत छोटी क्वेरी, और site: जैसे सर्च ऑपरेटर या उद्धृत वाक्यांशों वाली क्वेरी को भी हटा देते हैं।

यह बेंचमार्क दस भाषाओं को कवर करता है। अंग्रेजी में 65.8% क्वेरी हैं, इसके बाद स्पेनिश, रूसी, जर्मन, फ्रेंच, पुर्तगाली, इतालवी, कोरियाई, जापानी और चीनी हैं। क्वेरी वितरण में उपभोक्ता वस्तुओं, प्रोग्रामिंग, कानून, स्वास्थ्य, व्यवसाय, विज्ञान, शिक्षा, प्रौद्योगिकी, वित्त, यात्रा, मनोरंजन, राजनीति, स्थानीय जानकारी और समाचार सहित डोमेन का एक विस्तृत मिश्रण भी शामिल है।

कॉर्पस

प्रत्येक क्वेरी के लिए, हम एक प्रोडक्शन रिट्रीवल सिस्टम के साथ शीर्ष 5,000 दस्तावेज़ पुनर्प्राप्त करते हैं और इन परिणाम सेटों का संघ लेते हैं। फिर हम MinHash–LSH का उपयोग करके कॉर्पस को डीडुप्लीकेट करते हैं, ऐसे दस्तावेज़ों को क्लस्टर करते हैं जिनके टोकन 5-ग्राम सेट में कम से कम 0.975 की जैकार्ड समानता होती है।

यह कलेक्शन जानबूझकर कोई यादृच्छिक (रैंडम) वेब सैंपल नहीं है। प्रत्येक दस्तावेज़ को कम से कम एक बेंचमार्क क्वेरी के लिए एक प्रशंसनीय परिणाम माना गया था। इससे कठिन डिस्ट्रेक्टर का एक सघन सेट बनता है: ऐसे पेज जो किसी क्वेरी के विषय या भाषा से मेल खाते हैं लेकिन किसी आवश्यक दिनांक, इकाई, संस्करण, मात्रा या पहलू को छोड़ सकते हैं।

लगभग 19-करोड़ दस्तावेज़ कॉर्पस में दस्तावेज़ की लंबाई और भाषा का वितरण। लंबाई वर्णों में मापी जाती है; बार प्रत्येक श्रेणी में दस्तावेज़ों का अंश दर्शाते हैं।

निर्णय

बड़े पैमाने पर प्रासंगिकता लेबल प्रकृति से अधूरे होते हैं। प्रत्येक संभावित क्वेरी-दस्तावेज़ जोड़े को लेबल करना अव्यवहारिक है, और निर्णयों का प्रत्येक स्रोत एक अलग पूर्वाग्रह रखता है।

Q2D-Web किसी एक स्रोत को ग्राउंड ट्रूथ मानने के बजाय तीन प्रासंगिकता सेटों का उपयोग करता है, ताकि एक ही पूर्वाग्रह से पीड़ित हुए बिना एनोटेशन की गहराई को बढ़ाया जा सके।

Citation किसी दस्तावेज़ को तब प्रासंगिक के रूप में लेबल करता है जब कोई एजेंट किसी प्रतिक्रिया में इसका हवाला देता है। यह डाउनस्ट्रीम उपयोग के सबसे करीब का सिग्नल है: एजेंट ने दावे के लिए साक्ष्य के रूप में दस्तावेज़ का चयन किया। लेकिन उद्धरण निर्माण के हिसाब से उच्च सटीकता (प्रिसिजन) और कम रिकॉल है। एक बार जब एजेंट के पास पर्याप्त समर्थन हो जाता है, तो उसके पास हर दूसरे प्रासंगिक पृष्ठ का हवाला देने का बहुत कम कारण होता है।

Web Ranking में प्रति क्वेरी अधिकतम 50 दस्तावेज़ (औसत पर 43.1) शामिल हैं, जिनकी पहचान पहले चरण में BM25 और सघन पुनर्प्राप्ति (डेंस रिट्रीवल) का उपयोग करने वाले आंतरिक रिट्रीवल स्टैक द्वारा की जाती है, जिसके बाद क्रॉस-एनकोडर रीरैंकिंग होती है। यह ऐसे दस्तावेज़ों को कैप्चर करता है जो उपयोगी हैं लेकिन उद्धृत नहीं हैं।

Combined + LLM-Judged उद्धरण और वेब रैंकिंग के संघ को लेता है, फिर झूठे नेगेटिव (फॉल्स नेगेटिव) की संख्या को कम करने के लक्ष्य के साथ, पहले से अनियंत्रित उम्मीदवारों के लिए LLM निर्णय जोड़ता है। हम BM25, ColBERTv2, और 1 जनवरी, 2025 से पहले जारी किए गए सात सघन रिट्रीवर के परिणामों को पूल करते हैं, reciprocal rank fusion (RRF) का उपयोग करके उनकी रैंकिंग को मर्ज करते हैं, शीर्ष 500 अनियंत्रित दस्तावेज़ों का चयन करते हैं, और DeepSeek-V4-Flash का उपयोग करके एक सख्त बाइनरी प्रासंगिकता जज लागू करते हैं।

ये तीन सेट हमें यह पूछने की अनुमति देते हैं कि क्या मॉडल का प्रदर्शन इस बात पर निर्भर करता है कि प्रासंगिकता को कैसे परिभाषित किया जाता है। वे किसी एक लेबलिंग स्टैक पर निर्भरता को भी कम करते हैं, जो अन्यथा लेबल उत्पन्न करने के लिए उपयोग किए जाने वाले सिस्टम के समान रिट्रीवर के पक्ष में हो सकता है।

लॉग स्केल पर प्रति क्वेरी प्रासंगिक दस्तावेज़ों का वितरण। संयुक्त लेबल में उद्धरण, वेब रैंकिंग और अतिरिक्त LLM निर्णय शामिल हैं।

सबसैंपलिंग: बड़े पैमाने पर कुशल मूल्यांकन

पूर्ण-कॉर्पस मूल्यांकन महंगा और धीमा है। pplx-embed-v1-4b के साथ Q2D-Web पर एक अकेले मूल्यांकन के लिए 4,608 H200 GPU-घंटों की आवश्यकता होती है, जबकि EmbeddingGemma-300M जैसे छोटे मॉडल को भी लगभग 200 H200 GPU-घंटों की आवश्यकता होती है।

मूल्यांकन को व्यावहारिक रखने के लिए, हम कॉर्पस का एक सबसैंपल किया हुआ संस्करण बनाते हैं।

हमने एक छोटे सबकॉर्पस का निर्माण करने के लिए नमूना रणनीतियों में एक व्यापक एब्लेशन चलाया जो पूर्ण-कॉर्पस व्यवहार को दर्शाता है। प्रत्येक रणनीति सकारात्मक रूप से मूल्यांकित सभी दस्तावेज़ों को बनाए रखती है और केवल इस बात में भिन्न होती है कि बिना मूल्यांकित डिस्ट्रेक्टर का चयन कैसे किया जाता है। मायने रखने वाले डिस्ट्रेक्टर वे हैं जिन्हें एक रिट्रीवर के किसी प्रासंगिक दस्तावेज़ से ऊपर रैंक करने की संभावना होती है, क्योंकि वे किसी मॉडल के स्कोर और रैंकिंग में उसकी स्थिति को बदलते हैं।

हमने एक समान यादृच्छिक नमूनाकरण (uniform random sampling), निर्माण पुनर्प्राप्तकर्-ताओं (construction retrievers) में एक निश्चित गहराई तक पूलिंग, और विभिन्न गहराइयों पर प्रति-क्वेरी RRF की तुलना की। RRF-आधारित नमूनाकरण पूर्ण कॉर्पस में केवल 31.7% दस्तावेजों का उपयोग करता है। यह संयुक्त निर्णय (Combined judgments) के तहत पूर्ण-कॉर्पस मॉडल रैंकिंग को संरक्षित करता है, जबकि निरपेक्ष स्कोर के करीब रहता है, और समान आकार पर यादृच्छिक नमूनाकरण के लिए 12.8 अंकों की तुलना में औसत Recall@1000 को 5.2 अंकों तक बढ़ाता है।

नमूनाकरण रणनीतियों के तहत संयुक्त निर्णय (Combined judgments) के अंतर्गत औसत Recall@1000 और पूर्ण-कॉर्पस मॉडल रैंकिंग के साथ सहमति। पारस्परिक रैंक फ्यूजन (RRF) यादृच्छिक नमूनाकरण की तुलना में कम रिकॉल वृद्धि के साथ, कॉर्पस के 31.7% का उपयोग करके मूल्यांकित मॉडलों की रैंकिंग को संरक्षित करता है।

यह मूल्यांकन लागत को पूर्ण-कॉर्पस लागत के लगभग एक तिहाई तक कम कर देता है। RRF-आधारित सबकॉर्पस का उपयोग करते हुए, pplx-embed-v1-4b को लगभग 1,500 H200 GPU-घंटों की आवश्यकता होती है और EmbeddingGemma-300M को 70 से कम की आवश्यकता होती है।

प्रत्येक सबमिशन का मूल्यांकन पहले सैंपल किए गए सबकॉर्पस संस्करण पर किया जाता है। कुल पैरामीटर काउंट के आधार पर सबमिशन को दो समूहों में विभाजित किया जाता है: 1B तक और 1B से ऊपर। सैंपल किए गए सबकॉर्पस पर अपने समूह के शीर्ष दस में पहुँचने वाले मॉडल का मूल्यांकन फिर पूर्ण कॉर्पस पर किया जाता है। अपने समूह में शीर्ष 10 से बाहर रैंक किए गए मॉडल केवल सैंपल किए गए सबकॉर्पस लीडरबोर्ड पर प्रकाशित किए जाएंगे।

मूल्यांकन परिणाम

मूल्यांकित मॉडल में, Q2D-Web अपने 3 अलग-अलग प्रासंगिकता सेटों में वेब पैमाने पर रिट्रीवल प्रदर्शन का एक सुसंगत दृश्य प्रदान करता है। लीडरबोर्ड इन पूरक दृश्यों को अगल-बगल उपलब्ध कराता है, जिससे उपयोगकर्ताओं को यह देखने की अनुमति मिलती है कि मॉडल संकीर्ण उद्धरण-आधारित लेबल और व्यापक प्रासंगिकता निर्णयों के तहत कैसा प्रदर्शन करते हैं।

हम अपने प्राथमिक मीट्रिक के रूप में Recall@1000 पर ध्यान केंद्रित करते हैं क्योंकि पहले चरण के रिट्रीवर को केवल प्रासंगिकता दस्तावेज़ों को उम्मीदवार पूल में रखने की आवश्यकता होती है, जबकि बाद की रीरैंकिंग उनके अंतिम क्रम निर्धारित करती है।

मॉडल परिवार द्वारा समूहीकृत तेरह रीट्रिवर के लिए संयुक्त Recall@1000 बनाम संयुक्त nDCG@10। दो मेट्रिक्स के बीच उच्चतम स्कोर वाला मॉडल भिन्न होता है।

सारणी 1. उद्धरण (Citation), वेब रैंकिंग (Web Ranking), और संयुक्त (Combined) प्रासंगिकता सेटों में तेरह पुनर्प्राप्तकर्ताओं के लिए पूर्ण-कॉर्पस Recall@1000 और nDCG@10। उच्च स्कोर बेहतर होते हैं।

Model

Recall@1000: Citation

Recall@1000: Web Ranking

Recall@1000: Combined

nDCG@10: Citation

nDCG@10: Web Ranking

nDCG@10: Combined

BM25-tantivy

60.84

42.50

45.25

7.30

11.45

29.27

EmbeddingGemma-300M

80.10

58.93

66.24

12.21

17.30

41.95

mDenseOn

73.72

52.56

60.09

10.08

15.06

38.87

Nemotron-3-Embed-1B

75.64

54.37

62.44

9.69

14.83

38.84

Nemotron-3-Embed-8B

83.14

61.73

69.33

13.17

18.69

45.65

pplx-embed-v1-0.6b

81.85

62.15

67.91

12.52

19.76

42.73

pplx-embed-v1-4b

85.03

65.73

70.00

14.18

21.29

44.12

Qwen3-Embedding-0.6B

71.19

51.82

58.68

8.53

14.11

36.19

Qwen3-Embedding-4B

76.49

55.60

62.78

9.91

14.97

38.82

Qwen3-Embedding-8B

79.26

58.34

65.32

10.75

16.27

41.20

voyage-4-nano

69.55

50.14

57.42

6.96

11.77

30.59

mLateOn

74.16

53.12

61.77

10.94

15.51

41.61

pplx-embed-v1-late-0.6b

78.64

58.14

64.20

11.88

17.25

41.77

सभी तीन निर्णय सेटों पर pplx-embed-v1-4b का Recall@1000 सबसे अधिक है: उद्धरण (Citation) (85.03), वेब रैंकिंग (Web Ranking) (65.73), और संयुक्त (Combined) (70.00)। संयुक्त Recall@100 और nDCG@10 पर, Nemotron-3-Embed-8B (30.32 और 45.65) pplx-embed-v1-4b (30.17 और 44.12) से ऊपर स्कोर करता है।

एक ही परिवार के भीतर, बड़े मॉडल संयुक्त Recall@1000 पर उच्च स्कोर करते हैं। Qwen3-Embedding 58.68 (0.6B) से बढ़कर 65.32 (8B) हो जाता है, Nemotron-3-Embed 62.44 (1B) से बढ़कर 69.33 (8B) हो जाता है, और pplx-embed-v1 67.91 (0.6B) से बढ़कर 70.00 (4B) हो जाता है।

Perplexity मॉडल का मूल्यांकन अन्य सभी सबमिट किए गए मॉडल की तरह ही पाइपलाइन का उपयोग करके किया जाता है। हालाँकि, चूँकि Q2D-Web, Perplexity के प्रोडक्शन ट्रैफ़िक से लिया गया है, इसलिए इन मॉडल को इन-डिस्ट्रिब्यूशन लाभ मिल सकता है। भले ही बेंचमार्क की मूल्यांकन क्वेरी और कॉर्पस को मॉडल प्रशिक्षण से बाहर रखा गया था, परिणामों की व्याख्या इस संभावित लाभ को ध्यान में रखकर की जानी चाहिए।

लीडरबोर्ड पर सबमिट कैसे करें

मूल्यांकन का अनुरोध करने के लिए, हमारे मूल्यांकन अनुरोध फ़ॉर्म के माध्यम से सार्वजनिक रूप से उपलब्ध Hugging Face मॉडल सबमिट करें।

हम मॉडल-विशिष्ट अनुमान (इन्फ्रेंस) सेटिंग्स के लिए सबमिट की गई रिपॉजिटरी में मॉडल कार्ड का पालन करते हैं, जिसमें अनुशंसित क्वेरी और दस्तावेज़ निर्देश या उपसर्ग, पूलिंग, सामान्यीकरण, और समानता फ़ंक्शन शामिल हैं। सभी क्वेरी और दस्तावेज़ों को निर्देशों, उपसर्गों और विशेष टोकन सहित मॉडल के अपने टोकनज़र के साथ 512 टोकन तक छोटा (ट्रंकेट) किया जाता है, इसलिए लंबी समर्थित संदर्भ से कोई लाभ नहीं मिलता है। कृपया सुनिश्चित करें कि मॉडल कार्ड इच्छित पुनर्प्राप्ति सेटअप को पुनरुत्पादित करने के लिए पूर्ण, स्पष्ट निर्देश प्रदान करता है।

पात्र मॉडल मानक transformers या sentence-transformers API के माध्यम से लोड होने चाहिए। जो मॉडल trust_remote_code=False के साथ नहीं चलते हैं, उनके मूल्यांकन से पहले कस्टम कोड और सबमिटर की मैन्युअल समीक्षा की आवश्यकता होती है, जिसमें काफी अधिक समय लगता है। निजी या गेटेड रिपॉजिटरी पात्र नहीं हैं।

कार्यप्रणाली और निष्कर्षों के बारे में अधिक जानने के लिए हमारी तकनीकी रिपोर्ट पढ़ें।

उद्धरण

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}