Q2D-Web: मोठ्या प्रमाणावर प्रथम-टप्प्यातील रिट्रीव्हर्सचे मूल्यांकन करणे

आज, आम्ही Q2D-Web (Query2Doc-Web) सादर करत आहोत, जी एजंट RAG प्रणालींमध्ये पुनर्प्राप्तीचे मूल्यांकन करण्यासाठी एक खाजगी बेंचमार्क आणि सार्वजनिक लिडरबोर्ड आहे. Q2D-Web आमच्या मूळ Q2D बेंचमार्कचा विस्तार मोठ्या प्रमाणावरील कॉर्पस, मोठ्या क्वेरी संच आणि सखोल निर्णय भाष्यांपर्यंत करतो.

Q2D-Web मोठ्या प्रमाणावरील वेब शोधामध्ये एम्बेडिंग मॉडेल्सचे मूल्यांकन करण्यासाठी तयार केले आहे. यात 190 दशलक्ष वेब दस्तऐवज आणि दहा भाषांमध्ये 69,721 एजंट-सुधारित क्वेरी आहेत, ज्या नऊ महिन्यांच्या PII-मुक्त उत्पादन शोध ट्रॅफिकमधून नमुने घेतल्या गेल्या आहेत.

या प्रमाणावर, क्वेरी-दस्तऐवज पातळीवरील संबंधिततेचा संकेत अनिवार्यपणे विरळ असतो. एकाच स्रोताला सत्याचा अंतिम निकष मानण्याऐवजी, आम्ही एजंटच्या संदर्भांमधून, उत्पादन वेब क्रमवारीतून, आणि पूर्वी न तपासलेल्या जोड्यांसाठी अतिरिक्त LLM मूल्यमापनांमधून व्युत्पन्न केलेले संबंधितता-निर्णयांचे तीन संच पुरवतो. अनेक स्रोत कोणत्याही एकाच लेबलिंग पाइपलाइनमधून येणारा पक्षपात मर्यादित करतात, तर सखोल अॅनोटेशनमुळे खोटे नकारात्मक कमी होतात.

आमचा लिडरबोर्ड सार्वजनिकपणे रिलीज केलेल्या पुनर्प्राप्ति मॉडेल्ससाठी निकाल अहवाल देतो, ज्यांचे सुसंगत अनुक्रमणिका, पुनर्प्राप्ति आणि स्कोअरिंग पाइपलाइन वापरून थेट बेंचमार्क विरुद्ध मूल्यांकन केले जाते. आमच्या विनंती फॉर्म द्वारे मूल्यांकन सबमिट केले जाऊ शकते.

वास्तववादी पुनर्प्राप्ति मूल्यांकनाचे आव्हान

प्रत्येक क्वेरीसाठी, उत्पादन-प्रमाणातील पुनर्प्राप्ति प्रणाली अब्जावधी वेब पृष्ठांच्या कॉर्पस शोधते आणि हजारो उमेदवार दस्तऐवज परत करते. हे उमेदवार ठरवतात की डाउनस्ट्रीम सिस्टम कोणते स्रोत पाहू शकतात, ज्यामुळे एजंटसाठी उपलब्ध पुरावे थेट आकार घेतात.

म्हणूनच या पहिल्या टप्प्याचे वास्तववादी मूल्यांकनासाठी अशा बेंचमार्कची आवश्यकता आहे जे तीन परिमाणांमध्ये मोजले जातात: कॉर्पस मधील कागदपत्रांची संख्या, न्याय केलेल्या क्वेरींची संख्या आणि प्रति क्वेरी सुसंगतता निर्णयांची संख्या.

मोठे कॉर्पस कठीण निगेटिव्ह—दस्तऐवज जे क्वेरीशी सिमेंटिकदृष्ट्या समान आहेत परंतु विनंती केलेली माहिती प्रदान करत नाहीत—परिचय करून बेंचमार्क अधिक भेदभाव करणारा बनवू शकतात. रिट्रीव्हर्सनी या प्रशंसनीय जुळण्यांना संबंधित कागदपत्रांपासून वेगळे केले पाहिजे. ज्ञात संबंधित दस्तऐवज राखून कॉर्पस संकुचित केल्याने हे डिस्ट्रेक्टर काढून टाकले जाऊ शकतात आणि रिकॉल वाढू शकतो, जसे की खालील आमच्या सबसॅम्पलिंग प्रयोग दर्शवतात.

अधिक न्याय केलेल्या क्वेरी कामगिरीचा अंदाज अधिक विश्वासार्ह बनवतात. लहान क्वेरी संचासह, बेंचमार्क परिणाम कोणत्या क्वेरी नमुन्यात घेतल्या गेल्या यावर जास्त अवलंबून असतात, ज्यामुळे प्रत्येक मॉडेलच्या कामगिरीचा अचूक अंदाज लावणे आणि मॉडेल्समध्ये आत्मविश्वासाने फरक करणे कठीण होते.

सखोल निर्णय मूल्यांकनातील चुकीचे नकारात्मक (फॉल्स निगेटिव्ह) कमी करतात. विररल लेबल्ससह, एक रिट्रीव्हर संबंधित कागदपत्रे समोर आणू शकतो ज्यांची नोंद नाही आणि म्हणूनच चुकीच्या पद्धतीने असंबंधित म्हणून मोजली जातात. यामुळे मूल्यांकन कमी विश्वासार्ह बनते. MS MARCO हा माहिती पुनर्प्राप्तीमधील मुख्य मोठ्या प्रमाणावरील खुला डेटासेट आहे आणि त्याने न्यूरल पुनर्प्राप्ति मॉडेल्सचा विकास आकार दिला आहे. तिथे, व्यक्तिचलितपणे तपासलेल्या शीर्ष-पुनर्प्राप्त पण लेबल नसलेल्या पॅसेजपैकी 70% प्रत्यक्षात संबंधित होते.

विद्यमान बेंचमार्क यापैकी केवळ एका किंवा दोन परिमाणांमध्ये वाढतात: वेब-प्रमाणातील संग्रहांमध्ये बऱ्याचदा तुलनेने कमी न्याय केलेल्या क्वेरी असतात, तर अनेक क्वेरी असलेल्या बेंचमार्क सामान्यतः खूप लहान कॉर्पस आणि विररल लेबल्स वापरतात. शिवाय, बहुतेक बेंचमार्क मानवाने लिहिलेल्या क्वेरी वापरतात, तर एजंट RAG सिस्टम्स एजंटने सुधारित केलेल्या क्वेरींसह शोधतात ज्या शब्दरचना, रचना आणि विशिष्टतेमध्ये भिन्न असू शकतात.

Q2D-Web तिन्ही परिमाणांमध्ये स्केल होते. यात 190 दशलक्ष वेब दस्तऐवज, 69,721 एजंट-सुधारित क्वेरी आणि त्याच्या एकत्रित निर्णय संचामध्ये प्रति क्वेरी सरासरी 99.6 सकारात्मक सुसंगतता निर्णय आहेत. सर्वात जवळची सार्वजनिक तुलना MS MARCO वेब सर्च आहे, जी MS MARCO ची वेब-स्केल आवृत्ती आहे. यात 100.9 दशलक्ष दस्तऐवज, 9,374 चाचणी क्वेरी आणि प्रति क्वेरी एक क्लिक-व्युत्पन्न सकारात्मक लेबल आहे.

आम्ही Q2D-Web कशी तयार केली

विस्तृत करा

क्वेरी

Q2D-Web हे नऊ महिन्यांच्या कालावधीत गोळा केलेल्या दहा भाषांमधील आणि डझनभर डोमेनमधील 23,000 PII-मुक्त उत्पादन शोधांवर आधारित आहे.

शोध म्हणजे युझरच्या संदेशाला प्रतिसाद म्हणून एजंटद्वारे केले जाणारे सर्व वेब शोध साधन कॉल होय. प्रत्येक साधन कॉलमध्ये एक किंवा अधिक क्वेरी असतात. प्रत्येक क्वेरी युझरची विनंती, आधीची संभाषणे आणि लागू असल्यास, त्याच शोधामध्ये पूर्वी पुनर्प्राप्त केलेले दस्तऐवज यावरून सुधारित केली जाते. प्रत्येक उत्पादन शोधामध्ये एक प्राथमिक क्वेरी असते, जी युझरची माहितीची गरज पुन्हा मांडते, आणि शून्य किंवा अधिक सहाय्यक क्वेरी असतात, ज्या पर्यायी शब्दरचना, पार्श्वभूमी माहिती किंवा संबंधित घटकांचा शोध घेतात. जरी त्या समान व्यापक विनंतीला संबोधित करत असतात, तरी त्यांना भिन्न कागदपत्रांची आवश्यकता असू शकते, त्यामुळे Q2D-Web प्रत्येक क्वेरीचे स्वतःच्या सुसंगततेच्या निर्णयांसह स्वतंत्रपणे मूल्यांकन करते.

विस्तृत करा

विस्तृत करा

आम्ही सर्व समाविष्ट क्वेरींसाठी कठोर गोपनीयता गाळणी लागू करतो. क्वेरी अशा युझरकडून आल्या पाहिजेत ज्यांनी त्यांच्या डेटाचा वापर करण्याची परवानगी दिली आहे, आणि perplexity-ai/pplx-pii-masking वापरून PII शोध वैयक्तिक माहिती असलेली क्वेरी वगळतो. आम्ही अचूक डुप्लिकेट, खूप लहान क्वेरी आणि site: किंवा उद्धृत वा ऱ्यसारखे शोध ऑपरेटर असलेली क्वेरी देखील काढून टाकतो.

बेंचमार्क दहा भाषांचा समावेश करतो. इंग्रजीचा हिस्सा 65.8% क्वेरी आहे, त्यानंतर स्पॅनिश, रशियन, जर्मन, फ्रेंच, पोर्तुगीज, इटालियन, कोरियन, जपानी आणि चायनीज आहेत. क्वेरी वितरणामध्ये ग्राहक वस्तू, प्रोग्रामिंग, कायदा, आरोग्य, व्यवसाय, विज्ञान, शिक्षण, तंत्रज्ञान, वित्त, प्रवास, मनोरंजन, राजकारण, स्थानिक माहिती आणि बातम्यांसह डोमेनचे विस्तृत मिश्रण देखील समाविष्ट आहे.

कॉर्पस

प्रत्येक क्वेरीसाठी, आम्ही उत्पादन पुनर्प्राप्ति प्रणालीसह शीर्ष 5,000 कागदपत्रे पुनर्प्राप्त करतो आणि या परिणाम संचांचे युनियन घेतो. त्यानंतर आम्ही MinHash–LSH वापरून कॉर्पस डीडुप्लिकेट करतो, ज्या कागदपत्रांचे टोकन 5-ग्राम संचांमध्ये किमान 0.975 जॅकार्ड समानता आहे अशा कागदपत्रांचे क्लस्टरिंग करतो.

हा संग्रह जाणूनबुजून यादृच्छिक वेब नमुना नाही. प्रत्येक दस्तऐवजाला किमान एका बेंचमार्क क्वेरीसाठी एक प्रशंसनीय परिणाम मानले गेले. यामुळे कठीण डिस्ट्रेक्टरचा दाट संच तयार होतो: अशी पृष्ठे जी क्वेरीच्या विषयाशी किंवा भाषेशी जुळतात परंतु आवश्यक तारीख, घटक, आवृत्ती, प्रमाण किंवा पैलू गमावू शकतात.

विस्तृत करा

निर्णय

मोठ्या प्रमाणावर सुसंगतता लेबले स्वभावाने अपूर्ण असतात. प्रत्येक शक्य क्वेरी-दस्तऐवज जोडीला लेबल करणे अशक्य आहे, आणि निर्णयांच्या प्रत्येक स्रोतामध्ये एक वेगळा पूर्वग्रह असतो.

Q2D-Web एका स्रोताला ग्राउंड ट्रुथ मानण्याऐवजी तीन सुसंगतता संच वापरते, जेणेकरून एकाच पूर्वग्रहाचा त्रास न घेता भाष्याची खोली वाढवता येईल.

सिटेशन जेव्हा एखादा एजंट प्रतिसादात दस्तऐवजाचा संदर्भ देतो तेव्हा त्याला संबंधित म्हणून लेबल करते. हा डाउनस्ट्रीम वापराशी सर्वात जवळचा सिग्नल आहे: एजंटने दाव्यासाठी पुरावा म्हणून दस्तऐवज निवडला. परंतु सिताशन हे रचनेनुसार उच्च अचूकता आणि कमी रिकॉल आहे. एकदा एजंटकडे पुरेसा आधार असला की, इतर प्रत्येक संबंधित पृष्ठाचा हवाला देण्याचे त्याच्याकडे थोडे कारण असते.

वेब रँकिंग मध्ये प्रति क्वेरी 50 दस्तऐवज (सरासरी 43.1) असतात, जे पहिल्या टप्प्यात BM25 आणि दाट पुनर्प्राप्ति वापरून अंतर्गत पुनर्प्राप्ति स्टॅकद्वारे ओळखले जातात, त्यानंतर क्रॉस-एनकोडर रिरँकिंग होते. हे अशी कागदपत्रे कॅप्चर करते जी उपयुक्त आहेत पण उद्धृत केलेली नाहीत.

संयुक्त + LLM-निर्णित हे सिताशन आणि वेब रँकिंगचे युनियन घेते, नंतर पूर्वी न ठरवलेल्या उमेदवारांसाठी LLM निर्णय जोडते, ज्याचा उद्देश चुकीचे नकारात्मक (फॉल्स निगेटिव्ह) कमी करणे हा आहे. आम्ही BM25, ColBERTv2, आणि 1 जानेवारी 2025 पूर्वी रिलीज झालेल्या सात दाट रिट्रीव्हर्सचे निकाल एकत्र करतो, reciprocal rank fusion (RRF) वापरून त्यांची रँकिंग विलीन करतो, शीर्ष 500 अनपेक्षित कागदपत्रे निवडतो आणि DeepSeek-V4-Flash वापरून कठोर बायनरी सुसंगतता न्यायाधीश लागू करतो.

हे तीन संच आम्हाला हे विचारण्यास परवानगी देतात की मॉडेलची कामगिरी सुसंगतता कशी परिभाषित केली जाते यावर अवलंबून असते का. ते एकाच लेबलिंग स्टॅकवरील अवलंबित्व देखील कमी करतात, ज्यामुळे लेबले तयार करण्यासाठी वापरल्या जाणाऱ्या सिस्टम सारख्याच रिट्रीव्हर्सची बाजू घेतली जाऊ शकली असती.

विस्तृत करा

सबसॅम्पलिंग: मोठ्या प्रमाणावर कार्यक्षम मूल्यांकन

पूर्ण-कॉर्पस मूल्यांकन महाग आणि संथ आहे. pplx-embed-v1-4b सह Q2D-Web वर एकच मूल्यांकन करण्यासाठी 4,608 H200 GPU-तास लागतात, तर EmbeddingGemma-300M सारख्या लहान मॉडेलला देखील जवळजवळ 200 H200 GPU-तास लागतात.

मूल्यांकन व्यावहारिक ठेवण्यासाठी, आम्ही कॉर्पसची सबसॅम्पल्ड आवृत्ती तयार करतो.

पूर्ण-कॉर्पस वर्तनाचे प्रतिबिंबित करणारे लहान उपकॉर्पस तयार करण्यासाठी आम्ही नमुन्यांच्या धोरणांवर व्यापक एब्लेशन चालवले. प्रत्येक धोरण सर्व सकारात्मक निर्णय घेतलेली कागदपत्रे राखून ठेवते आणि केवळ अनपेक्षित डिस्ट्रेक्टर कसे निवडले जातात यात भिन्न असते. महत्त्वाचे डिस्ट्रेक्टर ते आहेत ज्यांना रिट्रीव्हर संबंधित कागदपत्रांच्या वर स्थान देण्याची शक्यता असते, कारण ते मॉडेलचा स्कोअर आणि रँकिंगमधील त्याची स्थिती बदलतात.

आम्ही युनिफॉर्म रँडम सॅम्पलिंग, कन्स्ट्रक्शन रिट्रीव्हर्समध्ये ठराविक खोलीवर पूलिंग करणे आणि विविध खोलीवर प्रति-क्वेरी आर.आर.एफ. (RRF) यांची तुलना केली. आर.आर.एफ. आधारित सॅम्पलिंग संपूर्ण कॉर्पसमधील केवळ ३१.७% दस्तऐवज वापरते. हे संयुक्त निर्णयांतर्गत संपूर्ण कॉर्पस मॉडेल रँकिंग जतन करते, निरपेक्ष गुणांच्या जवळ राहून, समान आकारावरील रँडम सॅम्पलिंगसाठी १२.८ गुणांच्या तुलनेत सरासरी Recall@1000 ५.२ अंकांनी वाढवते.

विस्तृत करा

यामुळे मूल्यांकनाचा खर्च संपूर्ण कॉर्पस खर्चाच्या सुमारे एक तृतीयांश होतो. RRF-आधारित उपकॉर्पस वापरून, pplx-embed-v1-4b ला अंदाजे 1,500 H200 GPU-तास लागतात आणि EmbeddingGemma-300M ला 70 पेक्षा कमी लागतात.

प्रत्येक सबमिशनचे मूल्यांकन प्रथम नमुनेदार उपकॉर्पस आवृत्तीवर केले जाते. सबमिशन एकूण पॅरामीटर मोजणीनुसार दोन गटांमध्ये विभागले जातात: 1B पर्यंत आणि 1B च्या वर. नमुनेदार उपकॉर्पसवर आपल्या गटाच्या शीर्ष दहामध्ये पोहोचणाऱ्या मॉडेलचे नंतर संपूर्ण कॉर्पसवर मूल्यांकन केले जाते. त्यांच्या गटात शीर्ष 10 च्या बाहेर क्रमवारी लावलेली मॉडेल्स केवळ नमुनेदार उपकॉर्पस लिडरबोर्डवर प्रकाशित केली जातील.

मूल्यांकन परिणाम

मूल्यांकन केलेल्या मॉडेल्समध्ये, Q2D-Web त्याच्या 3 भिन्न सुसंगतता संचांवर वेब स्केलवर पुनर्प्राप्ति कामगिरीचा सुसंगत दृष्टिकोन प्रदान करतो. लिडरबोर्ड हे पूरक दृष्टिकोन बाजूला ठेवून उपलब्ध करून देतो, ज्यामुळे युझरना हे तपासता येते की मॉडेल्स अरुंद सिटेशन-आधारित लेबल्स आणि व्यापक सुसंगतता निर्णयांतर्गत कशी कामगिरी करतात.

आम्ही आमचा प्राथमिक मेट्रिक म्हणून Recall@1000 वर लक्ष केंद्रित करतो, कारण पहिल्या टप्प्यातील रिट्रीव्हरला फक्त संबंधित दस्तऐवज उमेदवार पूलमध्ये ठेवणे आवश्यक असते, तर त्यानंतरचे पुनःक्रमांकन त्यांचा अंतिम क्रम ठरवते.

विस्तृत करा

तक्ता १. उद्धरण, वेब रँकिंग आणि संयुक्त सुसंगतता संतांच्या तेरा रिट्रीव्हर्ससाठी संपूर्ण-कॉर्पस Recall@1000 आणि nDCG@10. उच्च गुण चांगले आहेत.

pplx-embed-v1-4b सर्व तीन निर्णय संचांमध्ये (Judgment Sets) सर्वोच्च Recall@1000 नोंदवते: उद्धरण (Citation) (85.03), वेब रँकिंग (Web Ranking) (65.73), आणि संयुक्त (Combined) (70.00). संयुक्त Recall@100 आणि nDCG@10 वर, Nemotron-3-Embed-8B (30.32 आणि 45.65) हे pplx-embed-v1-4b (30.17 आणि 44.12) पेक्षा वरच्या क्रमांकावर आहे.

एकाच फॅमिलीमध्ये, मोठे मॉडेल्स संयुक्त Recall@1000 वर उच्च गुण मिळवतात. Qwen3-Embedding ५८.६८ (0.6B) वरून ६५.३२ (8B) पर्यंत वाढतो, Nemotron-3-Embed ६२.४४ (1B) वरून ६९.३३ (8B) पर्यंत वाढतो, आणि pplx-embed-v1 ६७.९१ (0.6B) वरून ७०.०० (4B) पर्यंत वाढतो.

Perplexity मॉडेल्सचे मूल्यांकन इतर सर्व सबमिट केलेल्या मॉडेल्सप्रमाणेच पाइपलाइन वापरून केले जाते. तथापि, Q2D-Web हे Perplexity च्या उत्पादन ट्रॅफिकवरून व्युत्पन्न केले असल्याने, या मॉडेल्सना इन-वितरण फायद्याचा फायदा होऊ शकतो. जरी बेंचमार्कच्या मूल्यांकनाचे प्रश्न आणि कॉर्पस मॉडेल प्रशिक्षणातून वगळले गेले असले तरी, या संभाव्य फायद्याचा विचार करून निकालांचा अर्थ लावला पाहिजे.

लिडरबोर्डवर कसे सबमिट करावे

मूल्यांकनाची विनंती करण्यासाठी, आमच्या मूल्यांकन विनंती फॉर्म द्वारे सार्वजनिकपणे उपलब्ध Hugging Face मॉडेल सबमिट करा.

मॉडेल-विशिष्ट इन्फरन्स सेटिंग्जसाठी आम्ही सादर केलेल्या रेपॉझिटरीमधील मॉडेल कार्डचे पालन करतो, ज्यामध्ये शिफारस केलेल्या क्वेरी आणि दस्तऐवज सूचना किंवा उपसर्ग, पूलिंग, नॉर्मलायझेशन, आणि सादृश्यता फंक्शन यांचा समावेश आहे. सर्व क्वेरी आणि दस्तऐवज 512 टोकन्सपर्यंत मॉडेलच्या स्वतःच्या टोकनायझरने, सूचनांसह, उपसर्गांसह, आणि विशेष टोकन्ससह, ट्रंकेट केले जातात, त्यामुळे अधिक लांब समर्थित संदर्भामुळे कोणताही फायदा होत नाही. कृपया सुनिश्चित करा की मॉडेल कार्डमध्ये अपेक्षित रिट्रीव्हल सेटअप पुनरुत्पादित करण्यासाठी पूर्ण, निर्विवाद सूचना दिल्या आहेत.

पात्र मॉडेल्स मानक transformers किंवा sentence-transformers API द्वारे लोड होणे आवश्यक आहे. trust_remote_code=False सह न चालणाऱ्या मॉडेल्सना मूल्यांकनापूर्वी सानुकूल कोड आणि सबमिटरच्या मॅन्युअल पुनरावलोकनाची आवश्यकता असते, ज्यास considerably अधिक वेळ लागतो. खाजगी किंवा गॅटेड रिपॉझिटरीज पात्र नाहीत.

पद्धती आणि निष्कर्षांबद्दल अधिक जाणून घेण्यासाठी आमचा तांत्रिक अहवाल वाचा.

उद्धरण

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}