गोल्ड पैसेज से परे प्रासंगिक एम्बेडिंग

प्रासंगिक एम्बेडिंग पूरे दस्तावेज़ के संदर्भ में प्रत्येक पैसेज या चंक के अर्थ को कैप्चर करते हैं। उनके प्रशिक्षण और मूल्यांकन में आम तौर पर प्रति क्वेरी एक प्रासंगिक चंक माना जाता है, जिसे “गोल्ड पैसेज” के रूप में जाना जाता है। हालाँकि, अभ्यास में अक्सर गोल्ड पैसेज पर्याप्त नहीं होता है। इसमें उत्तर हो सकता है लेकिन इसे समझने या सत्यापित करने के लिए आवश्यक सहायक संदर्भ की कमी हो सकती है, जिससे यह अलगाव में अस्पष्ट हो जाता है।

हम pplx-embed-v2-context-9b-preview पेश कर रहे हैं, जो हमारा नया प्रासंगिक एम्बेडिंग मॉडल है। मॉडल को एक नए दृष्टिकोण के साथ प्रशिक्षित किया जाता है जो शिक्षक के रूप में Perplexity के संदर्भ संपीड़न मॉडल का उपयोग करता है। हम एम्बेडिंग मॉडल को एकल गोल्ड चंक के बजाय उत्तर चंक और सहायक संदर्भ दोनों को पुनर्प्राप्त करना सिखाते हुए, इसकी टोकन-स्तरीय भविष्यवाणियों को चंक-स्तरीय प्रासंगिकता स्कोर में एकत्र करते हैं। मॉडल बिना किसी अतिरिक्त अनुमान लागत के प्रति चंक एक एम्बेडिंग उत्पन्न करता है और 1024-आयामी और int8 एम्बेडिंग का समर्थन करता है।

यह context-bench पर अत्याधुनिक परिणाम प्राप्त करता है, जो संदर्भ-जागरूक पुनर्प्राप्ति के लिए एक नया बेंचमार्क है जिसे turbopuffer द्वारा बनाया और निजी तौर पर आयोजित किया गया है, और एक व्यापक रूप से उपयोग किए जाने वाले सार्वजनिक बेंचमार्क ConTEB पर। हमारे मॉडल को context-bench से स्वतंत्र रूप से विकसित किया गया था और एक ब्लाइंड सबमिशन के रूप में मूल्यांकन किया गया था।

Context-bench में 21 डोमेन में 38,894 लंबे दस्तावेज़ों पर 2,099 क्वेरी शामिल हैं और प्रासंगिक एम्बेडिंग की तीन क्षमताओं का मूल्यांकन करता है: लगभग-डुप्लिकेट दस्तावेज़ों के बीच दस्तावेज़ डिज़िम्बीगुएशन, गोल्ड चंक की पुनर्प्राप्ति जिनका अर्थ दूर के संदर्भ पर निर्भर करता है, और उत्तर को सत्यापित करने के लिए आवश्यक समर्थन साक्ष्य (supporting evidence) को याद करना।

मॉडल का पूर्वावलोकन Hugging Face पर सार्वजनिक रूप से उपलब्ध है। प्रशिक्षण संदूषण (contamination) के जोखिम को कम करने और प्रगति को मापने के लिए इसके मूल्य को संरक्षित करने के लिए बेंचमार्क को turbopuffer द्वारा निजी तौर पर रखा गया है। मूल्यांकन का अनुरोध करने के लिए, कृपया contextbench@turbopuffer.com पर turbopuffer से संपर्क करें।

Context-bench पर दस्तावेज़, उत्तर और साक्ष्य पुनर्प्राप्ति परिणाम — आकृति 1: Perplexity v2 पूर्वावलोकन 9B की तुलना Voyage Context 4, Voyage 4 Large, और Perplexity context v1 4B से करते हुए context-bench पर Answer@K, Document@K, Evidence Recall@K, और All-Evidence@10।

पुनर्प्राप्ति प्रणालियाँ आमतौर पर लंबे दस्तावेज़ों को छोटे चंक में विभाजित करती हैं जिन्हें स्वतंत्र रूप से अनुक्रमित और खोजा जा सकता है। अभ्यास में चंक करना सुविधाजनक है, लेकिन यह उस संदर्भ को हटा देता है जिसमें प्रत्येक चंक मूल रूप से दिखाई दिया था, जिससे सूचना संपीड़न की ग्रेन्युलेरिटी और एन्कोडिंग के दौरान उपयोग किए जाने वाले संदर्भ के बीच एक ट्रेड-ऑफ पैदा होता है। एक चंक किसी पहले पेश की गई इकाई को संदर्भित कर सकता है, किसी अनुभाग शीर्षक से अपना अर्थ प्राप्त कर सकता है, या दस्तावेज़ में कहीं और स्थित परिभाषाओं पर भरोसा कर सकता है। एक बार निकाले जाने के बाद, इसमें किसी क्वेरी से मज़बूती से मिलान करने के लिए पर्याप्त जानकारी नहीं हो सकती है। पूरे दस्तावेज़ को एक ही वेक्टर के रूप में एनकोड करना इसका समाधान नहीं है, क्योंकि एक पूल्ड प्रतिनिधित्व लंबे दस्तावेज़ के हर पहलू को ईमानदारी से कैप्चर नहीं कर सकता है।

प्रासंगिक एम्बेडिंग मॉडल इसके आस-पास की सामग्री के संदर्भ में प्रत्येक चंक का प्रतिनिधित्व करके इस सीमा को संबोधित करते हैं, सबसे अधिक लेट चंकिंग के माध्यम से: दस्तावेज़ को एक ही पास में एनकोड किया जाता है और चंक अभ्यावेदन को बाद में समूहीकृत (pool) किया जाता है, ताकि हर चंक वेक्टर पूरे दस्तावेज़ को दृष्टि में रखकर गणना किया जाए। पूर्व के काम, जैसे कि ConTEB और हमारे अपने pplx-embed-context-v1, ने दिखाया है कि प्रासंगिक चंक अभ्यावेदन स्वतंत्र रूप से एनकोड किए गए चंक पर पुनर्प्राप्ति में काफी सुधार करते हैं, विशेष रूप से लंबे दस्तावेजों पर।

प्रासंगिक एम्बेडिंग मॉडल को प्रशिक्षित करने के लिए ऐसे पर्यवेक्षण की आवश्यकता होती है जो यह पहचानता है कि दस्तावेज़ के कौन से भाग किसी दिए गए क्वेरी के लिए प्रासंगिक हैं। एक सामान्य दृष्टिकोण गोल्ड-चंक एनोटेशन है: प्रत्येक क्वेरी के लिए, एक एनोटेटर, आमतौर पर एक बड़ा भाषा मॉडल (LLM), दस्तावेज़ के उस चंक की पहचान करता है जो इसका उत्तर देता है।

Training आमतौर पर दो contrastive losses को जोड़ता है: एक cross-document loss, जो gold chunk की तुलना अन्य documents के chunks से करता है, और एक within-document loss, जो उसकी तुलना उसी document के अन्य chunks से करता है।

इस दृष्टिकोण की कुछ सीमाएँ हैं:

केवल एक चंक प्रासंगिक है। यह दस्तावेज़ के अन्य सभी चंक को नकारात्मक मानता है, जिसमें उपयोगी सहायक जानकारी वाले चंक भी शामिल हैं। दस्तावेज़-स्तरीय पर्यवेक्षण दूसरे छोर पर संचालित होता है। यह यह निर्दिष्ट किए बिना कि इसके भीतर कौन से चंक मायने रखते हैं, दस्तावेज़ को प्रासंगिक के रूप में पहचानता है। अभ्यास में, प्रासंगिकता अक्सर इन चरम सीमाओं के बीच होती है। उत्तर-धारक चंक कुछ सहायक चंक पर निर्भर हो सकता है जो किसी इकाई का परिचय देते हैं, किसी संदर्भ को हल करते हैं, या एक पूरक तथ्य की आपूर्ति करते हैं, जबकि दस्तावेज़ का बाकी हिस्सा अप्रासंगिक है। इसलिए मॉडल को चयनशीलता के सही स्तर को सीखना चाहिए: एक एकल गोल्ड चंक से व्यापक, लेकिन संपूर्ण रूप से दस्तावेज़ की तुलना में अधिक केंद्रित।
मोटा पर्यवेक्षण (Coarse supervision)। क्योंकि प्रत्येक एनोटेशन पूरे दस्तावेज़ में प्रासंगिकता की डिग्री को कैप्चर करने के बजाय एक एकल गोल्ड चंक की पहचान करता है, यह इसे उत्पन्न करने में खर्च किए गए कंप्यूट की मात्रा के लिए सीमित प्रशिक्षण संकेत प्रदान करता है।
स्केल करने में महंगा। प्रत्येक प्रशिक्षण जोड़ी के लिए दस्तावेज़ को पढ़ने और प्रासंगिक चंक का चयन करने के लिए एक LLM की आवश्यकता होती है, इसलिए एनोटेशन लागत प्रशिक्षण सेट के आकार के साथ रैखिक रूप से बढ़ती है और प्रशिक्षण डेटा कितना और कितना विविध हो सकता है, इसकी सीमा तय करती है।
चंक सीमाओं के प्रति संवेदनशील। लेबल एनोटेशन के दौरान उपयोग की जाने वाली चंक सीमाओं से भी बंधे होते हैं। एक निश्चित टोकन-आकार की खिड़की को सौंपा गया गोल्ड लेबल यह निर्दिष्ट नहीं करता है कि कौन से छोटे वाक्य या लंबे पैराग्राफ प्रासंगिक हैं। इसलिए चंक रणनीति को बदलना, या यह सुधारने के लिए कि दस्तावेज़ इंडेक्सिंग के समय कैसे विभाजित होते हैं, कई चंकिंग में प्रशिक्षण देना, कॉर्पस को फिर से एनोटेट करने की आवश्यकता हो सकती है।

हम क्वेरी-अवेयर संदर्भ संपीड़न मॉडल से प्रासंगिकता निर्णयों को डिस्टिल करके गोल्ड-चंक पर्यवेक्षण की सीमाओं को संबोधित करते हैं। यह मॉडल एक शिक्षक के रूप में कार्य करता है: यह क्वेरी और दस्तावेज़ को संयुक्त रूप से पढ़ता है और प्रत्येक दस्तावेज़ टोकन को एक प्रासंगिकता स्कोर प्रदान करता है। इसकी भविष्यवाणियां प्रासंगिक एम्बेडिंग को प्रशिक्षित करने के लिए कई लाभ प्रदान करती हैं:

लचीली चंक सीमाएँ। टोकन-स्तरीय प्रासंगिकता स्कोर को किसी भी चुने हुए चंक सीमाओं पर एकत्र किया जा सकता है, जिससे एक ही शिक्षक भविष्यवाणियों को री-एनोटेशन के बिना विभिन्न चंकिंग की निगरानी करने की अनुमति मिलती है।
निरंतर प्रासंगिकता। बाइनरी गोल्ड-चंक लेबल के विपरीत, शिक्षक निरंतर स्कोर प्रदान करता है जो प्रासंगिकता की डिग्री को कैप्चर करते हैं जो स्वाभाविक रूप से उत्तर-धारक चंक, सहायक संदर्भ और अप्रासंगिक सामग्री को अलग करते हैं।
कम एनोटेशन लागत। शिक्षक कॉम्पैक्ट है और प्रासंगिकता स्कोरिंग में विशेषीकृत है, जिससे सामान्य प्रयोजन वाले LLM की तुलना में पैमाने पर निगरानी करना बहुत सस्ता हो जाता है।

हम क्वेरी-डॉक्यूमेंट जोड़े के बैचों पर दस्तावेज़-स्तरीय कंट्रास्टिव लॉस और चंक-स्तरीय डिस्टिलेशन लॉस के भारित योग के साथ अपने मॉडल को प्रशिक्षित करते हैं। प्रत्येक क्वेरी के लिए, युग्मित दस्तावेज़ सकारात्मक के रूप में कार्य करता है, जबकि उसी बैच में शेष दस्तावेज़ नकारात्मक के रूप में कार्य करते हैं।

प्रत्येक बैच के लिए, हम यादृच्छिक रूप से एक चंक रणनीति का चयन करते हैं, दस्तावेजों को तदनुसार विभाजित करते हैं, और चंक के बीच विभाजक टोकन सम्मिलित करते हैं। फिर हम एक ही फॉरवर्ड पास में प्रत्येक दस्तावेज़ को संसाधित करते हैं और प्रासंगिक चंक एम्बेडिंग प्राप्त करने के लिए प्रत्येक चंक के भीतर टोकन अभ्यावेदन को मीन-पूल करते हैं। क्वेरीज़ को अलग से एनकोड किया जाता है, जिसमें उनके टोकन अभ्यावेदन पर मीन पूलिंग होती है। अंत में, हम बैच में प्रत्येक क्वेरी एम्बेडिंग और प्रत्येक चंक एम्बेडिंग के बीच कोसाइन समानता की गणना करते हैं।

जबकि हमारा एम्बेडिंग मॉडल केवल चंक-स्तरीय समानताओं का उत्पादन करता है, हम उनसे स्वाभाविक रूप से दस्तावेज़-स्तरीय समानताओं प्राप्त कर सकते हैं। हम मानते हैं कि एक दस्तावेज़ d किसी क्वेरी q के लिए इसके सबसे प्रासंगिक चंक जितना ही प्रासंगिक है। यह स्कोरिंग नियम ColBERT के MaxSim ऑपरेशन से प्रेरित है, जिसे यहाँ टोकन के बजाय चंक पर लागू किया गया है।

विशेष रूप से, एम्बेडिंग q के साथ एक क्वेरी q और एम्बेडिंग c के साथ चंक c की एक क्रमित सूची के रूप में एक दस्तावेज़ d को देखते हुए, हम दस्तावेज़-स्तरीय समानता को इस रूप में परिभाषित करते हैं:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

इन दस्तावेज़-स्तरीय समानताओं को देखते हुए, हम इन-बैच नेगेटिव पर एक दस्तावेज़-स्तरीय InfoNCE उद्देश्य तैयार कर सकते हैं।

एक क्वेरी q के लिए, d⁺ को इसके प्रासंगिक दस्तावेज़ और 𝒟 को बैच में दस्तावेज़ों को दर्शाने दें। कंट्रास्टिव लॉस इस प्रकार है, पठनीयता के लिए तापमान को छोड़ दिया गया है:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

कंट्रास्टिव लॉस मॉडल को सिखाता है कि कौन सा दस्तावेज़ किसी क्वेरी के लिए प्रासंगिक है। डिस्टिलेशन लॉस इसे सिखाता है कि उस दस्तावेज़ के भीतर प्रासंगिकता कहाँ है, जो एक प्रासंगिक मॉडल के लिए आवश्यक है।

प्रशिक्षण के दौरान, हम प्रत्येक सकारात्मक क्वेरी-डॉक्यूमेंट जोड़ी को हमारे संदर्भ संपीड़न मॉडल में पास करते हैं, जो दस्तावेज़ में प्रत्येक टोकन को एक प्रासंगिकता स्कोर प्रदान करता है। दस्तावेज़-स्तरीय स्कोरिंग की तरह, हम प्रत्येक चंक की प्रासंगिकता को उसकी सबसे प्रासंगिक सामग्री से प्राप्त करते हैं। आउटलायर टोकन के प्रति संवेदनशीलता को कम करने के लिए, जिसमें चंक सीमाओं पर शामिल हैं, हम चंक-स्तरीय प्रासंगिकता को चंक के भीतर शीर्ष n टोकन स्कोर के माध्य के रूप में परिभाषित करते हैं।

प्रत्येक क्वेरी के लिए, हम लक्ष्य वितरण प्राप्त करने के लिए सकारात्मक दस्तावेज़ के भीतर शिक्षक के चंक-स्तरीय प्रासंगिकता स्कोर पर तापमान-स्केल्ड सॉफ्टमैक्स लागू करते हैं। बैच में अन्य दस्तावेजों में चंक शून्य लक्ष्य संभावना प्राप्त करते हैं। हम बैच के सभी चंक पर लक्ष्य और इसकी अनुमानित भविष्यवाणी के बीच फॉरवर्ड KL विचलन को कम करके इस लक्ष्य से मेल खाने के लिए एम्बेडिंग मॉडल को प्रशिक्षित करते हैं:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

यहाँ, सुपरस्क्रिप्ट T और S शिक्षक और छात्र को इंगित करते हैं, और rⱼ सकारात्मक दस्तावेज़ d⁺ में चंक cⱼ के लिए शिक्षक का प्रासंगिकता स्कोर है। शिक्षक का लक्ष्य वितरण बैच के अन्य सभी दस्तावेजों में चंक को शून्य संभावना प्रदान करता है।

एक एकल गोल्ड-चंक लेबल के विपरीत, यह लक्ष्य प्रासंगिकता की डिग्री को कैप्चर करता है। सहायक चंक को नकारात्मक के रूप में माने जाने के बजाय शिक्षक के स्कोर के अनुसार वजन प्राप्त होता है, जो मॉडल को उत्तर के साथ-साथ सहायक संदर्भ को पुनर्प्राप्त करना सिखाता है।

हमारा संयोजित प्रशिक्षण उद्देश्य दस्तावेज़-स्तरीय कंट्रास्टिव लॉस और चंक-स्तरीय डिस्टिलेशन लॉस का एक भारित योग है। हम क्वेरी-डॉक्यूमेंट जोड़े के बैच पर इस भारित लॉस का औसत निकालते हैं।

आकृति 2 हमारे प्रशिक्षण दृष्टिकोण को चित्रित करती है। संदर्भ कंप्रेसर केवल प्रशिक्षण के दौरान एक शिक्षक के रूप में कार्य करता है। अनुमान के समय, एम्बेडिंग मॉडल प्रति चंक एक प्रासंगिक एम्बेडिंग उत्पन्न करता है, जिसमें कोई अतिरिक्त संपीड़न या पुनरैंकिंग चरण नहीं होता है। यह दृष्टिकोण इंडेक्स भंडारण को बढ़ाए बिना या पुनर्प्राप्ति के समय शिक्षक-मॉडल विलंबता को जोड़े बिना प्रासंगिक एम्बेडिंग को सीखने के तरीके में सुधार करता है।

प्रासंगिक एम्बेडिंग डिस्टिलेशन के लिए प्रशिक्षण सेटअप — आकृति 2: हमारे मॉडल का प्रशिक्षण सेटअप। प्रासंगिक एनकोडर (छात्र, बाएं) दस्तावेजों को संसाधित करता है, प्रत्येक में कई चंक होते हैं। प्रत्येक चंक को इसके आस-पास के दस्तावेज़ संदर्भ के संबंध में एम्बेड किया जाता है। क्वेरी A दस्तावेज़ A के लिए एक ज्ञात मिलान है और अनुमानित समानताएं प्राप्त करने के लिए सभी दस्तावेजों के चंक के खिलाफ स्कोर की जाती है। इन चंक-स्तरीय स्कोर को दस्तावेज़-स्तरीय स्कोर के लिए मैक्स-पूल किया जाता है। हम लक्ष्य वितरण (दाएं) से मेल खाने के लिए चंक-स्तरीय भविष्यवाणियों और दस्तावेज़ स्तर की भविष्यवाणियों को प्रशिक्षित करते हैं। चंक-स्तरीय लक्ष्य की गणना प्रशिक्षण के समय ज्ञात प्रासंगिक दस्तावेज़ के भीतर संदर्भ कंप्रेसर की भविष्यवाणी के रूप में की जाती है और ज्ञात अप्रासंगिक दस्तावेजों के भीतर शून्य पर सेट की जाती है। दस्तावेज़-स्तरीय लक्ष्य वितरण को ज्ञात प्रासंगिक दस्तावेज़ पर वन-हॉट होने के लिए सेट किया गया है।

प्रशिक्षण डेटा में 50 से अधिक भाषाओं को कवर करने वाले लगभग 430 सार्वजनिक और इन-हाउस क्वेरी-डॉक्यूमेंट डेटासेट शामिल हैं।

हम पीआईआई-फ़िल्टर किए गए उत्पादन डेटा से और लंबे दस्तावेज़ों पर प्रासंगिक प्रश्नों को संश्लेषित करके इन-हाउस पेयर डेटासेट बनाते हैं। प्रत्येक फॉरवर्ड पास के लिए, हम एक डेटासेट का चयन करते हैं और इन-बैच नेगेटिव की कठिनाई को बढ़ाने और शॉर्टकट लर्निंग से बचने के लिए इससे एक संपूर्ण बैच का नमूना लेते हैं। हमारे किसी भी प्रशिक्षण डेटासेट में चंक-स्तरीय एनोटेशन नहीं हैं: सभी भीतर-दस्तावेज़ पर्यवेक्षण (within-document supervision) संपीड़न मॉडल से आते हैं, और प्रशिक्षण के लिए किसी भी ConTEB डेटा का उपयोग नहीं किया जाता है। इसके अलावा, मॉडल विकास के दौरान कोई भी context-bench डेटा उपलब्ध नहीं था।

मॉडल एक इन-हाउस, 9B-पैरामीटर ColBERT पुनर्प्राप्ति मॉडल से शुरू होता है और एक रैखिक अनुमान परत (linear projection layer) के माध्यम से 2048-आयामी एम्बेडिंग उत्पन्न करता है। हम एक सीखे हुए <|chunk_sep|> टोकन के साथ चंक सीमाओं को चिह्नित करते हैं और इसके टोकन एम्बेडिंग का औसत निकालकर प्रत्येक चंक एम्बेडिंग बनाते हैं। क्वेरीज़ को उसी मॉडल द्वारा एनकोड किया जाता है, जिनके टोकन एम्बेडिंग का औसत एक एकल वेक्टर में निकाला जाता है।

हम 1024- और 2048-आयामी दोनों एम्बेडिंग का समर्थन करने के लिए Matryoshka प्रशिक्षण का उपयोग करते हैं, और मूल int8 एम्बेडिंग का समर्थन करने के लिए क्वांटाइजेशन-अवेयर प्रशिक्षण का उपयोग करते हैं। प्रशिक्षण के दौरान, हम धीरे-धीरे सीखने की दर (learning rate) बढ़ाते हैं, इसे स्थिर रखते हैं, फिर इसे कम करते हैं।

रिलीज़ किया गया मॉडल एक मॉडल सूप है जो एक ही प्रशिक्षण रन से कई चेकपॉइंट के भार (weights) का औसत निकालता है।

ConTEB जैसे सार्वजनिक प्रासंगिक-पुनर्प्राप्ति (contextual-retrieval) बेंचमार्क गोल्ड-चंक पर्यवेक्षण के पीछे की धारणा को साझा करते हैं: प्रत्येक क्वेरी का एक एकल प्रासंगिक चंक होता है और एक मॉडल को केवल उस चंक को पहले स्थान पर रखने के लिए पुरस्कृत किया जाता है। वे इसकी सीमाओं को भी विरासत में लेते हैं।

सबसे पहले, ConTEB उन कार्यों पर पुनर्प्राप्ति का परीक्षण करता है जहाँ कोई चंक अपने आस-पास के संदर्भ (context) के बिना अस्पष्ट होता है। इन कार्यों पर, प्रासंगिक मॉडल उन मॉडलों से बेहतर प्रदर्शन करते हैं जो प्रत्येक चंक को स्वतंत्र रूप से एनकोड करते हैं। हालाँकि, यह यह नहीं पूछता है कि क्या कोई मॉडल दस्तावेज़ के अन्य भागों को भी सामने लाता है जो चंक को समझने योग्य बनाते हैं।

दूसरा, यह व्यवस्थित रूप से यह परीक्षण नहीं करता है कि क्या सही दस्तावेज़ तब मिल सकता है जब एक ही कॉर्पस में लगभग-समान दस्तावेज़ केवल उस संदर्भ में भिन्न होते हैं जो अन्यथा समान वाक्य को घेरता है।

दोनों क्षमताएं तब मायने रखती हैं जब एक खोज एजेंट (search agent) या उपयोगकर्ता को संपूर्ण दस्तावेज़ के बजाय कुछ पुनर्प्राप्त वाक्यों से उत्तर को समझना और सत्यापित करना होता है। इसलिए हमने context-bench का निर्माण किया, जो लंबे दस्तावेज़ों पर पुनर्प्राप्ति के लिए एक नियंत्रित बेंचमार्क है, जिसे सामान्य पुनर्प्राप्ति गुणवत्ता से दस्तावेज़ संदर्भ के उपयोग को अलग करने के लिए डिज़ाइन किया गया है। यह परीक्षण करता है कि क्या प्रासंगिक एम्बेडिंग तीन क्षमताओं का समर्थन करने के लिए दस्तावेज़ में कहीं और की जानकारी का उपयोग करते हैं:

दस्तावेज़ डिज़िम्बीगुएशन (disambiguation): लगभग-समान विकल्पों में से सही दस्तावेज़ की पहचान करें।
उत्तर पुनर्प्राप्ति: ऐसे उत्तर-धारक (answer-bearing) चंक पुनर्प्राप्त करें जिनका अर्थ दस्तावेज़ में कहीं और के विवरण पर निर्भर करता है।
साक्ष्य पुनर्प्राप्ति (Evidence retrieval): ऐसे सहायक चंक पुनर्प्राप्त करें जो उत्तर को स्पष्ट करते हैं या उसकी पुष्टि करते हैं।

Context-bench में 2,099 क्वेरी और 38,894 दस्तावेज़ हैं। वाक्य-लंबाई वाले चंक का उपयोग किया जाता है, जिसके परिणामस्वरूप कुल 2,458,072 चंक होते हैं। क्वेरीज़ में कॉर्पोरेट फाइलिंग, नैदानिक अनुसंधान (clinical research), यात्रा, मनोरंजन, शिक्षा, सरकार, कानूनी अनुबंध और सॉफ्टवेयर दस्तावेज़ीकरण सहित 21 डोमेन शामिल हैं।

प्रत्येक क्वेरी को बारह प्रासंगिक क्षमताओं में से एक का परीक्षण करने के लिए डिज़ाइन किया गया है। प्राथमिक लक्ष्य दस्तावेज़ जानबूझकर लंबे हैं: 1,197 अलग-अलग प्राथमिक लक्ष्य दस्तावेज़ों में से 1,061 में कम से कम 200 वाक्य हैं, जिनकी औसत लंबाई लगभग 6,100 टोकन है। कॉर्पस में प्रत्येक क्वेरी का बिल्कुल एक सही उत्तर होता है। जहाँ एक ही तथ्य को गोल्ड दस्तावेज़ में एक से अधिक बार कहा गया है, उदाहरण के लिए सारांश वाक्य और तालिका पंक्ति में, उनमें से किसी भी वाक्य को उत्तर के रूप में स्वीकार किया जाता है।

एक उत्तर मार्ग (answer route) एक उत्तर चंक और उसकी व्याख्या या सत्यापन के लिए आवश्यक सहायक साक्ष्य का एक वैध संयोजन है। 2,099 क्वेरीज़ में, प्राथमिक लक्ष्य-दस्तावेज़ उत्तर मार्ग में 964 क्वेरीज़ के लिए एक साक्ष्य समूह, 735 के लिए दो, 332 के लिए तीन या अधिक और 68 के लिए कोई नहीं है। वैकल्पिक वैध उत्तर मार्गों को अलग-अलग साक्ष्य समूहों की आवश्यकता हो सकती है।

सारणी 1: बेंचमार्क आंकड़े।

आंकड़े (Statistic)	मान (Value)
क्वेरीज़	2,099
दस्तावेज़	38,894
वाक्य चंक	2,458,072
माध्य प्राथमिक लक्ष्य दस्तावेज़ लंबाई	6,100 टोकन
डोमेन	21
प्रति क्वेरी साक्ष्य समूह (प्राथमिक लक्ष्य-दस्तावेज़ उत्तर मार्ग)	1: 964; 2: 735; 3+: 332; कोई नहीं: 68

सारणी 2: context-bench द्वारा परीक्षण की गई बारह प्रासंगिक क्षमताएं (contextual capabilities), उदाहरणों के साथ।

क्षमता	उदाहरण क्वेरी	उत्तर खंड (Answer chunk)	आवश्यक दस्तावेज़ संदर्भ (document context)
1. इकाई पहचान (Entity identity)	नॉर्थलेक (Northlake) ने शेयर रीपरचेज (share repurchases) पर कितना खर्च किया?	कंपनी ने 12.8 अरब डॉलर के शेयर वापस खरीदे।	परिचय नॉर्थलेक को “कंपनी” के रूप में पहचानता है। एक समान साउथलेक रिपोर्ट प्रासंगिक नहीं है।
2. अवधि या संस्करण	M40 संशोधन B में कौन सा कार्ट्रिज फिट बैठता है?	KC-42 कार्ट्रिज स्थापित करें।	प्रयोज्यता अनुभाग का कहना है कि ये निर्देश संशोधन B को कवर करते हैं, संशोधन C को नहीं।
3. परिभाषाएँ और उपनाम	15 मिलीग्राम समूह की वापसी दर (withdrawal rate) क्या थी?	जीटा (Zeta) की वापसी दर 12.7% थी।	रिपोर्ट जीटा को 15 मिलीग्राम समूह के रूप में परिभाषित करती है। उस परिभाषा के बिना, खंड अनुरोधित समूह की पहचान नहीं करता है।
4. तालिका संरचना	Max मॉडल की बैटरी क्षमता क्या है?	विशिष्ट क्षमता: 4,250 \| 4,700 \| 5,150।	तालिका शीर्ष (header) Mini \| Base \| Max को स्थापित करता है, जो mAh में मापा जाता है। इसलिए उत्तर 5,150 mAh है।
5. शर्तें और अपवाद	व्यापर्शिक उपयोग के लिए बैटरी कवरेज कितने समय का है?	बैटरी कवरेज 18 महीने तक रहता है।	एक अनुभाग परिचय इस कवरेज को वाणिज्यिक प्रतिष्ठानों तक सीमित करता है; घरेलू प्रतिष्ठानों की वारंटी अलग होती है।
6. संदर्भ और सर्वनाम (References and pronouns)	मारा (Mara) उपमहापौर कब बनीं?	उन्होंने 2021 में पदभार संभाला।	पूर्ववर्ती आख्यान (narrative) स्थापित करता है कि “वह” मारा को संदर्भित करती है, एलिन को नहीं, जिसकी चर्चा भी की गई है।
7. सूची क्रम और स्थिति	एनकोर (encore) की शुरुआत किस गाने से हुई?	14. लालटेन रोड।	कहीं और एक नोट में कहा गया है कि गाने 14-16 ने एनकोर का गठन किया। इसलिए ट्रैक 14 इसका शुरुआती गाना है।
8. अनुभाग दायरा (Section scope)	फिल्म की सिनेमैटोग्राफी के लिए किस लेंस का उपयोग किया गया था?	पूरी फिल्म में 35 मिमी प्राइम का इस्तेमाल किया गया था।	यह अंश “मुख्य फोटोग्राफी” से संबंधित है, न कि प्रचार fotografías के बारे में अलग अनुभाग से।
9. वक्ता का आरोपण (Speaker attribution)	महापौर ने किस पुनरारंभ तिथि का वादा किया था?	हम 12 जून को फिर से खुलेंगे।	प्रतिलिपि (transcript) महापौर को वक्ता के रूप में पहचानती है। एक ठेकेदार के समान शब्द महापौर के वादे को स्थापित नहीं करेंगे।
10. समय के साथ परिवर्तन	मई के संशोधन के बाद कौन सी नोटिस अवधि लागू हुई?	नोटिस अवधि अब 45 दिन है।	संशोधन इतिहास स्थापित करता है कि यह परिवर्तन मई में प्रभावी हुआ, जिसने पहले के 30-दिवसीय नियम का स्थान ले लिया।
11. कारण और प्रभाव के संबंध (Causal relationships)	पश्चिम का पंप क्यों बंद हुआ?	उस खराबी के कारण शटडाउन हुआ।	जांच “उस खराबी” की पहचान पश्चिम पंप में एक जाम बियरिंग के रूप में करती है, और इसे एक असंबंधित इनलेट बाधा से अलग करती है।
12. लाक्षणिक या अंतर-भाषाई अर्थ (Figurative or cross-language meaning)	लाक्षणिक (Figurative): कविता में “द विंटर रूम” (शीतकालीन कक्ष) क्या प्रतीक है? अंतर-भाषाई (Cross-language): फ्रांसीसी निर्देश तकनीशियन को कौन सा घटक हटाने के लिए कहता है?	लाक्षणिक (Figurative): यह भौतिक कमरे के बजाय निर्वासन (exile) का प्रतिनिधित्व करता है। अंतर-भाषाई (Cross-language): Retirez le capot. (कवर हटाएँ।)	लाक्षणिक (Figurative): टिप्पणी “इसे” कविता की आवर्ती “शीतकालीन कक्ष” छवि के रूप में पहचानती है। अंतर-भाषाई (Cross-language): गाइड की शब्दावली निर्दिष्ट करती है कि “कैपोट” (capot) का अर्थ सुरक्षात्मक मोटर हुड है, न कि शिपिंग कवर।

परीक्षण की जा रही क्वेरीज़, दस्तावेज़ और क्षमताएं turbopuffer के ग्राहकों के साथ बातचीत से प्रेरित हैं।

एक उदाहरण देने के लिए, संपत्ति प्रबंधन फर्म की खोज आवश्यकताओं पर विचार करें। इन फर्मों के पास सैकड़ों, कभी-कभी हजारों पट्टे के समझौते (lease agreements) होते हैं जो केवल किरायेदारों के नाम, तिथियों और कुछ अन्य प्रमुख विवरणों में भिन्न होते हैं। उस डेटासेट के लिए एक आम क्वेरी यह हो सकती है कि “5 पार्क एवेन्यू का पट्टा कब समाप्त होता है और वर्तमान किराया क्या है?”। लीज समझौते लंबे भी हो सकते हैं और महत्वपूर्ण डिज़िम्बीगुएटिंग घटक जो पुष्टि करेंगे कि आपने सही दस्तावेज़ पुनर्प्राप्त किया है (जैसे तिथि, पता, किरायेदार का नाम, आदि) अक्सर मासिक लीज भुगतान राशि वाले मुख्य उत्तर वाक्य से बहुत दूर हो सकते हैं। अभ्यास में, “मासिक किराया $X,XXX है।” जैसे समान वाक्य कॉर्पस में कई दस्तावेज़ों में दिखाई दे सकते हैं।

एक अच्छे प्रासंगिक एम्बेडिंग मॉडल को सही दस्तावेज़ की पहचान करने और उत्तर तथा उसके सहायक वाक्यों दोनों को पुनर्प्राप्त करने के लिए पूरे दस्तावेज़ के संदर्भ का उपयोग करना चाहिए। यह एक उपयोगकर्ता या खोज एजेंट (search agent) को जल्दी से उत्तर को सत्यापित करने और यह पुष्टि करने देता है कि यह सही दस्तावेज़ से आया है।

प्रत्येक क्वेरी के लिए, हम लक्षित दस्तावेज़ में “उत्तर” और “साक्ष्य” वाक्यों को लेबल करते हैं। यदि कोई मॉडल प्रत्येक साक्ष्य समूह से कम से कम एक वाक्य के साथ एक उत्तर वाक्य पुनर्प्राप्त करता है, तो वह हमारी “पाठक पर्याप्तता” (reader sufficiency) परीक्षा में उत्तीर्ण होता है। साथ में, ये वाक्य पाठक को सहायक साक्ष्य के साथ उत्तर को सत्यापित करने के लिए पर्याप्त संदर्भ प्रदान करते हैं।

जब प्रासंगिक एम्बेडिंग मॉडल इसे अच्छी तरह से करते हैं, तो वे खोज एजेंटों (search agents) को समीक्षा करने के लिए आवश्यक टोकन की संख्या को नाटकीय रूप से कम कर सकते हैं और साथ ही किसी व्यक्ति के लिए पूरे दस्तावेज़ को पढ़े बिना अपनी मूल क्वेरी का सही उत्तर मिल गया है, इसकी तुरंत पुष्टि करना बहुत आसान बना सकते हैं।

प्रत्येक साक्ष्य समूह को पुनर्प्राप्त किया जाना चाहिए, लेकिन किसी समूह के विकल्पों में से कोई भी इसे पुनर्प्राप्त करने के लिए पर्याप्त है। इन लंबे दस्तावेज़ों में कई जगहों पर एक ही तथ्य को बताना आम बात है। प्रत्येक साक्ष्य समूह से केवल एक वाक्य पुनर्प्राप्त करना पाठक पर्याप्तता मानदंडों को पूरा करता है और इस प्रकार इसे सही साक्ष्य पुनर्प्राप्ति के रूप में स्वीकार किया जाएगा।

प्रत्येक दस्तावेज़ को वाक्यों में विभाजित किया जाता है, और सभी मॉडलों के लिए समान सीमाओं का उपयोग किया जाता है। गैर-प्रासंगिक एम्बेडिंग मॉडल के लिए दो शर्तों का परीक्षण किया जाता है: एक जहाँ प्रत्येक वाक्य को स्वतंत्र रूप से एम्बेड किया जाता है और दूसरा जहाँ पूरे दस्तावेज़ को एक ही चंक के रूप में एम्बेड किया जाता है।

हम उत्तर स्मरण (answer recall) और साक्ष्य स्मरण (evidence recall) को मापने के लिए वाक्य-स्तरीय स्थिति का उपयोग करते हैं। यह परीक्षण करता है कि क्या कोई गैर-प्रासंगिक मॉडल सही उत्तर और सहायक साक्ष्य की पहचान कर सकता है जब प्रत्येक वाक्य को आस-पास के दस्तावेज़ तक पहुँच के बिना एम्बेड किया जाता है। यह जानबूझकर चुनौतीपूर्ण है। कई क्वेरीज़ में, अकेले उत्तर वाक्य में कॉर्पस में कहीं और समान वाक्यों से अलग करने के लिए आवश्यक विवरणों की कमी होती है।

हम दस्तावेज़-स्तरीय स्थिति को दस्तावेज़ स्मरण बेसलाइन के रूप में उपयोग करते हैं। यह परीक्षण करता है कि क्या बारीक-कण (fine-grained) वाक्य एम्बेडिंग प्रति दस्तावेज़ एक वेक्टर को संग्रहीत करने की तुलना में उनकी अतिरिक्त भंडारण लागत को उचित ठहराने के लिए पर्याप्त पुनर्प्राप्ति लाभ प्रदान करते हैं। एक वाक्य-स्तरीय इंडेक्स दस्तावेज़-स्तरीय इंडेक्स की तुलना में काफी अधिक वेक्टर बनाता है, इसलिए इसे उस लागत को वारंट करने के लिए प्रति-दस्तावेज़-एक-वेक्टर बेसलाइन से बेहतर प्रदर्शन करना चाहिए।

सभी मूल्यांकन सभी 2,458,072 चंक के खिलाफ संपूर्ण रैंकिंग का उपयोग करते हैं। इसलिए मॉडलों के बीच अंतर प्रतिनिधित्व (representations) को दर्शाते हैं, न कि इंडेक्स कॉन्फ़िगरेशन को। हम तीन प्रमुख मेट्रिक्स पर ध्यान केंद्रित करते हैं:

Document@K को इस प्रकार परिभाषित किया गया है:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

जहाँ $d^{*}$ , $D_q$ में सर्वोच्च रैंक वाला दस्तावेज़ है।

Answer@K को इस प्रकार परिभाषित किया गया है:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

जहाँ $C_K(q)$ पूरे कॉर्पस के शीर्ष $K$ खंड हैं और $A_{q}$ स्वीकृत उत्तर खंडों का सेट है।

Evidence Recall@K को $d^{*}$ के भीतर इस प्रकार मापा जाता है: समानता के आधार पर $d^{*}$ के वाक्यों को रैंक करें, उच्चतम-रैंक वाले उत्तर वाक्य को हटाएँ, और शेष शीर्ष $R_K(q)$ को $K$ होने दें। साक्ष्य समूहों $G_q=\{g_1,\ldots,g_m\}$ के लिए, समूह $g_j$ पुनर्प्राप्त हो जाता है यदि कोई विकल्प $E\in g_j$ , $E\subseteq R_K(q)$ को संतुष्ट करता है, और

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K पूछता है कि क्या प्रासंगिकरण (contextualization) सही दस्तावेज़ को उन सिबलिंग्स और डिस्ट्रेक्टर्स को हराने देता है जो इसकी शब्दावली साझा करते हैं।

Answer@K पूछता है कि क्या उत्तर वाक्य स्वयं शीर्ष चंक में रैंक करता है।

Evidence Recall@K यह पूछता है कि सही दस्तावेज़ के शीर्ष K chunks में से, सबसे उच्च-रैंक वाले उत्तर chunk को हटाने के बाद, सहायक संदर्भ का कितना हिस्सा पुनः प्राप्त होता है। उत्तर को हटाने से evidence recall, Answer@K द्वारा पहले से मापी गई चीज़ की दोहरी गणना नहीं करता, और सहायक संदर्भ के लिए सभी $K$ slots खाली छोड़ता है। gold document का शीर्ष 10 retrieved documents में होना आवश्यक करने का अर्थ है कि किसी model को उस document के लिए evidence credit नहीं मिलता जिसे वह सामने ही नहीं लाता। हम All-Evidence@K भी रिपोर्ट करते हैं, जो उन queries का अनुपात है जिनमें हर group पुनः प्राप्त हो जाता है।

ये मेट्रिक्स मिलकर प्रासंगिक-एम्बेडिंग (contextual-embedding) मॉडल के सामने आने वाली चुनौतियों का विश्लेषण करते हैं: सही दस्तावेज़ ढूँढना, सही उत्तर ढूँढना, और न्यूनतम संदर्भ (context) पुनः प्राप्त करना जो यह दर्शाता है कि उत्तर सही क्यों है।

आकृति 3 संपत्ति प्रबंधन उदाहरण के साथ मेट्रिक्स को चित्रित करती है।

Context-bench दस्तावेज़, उत्तर और साक्ष्य पुनर्प्राप्ति को कैसे स्कोर किया जाता है — आकृति 3: लीज क्वेरी के साथ चित्रित Context-bench मेट्रिक्स। Document@K सही दस्तावेज़ की पुनर्प्राप्ति का परीक्षण करता है; Answer@K इसके उत्तर चंक की पुनर्प्राप्ति का परीक्षण करता है; Evidence Recall@K लक्ष्य दस्तावेज़ के भीतर सहायक साक्ष्य समूहों की पुनर्प्राप्ति को मापता है। इस उदाहरण में, किराए को सत्यापित करने के लिए पते और लीज-वर्ष के साक्ष्य दोनों की आवश्यकता होती है। साक्ष्य स्मरण शीर्ष उत्तर चंक को बाहर करता है और लक्ष्य दस्तावेज़ को शीर्ष 10 में रैंक करने की आवश्यकता करता है।

हम चार मोर्चों पर प्रासंगिक और गैर-प्रासंगिक एम्बेडिंग मॉडल के खिलाफ अपने मॉडल का मूल्यांकन करते हैं।

हमारे प्रासंगिक बेसलाइन pplx-embed-context-v1-4B और voyage-context-4 हैं। हमारे गैर-प्रासंगिक बेसलाइन voyage-4-large और NVIDIA का Nemotron-3-Embed-8B-BF16 हैं, जो चंक को स्वतंत्र रूप से एनकोड करते हैं। प्रत्येक आकृति में संकेत दिए गए अनुसार, बेसलाइन सेट प्रयोग के अनुसार भिन्न होता है।

हम context-bench से शुरुआत करते हैं, जो सीधे उन क्षमताओं का परीक्षण करता है जो इस कार्य को प्रेरित करती हैं, और फिर प्रासंगिक एम्बेडिंग के लिए मानक सार्वजनिक बेंचमार्क ConTEB पर परिणामों की रिपोर्ट करते हैं। यह जाँचने के लिए कि ये लाभ सामान्य पुनर्प्राप्ति की कीमत पर नहीं आते हैं, हम सार्वजनिक डेटासेट से बनाए गए डोमेन-विशिष्ट दस्तावेज़ और चंक पुनर्प्राप्ति बेंचमार्क का भी मूल्यांकन करते हैं। अंत में, हम तैनाती के लिए दो व्यावहारिक गुणों की जाँच करते हैं: पुनर्प्राप्ति गुणवत्ता बनाम प्रति वेक्टर भंडारण लागत, और इंडेक्सिंग समय पर उपयोग किए जाने वाले चंक आकार के प्रति संवेदनशीलता। सभी मूल्यांकन एक ही पास में 32,768 टोकन तक के दस्तावेज़ों को एनकोड करते हैं।

जैसा कि परिचय में आकृति 1 में दिखाया गया है, हमारा पूर्वावलोकन प्रत्येक रिपोर्ट किए गए कटऑफ़ पर Answer@K और Evidence Recall@K के साथ-साथ All-Evidence@10 पर आगे है। K = 10 पर, यह 45.5% उत्तर स्मरण, 40.6% साक्ष्य स्मरण, और 31.1% ऑल-एविडेंस स्मरण प्राप्त करता है। यह Document@1 और Document@10 पर भी आगे है, क्रमशः 15.2% और 61.6% तक पहुँचता है। K = 10 पर, हमारा पूर्वावलोकन उत्तर स्मरण में 14.4 प्रतिशत अंकों और साक्ष्य स्मरण में 5.0 अंकों से voyage-context-4 से आगे निकल जाता है।

आकृति 4 में ConTEB पर दिखाए गए मॉडलों में हमारा पूर्वावलोकन मॉडल उच्चतम औसत nDCG@10 प्राप्त करता है। यह हर काम में आगे नहीं है: NarrativeQA पर pplx-context-v1-4B अधिक स्कोर करता है, जबकि COVID-QA पर Nemotron-3-8B उच्चतम स्कोर करता है। जैसा कि मुख्य लेखकों ने ConTEB पेपर में भी बताया था, COVID-QA में ज्यादातर क्वेरी-चंक युग्मन शामिल हैं जो बहुत एक्सट्रैक्टिव हैं और तकनीकी चिकित्सा शर्तों पर सरल सतह लेक्सिकल मिलान के साथ संतुष्ट किए जा सकते हैं। परिणामस्वरूप, इस कार्य के लिए संदर्भ समझ कम उपयोगी है और गैर-प्रासंगिक मॉडल आम तौर पर प्रासंगिक लोगों से बेहतर प्रदर्शन करते हैं।

ConTEB पर 10 पर कार्य-स्तरीय nDCG — आकृति 4: क्वेरी-टू-चंक सेटिंग में ConTEB पर कार्य-स्तरीय nDCG@10। औसत आठ कार्यों में भारहीन माध्य (unweighted mean) है।

प्रासंगिक एम्बेडिंग के लिए डिज़ाइन किए गए बेंचमार्क से परे, हम अपने मॉडल के डोमेन-विशिष्ट प्रदर्शन का आकलन करते हैं।

हमारी क्वेरी-टू-चंक (Q2C) सुइट MTEB कार्यों जैसे LegalBench और FinanceBench का उपयोग सार्वजनिक डेटासेट से हमारे द्वारा क्यूरेट किए गए अतिरिक्त पुनर्प्राप्ति कार्यों के साथ करती है। प्रत्येक प्रासंगिक दस्तावेज़ के भीतर, एक चंक को प्रासंगिक के रूप में लेबल किया जाता है यदि इसमें सटीक उत्तर अवधि शामिल होती है जब कार्य एक प्रदान करता है, और अन्यथा क्वेरी के लिए इसकी प्रासंगिकता का न्याय करने वाले LLM द्वारा। क्वेरी-टू-डॉक्यूमेंट (Q2D) सुइट समान कार्यों का उपयोग करता है और स्कोर करता है कि क्या प्रासंगिक दस्तावेज़ पुनर्प्राप्त किया गया है।

हमारा मॉडल आकृति 5 में चंक पुनर्प्राप्ति पर उच्चतम औसत स्कोर प्राप्त करता है और कानूनी, तकनीकी और स्वास्थ्य डोमेन में आगे है। यह हर डोमेन में आगे नहीं है: finance और बहुभाषी पुनर्प्राप्ति में voyage-context-4 अधिक स्कोर करता है, और वार्ता पुनर्प्राप्ति में Nemotron-3-8B उच्चतम स्कोर करता है। आकृति 6 में दस्तावेज़ पुनर्प्राप्ति पर, हमारा मॉडल तकनीकी डोमेन में आगे रहते हुए, औसत पर voyage-context-4 से थोड़ा नीचे स्कोर करता है। Pplx-context-v1-4B बेसलाइन दोनों सुइट्स में औसत पर कम स्कोर करता है, जो इस बात के अनुरूप है कि इसे केवल ConTEB प्रशिक्षण सेट पर प्रशिक्षित किया गया था, जो यह दर्शाता है कि एक बेंचमार्क के गोल्ड चंक से जुड़ा पर्यवेक्षण अन्य डोमेन में खराब तरीके से स्थानांतरित होता है।

डोमेन द्वारा क्वेरी-टू-चंक पुनर्प्राप्ति स्कोर — आकृति 5: डोमेन द्वारा समूहीकृत क्वेरी-टू-चंक (Q2C) कार्यों पर औसत nDCG@10। डोमेन बार उस डोमेन में कार्य-स्तरीय स्कोर के भारहीन माध्य हैं; समग्र औसत सभी प्रदर्शित कार्यों में एक भारहीन माध्य है।

डोमेन द्वारा क्वेरी-टू-डॉक्यूमेंट पुनर्प्राप्ति स्कोर — आकृति 6: डोमेन द्वारा समूहीकृत क्वेरी-टू-डॉक्यूमेंट (Q2D) कार्यों पर औसत पुनर्प्राप्ति स्कोर। एक डोमेन में प्रत्येक बार इसके कार्य-स्तरीय मुख्य स्कोर का भारहीन माध्य है; समग्र औसत सभी प्रदर्शित कार्यों में एक भारहीन माध्य है।

एक प्रासंगिक एम्बेडिंग मॉडल प्रति चंक एक वेक्टर उत्पन्न करता है, इसलिए हमारे मॉडल के साथ बनाए गए इंडेक्स में ठीक उतने ही वेक्टर होते हैं जितने समान चंक रणनीति वाले पारंपरिक चंक-स्तरीय इंडेक्स में होते हैं। प्रासंगिकरण बदलता है कि प्रत्येक वेक्टर क्या एनकोड करता है, न कि कितने वेक्टर संग्रहीत किए जाते हैं। इसलिए भंडारण पदचिह्न (storage footprint) प्रत्येक वेक्टर के आकार द्वारा नियंत्रित होता है। मॉडल इसे कम करने के दो तरीके प्रदान करता है: एम्बेडिंग को 2048 से 1024 आयामों तक काटना और इसे int8 में परिमाणित करना।

आकृति 7 पुनर्प्राप्ति गुणवत्ता और वेक्टर भंडारण के बीच एक अनुकूल ट्रेडऑफ़ दिखाती है। 1024 आयामों पर, हमारे int8 एम्बेडिंग प्रति वेक्टर 1 KB का उपयोग करते हैं जबकि float32 में 2048 आयामों पर voyage-context-4 के चंक-पुनर्प्राप्ति स्कोर से थोड़ा अधिक होते हैं, जो प्रति वेक्टर 8 KB का उपयोग करता है। हमारे एम्बेडिंग आकार को 2048 आयामों तक बढ़ाने से प्रति वेक्टर 2 KB पर पुनर्प्राप्ति गुणवत्ता और बढ़ जाती है। ये भंडारण आंकड़े अकेले वैक्टर को संदर्भित करते हैं, न कि इंडेक्स के बाकी हिस्सों को।

चंक पुनर्प्राप्ति गुणवत्ता बनाम प्रति वेक्टर भंडारण — आकृति 7: प्रति वेक्टर भंडारण के एक फ़ंक्शन के रूप में चंक पुनर्प्राप्ति गुणवत्ता (औसत nDCG@10)। ठोस रेखाएँ float32 को दर्शाती हैं और डैश रेखाएँ int8 को दर्शाती हैं; लेबल एम्बेडिंग आयाम देते हैं।

आकृति 8 चंक आकार के 64 से 512 टोकन तक बढ़ने पर पुनर्प्राप्ति गुणवत्ता में केवल मामूली बदलाव दिखाती है: औसत स्कोर 81.0% से गिरकर 79.9% हो जाता है, जो 1.1 प्रतिशत अंकों की कमी है। यह सुझाव देता है कि मॉडल परीक्षण किए गए चंक आकारों में प्रभावी रहता है, जिससे इंडेक्सिंग पाइपलाइनों को दस्तावेजों को विभाजित करने के तरीके में लचीलापन मिलता है।

चंक-आकार संवेदनशीलता: 64 से 512 टोकन के चंक के लिए पुनर्प्राप्ति स्कोर — आकृति 8: हमारे मॉडल की चंक-आकार संवेदनशीलता। प्रत्येक बिंदु दिए गए चंक आकार पर अनुक्रमित दस्तावेजों के साथ 74 MTEB कार्यों में भारहीन माध्य nDCG@10 है।

turbopuffer context-bench का पूरा कॉर्पस, क्वेरीज़ और लेबल निजी रखता है और सबमिट किए गए मॉडल के परिणामों की रिपोर्ट करता है। इस तरह का एक सार्वजनिक बेंचमार्क अपनी क्वेरीज़ और दस्तावेज़ों पर सीधे प्रशिक्षण को आमंत्रित करता है, जिससे समय के साथ प्रगति को ट्रैक करने के लिए इसका मूल्य धीरे-धीरे कम और समाप्त हो जाएगा। यदि आप चाहते हैं कि आपके मॉडल का मूल्यांकन बेंचमार्क पर किया जाए, तो कृपया contextbench@turbopuffer.com पर turbopuffer से संपर्क करें।

हमारे मॉडल का एक पूर्वावलोकन Hugging Face पर उपलब्ध है, और इस पोस्ट में सभी परिणामों की रिपोर्ट इस पूर्वावलोकन के लिए की जाती है। हम Perplexity API के माध्यम से मॉडल को उपलब्ध कराने और turbopuffer के साथ मिलकर लंबे दस्तावेजों पर पुनर्प्राप्ति में और सुधार करने पर काम कर रहे हैं।

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

परिचय

पुनर्प्राप्ति के लिए संदर्भ क्यों मायने रखता है

गोल्ड-चंक पर्यवेक्षण की सीमाएँ

प्रासंगिक सीखने के लिए एक नया दृष्टिकोण

लॉस फ़ंक्शन

दस्तावेज़-स्तरीय कंट्रास्टिव लॉस

चंक-स्तरीय डिस्टिलेशन लॉस

संयोजित लॉस

प्रशिक्षण डेटा

प्रशिक्षण सेटअप

चंक-स्तरीय पुनर्प्राप्ति (chunk-level retrieval) के लिए एक नया बेंचमार्क

दस्तावेज़ और क्वेरीज़

उत्तर और साक्ष्य लेबल

मेट्रिक्स

मूल्यांकन परिणाम

Context-bench

ConTEB

डोमेन में सामान्य पुनर्प्राप्ति गुणवत्ता

पुनर्प्राप्ति गुणवत्ता और भंडारण लागत

चंक आकार संवेदनशीलता

रिलीज़

उद्धरण