गोल्ड पॅसेजच्या पलीकडे संदर्भ एम्बेडिंग

संदर्भ एम्बेडिंग्स संपूर्ण दस्तऐवजाच्या संदर्भात प्रत्येक उतारा किंवा चंकचा अर्थ कॅप्चर करतात. त्यांचे प्रशिक्षण आणि मूल्यवानन सामान्यत: प्रति क्वेरी एका संबंधित चंक गृहीत धरतात, ज्याला “गोल्ड पॅसेज” म्हणून ओळखले जाते. तथापि, सरावात गोल्ड पॅसेज अनेकदा पुरेसा नसतो. त्यात उत्तर असू शकते परंतु ते समजण्यासाठी किंवा पडताळणी करण्यासाठी आवश्यक समर्थकीय संदर्भाचा अभाव असू शकतो, ज्यामुळे ते एकाकीपणात अस्पष्ट राहते.

आम्ही pplx-embed-v2-context-9b-preview सादर करत आहोत, आमचे नवीन संदर्भ एम्बेडिंग मॉडेल. हे मॉडेल एका नवीन दृष्टिकोनाने प्रशिक्षित केले आहे जे शिक्षका म्हणून Perplexity च्या संदर्भ कॉम्प्रेशन मॉडेल चा वापर करते. आम्ही त्याच्या टोकन-स्तरीय अंदाजांना चंक-स्तरीय प्रासंगिकता गुणांमध्ये एकत्रित करतो, ज्यायोगे एम्बेडिंग मॉडेलला एकाच गोल्ड चंकऐवजी उत्तर चंक्स आणि समर्थकीय संदर्भ दोन्ही पुनर्प्राप्त करण्यास शिकवले जाते. हे मॉडेल प्रति चंक एक एम्बेडिंग तयार करते ज्यामध्ये कोणतीही अतिरिक्त इन्फरन्स किंमत नसते आणि 1024-डायमेंशनल आणि int8 एम्बेडिंग्जला समर्थन देते.

हे context-bench वर अत्याधुनिक परिणाम प्राप्त करते, जे संदर्भ-जागरूक पुनर्प्राप्तीसाठी एक नवीन बेंचमार्क आहे जो turbopuffer द्वारे तयार केला गेला आणि खाजगी ठेवला गेला, आणि ConTEB वर, जो एक मोठ्या प्रमाणावर वापरला जाणारा सार्वजनिक बेंचमार्क आहे. आमचे मॉडेल context-bench पासून स्वतंत्रपणे विकसित केले गेले आणि अंध सबमिशन म्हणून मूल्यांकन केले गेले.

Context-bench मध्ये २१ डोमेन्समध्ये ३८,८९४ लांब दस्तऐवजांवर २,०९९ क्वेरीज समाविष्ट आहेत आणि संदर्भ एम्बेडिंग्सच्या तीन क्षमतांचे मूल्यांकन करते: जवळजवळ-डुप्लिकेट दस्तऐवजांमध्ये दस्तऐवज अस्पष्टता दूर करणे, सोन्याचे चंक्स पुनर्प्राप्त करणे ज्यांचा अर्थ दूरच्या संदर्भावर अवलंबून असतो, आणि उत्तराची पडताळणी करण्यासाठी आवश्यक समर्थकीय पुराव्याची आठवण करणे.

मॉडेलचे पूर्वावलोकन Hugging Face वर सार्वजनिकपणे उपलब्ध आहे. प्रशिक्षण दूषित होण्याचा धोका कमी करण्यासाठी आणि प्रगती मोजण्यासाठी त्याचे मूल्य जतन करण्यासाठी बेंचमार्क turbopuffer द्वारे खाजगी ठेवला जातो. मूल्यांकनाची विनंती करण्यासाठी, कृपया contextbench@turbopuffer.com वर turbopuffer शी संपर्क साधा.

Context-bench वर दस्तऐवज, उत्तर, आणि पुरावा पुनर्प्राप्ती परिणाम — आकृती १: context-bench वर Answer@K, Document@K, Evidence Recall@K, आणि All-Evidence@10, Perplexity v2 पूर्वावलोकन 9B ची तुलना Voyage Context 4, Voyage 4 Large, आणि Perplexity context v1 4B सोबत करते.

Retrieval systems सहसा long documents लहान chunks मध्ये विभागतात, जे स्वतंत्रपणे index आणि search करता येतात. प्रत्यक्ष वापरात chunking सोयीचे असते, पण त्यामुळे प्रत्येक chunk मूळतः ज्या context मध्ये होता तो context नाहीसा होतो, आणि माहिती संपीडनाच्या granularity आणि encoding दरम्यान वापरल्या जाणाऱ्या context यांच्यात तडजोड निर्माण होते. एखादा chunk आधी introduced केलेल्या entity कडे निर्देश करू शकतो, section heading कडून त्याचा अर्थ वारशाने घेऊ शकतो, किंवा दस्तऐवजातील इतरत्र असलेल्या definitions वर अवलंबून राहू शकतो. एकदा extracted केल्यानंतर, query शी विश्वासार्हपणे जुळण्यासाठी त्याच्याकडे पुरेशी माहिती उरलेली नसू शकते. संपूर्ण दस्तऐवज single vector म्हणून encode केल्यानेही हे सुटत नाही, कारण एक pooled representation long document चा प्रत्येक पैलू विश्वासार्हपणे पकडू शकत नाही.

संदर्भ एम्बेडिंग मॉडेल्स प्रत्येक चंकला त्याच्या सभोवतालच्या सामग्रीच्या संदर्भात प्रतिनिधित्व करून या मर्यादेला संबोधित करतात, सामान्यत: लेट चंकिंग द्वारे: दस्तऐवज एकाच पासमध्ये एन्कोड केला जातो आणि चंक प्रतिनिधित्व नंतर पुले केले जातात, जेणेकरून प्रत्येक चंक वेक्टर संपूर्ण दस्तऐवजाच्या दृष्टीने गणला जाईल. पूर्व काम, जसे की ConTEB आणि आमचे स्वतःचे pplx-embed-context-v1, ने दर्शवले आहे की संदर्भीकृत चंक प्रतिनिधित्व स्वतंत्रपणे एन्कोड केलेल्या चंक्सवर पुनर्प्राप्तीमध्ये लक्षणीय सुधारणा करतात, विशेषतः लांब दस्तऐवजांवर.

संदर्भ एम्बेडिंग मॉडेल्सना प्रशिक्षित करण्यासाठी अशा पर्यवेक्षणाची आवश्यकता असते जे ओळखते की दस्तऐवजाचे कोणते भाग दिलेल्या क्वेरीशी संबंधित आहेत. एक सामान्य दृष्टीकोन म्हणजे गोल्ड-चंक ॲनोटेशन्स: प्रत्येक क्वेरीसाठी, एक ॲनोटेटर, सामान्यत: एक मोठे भाषा मॉडेल (LLM), दस्तऐवजाचा तो चंक ओळखतो जो त्याचे उत्तर देतो.

प्रशिक्षण सामान्यत: दोन कॉन्ट्रास्टिव्ह लॉसेस एकत्र करते: एक क्रॉस-डॉक्युमेंट लॉस जो इतर दस्तऐवजांमधील चंक्ससह गोल्ड चंकचा विरोध करतो, आणि एक इन-डॉक्युमेंट लॉस जो त्याच दस्तऐवजातील इतर चंक्ससह त्याचा विरोध करतो.

या दृष्टिकोनामध्ये काही मर्यादा आहेत:

फक्त एक चंक संबंधित आहे. हे दस्तऐवजातील इतर प्रत्येक चंकला निगेटिव्ह मानते, ज्यामध्ये उपयुक्त समर्थकीय माहिती असलेले समाविष्ट आहेत. दस्तऐवज-स्तरीय पर्यवेक्षण इतर टोकाला कार्य करते. हे चंक्स निर्दिष्ट न करता दस्तऐवजाला संबंधित म्हणून ओळखते. व्यवहारात, प्रासंगिकता अनेकदा या टोकांच्या दरम्यान असते. उत्तर-धारण करणारा चंक काही समर्थकीय चंक्सवर अवलंबून असू शकतो जे एखादा घटक ओळखतात, संदर्भ सोडवतात, किंवा पूरक तथ्य पुरवतात, तर उर्वरित दस्तऐवज अप्रासंगिक असतो. त्यामुळे मॉडेलने निवडकतेची योग्य पातळी शिकली पाहिजे: एका गोल्ड चंकपेक्षा व्यापक, परंतु संपूर्ण दस्तऐवजापेक्षा अधिक केंद्रित.
मोटे पर्यवेक्षण (Coarse supervision). कारण प्रत्येक ॲनोटेशन दस्तऐवजभर प्रासंगिकतेच्या अंमग्रणांची नोंद करण्याऐवजी एकच गोल्ड चंक ओळखते, हे ते तयार करण्यासाठी खर्च केलेल्या कंप्युटच्या प्रमाणासाठी मर्यादित प्रशिक्षण संकेत प्रदान करते.
स्केल करण्यासाठी महाग. प्रत्येक प्रशिक्षण जोड्यास दस्तऐवज वाचण्यासाठी आणि संबंधित चंक निवडण्यासाठी LLM ची आवश्यकता असते, त्यामुळे ॲनोटेशनचा खर्च प्रशिक्षण सेटच्या आकारासह रेषीयपणे वाढतो आणि प्रशिक्षण डेटा किती आणि किती वैविध्यपूर्ण असू शकतो याची मर्यादा घालतो.
चंक सीमांबद्दल संवेदनशील. लेबल्स ॲनोटेशन दरम्यान वापरलेल्या चंक सीमांशी देखील जोडलेली असतात. एका निश्चित टोकन-आकार विंडोला नियुक्त केलेले गोल्ड लेबल हे निर्दिष्ट करत नाही की कोणती लहान वाक्ये किंवा लांब परिच्छेद संबंधित आहेत. त्यामुळे चंकिंग धोरण बदलणे, किंवा दस्तऐवज अनुक्रमणिकेच्या वेळी कसे विभाजित केले जातात यासाठी मजबूतता सुधारण्यासाठी अनेक चंकिंग्सवर प्रशिक्षण देणे, कॉर्पस पुन्हा ॲनोटेट करणे आवश्यक करू शकते.

आम्ही क्वेरी-जागरूक संदर्भ कॉम्प्रेशन मॉडेल मधून प्रासंगिकता निर्णय डिस्टिल करून गोल्ड-चंक पर्यवेक्षणाच्या मर्यादांना संबोधित करतो. हे मॉडेल शिक्षक म्हणून काम करते: हे क्वेरी आणि दस्तऐवज संयुक्तपणे वाचते आणि प्रत्येक दस्तऐवज टोकनला प्रासंगिकता गुण नियुक्त करते. त्याचे अंदाज संदर्भ एम्बेडिंग्सच्या प्रशिक्षणासाठी अनेक फायदे देतात:

लवचिक चंक सीमा. टोकन-स्तरीय प्रासंगिकता गुण कोणत्याही निवडलेल्या चंक सीमांवर एकत्रित केले जाऊ शकतात, ज्यामुळे शिक्षकाच्या अंदाजांना री-ॲनोटेशनशिवाय वेगवेगळ्या चंकिंगचे पर्यवेक्षण करण्याची परवानगी मिळते.
सतत प्रासंगिकता. बायनरी गोल्ड-चंक लेबल्सच्या विपरीत, शिक्षक सतत गुण प्रदान करतो जे प्रासंगितेचे अंश कॅप्चर करतात जे नैसर्गिकरित्या उत्तर-धारण करणारे चंक्स, समर्थकीय संदर्भ आणि अप्रासंगिक सामग्रीमध्ये फरक करतात.
कमी ॲनोटेशन खर्च. शिक्षक कॉम्पॅक्ट आहे आणि प्रासंगिकता स्कोअरिंगमध्ये विशेष आहे, ज्यामुळे मोठ्या प्रमाणावर पर्यवेक्षण करणे सामान्य-हेतूच्या LLM पेक्षा बरेच स्वस्त होते.

आम्ही क्वेरी-डॉक्युमेंट जोड्यांच्या बॅचेसवर दस्तऐवज-स्तरीय कॉन्ट्रास्टिव्ह लॉस आणि चंक-स्तरीय डिस्टिलेशन लॉस च्या भारित बेरजेसह आमच्या मॉडेलला प्रशिक्षित करतो. प्रत्येक क्वेरीसाठी, जोडलेला दस्तऐवज पॉझिटिव्ह म्हणून काम करतो, तर त्याच बॅचमधील उर्वरित दस्तऐवज निगेटिव्ह म्हणून काम करतात.

प्रत्येक बॅचसाठी, आम्ही यादृच्छिकपणे एक चंकिंग धोरण निवडतो, त्यानुसार दस्तऐवज विभाजित करतो, आणि चंक्स दरम्यान विभाजक टोकन्स इन्सर्ट करतो. त्यानंतर आम्ही प्रत्येक दस्तऐवज एकाच फॉरवर्ड पासमध्ये प्रक्रिया करतो आणि प्रासंगिक चंक एम्बेडिंग्ज मिळविण्यासाठी प्रत्येक चंकमधील टोकन प्रतिनिधींचे मीन-पूल करतो. क्वेरी स्वतंत्रपणे एन्कोड केल्या जातात, त्यांच्या टोकन प्रतिनिधींवर मीन पेलिंगसह. शेवटी, आम्ही बॅचमधील प्रत्येक क्वेरी एम्बेडिंग आणि प्रत्येक चंक एम्बेडिंग मधील कोसाइन साम्य मोजतो.

आमचे एम्बेडिंग मॉडेल केवळ चंक-स्तरीय साम्य तयार करत असले, तरी आपण त्यातून नैसर्गिकरित्या दस्तऐवज-स्तरीय साम्य व्युत्पन्न करू शकतो. आम्ही दस्तऐवज d ला क्वेरी q शी त्याच्या सर्वात संबंधित चंक इतकेच संबंधित मानतो. हा स्कोअरिंग नियम ColBERT च्या MaxSim ऑपरेशनपासून प्रेरित आहे, येथे टोकन्सऐवजी चंक्सवर लागू केला गेला आहे.

विशेषतः, एम्बेडिंग q असलेली क्वेरी q आणि एम्बेडिंग्ज c सह चंक्स c ची क्रमवारी लावलेली सूची म्हणून दस्तऐवज d दिले असल्यास, आम्ही दस्तऐवज-स्तरीय साम्य असे परिभाषित करतो:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

हे दस्तऐवज-स्तरीय साम्य दिल्यास, आपण इन-बॅच निगेटिव्ह्सवर दस्तऐवज-स्तरीय InfoNCE उद्दिष्ट तयार करू शकतो.

क्वेरी q साठी, d⁺ ला त्याचा संबंधित दस्तऐवज आणि 𝒟 ला बॅचमधील दस्तऐवज समजा. वाचन सुलभतेसाठी तापमान वगळून कॉन्ट्रास्टिव्ह लॉस खालीलप्रमाणे आहे:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

कॉन्ट्रास्टिव्ह लॉस मॉडेलला शिकवतो की कोणता दस्तऐवज क्वेरीशी संबंधित आहे. डिस्टिलेशन लॉस त्याला शिकवतो की त्या दस्तऐवजात प्रासंगिकता कुठे आहे, जे संदर्भ मॉडेलसाठी आवश्यक आहे.

प्रशिक्षणादरम्यान, आम्ही प्रत्येक पॉझिटिव्ह क्वेरी-डॉक्युमेंट जोडी आमच्या संदर्भ कॉम्प्रेशन मॉडेलकडे पास करतो, जे दस्तऐवजातील प्रत्येक टोकनला प्रासंगिकता स्कोअर नियुक्त करते. दस्तऐवज-स्तरीय स्कोअरिंगप्रमाणे, आम्ही प्रत्येक चंकची प्रासंगिकता त्याच्या सर्वात संबंधित सामग्रीवरून व्युत्पन्न करतो. आउटलायर टोकन्सची संवेदनशीलता कमी करण्यासाठी, चंक सीमांवरील टोकन्ससह, आम्ही चंक-स्तरीय प्रासंगिकता चंकमधील शीर्ष n टोकन गुणांची सरासरी म्हणून परिभाषित करतो.

प्रत्येक क्वेरीसाठी, लक्षणीय वितरण मिळविण्यासाठी आम्ही पॉझिटिव्ह दस्तऐवजातील शिक्षकाच्या चंक-स्तरीय प्रासंगिकता गुणांवर तापमान-स्केल केलेले सॉफ्टमॅक्स लागू करतो. इतर दस्तऐवजांमधील चंक्स शून्य लक्षणीय संभाव्यता प्राप्त करतात. बॅचमधील सर्व चंक्सवर लक्षणीय आणि त्याच्या अंदाजित वितरणामध्ये अग्रेषित KL डायव्हर्जन कमी करून या लक्ष्याशी जुळण्यासाठी आम्ही एम्बेडिंग मॉडेलला प्रशिक्षित करतो:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

येथे, सुपरस्क्रिप्ट्स T आणि S शिक्षक आणि विद्यार्थी दर्शवतात, आणि rⱼ हा पॉझिटिव्ह दस्तऐवज d⁺ मधील चंक cⱼ साठी शिक्षकाचा प्रासंगिकता स्कोअर आहे. शिक्षकाचे लक्ष्य वितरण बॅचमधील इतर सर्व दस्तऐवजांमधील चंक्सना शून्य संभाव्यता नियुक्त करते.

एका सिंगल गोल्ड-चंक लेबलच्या विपरीत, हे लक्ष्य प्रासंगितेचे अंश कॅप्चर करते. समर्थकीय चंक्सना उत्तरासह समर्थकीय संदर्भ पुनर्प्राप्त करण्यासाठी मॉडेलला शिकवून, निगेटिव्ह म्हणून मानले जाण्याऐवजी शिक्षकांच्या गुणांनुसार वजन मिळते.

आमचे संयुक्त प्रशिक्षण उद्दिष्ट दस्तऐवज-स्तरीय कॉन्ट्रास्टिव्ह लॉस आणि चंक-स्तरीय डिस्टिलेशन लॉसची भारित बेरीज आहे. क्वेरी-डॉक्युमेंट जोड्यांच्या बॅचवर आम्ही या भारित लॉसची सरासरी काढतो.

आकृती २ आमचा प्रशिक्षण दृष्टीकोन स्पष्ट करते. संदर्भ कॉम्प्रेसर केवळ प्रशिक्षणादरम्यान शिक्षक म्हणून काम करतो. इन्फरन्सच्या वेळी, एम्बेडिंग मॉडेल प्रति चंक एक संदर्भ एम्बेडिंग तयार करते, ज्यामध्ये कोणतीही अतिरिक्त संपीडन किंवा रीरँकिंग टप्पा नसतो. हा दृष्टीकोन अनुक्रमणिका स्टोरेज वाढवल्याशिवाय किंवा पुनर्प्राप्ती वेळी शिक्षक-मॉडेल लेटन्सी जोडल्याशिवाय संदर्भ एम्बेडिंग्ज कसे शिकले जातात यात सुधारणा करतो.

संदर्भ एम्बेडिंग डिस्टिलेशनसाठी प्रशिक्षण सेटअप — आकृती २: आमच्या मॉडेलचा प्रशिक्षण सेटअप. संदर्भ एनकोडर (विद्यार्थी, डावीकडे) दस्तऐवज प्रक्रिया करतो, प्रत्येक अनेक चंक्सने बनलेला असतो. प्रत्येक चंक त्याच्या सभोवतालच्या दस्तऐवज संदर्भाच्या संदर्भात एम्बेड केला जातो. क्वेरी A ही दस्तऐवज A साठी ज्ञात जुळणी आहे आणि अंदाजित साम्य मिळविण्यासाठी सर्व दस्तऐवजांच्या चंक्स विरुद्ध स्कोर केली जाते. हे चंक-स्तरीय स्कोअर दस्तऐवज-स्तरीय स्कोअरमध्ये मॅक्स-पूल केले जातात. लक्षणीय वितरणांशी जुळण्यासाठी आम्ही चंक-स्तरीय अंदाज आणि दस्तऐवज पातळीचे अंदाज प्रशिक्षित करतो (उजवीकडे). चंक-स्तरीय लक्ष्य प्रशिक्षण वेळी ज्ञात संबंधित दस्तऐवजातील संदर्भ कॉम्प्रेसरच्या अंदाजानुसार मोजले जाते आणि ज्ञात अप्रासंगिक दस्तऐवजांमध्ये शून्य सेट केले जाते. दस्तऐवज-स्तरीय लक्ष्य वितरण ज्ञात संबंधित दस्तऐवजावर एक-हॉट असण्यासाठी सेट केले जाते.

प्रशिक्षण डेटामध्ये ५० हून अधिक भाषांना कव्हर करणारे अंदाजे ४३० सार्वजनिक आणि इन-हाऊस क्वेरी-डॉक्युमेंट डेटासेट समाविष्ट आहेत.

आम्ही PII-फिल्टर केलेल्या उत्पादन डेटावरून आणि लांब दस्तऐवजांवर संबंधित क्वेरी सिंथेसाइज करून इन-हाऊस जोडी डेटासेट तयार करतो. प्रत्येक फॉरवर्ड पाससाठी, इन-बॅच निगेटिव्हची अडचण वाढवण्यासाठी आणि शॉर्टकट लर्निंग टाळण्यासाठी आम्ही एक डेटासेट निवडतो आणि त्यातून संपूर्ण बॅच सॅम्पल करतो. आमच्या कोणत्याही प्रशिक्षण डेटासेटमध्ये शंके-स्तरीय ॲनोटेशन्स नाहीत: सर्व इन-डॉक्युमेंट पर्यवेक्षण कॉम्प्रेशन मॉडेलमधून येते, आणि प्रशिक्षणासाठी कोणत्याही ConTEB डेटाचा वापर केला जात नाही. शिवाय, मॉडेल विकासादरम्यान कोणताही context-bench डेटा उपलब्ध नव्हता.

हे मॉडेल इन-हाऊस, 9B-पॅरामीटर ColBERT रिट्रीव्हल मॉडेलपासून सुरू होते आणि लीनियर प्रोजेक्शन लेयरद्वारे 2048-डायमेंशनल एम्बेडिंग्ज तयार करते. आम्ही शिकलेल्या <|chunk_sep|> टोकनसह चंक सीमा चिन्हांकित करतो आणि त्याच्या टोकन एम्बेडिंगची सरासरी करून प्रत्येक चंक एम्बेडिंग तयार करतो. क्वेरी त्याच मॉडेलद्वारे एन्कोड केल्या जातात, त्यांच्या टोकन एम्बेडिंगची एकाच वेक्टरमध्ये सरासरी केली जाते.

आम्ही 1024- आणि 2048-डायमेंशनल एम्बेडिंग्ज दोन्हीना समर्थन देण्यासाठी मॅट्रोश्का प्रशिक्षण वापरतो, आणि नेटिव्ह int8 एम्बेडिंग्ज समर्थनासाठी क्वांटायझेशन-अवेअर प्रशिक्षण वापरतो. प्रशिक्षणादरम्यान, आम्ही हळूहळू लर्निंग रेट वाढवतो, तो स्थिर ठेवतो, नंतर कमी करतो.

रीलीज केलेले मॉडेल एक मॉडेल सूप आहे जे समान प्रशिक्षण धावण्याच्या अनेक चेकपॉइंट्सचे वजन सरासरी करते.

ConTEB सारखे सार्वजनिक संदर्भ-पुनर्प्राप्ती बेंचमार्क गोल्ड-चंक पर्यवेक्षणामागील गृहितक सामायिक करतात: प्रत्येक क्वेरीमध्ये एकच संबंधित चंक असतो आणि मॉडेलला केवळ तो चंक प्रथम क्रमांकावर ठेवल्याबद्दल बक्षीस मिळते. ते त्याच्या मर्यादा देखील वारशाने मिळवतात.

प्रथम, ConTEB अशा कार्यांवर पुनर्प्राप्तीची चाचणी करते जिथे सभोवतालच्या संदर्भाशिवाय चंक अस्पष्ट असतो. या कार्यांवर, प्रासंगिक मॉडेल्सनी प्रत्येक चंक स्वतंत्रपणे एन्कोड करणाऱ्या मॉडेल्सपेक्षा चांगली कामगिरी केली. तथापि, हे विचारत नाही की मॉडेल दस्तऐवजाचे इतर भाग देखील समोर आणते का जे चंक समजण्यायोग्य बनवतात.

दुसरे, हे पद्धतशीरपणे चाचणी करत नाही की जेव्हा समान कॉर्पस मधील जवळजवळ-समान दस्तऐवज केवळ अन्यथा समान वाक्याभोवती असलेल्या संदर्भात भिन्न असतात तेव्हा योग्य दस्तऐवज शोधला जाऊ शकतो का.

शोध एजंट किंवा वापरकर्त्याला एखाद्या संपूर्ण दस्तऐवजाऐवजी काही पुनर्प्राप्त वाक्यांमधून उत्तर समजून घ्यायचे आणि पडताळायचे असते, तेव्हा दोन्ही क्षमता महत्त्वाच्या ठरतात. म्हणून आम्ही context-bench हा दीर्घ दस्तऐवजांवरील retrieval साठी एक नियंत्रित benchmark तयार केला, जो दस्तऐवजाच्या context चा वापर आणि सर्वसाधारण retrieval quality यांमधील फरक ओळखण्यासाठी डिझाइन केला आहे. तो तपासतो की contextual embeddings दस्तऐवजाच्या इतर भागांमधील माहिती वापरून तीन क्षमतांना आधार देतात का:

दस्तऐवज अस्पष्टता दूर करणे: जवळजवळ-समान पर्यायांमध्ये योग्य दस्तऐवज ओळखा.
उत्तर पुनर्प्राप्ती: उत्तर-धारण करणारे चंक्स पुनर्प्राप्त करा ज्यांचा अर्थ दस्तऐवजात इतरत्र असलेल्या तपशीलांवर अवलंबून असतो.
पुराव्याची पुनर्प्राप्ती: उत्तराचे स्पष्टीकरण करणारे किंवा पुष्टी करणारे समर्थकीय चंक्स पुनर्प्राप्त करा.

context-bench मध्ये 2,099 queries आणि 38,894 documents आहेत. Sentence length chunks वापरले जातात, ज्यामुळे एकूण 2,458,072 chunks मिळतात. या queries 21 domains व्यापतात, ज्यात corporate filings, clinical research, travel, entertainment, education, government, legal contracts, आणि software documentation यांचा समावेश आहे.

प्रत्येक क्वेरी बारा संदर्भ क्षमतेपैकी एकाची चाचणी करण्यासाठी डिझाइन केलेली आहे. प्राथमिक लक्ष्य दस्तऐवज हेतुस्सर लांब आहेत: ۱,१९७ भिन्न प्राथमिक लक्ष्य दस्तऐवजांपैकी १,०६१ कडे किमान २०० वाक्ये आहेत, ज्याची सरासरी लांबी अंदाजे ६,१०० टोकन्स आहे. प्रत्येक क्वेरीमध्ये कॉर्पसमध्ये तंतोतंत एक योग्य उत्तर असते. जर समान तथ्य सोन्याच्या दस्तऐवजात एकापेक्षा जास्त वेळा सांगितले गेले असेल, उदाहरणार्थ सारांश वाक्यात आणि तक्त्याच्या ओळीत, त्यापैकी कोणतीही वाक्ये उत्तरे म्हणून स्वीकारली जातात.

उत्तर मार्ग हा उत्तर चंक आणि त्याचे अर्थ लावण्यासाठी किंवा पडताळणी करण्यासाठी आवश्यक समर्थकीय पुराव्याचे एक वैध संयोजन आहे. २,०९९ क्वेरीजमध्ये, प्राथमिक लक्ष्य-दस्तऐवज उत्तर मार्गात ९६४ क्वेरीजसाठी एक पुरावा गट, ७३५ साठी दोन, ३३२ साठी तीन किंवा अधिक आणि ६८ साठी काहीही नाही. पर्यायी वैध उत्तर मार्गांना वेगवेगळे पुरावा गट आवश्यक असू शकतात.

तक्ता १: बेंचमार्क आकडेवारी.

आकडेवारी	मूल्य
क्वेरीज	२,०९९
दस्तऐवज	३८,८९४
वाक्य चंक्स	२,४५८,०७२
मध्य प्राथमिक लक्ष्य दस्तऐवज लांबी	६,१०० टोकन्स
डोमेन्स	२१
प्रति क्वेरी पुरावा गट (प्राथमिक लक्ष्य-दस्तऐवज उत्तर मार्ग)	१: ९६४; २: ७३५; ३+: ३३२; काहीही नाही: ६८

तक्ता २: वर्णनात्मक उदाहरणांसह, context-bench द्वारे चाचणी केलेल्या बारा संदर्भ क्षमता.

क्षमता	उदाहरण क्वेरी	उत्तर भाग	आवश्यक दस्तऐवज संदर्भ
१. घटकाची ओळख	नॉर्थलेकने शेअर बायबॅकवर किती खर्च केला?	कंपनीने १२.८ अब्ज डॉलर्सचे शेअर्स बायबॅक केले.	परिचय नॉर्थलेकला “कंपनी” म्हणून ओळख देतो. असाच दक्षिणलेक अहवाल संबंधित नाही.
२. कालावधी किंवा आवृत्ती	M40 पुनरावृत्ती B ला कोणती काततूणी (कार्ट्रिज) बसते?	KC-42 काततूणी स्थापित करा.	उपयोज्यता विभाग सांगतो की या सूचना पुनरावृत्ती B ला कव्हर करतात, पुनरावृत्ती C ला नाही.
३. परिभाषा आणि उपनावे	१५ मिलीग्राम गटाचा माघार दर (withdrawal rate) काय होता?	झेटाचा माघार दर १२.७% होता.	अहवाल झेटाला १५ mg गट म्हणून परिभाषित करतो. त्या व्याख्येशिवाय, हा भाग विनंती केलेल्या गटाची ओळख पटवत नाही.
४. तक्त्याची रचना	Max मॉडेलची बॅटरी क्षमता काय आहे?	सामान्य क्षमता: ४,२५० \| ४,७०० \| ५,१५०.	तक्ता शीर्षक Mini \| Base \| Max स्थापित करते, जे mAh मध्ये मोजले जाते. त्यामुळे उत्तर ५,१५० mAh आहे.
५. शर्ती आणि अपवाद	व्यावसायिक वापरासाठी बॅटरी कव्हरेज किती लांब आहे?	बॅटरी कव्हरेज १८ महिने टिकते.	विभाग परिचय हे कव्हरेज व्यावसायिक प्रतिष्ठानांपुरते मर्यादित ठेवतो; घरगुती प्रतिष्ठानांची वेगळी वॉरंटी असते.
६. संदर्भ आणि सर्वनामे	मारा उपमहापौर कधी बनल्या?	त्यांनी २०२१ मध्ये पदभार स्वीकारला.	मागील कथा स्थापित करते की “ती” माराचा संदर्भ देते, एलिनचा नाही, ज्यांच्याबद्दलही चर्चा केली आहे.
७. सूची क्रम आणि स्थिती	कोणत्या गाण्याने एन्कोरची सुरुवात केली?	१४. लँटर्न रोड.	दुसऱ्या ठिकाणची नोंद सांगते की गाणी १४–१६ ने एन्कोर बनवले. ट्रॅक १४ म्हणूनच त्याचे सुरुवातीचे गाणे आहे.
८. विभागाची व्याप्ती	चित्रपटाच्या सिनेमॅटोग्राफीसाठी कोणता लेन्स वापरला गेला?	संपूर्ण वेळ ३५ मिमी प्राईम वापरला गेला.	हा उतारा “मुख्य छायाचित्रण” (Principal Photography) शी संबंधित आहे, पब्लिसिटी फोटोग्राफ्सबद्दलच्या स्वतंत्र विभागाशी नाही.
९. वक्ता प्रेषण	महापौरांनी कोणती पुनरारंभाची तारीख दिली?	आम्ही १२ जून रोजी पुनरारंभ करू.	ट्रान्सक्रिप्ट महापौरांना वक्ता म्हणून ओळखते. कंत्राटदाराचे हेच शब्द महापौरांचे आश्वासन स्थापित करत नाहीत.
१०. काळासानुसार बदल	मे महिन्याच्या दुरुस्तीनंतर कोणती नोटीस कालावधी लागू झाला?	नोटीस कालावधी आता ४५ दिवस आहे.	दुरुस्तीचा इतिहास स्थापित करतो की हा बदल मे मध्ये लागू झाला, ज्याने पूर्वीचा ३० दिवसांचा नियम बदलला.
११. कारण-परिणामाचे संबंध	पश्चिम पंप का बंद पडला?	त्या बिघाडामुळे शटडाऊन झाला.	तपासणीमध्ये “त्या बिघाडला” पश्चिम पंपातील जॅम झालेला बेअरिंग म्हणून ओळखले जाते, आणि संबंधित नसलेल्या इनलेट अडथळ्यापासून वेगळे केले जाते.
१२. अलौकिक किंवा क्रॉस-लँग्वेज अर्थ	अलौकिक: कवितेमध्ये “थंडीची खोली” (the winter room) कशाचे प्रतीक आहे? क्रॉस-लँग्वेज: फ्रेंच सूचनेनुसार तंत्रज्ञाने कोणता घटक काढून टाकायचा आहे?	अलौकिक: हे शारीरिक खोलीपेक्षा निर्वासितपणाचे प्रतिनिधित्व करते. क्रॉस-लँग्वेज: Retirez le capot. (कव्हर काढा.)	अलौकिक: भाष्य “त्याला” कवितेची पुनरावृत्ती होणारी “थंडीची खोली” प्रतिमा म्हणून ओळखते. क्रॉस-लँग्वेज: मार्गदर्शकाचा शब्दकोश निर्दिष्ट करतो की “capot” म्हणजे संरक्षणात्मक मोटर हूड, शिपिंग कव्हर नाही.

क्वेरीज, दस्तऐवज आणि चाचणी केल्या जाणाऱ्या क्षमता turbopuffer च्या ग्राहकांशी झालेल्या संभाषणांमधून प्रेरित आहेत.

एक उदाहरण देण्यासाठी, मालमत्ता व्यवस्थापन फर्मच्या शोध गरजांचा विचार करा. या फर्म्सकडे शेकडो, कधीकधी हजारो लीज करार असतात जे केवळ भाडेकरूंची नावे, तारखा आणि इतर काही महत्त्वाच्या तपशीलांमध्ये भिन्न असतात. त्या डेटासेटसाठी एक सामान्य क्वेरी असू शकते “5 पार्क अव्हेन्यूचे लीज कधी संपते आणि सध्याचे भाडे काय आहे?”. लीज करार देखील लांब असू शकतात आणि महत्त्वपूर्ण अस्पष्टता दूर करणारे घटक जे तुम्ही योग्य दस्तऐवज पुनर्प्राप्त केला आहे याची पुष्टी करतील (जसे की तारीख, पत्ता, भाडेकरूचे नाव इ.) मासिक लीज पेमेंट रक्कम असलेले मुख्य उत्तर वाक्य लांब असू शकतात. प्रत्यक्षात, “मासिक भाडे $X,XXX आहे.” सारखी तंतोतंत वाक्ये कॉर्पस मधील अनेक दस्तऐवजांमध्ये दिसू शकतात.

एक चांगले contextual embedding model संपूर्ण दस्तऐवजातून context वापरून योग्य दस्तऐवज ओळखायला आणि उत्तर तसेच त्याला आधार देणारी वाक्ये दोन्ही retrieve करायला हवे. यामुळे वापरकर्ता किंवा search agent उत्तर पटकन पडताळू शकतो आणि ते योग्य दस्तऐवजातून आले आहे याची खात्री करू शकतो.

प्रत्येक क्वेरीसाठी, आम्ही लक्ष्य दस्तऐवजातील “उत्तर” आणि “पुरावा” वाक्ये लेबल करतो. जर एखादे मॉडेल प्रत्येक पुरावा गटातून किमान एका वाक्यासह उत्तर वाक्य पुनर्प्राप्त करते तर ते आमची “वाचक पुरेशीता” (reader sufficiency) चाचणी उत्तीर्ण करते. एकत्रितपणे, ही वाक्ये वाचकांसाठी समर्थकीय पुराव्यासह उत्तराची पडताळणी करण्यासाठी पुरेसा संदर्भ प्रदान करतात.

जेव्हा contextual embedding models हे चांगले करतात, तेव्हा ते search agents ना तपासावे लागणाऱ्या tokens ची संख्या मोठ्या प्रमाणात कमी करू शकतात, तसेच एखाद्या व्यक्तीस त्यांच्या मूळ query चे योग्य उत्तर सापडले आहे याची संपूर्ण दस्तऐवज वाचल्याशिवाय पटकन खात्री करणे खूप सोपे करू शकतात.

प्रत्येक पुरावा गट पुनर्प्राप्त केला गेला पाहिजे, परंतु गटाच्या पर्यायांपैकी कोणताही एक तो पुनर्प्राप्त करण्यासाठी पुरेसा आहे. या लांब दस्तऐवजांमध्ये अनेक ठिकाणी समान तथ्य सांगितलेले पाहणे सामान्य आहे. प्रत्येक पुरावा गटातून फक्त एक वाक्य पुनर्प्राप्त करणे वाचक पुरेशीता निकषांची पूर्तता करते आणि म्हणून परिपूर्ण पुरावा रिकॉल म्हणून स्वीकारले जाईल.

प्रत्येक दस्तऐवज वाक्यांमध्ये चंक केला जातो, आणि सर्व मॉडेल्ससाठी समान सीमा वापरल्या जातात. गैर-संदर्भ एम्बेडिंग मॉडेल्ससाठी दोन शर्तींची चाचणी केली जाते: एक जिथे प्रत्येक वाक्य स्वतंत्रपणे एम्बेड केले जाते आणि दुसरी जिथे संपूर्ण दस्तऐवज एकच चंक म्हणून एम्बेड केला जातो.

उत्तर रिकॉल आणि पुरावा रिकॉल मोजण्यासाठी आम्ही वाक्य-स्तरीय स्थिती वापरतो. हे चाचणी करते की गैर-संदर्भ मॉडेल योग्य उत्तर आणि समर्थकीय पुराव्याची ओळख पटवू शकते का जेव्हा प्रत्येक वाक्य सभोवतालच्या दस्तऐवजात प्रवेशाशिवाय एम्बेड केले जाते. हे हेतुस्सर आव्हानात्मक आहे. अनेक क्वेरींमध्ये, केवळ उत्तर वाक्यात कॉर्पसमध्ये इतरत्र असलेल्या तत्सम वाक्यांपासून वेगळे करण्यासाठी आवश्यक तपशीलांचा अभाव असतो.

आम्ही दस्तऐवज-स्तरीय स्थिती दस्तऐवज रिकॉल बेसलाइन म्हणून वापरतो. हे चाचणी करते की बारीक-ग्रेन वाक्य एम्बेडिंग्स प्रति दस्तऐवज एक वेक्टर संचयित करण्याच्या सापेक्ष त्यांच्या अतिरिक्त स्टोरेज खर्चाचे समर्थन करण्यासाठी पर्याप्त पुनर्प्राप्ती फायदा प्रदान करतात का. वाक्य-स्तरीय अनुक्रमणिका दस्तऐवज-स्तरीय अनुक्रमणिकेपेक्षा लक्षणीयरीत्या अधिक वेक्टर्स तयार करते, त्यामुळे त्या खर्चाचे समर्थन करण्यासाठी त्याने प्रति-दस्तऐवज-एक-वेक्टर बेसलाइनपेक्षा उत्तम कामगिरी केली पाहिजे.

सर्व मूल्यवानने सर्व २,४५८,०७२ चंक्स विरुद्ध सर्वसमावेशक रँकिंग वापरतात. त्यामुळे मॉडेल्समधील फरक प्रतिनिधित्व प्रतिबिंबित करतात, अनुक्रमणिका कॉन्फिगरेशन नाही. आम्ही तीन प्रमुख मेट्रिक्सवर लक्ष केंद्रित करतो:

Document@K असे परिभाषित केले आहे:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

जेथे $d^{*}$ हे $D_q$ मधील सर्वोच्च-क्रमांकित दस्तऐवज आहे.

Answer@K असे परिभाषित केले आहे:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

जेथे $C_K(q)$ संपूर्ण कॉर्पसवरील शीर्ष $K$ चंक्स आहेत आणि $A_{q}$ स्वीकृत उत्तर चंक्सचा संच आहे.

Evidence Recall@K चे $d^{*}$ मध्ये खालीलप्रमाणे मोजमाप केले जाते: $d^{*}$ ची वाक्ये साम्यानुसार क्रमवारी लावा, सर्वोच्च-क्रमांकित उत्तर वाक्य काढून टाका, आणि $R_K(q)$ ला उरलेले शीर्ष $K$ असू द्या. पुरावा गट $G_q=\{g_1,\ldots,g_m\}$ साठी, गट $g_j$ पुनर्प्राप्त केला जातो जर काही पर्याय $E\in g_j$ हे $E\subseteq R_K(q)$ पूर्ण करत असेल, आणि

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K विचारते की संदर्भनीकरण योग्य दस्तऐवजाला त्याचे शब्दसंग्रह सामायिक करणारे भावंड आणि विचलित करणाऱ्यांना हरवण्याची परवानगी देते का.

Answer@K विचारते की उत्तर वाक्य स्वतः शीर्ष चंक्समध्ये क्रमांकित करते का.

Evidence Recall@K म्हणजे gold document च्या top K chunks मधून, सर्वाधिक ranked answer chunk वगळल्यानंतर, आधार देणाऱ्या context पैकी किती भाग पुनर्प्राप्त झाला आहे हे मोजते. उत्तर काढून टाकल्यामुळे evidence recall मध्ये Answer@K आधीच जे मोजते त्याची दुहेरी गणना होत नाही, आणि सर्व $K$ slots आधार देणाऱ्या context साठी मोकळे राहतात. gold document top 10 retrieved documents मध्ये असणे आवश्यक केल्यामुळे, ज्याचा model ला शोधच लागला नसता अशा दस्तऐवजासाठी कोणत्याही model ला evidence credit मिळत नाही. आम्ही All-Evidence@K देखील अहवालात देतो, म्हणजे सर्व समूह पुनर्प्राप्त झालेल्या queries चा fraction.

एकत्रितपणे, हे मेट्रिक्स संदर्भ-एम्बेडिंग मॉडेल्ससमोरील आव्हानांचे विश्लेषण करतात: योग्य दस्तऐवज शोधणे, योग्य उत्तर शोधणे आणि उत्तर का योग्य आहे हे दर्शवणारा किमान संदर्भ पुनर्संचयित करणे.

आकृती ३ मालमत्ता व्यवस्थापन उदाहरणासह मेट्रिक्स स्पष्ट करते.

Context-bench दस्तऐवज, उत्तर, आणि पुरावा पुनर्प्राप्ती गुण कसे दिले जातात — आकृती ३: लीज क्वेरीसह स्पष्ट केलेले Context-bench मेट्रिक्स. Document@K योग्य दस्तऐवजाची पुनर्प्राप्ती चाचणी करते; Answer@K त्याच्या उत्तर चंकची पुनर्प्राप्ती चाचणी करते; Evidence Recall@K लक्ष्य दस्तऐवजातील समर्थकीय पुरावा गटांची पुनर्प्राप्ती मोजते. या उदाहरणात, भाड्याची पडताळणी करण्यासाठी पत्ता आणि लीज-वर्ष पुरावा दोन्ही आवश्यक आहेत. पुरावा रिकॉल शीर्ष उत्तर चंक वगळतो आणि लक्ष्य दस्तऐवजाला शीर्ष १० मध्ये क्रमांक देण्याची आवश्यकता असते.

आम्ही चार आघाड्यांवर संदर्भ आणि गैर-संदर्भ एम्बेडिंग मॉडेल्स विरुद्ध आमच्या मॉडेलचे मूल्यांकन करतो.

आमचे संदर्भ बेसलाइन pplx-embed-context-v1-4B आणि voyage-context-4 आहेत. आमचे गैर-संदर्भ बेसलाइन voyage-4-large आणि NVIDIA चे Nemotron-3-Embed-8B-BF16 आहेत, जे चंक्स स्वतंत्रपणे एन्कोड करतात. प्रत्येक आकृतीत दर्शविल्याप्रमाणे, बेसलाइन संच प्रयोगानुसार बदलतो.

आम्ही context-bench ने सुरुवात करतो, जे या कामास प्रेरित करणाऱ्या क्षमतांची थेट चाचणी करते, आणि नंतर ConTEB वर परिणाम रिपोर्ट करतो, जे संदर्भ एम्बेडिंग्जसाठी मानक सार्वजनिक बेंचमार्क आहे. हे फायदे सामान्य पुनर्प्राप्ती गुणवत्तेच्या किंमतीवर येत नाहीत हे तपासण्यासाठी, आम्ही सार्वजनिक डेटासेटवरून तयार केलेल्या डोमेन-विशिष्ट दस्तऐवज आणि चंक पुनर्प्राप्ती बेंचमार्कचे देखील मूल्यांकन करतो. शेवटी, आम्ही उपयोजनासाठी दोन व्यावहारिक गुणधर्मांची तपासणी करतो: प्रति वेक्टर स्टोरेज खर्चाच्या तुलनेत पुनर्प्राप्ती गुणवत्ता, आणि अनुक्रमणिका वेळेस वापरलेल्या चंक आकाराची संवेदनशीलता. सर्व मूल्यवानने एकाच पासमध्ये ३२,७६८ टोकन्सपर्यंतचे दस्तऐवज एन्कोड करतात.

परिचयातील आकृती १ मध्ये दर्शविल्याप्रमाणे, आमचे पूर्वावलोकन प्रत्येक रिपोर्ट केलेल्या कटऑफवर Answer@K आणि Evidence Recall@K वर, तसेच All-Evidence@10 वर आघाडीवर आहे. K = 10 वर, ते ४५.५% उत्तर रिकॉल, ४०.६% पुरावा रिकॉल, आणि ३१.१% सर्व-पुरावा रिकॉल प्राप्त करते. हे Document@1 आणि Document@10 वर देखील आघाडीवर आहे, अनुक्रमे १५.२% आणि ६१.६% पर्यंत पोहोचते. K = 10 वर, आमचे पूर्वावलोकन उत्तर रिकॉलमध्ये voyage-context-4 पेक्षा १४.४ टक्के पॉईंट्सने आणि पुरावा रिकॉलमध्ये ५.० पॉईंट्सने पुढे आहे.

आकृती ४ मध्ये ConTEB वर दर्शविलेल्या मॉडेल्समध्ये आमचे पूर्वावलोकन मॉडेल सर्वोच्च सरासरी nDCG@10 प्राप्त करते. हे प्रत्येक कार्यावर आघाडीवर नाही: pplx-context-v1-4B NarrativeQA वर उच्च गुण मिळवते, तर Nemotron-3-8B COVID-QA वर सर्वोच्च गुण मिळवते. मुख्य लेखकांनी ConTEB पेपरमध्ये देखील निदर्शनास आणल्याप्रमाणे, COVID-QA मध्ये बहुतेक क्वेरी-चंक जोड्या समाविष्ट आहेत ज्या अत्यंत एक्स्ट्रॅक्टिव्ह आहेत आणि तांत्रिक वैद्यकीय अज्ञानांवर साध्या पृष्ठभागाच्या लेक्सिकल जुळणीसह संतुष्ट केल्या जाऊ शकतात. परिणामी, संदर्भ समजून घेणे या कार्यासाठी कमी उपयुक्त ठरते आणि गैर-संदर्भ मॉडेल्स सामान्यत: संदर्भ मॉडेल्सपेक्षा चांगली कामगिरी करतात.

ConTEB वर १० वर कार्य-स्तरीय nDCG — आकृती ४: क्वेरी-टू-चंक सेटिंगमध्ये ConTEB वर कार्य-स्तरीय nDCG@10. सरासरी ही आठ कार्यांमधील भार नसलेला मध्य (mean) आहे.

संदर्भ एम्बेडिंग्जसाठी डिझाइन केलेल्या बेंचमार्कच्या पलीकडे, आम्ही आमच्या मॉडेलच्या डोमेन-विशिष्ट कार्यक्षमतेचे मूल्यांकन करतो.

आमची क्वेरी-टू-चंक (Q2C) सुई LegalBench आणि FinanceBench सारख्या MTEB कार्यांचा वापर करते तसेच सार्वजनिक डेटासेटवरून आम्ही क्युरेट केलेल्या अतिरिक्त पुनर्प्राप्ती कार्यांचा वापर करते. प्रत्येक संबंधित दस्तऐवजात, जर कार्यामध्ये तंतोतंत उत्तर स्पॅन असेल तर चंक संबंधित म्हणून लेबल केले जाते, आणि अन्यथा क्वेरीशी त्याच्या रेलेव्हन्सचा न्याय करणाऱ्या LLM द्वारे. क्वेरी-टू-डॉक्युमेंट (Q2D) सुई समान कार्यांचा वापर करते आणि संबंधित दस्तऐवज पुनर्प्राप्त केला गेला आहे की नाही याचे गुण देते.

आमचे मॉडेल आकृती ५ मध्ये चंक पुनर्प्राप्तीवर सर्वोच्च सरासरी गुण प्राप्त करते आणि कायदेशीर, तांत्रिक आणि आरोग्य डोमेन्समध्ये आघाडीवर आहे. हे प्रत्येक डोमेनमध्ये आघाडीवर नाही: voyage-context-4 फायनान्स आणि बहुभाषिक पुनर्प्राप्तीमध्ये उच्च गुण मिळवते, आणि Nemotron-3-8B संभाषण पुनर्प्राप्तीमध्ये सर्वोच्च गुण मिळवते. आकृती ६ मधील दस्तऐवज पुनर्प्राप्तीत, आमचे मॉडेल सरासरी voyage-context-4 च्या थोडे खाली गुण मिळवते, तर तांत्रिक डोमेनमध्ये आघाडीवर आहे. pplx-context-v1-4B बेसलाइन दोन्ही सुइट्समध्ये सरासरी कमी गुण मिळवते, जे ते केवळ ConTEB प्रशिक्षण सेटवर प्रशिक्षित केले गेले होते या वस्तुस्थितीशी सुसंगत आहे, हे दर्शवते की एका बेंचमार्कच्या गोल्ड चंक्सशी जोडलेले पर्यवेक्षण इतर डोमेन्समध्ये खराब हस्तांतरित होते.

डोमेननुसार क्वेरी-टू-चंक पुनर्प्राप्ती गुण — आकृती ५: क्वेरी-टू-चंक (Q2C) कार्यांवर सरासरी nDCG@10, डोमेननुसार गटबद्ध. डोमेन बार हे त्या डोमेनमधील कार्य-स्तरीय गुणांचे भार नसलेले माध्य आहेत; एकूण सरासरी सर्व प्रदर्शित कार्यांमधील भार नसलेले माध्य आहे.

डोमेननुसार क्वेरी-टू-डॉक्युमेंट पुनर्प्राप्ती गुण — आकृती ६: क्वेरी-टू-डॉक्युमेंट (Q2D) कार्यांवर सरासरी पुनर्प्राप्ती गुण, डोमेननुसार गटबद्ध. डोमेनमधील प्रत्येक बार त्याच्या कार्य-स्तरीय मुख्य गुणांचे भार नसलेले माध्य आहे; एकूण सरासरी सर्व प्रदर्शित कार्यांमधील भार नसलेले माध्य आहे.

एक संदर्भ एम्बेडिंग मॉडेल प्रति चंक एक वेक्टर तयार करते, त्यामुळे आमच्या मॉडेलसह तयार केलेल्या अनुक्रमणिकेत समान चंकिंग धोरणासह पारंपारिक चंक-स्तरीय अनुक्रमणिकेइतकेच वेक्टर्स असतात. संदर्भनीकरण प्रत्येक वेक्टर काय एन्कोड करते ते बदलते, किती वेक्टर्स साठवले जातात ते नाही. त्यामुळे स्टोरेज फूटप्रिंट प्रत्येक वेक्टरच्या आकाराद्वारे नियंत्रित केला जातो. मॉडेल ते कमी करण्याचे दोन मार्ग ऑफर करते: एम्बेडिंग २०४८ वरून १०२४ डायमेंशन्समध्ये ट्रंक करणे आणि int8 मध्ये क्वांटाईज करणे.

आकृती ७ पुनर्प्राप्ती गुणवत्ता आणि वेक्टर स्टोरेज यांच्यात अनुकूल ट्रेडऑफ दर्शवते. १०२४ डायमेंशन्सवर, आमचे int8 एम्बेडिंग्ज प्रति वेक्टर १ KB वापरतात तर float32 मधील २०४८ डायमेंशन्सवरील voyage-context-4 च्या चंक-पुनर्प्राप्ती गुणाला थोडे ओलांडतात, जे प्रति वेक्टर ८ KB वापरतात. आमचा एम्बेडिंग आकार २०४८ डायमेंशन्सपर्यंत वाढवणे प्रति वेक्टर २ KB वर पुनर्प्राप्ती गुणवत्ता आणखी वाढवते. हे स्टोरेज आकडे केवळ वेक्टर्सचा संदर्भ देतात, उर्वरित अनुक्रमणिकेचा नाही.

चंक पुनर्प्राप्ती गुणवत्ता विरुद्ध प्रति वेक्टर स्टोरेज — आकृती ७: प्रति वेक्टर स्टोरेजचे कार्य म्हणून चंक पुनर्प्राप्ती गुणवत्ता (सरासरी nDCG@10). घन रेषा float32 दर्शवतात आणि डॅश केलेल्या रेषा int8 दर्शवतात; लेबल्स एम्बेडिंग डायमेंशन देतात.

आकृती ८ चंक आकार ६४ वरून ५१२ टोकन्सपर्यंत वाढल्यामुळे पुनर्प्राप्ती गुणवत्तेमध्ये केवळ एक सामान्य बदल दर्शवते: सरासरी गुण ८१.०% वरून ७९.९% पर्यंत घसरतो, जो १.१ टक्के पॉईंट्सची घट आहे. हे सुचवते की मॉडेल चाचणी केलेल्या चंक आकारांमध्ये प्रभावी राहते, ज्यामुळे अनुक्रमणिका पाइपलाइनला दस्तऐवज कसे विभाजित केले जातात यामध्ये लवचिकता मिळते.

चंक-आकार संवेदनशीलता: ६४ ते ५१२ टोकन्सच्या चंक्ससाठी पुनर्प्राप्ती गुण — आकृती ८: आमच्या मॉडेलची चंक-आकार संवेदनशीलता. प्रत्येक बिंदू ७४ MTEB कार्यांमधील भार नसलेला माध्य nDCG@10 आहे, दिलेल्या चंक आकारावर अनुक्रमित केलेल्या दस्तऐवजांसह.

turbopuffer context-bench चा संपूर्ण कॉर्पस, क्वेरी आणि लेबल्स खाजगी ठेवते आणि सबमिट केलेल्या मॉन्डेल्सचे निकाल जाहीर करते. या प्रकारचा सार्वजनिक बेंचमार्क त्याच्या क्वेरी आणि दस्तऐवजांवर थेट प्रशिक्षणाला आमंत्रित करतो, ज्यामुळे हळूहळू तो संपृक्त होईल आणि कालांतराने प्रगती ट्रॅक करण्यासाठीचे त्याचे मूल्य कमी होईल. तुमचे मॉडेल बेंचमार्कवर मूल्यांकन केले जावे असे तुम्हाला वाटत असल्यास, कृपया contextbench@turbopuffer.com वर turbopuffer शी संपर्क साधा.

आमच्या मॉडेलचे पूर्वावलोकन Hugging Face वर उपलब्ध आहे, आणि या पोस्टमधील सर्व परिणाम या पूर्वावलोकनासाठी रिपोर्ट केले जातात. आम्ही Perplexity API द्वारे मॉडेल उपलब्ध करून देण्यासाठी, आणि turbopuffer सोबत लांब दस्तऐवजांवर पुनर्प्राप्ती आणखी सुधारण्यासाठी काम करत आहोत.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

परिचय

पुनर्प्राप्तीसाठी संदर्भ का महत्त्वाचा आहे

गोल्ड-चंक पर्यवेक्षणाची मर्यादा

संदर्भ शिक्षणासाठी एक नवीन दृष्टीकोन

लॉस फंक्शन

दस्तऐवज-स्तरीय कॉन्ट्रास्टिव्ह लॉस

चंक-स्तरीय डिस्टिलेशन लॉस

संयुक्त लॉस

प्रशिक्षण डेटा

प्रशिक्षण सेटअप

चंक-स्तरीय पुनर्प्राप्तीसाठी एक नवीन बेंचमार्क

दस्तऐवज आणि क्वेरीज

उत्तर आणि पुरावा लेबल्स

मेट्रिक्स

मूल्यांकन परिणाम

Context-bench

ConTEB

डोमेनमध्ये सामान्य पुनर्प्राप्ती गुणवत्ता

पुनर्प्राप्ती गुणवत्ता आणि स्टोरेज खर्च

चंक आकार संवेदनशीलता

रीलीज

उद्धरण