தங்கப் பகுதிக்கு அப்பால் சூழல் சார்ந்த உட்பொதிவு

சூழல் சார்ந்த உட்பொதிவுகள் முழு ஆவணத்தின் சூழலில் ஒவ்வொரு பகுதியின் அல்லது சங் இன் அர்த்தத்தைப் படம்பிடிக்கின்றன. அவற்றின் பயிற்சியும் மதிப்பீடும் பொதுவாக ஒரு வினவலுக்கு ஒரு பொருத்தமான சங்கை அனுமானிக்கின்றன, இது “தங்கப் பகுதி” (gold passage) என அழைக்கப்படுகிறது. இருப்பினும், நடைமுறையில் ஒரு தங்கப் பகுதி பெரும்பாலும் போதாது. இது பதிலைக் கொண்டிருக்கலாம் ஆனால் அதைப் புரிந்துகொள்ள அல்லது சரிபார்க்கத் தேவையான ஆதரவு சூழல் இல்லாமல் இருக்கலாம், இது தனிமைப்படுத்தப்பட்ட நிலையில் அதைத் தெளிவற்றதாக மாற்றும்.

எங்களின் புதிய சூழல் சார்ந்த உட்பொதிவு மாதிரியான pplx-embed-v2-context-9b-preview ஐ அறிமுகப்படுத்துகிறோம். Perplexity இன் சூழல் சுருக்க மாதிரியை ஆசிரியராகப் பயன்படுத்தும் ஒரு புதிய அணுகுமுறையுடன் மாதிரி பயிற்றுவிக்கப்படுகிறது. ஒற்றை தங்க சங்குக்குப் பதிலாக பதில் சங்ஸ்கள் மற்றும் ஆதரவு சூழல் இரண்டையும் மீட்டெடுக்க உட்பொதிவு மாதிரிக்குக் கற்பித்து, அதன் டோக்கன்-நிலை கணிப்புகளை சங்-நிலை பொருத்த மதிப்பெண்களாகத் திரட்டுகிறோம். மாதிரி கூடுதல் ஊகச் செலவு இல்லாமல் சங் ஒன்றுக்கு ஒரு உட்பொதிவை உருவாக்குகிறது மற்றும் 1024-பரிமாண மற்றும் int8 உட்பொதிவுகளை ஆதரிக்கிறது.

இது context-bench மீது state-of-the-art முடிவுகளை அடைகிறது; இது context-aware retrieval-க்கான ஒரு புதிய benchmark, turbopuffer மூலம் உருவாக்கப்பட்டு தனிப்பட்ட முறையில் வைத்திருப்பது, மேலும் பரவலாகப் பயன்படுத்தப்படும் பொது benchmark ஆன ConTEB மீதும் அதேபோன்று முடிவுகளைப் பெறுகிறது. எங்கள் model, context-bench-இலிருந்து சுயாதீனமாக உருவாக்கப்பட்டு, blind submission-ஆக மதிப்பாய்வு செய்யப்பட்டது.

Context-bench ஆனது 21 டொமைன்களில் 38,894 நீண்ட ஆவணங்கள் மீது 2,099 வினவல்களைக் கொண்டுள்ளது மற்றும் சூழல் சார்ந்த உட்பொதிவுகளின் மூன்று திறன்களை மதிப்பிடுகிறது: கிட்டத்தட்ட நகல் ஆவணங்களுக்கு இடையே ஆவண வேறுபாடு, தொலைதூர சூழலைப் பொறுத்து இதன் அர்த்தம் உள்ள கோல்ட் சங்ஸ்களின் மீட்டெடுப்பு, மற்றும் ஒரு பதிலைச் சரிபார்க்கத் தேவையான ஆதரவான ஆதாரத்தின் நினைவு கூர்தல்.

மாதிரியின் முன்னோட்டம் Hugging Face இல் பொதுவில் கிடைக்கிறது. பயிற்சி மாசுபாட்டின் அபாயத்தைக் குறைக்கவும், முன்னேற்றத்தை அளவிடுவதற்கான அதன் மதிப்பைப் பாதுகாக்கவும் இந்த அளவுகோல் turbopuffer ஆல் தனிப்பட்ட முறையில் வைக்கப்பட்டுள்ளது. மதிப்பீட்டைக் கோர, தயவுசெய்து turbopuffer ஐ contextbench@turbopuffer.com இல் தொடர்பு கொள்ளவும்.

context-bench இல் ஆவணம், பதில் மற்றும் ஆதார மீட்டெடுப்பு முடிவுகள் — படம் 1: Perplexity v2 preview 9B ஐ Voyage Context 4, Voyage 4 Large மற்றும் Perplexity context v1 4B உடன் ஒப்பிட்டு, context-bench இல் Answer@K, Document@K, Evidence Recall@K மற்றும் All-Evidence@10.

மீட்டெடுப்பு அமைப்புகள் பொதுவாக நீண்ட ஆவணங்களை சிறிய சங்ஸ்களாகப் பிரிக்கின்றன, அவை தனித்தனியாக குறியிடப்பட்டு தேடப்படலாம். சங் செய்வது நடைமுறையில் வசதியானது, ஆனால் இது ஒவ்வொரு சங் அசல் முறையில் தோன்றிய சூழலை நீக்குகிறது, இது தகவல் சுருக்கத்தின் சிறுமணித்தன்மைக்கும் குறியாக்கத்தின் போது பயன்படுத்தப்படும் சூழலுக்கும் இடையே ஒரு சமரசத்தை உருவாக்குகிறது. ஒரு சங் முன்பு அறிமுகப்படுத்தப்பட்ட ஒரு நிறுவனத்தைக் குறிப்பிடலாம், அதன் அர்த்தத்தை ஒரு பிரிவுத் தலைப்பிலிருந்து பெறலாம் அல்லது ஆவணத்தில் வேறு இடங்களில் அமைந்துள்ள வரையறைகளைப் நம்பியிருக்கலாம். ஒருமுறை பிரித்தெடுக்கப்பட்டால், அது ஒரு வினவலுடன் நம்பகத்தன்மையுடன் பொருந்தக்கூடிய அளவுக்கு தகவலைக் கொண்டிருக்காமல் போகலாம். முழு ஆவணத்தையும் ஒற்றை திசையனாக குறியிடுவது இதை தீர்க்காது, ஏனெனில் ஒரு பூல் செய்யப்பட்ட பிரதிநிதித்துவத்தால் நீண்ட ஆவணத்தின் ஒவ்வொரு அம்சத்தையும் நம்பகத்தன்மையுடன் பிடிக்க முடியாது.

சூழல் சார்ந்த உட்பொதிவு மாதிரிகள் இந்த வரம்பை ஒவ்வொரு சங்ஜையும் அதன் சுற்றியுள்ள உள்ளடக்கத்தின் சூழலில் பிரதிநிதித்துவப்படுத்துவதன் மூலம் நிவர்த்தி செய்கின்றன, இது பொதுவாக தாமதமான சங் செய்தல் (late chunking) மூலம் செய்யப்படுகிறது: ஆவணம் ஒரே பாஸில் குறியிடப்படுகிறது மற்றும் சங் பிரதிநிதித்துவங்கள் அதன் பிறகு பூல் செய்யப்படுகின்றன, இதனால் ஒவ்வொரு சங் திசையனும் முழு ஆவணமும் பார்வையில் கணக்கிடப்படுகிறது. ConTEB மற்றும் எங்களின் சொந்த pplx-embed-context-v1 போன்ற முந்தைய பணி, சூழலாக்கப்பட்ட சங் பிரதிநிதித்துவங்கள் தனித்தனியாக குறியிடப்பட்ட சங்ஸ்களை விட மீட்டெடுப்பை கணிசமாக மேம்படுத்துகின்றன என்பதைக் காட்டியுள்ளன, குறிப்பாக நீண்ட ஆவணங்களில்.

சூழல் சார்ந்த உட்பொதிவு மாதிரிகளுக்குப் பயிற்சி அளிக்க ஒரு ஆவணத்தின் எந்தப் பகுதிகள் கொடுக்கப்பட்ட வினவலுடன் தொடர்புடையவை என்பதை அடையாளம் காணும் மேற்பார்வை தேவைப்படுகிறது. ஒரு பொதுவான அணுகுமுறை தங்க-சங் சிறுகுறிப்புகள் ஆகும்: ஒவ்வொரு வினவலுக்கும், ஒரு சிறுகுறிப்பாளர், பொதுவாக ஒரு பெரிய மொழி மாதிரி (LLM), அதற்கு பதிலளிக்கும் ஆவணத்தின் சங்கை அடையாளம் காட்டுகிறது.

பயிற்சி பொதுவாக இரண்டு மாறுபட்ட இழப்புகளை ஒருங்கிணைக்கிறது: தங்க சங்கை மற்ற ஆவணங்களிலிருந்து வரும் சங்ஸ்களுடன் முரண்படுத்தும் ஒரு ஆவண-நிலை மாறுபட்ட இழப்பு, மற்றும் அதை அதே ஆவணத்தில் உள்ள மற்ற சங்ஸ்களுடன் முரண்படுத்தும் ஒரு ஆவணத்திற்குள்ளான இழப்பு.

இந்த அணுகுமுறை சில வரம்புகளைக் கொண்டுள்ளது:

ஒரு சங் மட்டுமே பொருத்தமானது. இது பயனுள்ள ஆதரவு தகவலைக் கொண்டிருப்பவர்கள் உட்பட ஆவணத்தில் உள்ள மற்ற ஒவ்வொரு சங்ஜையும் எதிர்மறையாகக் கருதுகிறது. ஆவண-நிலை மேற்பார்வை மற்றொரு உச்சத்தில் செயல்படுகிறது. இது எந்த சங்ஸ்கள் முக்கியம் என்பதைக் குறிப்பிடாமல் ஆவணம் தொடர்புடையது என்று அடையாளம் காட்டுகிறது. நடைமுறையில், பொருத்தம் பெரும்பாலும் இந்த தீவிரங்களுக்கு இடையில் உள்ளது. பதில் தாங்கும் சங் ஒரு நிறுவனத்தை அறிமுகப்படுத்தும், ஒரு குறிப்பைத் தீர்க்கும் அல்லது நிரப்பு உண்மையை வழங்கும் சில ஆதரவு சங்ஸ்களைச் சார்ந்திருக்கலாம், அதே நேரத்தில் ஆவணத்தின் மீதமுள்ளவை பொருத்தமற்றவை. எனவே மாதிரி சரியான அளவு தேர்ந்தெடுக்கலைக் கற்றுக்கொள்ள வேண்டும்: ஒற்றை தங்க சங்கை விட பரந்தது, ஆனால் முழு ஆவணத்தை விட அதிக கவனம் கொண்டது.
கரடுமுரடான மேற்பார்வை. ஒவ்வொரு சிறுகுறிப்பும் ஆவணம் முழுவதும் பொருத்தமான டிகிரிகளைப் படம்பிடிப்பதற்குப் பதிலாக ஒற்றை தங்க சங்கை அடையாளம் காண்பதால், அதை உருவாக்குவதற்காக செலவிடப்பட்ட கணக்கீட்டு தொகைக்கு இது வரையறுக்கப்பட்ட பயிற்சி சமிக்ஞைகளை வழங்குகிறது.
அளவிட அதிக செலவு. ஒவ்வொரு பயிற்சி ஜோடிக்கும் ஆவணத்தைப் படித்து தொடர்புடைய சங்கைத் தேர்ந்தெடுக்க ஒரு LLM தேவைப்படுகிறது, எனவே சிறுகுறிப்புச் செலவு பயிற்சித் தொகுப்பின் அளவுடன் நேரியல் முறையில் அதிகரிக்கிறது மற்றும் பயிற்சித் தரவு எவ்வளவு மற்றும் எவ்வளவு மாறுபட்டதாக இருக்க முடியும் என்பதை வரம்பிடுகிறது.
சங் எல்லைகளுக்கு உணர்திறன். லேபிள்களும் சிறுகுறிப்பின் போது பயன்படுத்தப்படும் சங் எல்லைகளுடன் இணைக்கப்பட்டுள்ளன. நிலையான டோக்கன்-அளவு சாளரத்திற்கு ஒதுக்கப்பட்ட தங்க லேபிள் எந்த குறுகிய வாக்கியங்கள் அல்லது நீண்ட பத்திகள் பொருத்தமானவை என்பதைக் குறிப்பிடவில்லை. சங் செய்யும் உத்தியை மாற்றுவது, அல்லது ஆவணங்கள் குறியீட்டு நேரத்தில் எவ்வாறு பிரிக்கப்படுகின்றன என்பதற்கான வலிமையை மேம்படுத்த பல சங் செய்வதில் பயிற்சி அளிப்பது, கார்ப்பஸை மீண்டும் சிறுகுறிப்பு செய்ய வேண்டியிருக்கலாம்.

ஒரு வினவல்-அறிவிக்கப்பட்ட சூழல் சுருக்க மாதிரியிலிருந்து பொருத்த மதிப்பீடுகளை வடிகட்டுவதன் மூலம் தங்க-சங் மேற்பார்வையின் வரம்புகளை நிவர்த்தி செய்கிறோம். இந்த மாதிரி ஒரு ஆசிரியராகச் செயல்படுகிறது: இது வினவலையும் ஆவணத்தையும் கூட்டாகப் படித்து ஒவ்வொரு ஆவண டோக்கனுக்கும் ஒரு பொருத்த மதிப்பெண்ணை ஒதுக்குகிறது. அதன் கணிப்புகள் சூழல் சார்ந்த உட்பொதிவுகளுக்குப் பயிற்சி அளிக்க பல நன்மைகளை வழங்குகின்றன:

நெகிழ்வான சங் எல்லைகள். டோக்கன்-நிலை பொருத்த மதிப்பெண்களை தேர்ந்தெடுக்கப்பட்ட எந்த சங் எல்லைகளிலும் திரட்ட முடியும், இது மீண்டும் சிறுகுறிப்பு செய்யாமல் வெவ்வேறு சங் செய்வதை மேற்பூச்சு செய்ய அதே ஆசிரியர் கணிப்புகளை அனுமதிக்கிறது.
தொடர்ச்சியான பொருத்தம். பைனரி தங்க-சங் லேபிள்களைப் போலன்றி, ஆசிரியர் தொடர்ச்சியான மதிப்பெண்களை வழங்குகிறார், அவை பதில்-தாங்கும் சங்ஸ்கள், ஆதரவு சூழல் மற்றும் பொருத்தமற்ற உள்ளடக்கம் ஆகியவற்றை இயற்கையாகவே வேறுபடுத்துகின்றன.
குறைந்த சிறுகுறிப்பு செலவு. ஆசிரியர் கச்சிதமானவர் மற்றும் பொருத்தம் மதிப்பிடுவதில் நிபுணத்துவம் பெற்றவர், பொதுவான நோக்கமுள்ள LLM ஐ விட பெரிய அளவில் மேற்பார்வை செய்வது மிகவும் மலிவானது.

வினவல்-ஆவண ஜோடிகளின் பேட்சுகள் மீது ஆவண-நிலை மாறுபட்ட இழப்பு மற்றும் சங்-நிலை வடித்தல் இழப்பு ஆகியவற்றின் எடையிடப்பட்ட கூட்டுத்தொகையுடன் எங்கள் மாதிரிக்குப் பயிற்சி அளிக்கிறோம். ஒவ்வொரு வினவலுக்கும், ஜோடியாக்கப்பட்ட ஆவணம் நேர்மறையானதாகச் செயல்படுகிறது, அதே நேரத்தில் அதே பேட்சில் உள்ள மீதமுள்ள ஆவணங்கள் எதிர்மறையானதாகச் செயல்படுகின்றன.

ஒவ்வொரு பேட்சுக்கும், நாங்கள் தோராயமாக ஒரு சங் செய்யும் உத்தியைத் தேர்ந்தெடுத்து, அதற்கேற்ப ஆவணங்களைப் பிரித்து, சங்ஸ்களுக்கு இடையில் பிரிப்பான் டோக்கன்களை செருகுகிறோம். பின்னர் நாங்கள் ஒவ்வொரு ஆவணத்தையும் ஒற்றை முன்னோக்கி பாஸில் செயலாக்குகிறோம் மற்றும் சூழல் சார்ந்த சங் உட்பொதிவுகளைப் பெற ஒவ்வொரு சங் உட்பிலும் உள்ள டோக்கன் பிரதிநிதித்துவங்களை சராசரியாக்குகிறோம். வினவல்கள் தனித்தனியாக குறியிடப்படுகின்றன, அவற்றின் டோக்கன் பிரதிநிதித்துவங்கள் மீது சராசரி பூலிங்குடன். இறுதியாக, பேட்சில் உள்ள ஒவ்வொரு வினவல் உட்பொதிவுக்கும் ஒவ்வொரு சங் உட்பொதிவுக்கும் இடையிலான கோசைன் ஒற்று அதைக் கணக்கிடுகிறோம்.

எங்கள் உட்பொதிவு மாதிரி சங்-நிலை ஒற்றுமைகளை மட்டுமே உருவாக்குகிறது, அதிலிருந்து நாம் இயற்கையாகவே ஆவண-நிலை ஒற்றுமைகளைப் பெறலாம். ஒரு வினவல் q க்கு ஆவணம் d அதன் மிகவும் பொருத்தமான சங் அளவுக்குப் பொருத்தமானது என்று நாங்கள் கருதுகிறோம். இந்த ஸ்கோரிங் விதி ColBERT இன் MaxSim செயல்பாட்டால் ஈர்க்கப்பட்டது, இங்கு டோக்கன்களுக்குப் பதிலாக சங்ஸ்களுக்குப் பயன்படுத்தப்படுகிறது.

குறிப்பாக, உட்பொதிவு q உடன் ஒரு வினவல் q கொடுக்கப்பட்டால் மற்றும் உட்பொதிவுகள் c உடன் சங்ஸ் c இன் வரிசைப்படுத்தப்பட்ட பட்டியலாக ஆவணம் d கொடுக்கப்பட்டால், ஆவண-நிலை ஒற்றுமையை நாம் இவ்வாறு définis செய்கிறோம்:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

இந்த ஆவண-நிலை ஒற்றுமைகள் கொடுக்கப்பட்டால், இன்-பேட்ச் எதிர்மறைகள் மீது ஒரு ஆவண-நிலை InfoNCE இலக்கை நாம் வடிவமைக்கலாம்.

ஒரு வினவல் q க்கு, d⁺ என்பது அதன் தொடர்புடைய ஆவணம் மற்றும் 𝒟 என்பது பேட்சில் உள்ள ஆவணங்கள் எனக் குறிக்கட்டும். வாசிப்புத் திறனுக்காக வெப்பநிலைகளைத் தவிர்த்து, மாறுபட்ட இழப்பு பின்வருமாறு:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

மாறுபட்ட இழப்பு எந்த ஆவணம் ஒரு வினவலுடன் தொடர்புடையது என்பதை மாதிரிக்குக் கற்பிக்கிறது. வடித்தல் இழப்பு அந்த ஆவணத்திற்குள் பொருத்தம் எங்குள்ளது என்பதை அது கற்பிக்கிறது, இது சூழல் சார்ந்த மாதிரிக்கு அவசியமானது.

பயிற்சியின் போது, ஒவ்வொரு நேர்மறையான வினவல்-ஆவண ஜோடியையும் எங்கள் சூழல் சுருக்க மாதிரிக்கு அனுப்புகிறோம், இது ஆவணத்தில் உள்ள ஒவ்வொரு டோக்கனுக்கும் ஒரு பொருத்த மதிப்பெண்ணை ஒதுக்குகிறது. ஆவண-நிலை ஸ்கோரிங் போலவே, ஒவ்வொரு சங் இன் பொருத்தத்தையும் அதன் மிகவும் பொருத்தமான உள்ளடக்கங்களிலிருந்து பெறுகிறோம். சங் எல்லைகளில் உள்ளவை உட்பட அவுட்லையர் டோக்கன்களுக்கான உணர்திறனைக் குறைக்க, சங்-நிலை பொருத்தத்தை சங் உள்ள டாப் n டோக்கன் மதிப்பெண்களின் சராசரியாக வரையறுக்கிறோம்.

ஒவ்வொரு வினவலுக்கும், இலக்கு விநியோகத்தைப் பெற நேர்மறை ஆவணத்திற்குள் ஆசிரியரின் சங்-நிலை பொருத்த மதிப்பெண்களுக்கு வெப்பநிலை-அளவிடப்பட்ட softmax ஐப் பயன்படுத்துகிறோம். மற்ற ஆவணங்களில் உள்ள சங்ஸ்கள் பேட்சில் பூஜ்ஜிய இலக்கு நிகழ்தகவைப் பெறுகின்றன. பேட்சில் உள்ள அனைத்து சங்ஸ்கள் மீதும் இலக்கு மற்றும் அதன் கணிக்கப்பட்ட விநியோகத்திற்கு இடையிலான முன்னோக்கி KL வேறுபாட்டைக் குறைப்பதன் மூலம் இந்த இலக்குடன் பொருந்த உட்பொதிவு மாதிரிக்குப் பயிற்சி அளிக்கிறோம்:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

இங்கு, சூப்பர்ஸ்கிரிப்டுகள் T மற்றும் S ஆசிரியர் மற்றும் மாணவரைக் குறிக்கின்றன, மேலும் rⱼ என்பது நேர்மறை ஆவணம் d⁺ இல் உள்ள சங் cⱼ க்கான ஆசிரியரின் பொருத்த மதிப்பெண் ஆகும். ஆசிரியரின் இலக்கு விநியோகம் பேட்சில் உள்ள மற்ற அனைத்து ஆவணங்களிலும் உள்ள சங்ஸ்களுக்கு பூஜ்ஜிய நிகழ்தகவை ஒதுக்குகிறது.

ஒற்றை தங்க-சங் லேபிளைப் போலன்றி, இந்த இலக்கு பொருத்தத்தின் டிகிரிகளைப் படம்பிடிக்கிறது. ஆதரவு சங்ஸ்கள் எதிர்மறைகளாகக் கருதப்படுவதற்குப் பதிலாக ஆசிரியரின் மதிப்பெண்களுக்கு ஏற்ப எடையைப் பெறுகின்றன, பதிலைத் தவிர ஆதரவு சூழலையும் மீட்டெடுக்க மாதிரிக்குக் கற்பிக்கின்றன.

எங்கள் கூட்டுப் பயிற்சி இலக்கு என்பது ஆவண-நிலை மாறுபட்ட இழப்பு மற்றும் சங்-நிலை வடித்தல் இழப்பின் எடையிடப்பட்ட கூட்டுத்தொகையாகும். வினவல்-ஆவண ஜோடிகளின் பேட்ச் மீது இந்த எடையிடப்பட்ட இழப்பை சராசரியாக்குகிறோம்.

படம் 2 எங்கள் பயிற்சி அணுகுமுறையை விளக்குகிறது. சூழல் கம்ப்ரசர் பயிற்சியின் போது மட்டுமே ஆசிரியராகச் செயல்படுகிறது. அனுமான நேரத்தில், உட்பொதிவு மாதிரி கூடுதல் சுருக்கம் அல்லது மறுவரிசைப்படுத்தல் நிலை இல்லாமல் சங் ஒன்றுக்கு ஒரு சூழல் சார்ந்த உட்பொதிவை உருவாக்குகிறது. இந்த அணுகுமுறை குறியீட்டு சேமிப்பகத்தை அதிகரிக்காமல் அல்லது மீட்டெடுப்பு நேரத்தில் ஆசிரியர்-மாதிரி தாமதத்தைச் சேர்க்காமல் சூழல் சார்ந்த உட்பொதிவுகள் எவ்வாறு கற்றுக் கொள்ளப்படுகின்றன என்பதை மேம்படுத்துகிறது.

சூழல் சார்ந்த உட்பொதிவு வடித்தலுக்கான பயிற்சி அமைப்பு — படம் 2: எங்கள் மாதிரியின் பயிற்சி அமைப்பு. சூழல் சார்ந்த என்கோடர் (மாணவர், இடது) ஆவணங்களைச் செயலாக்குகிறது, ஒவ்வொன்றும் பல சங்ங்களைக் கொண்டுள்ளது. ஒவ்வொரு சங்ஜும் அதைச் சுற்றியுள்ள ஆவணச் சூழலைப் பொறுத்து உட்பொதிக்கப்படுகிறது. வினவல் A என்பது ஆவணம் A க்கான அறியப்பட்ட பொருத்தம் ஆகும் மற்றும் கணிக்கப்பட்ட ஒற்றுமைகளைப் பெற அனைத்து ஆவணங்களின் சங்ஸ்களுக்கும் எதிராக மதிப்பிடப்படுகிறது. இந்த சங்-நிலை மதிப்பெண்கள் ஆவண-நிலை மதிப்பெண்களுக்கு அதிகபட்சமாக பூல் செய்யப்படுகின்றன. இலக்கு விநியோகங்களுடன் பொருந்த சங்-நிலை கணிப்புகள் மற்றும் ஆவண நிலை கணிப்புகளுக்கு நாங்கள் பயிற்சி அளிக்கிறோம் (வலது). சங்-நிலை இலக்கு பயிற்சியின் போது அறியப்பட்ட தொடர்புடைய ஆவணத்திற்குள் சூழல் கம்ப்ரஸரின் கணிப்பாக கணக்கிடப்படுகிறது மற்றும் அறியப்பட்ட பொருத்தமற்ற ஆவணங்களுக்குள் பூஜ்ஜியமாக அமைக்கப்படுகிறது. ஆவண-நிலை இலக்கு விநியோகம் அறியப்பட்ட தொடர்புடைய ஆவணத்தில் ஒன்-ஹாட் (one-hot) ஆக அமைக்கப்பட்டுள்ளது.

பயிற்சி தரவு 50 க்கும் மேற்பட்ட மொழிகளை உள்ளடக்கிய தோராயமாக 430 பொது மற்றும் இன்-ஹவுஸ் வினவல்-ஆவண தரவுத்தொகுப்புகளைக் கொண்டுள்ளது.

PII-வடிகட்டப்பட்ட உற்பத்தித் தரவிலிருந்து மற்றும் நீண்ட ஆவணங்கள் மீது தொடர்புடைய வினவல்களை ஒருங்கிணைப்பதன் மூலம் நாங்கள் இன்-ஹவுஸ் ஜோடி தரவுத்தொகுப்புகளை உருவாக்குகிறோம். ஒவ்வொரு முன்னோக்கி பாஸுக்கும், இன்-பேட்ச் எதிர்மறைகளின் சிரமத்தை அதிகரிக்கவும் குறுக்குவழி கற்றலைத் தவிர்க்கவும் நாங்கள் ஒரு தரவுத்தொகுப்பைத் தேர்ந்தெடுத்து அதிலிருந்து முழு பேட்சையும் மாதிரி செய்கிறோம். எங்கள் பயிற்சி தரவுத்தொகுப்புகள் எவையும் சங்-நிலை சிறுகுறிப்புகளைக் கொண்டு செல்லவில்லை: அனைத்து ஆவணத்திற்குள்ளான மேற்பார்வையும் சுருக்க மாதிரியிலிருந்து வருகிறது, மேலும் பயிற்சிக்கு ConTEB தரவு எதுவும் பயன்படுத்தப்படவில்லை. மேலும், மாதிரி வளர்ச்சியின் போது எந்த context-bench தரவும் கிடைக்கவில்லை.

மாதிரியானது இன்-ஹவுஸ், 9B-பாராமீட்டர் ColBERT மீட்டெடுப்பு மாதிரியிலிருந்து தொடங்குகிறது மற்றும் ஒரு நேரியல் ப்ரொஜெக்ஷன் அடுக்கு மூலம் 2048-பரிமாண உட்பொதிவுகளை உருவாக்குகிறது. நாங்கள் கற்றறிந்த <|chunk_sep|> டோக்கனுடன் சங் எல்லைகளைக் குறிக்கிறோம் மற்றும் அதன் டோக்கன் உட்பொதிவுகளை சராசரியாக்குவதன் மூலம் ஒவ்வொரு சங் உட்பொதிவையும் உருவாக்குகிறோம். வினவல்கள் அதே மாதிரியால் குறியிடப்படுகின்றன, அவற்றின் டோக்கன் உட்பொதிவுகள் ஒற்றை திசையனாக சராசரியாக்கப்படுகின்றன.

1024 மற்றும் 2048-பரிமாண உட்பொதிவுகள் இரண்டையும் ஆதரிக்க நாங்கள் Matryoshka பயிற்சியை பயன்படுத்துகிறோம், மேலும் நேட்டிவ் int8 உட்பொதிவுகளை ஆதரிக்க குவாண்டைசேஷன்-அவேர் பயிற்சியைப் பயன்படுத்துகிறோம். பயிற்சியின் போது, கற்றல் வீதத்தை படிப்படியாக அதிகரித்து, அதை நிலையாக வைத்து, பின்னர் குறைக்கிறோம்.

வெளியிடப்பட்ட மாதிரி என்பது ஒரே பயிற்சி ஓட்டத்திலிருந்து பல செக்பாயிண்ட்களின் எடைகளை சராசரியாகக் கொண்ட ஒரு மாதிரி சூப் ஆகும்.

ConTEB போன்ற பொதுவான சூழல் சார்ந்த மீட்டெடுப்பு அளவுகோல்கள் கோல்ட்-சங் மேற்பார்வையின் பின்னணியில் உள்ள அனுமானத்தைப் பகிர்ந்து கொள்கின்றன: ஒவ்வொரு வினவலும் ஒற்றை தொடர்புடைய சங் மதிப்பைக் கொண்டுள்ளது மற்றும் அந்த சங்கை முதலில் தரவரிசைப்படுத்தியதற்காக மட்டுமே மாதிரி வெகுமதி அளிக்கப்படுகிறது. அவை அதன் வரம்புகளையும் பெறுகின்றன.

முதலாவதாக, ConTEB ஆனது, சுற்றியுள்ள சூழல் இல்லாமல் ஒரு சங் தெளிவற்றதாக இருக்கும் பணிகளில் மீட்டெடுப்பை சோதிக்கிறது. இந்தப் பணிகளில், சூழல் சார்ந்த மாதிரிகள் ஒவ்வொரு சங்கைச் சுயமாக குறியிடும் மாதிரிகளை விட சிறப்பாகச் செயல்பட்டன. இருப்பினும், சங்கைப் புரிந்துகொள்ள வைக்கும் ஆவணத்தின் மற்ற பகுதிகளையும் ஒரு மாதிரி மேற்பரப்புக்குக் கொண்டுவருகிறதா என்று அது கேட்கவில்லை.

இரண்டாவதாக, ஒரே கார்ப்பஸில் உள்ள கிட்டத்தட்ட ஒத்த ஆவணங்கள் வேறுவிதமாக ஒத்த வாக்கியத்தைச் சுற்றியுள்ள சூழலில் மட்டுமே வேறுபடும் போது சரியான ஆவணத்தைக் கண்டுபிடிக்க முடியுமா என்பதை இது முறையாகச் சோதிக்கவில்லை.

ஒரு தேடல் ஏஜென்ட் அல்லது பயனர் முழு ஆவணத்தைக் காட்டிலும் மீட்டெடுக்கப்பட்ட சில வாக்கியங்களிலிருந்து ஒரு பதிலைப் புரிந்து கொண்டு சரிபார்க்க வேண்டியிருக்கும் போது இரண்டு திறன்களும் முக்கியம். எனவே, பொதுவான மீட்டெடுப்பு தரத்திலிருந்து ஆவணச் சூழலின் பயன்பாட்டை வேறுபடுத்தும் வகையில் வடிவமைக்கப்பட்ட, நீண்ட ஆவணங்கள் மீதான மீட்டெடுப்புக்கான கட்டுப்படுத்தப்பட்ட அளவுகோலான context-bench ஐ நாங்கள் உருவாக்கினோம். சூழல் சார்ந்த உட்பொதிவுகள் மூன்று திறன்களை ஆதரிக்க ஆவணத்தில் வேறு எங்கிலிருந்தும் தகவலைப் பயன்படுத்துகின்றனவா என்பதை இது சோதிக்கிறது:

ஆவண வேறுபாடு: கிட்டத்தட்ட ஒத்த மாற்றுகளுக்கு இட சரியான ஆவணத்தை அடையாளம் காணவும்.
பதில் மீட்டெடுப்பு: ஆவணத்தில் வேறு எிலேயும் உள்ள விவரங்களைப் பொறுத்து இதன் அர்த்தம் உள்ள பதில்-தாங்கும் சங்ஸ்களை மீட்டெடுக்கவும்.
சான்றுகளை மீட்டெடுப்பது: பதிலைத் தெளிவுபடுத்தும் அல்லது உறுதிப்படுத்தும் ஆதரவு சங்ஸ்களை மீட்டெடுக்கவும்.

Context-bench 2,099 வினவல்கள் மற்றும் 38,894 ஆவணங்களைக் கொண்டுள்ளது. வாக்கிய நீள சங்ஸ்கள் பயன்படுத்தப்படுகின்றன, இதன் விளைவாக மொத்தம் 2,458,072 சங்ஸ்கள் கிடைக்கின்றன. வினவல்கள் கார்ப்பரேட் பைலிங்குகள், மருத்துவ ஆராய்ச்சி, பயணம், பொழுதுபோக்கு, கல்வி, அரசு, சட்ட ஒப்பந்தங்கள் மற்றும் மென்பொருள் ஆவணங்கள் உள்ளிட்ட 21 டொமைன்களை உள்ளடக்கியது.

ஒவ்வொரு வினவலும் பன்னிரண்டு சூழல் சார்ந்த திறன்களில் ஒன்றைச் சோதிக்க வடிவமைக்கப்பட்டுள்ளது. முதன்மை இலக்கு ஆவணங்கள் வேண்டுமென்றே நீண்டதாக உள்ளன: 1,197 தனித்துவமான முதன்மை இலக்கு ஆவணங்களில் 1,061 ஆவணங்கள் குறைந்தபட்சம் 200 வாக்கியங்களைக் கொண்டுள்ளன, தோராயமாக 6,100 டோக்கன்களின் சராசரி நீளத்துடன். ஒவ்வொரு வினவலும் கார்ப்பஸில் சரியாக ஒரு சரியான பதிலைக் கொண்டுள்ளது. ஒரு தங்க ஆவணத்தில் அதே உண்மை ஒன்றுக்கு மேற்பட்ட முறை கூறப்பட்டால், எடுத்துக்காட்டாக சுருக்க வாக்கியம் மற்றும் அட்டவணை வரிசையில், அந்த வாக்கியங்கள் எவை என்றாலும் பதில்களாக ஏற்றுக்கொள்ளப்படும்.

பதில் பாதை என்பது பதில் சங் மற்றும் அதை விளக்குவதற்கு அல்லது சரிபார்க்கத் தேவையான ஆதரவு ஆதாரம் ஆகியவற்றின் ஒரு சரியான கலவையாகும். 2,099 வினவல்களில், முதன்மை இலக்கு-ஆவண பதில் பாதையானது 964 வினவல்களுக்கு ஒரு ஆதாரக் குழுவையும், 735 வினவல்களுக்கு இரண்டையும், 332 வினவல்களுக்கு மூன்று அல்லது அதற்கு மேற்பட்டவற்றையும், 68 வினவல்களுக்கு எதையுமே கொண்டிருக்கவில்லை. மாற்று சரியான பதில் பாதைகளுக்கு வெவ்வேறு ஆதாரக் குழுக்கள் தேவைப்படலாம்.

அட்டவணை 1: அளவுகோல் புள்ளிவிவரங்கள்.

புள்ளிவிவரம்	மதிப்பு
வினவல்கள்	2,099
ஆவணங்கள்	38,894
வாக்கிய சங்ஸ்கள்	2,458,072
நடுத்தர முதன்மை இலக்கு ஆவண நீளம்	6,100 டோக்கன்கள்
டொமைன்கள்	21
வினவலுக்கு ஆதாரக் குழுக்கள் (முதன்மை இலக்கு-ஆவண பதில் பாதை)	1: 964; 2: 735; 3+: 332; எதுவுமில்லை: 68

அட்டவணை 2: விளக்கமான எடுத்துக்காட்டுகளுடன், context-bench ஆல் சோதிக்கப்பட்ட பன்னிரண்டு சூழல் சார்ந்த திறன்கள்.

திறன்	எடுத்துக்காட்டு வினவல்	பதில் பகுதி	தேவையான ஆவணச் சூழல்
1. நிறுவன அடையாளம்	பங்குத் திரும்பப் பெறுதல்களுக்காக நார்த்லேக் (Northlake) எவ்வளவு செலவழித்தது?	நிறுவனம் $12.8 பில்லியன் மதிப்புள்ள பங்குகளைத் திரும்ப வாங்கியது.	அறிமுகம் நார்த்லேக்கை “நிறுவனம்” என்று அடையாளம் காட்டுகிறது. இதே போன்ற சவுத்லேக் (Southlake) அறிக்கை பொருத்தமானதல்ல.
2. காலம் அல்லது பதிப்பு	M40 திருத்தம் B உடன் எந்த கார்ட்ரிட்ஜ் பொருந்தும்?	KC-42 கார்ட்ரிட்ஜை நிறுவவும்.	பயன்பாட்டுப் பிரிவு இந்த வழிமுறைகள் திருத்தம் C ஐ அல்ல, திருத்தம் B ஐ உள்ளடக்கியது என்று கூறுகிறது.
3. வரையறைகள் மற்றும் புனைப்பெயர்கள்	15 மிகி குழு என்ன விலகல் விகிதத்தைக் கொண்டிருந்தது?	ஜீட்டா (Zeta) 12.7% விலகல் விகிதத்தைக் கொண்டிருந்தது.	அறிக்கை ஜீட்டாவை 15 மிகி குழுவாக வரையறுக்கிறது. அந்த வரையறுப்பு இல்லாமல், கோரப்பட்ட குழுவை அந்தப் பகுதி அடையாளம் காணவில்லை.
4. அட்டவணை அமைப்பு	Max மாடலின் பேட்டரி திறன் என்ன?	வழக்கமான திறன்: 4,250 \| 4,700 \| 5,150.	அட்டவணைத் தலைப்பு mAh இல் அளவிடப்பட்ட Mini \| Base \| Max ஐ நிறுவுகிறது. எனவே பதில் 5,150 mAh ஆகும்.
5. நிபந்தனைகள் மற்றும் விதிவிலக்குகள்	வணிக பயன்பாட்டிற்கான பேட்டரி பாதுகாப்பு எவ்வளவு காலம் நீடிக்கும்?	பேட்டரி பாதுகாப்பு 18 மாதங்கள் நீடிக்கும்.	ஒரு பிரிவு அறிமுகம் இந்தப் பாதுகாப்பை வணிக நிறுவல்களுக்குக் கட்டுப்படுத்துகிறது; வீட்டுக் குடிமை நிறுவல்களுக்கு வேறு உத்தரவாதம் உண்டு.
6. குறிப்புகள் மற்றும் பிரதிபெயர்கள்	மாரா எப்போது துணை மேயர் ஆனார்?	அவர் 2021 இல் பதவியேற்றார்.	“அவர்” என்பது விவாதிக்கப்படும் எலின் அல்ல, மாறாக மாராவைக் குறிக்கிறது என்பதை முந்தைய விவரிப்பு நிறுவுகிறது.
7. பட்டியல் வரிசை மற்றும் நிலை	என்கோரை எந்தப் பாடல் திறந்தது?	14. லேந்தர் ரோடு.	வேறு எங்கும் உள்ள ஒரு குறிப்பு, 14–16 பாடல்கள் என்கோரை உருவாக்கியதாகக் கூறுகிறது. எனவே டிராக் 14 அதன் தொடக்கப் பாடலாகும்.
8. பிரிவின் நோக்கம்	படத்தின் ஒளிப்பதிவுக்கு எந்த லென்ஸ் பயன்படுத்தப்பட்டது?	முழுவதும் 35 மிமீ பிரைம் பயன்படுத்தப்பட்டது.	இந்தப்பகுதி விளம்பரப் புகைப்படங்களைப் பற்றிய தனிப் பிரிவு அல்லாமல், “முதன்மை ஒளிப்பதிவு” (Principal Photography) என்பதற்குரியது.
9. பேசுபவர் பண்புக்கூறு	மேயர் என்ன திறப்பு விழாவை உறுதியளித்தார்?	நாங்கள் ஜூன் 12 அன்று மீண்டும் திறப்போம்.	டிரான்ஸ்கிரிப்ட் மேயரைப் பேசுபவராக அடையாளம் காட்டுகிறது. ஒரு ஒப்பந்தக்காரரிடமிருந்து வரும் அதே வார்த்தைகள் மேயரின் வாக்குறுதியை நிறுவ முடியாது.
10. காலப்போக்கில் ஏற்படும் மாற்றங்கள்	மே மாதத் திருத்தத்திற்குப் பிறகு என்ன அறிவிப்புக் காலம் பொருந்தும்?	அறிவிப்புக் காலம் இப்போது 45 நாட்களாகும்.	இந்த மாற்றம் மே மாதத்தில் நடைமுறைக்கு வந்ததாகவும், முந்தைய 30 நாள் விதியை மாற்றியமைத்ததாகவும் திருத்த வரலாறு நிறுவுகிறது.
11. காரண காரியத் தொடர்புகள்	மேற்கு பம்ப் ஏன் நின்றது?	அந்தக் கோளாறு பணிநிறுத்தத்திற்குக் காரணமானது.	விசாரணையானது “அந்தக் கோளாறு” என்பதை மேற்கு பம்பில் உள்ள முடங்கிய தாங்குருளை (bearing) என அடையாளம் கண்டு, அதைத் தொடர்பில்லாத இன்லெட் தடையிலிருந்து வேறுபடுத்துகிறது.
12. உருவக அல்லது குறுக்கு-மொழி அர்த்தம்	உருவகம்: கவிதையில் “குளிர்கால அறை” என்பது எதை உருவகப்படுத்துகிறது? குறுக்கு மொழி: எந்தக் கூறுகளை அகற்றுமாறு பிரெஞ்சு வழிமுறை தொழில்நுட்ப வல்லுநரிடம் கூறுகிறது?	உருவகம்: இது ஒரு உடல் ரீதியான அறையைக் காட்டிலும், நாடு கடத்தப்படுவதைக் குறிக்கிறது. குறுக்கு மொழி: Retirez le capot. (மூடியை அகற்று.)	உருவகம்: கருத்துரை “அதை” கவிதையின் மீண்டும் மீண்டும் வரும் “குளிர்கால அறை” படமாக அடையாளம் காட்டுகிறது. குறுக்கு மொழி: வழிகாட்டியின் சொற்களஞ்சியம் “capot” என்பது ஷிப்பிங் கவர் அல்லாமல், பாதுகாப்பு மோட்டார் ஹுட்டைக் குறிக்கிறது என்பதைக் குறிப்பிடுகிறது.

சோதிக்கப்படும் வினவல்கள், ஆவணங்கள் மற்றும் திறன்கள் turbopuffer இன் வாடிக்கையாளர்களுடனான உரையாடல்களால் ஈர்க்கப்பட்டவை.

ஒரு உதாரணம் கொடுக்க, சொத்து மேலாண்மை நிறுவனத்தின் தேடல் தேவைகளைக் கவனியுங்கள். இந்த நிறுவனங்களுக்கு நூற்றுக்கணக்கான, சில நேரங்களில் ஆயிரக்கணக்கான குத்தகை ஒப்பந்தங்கள் உள்ளன, அவை குத்தகைதாரர்களின் பெயர்கள், தேதிகள் மற்றும் சில முக்கிய விவரங்களில் மட்டுமே வேறுபடுகின்றன. அந்த தரவுத்தொகுப்பிற்கான ஒரு பொதுவான வினவல் “5 பார்க் அவென்யூவின் குத்தகை எப்போது முடிவடைகிறது மற்றும் தற்போதைய வாடகை என்ன?” என்பதாக இருக்கலாம். குத்தகை ஒப்பந்தங்களும் நீளமாக இருக்கலாம் மற்றும் நீங்கள் சரியான ஆவணத்தை மீட்டெடுத்துள்ளீர்கள் என்பதை உறுதிப்படுத்தும் முக்கியமான வேறுபடுத்தும் கூறுகள் (தேதி, முகவரி, குத்தகைதாரர் பெயர் போன்றவை) மாதாந்திர குத்தகைத் தொகைத் தொகையைக் கொண்ட முக்கிய பதில் வாக்கியத்திலிருந்து வெகு தொலைவில் இருக்கக்கூடும். நடைமுறையில், “மாதாந்திர வாடகை $X,XXX.” போன்ற ஒத்த வாக்கியங்கள் கார்ப்பஸில் உள்ள பல ஆவணங்களில் தோன்றலாம்.

ஒரு நல்ல சூழல் சார்ந்த உட்பொதிவு மாதிரி சரியான ஆவணத்தை அடையாளம் காண ஆவணம் முழுவதும் உள்ள சூழலைப் பயன்படுத்த வேண்டும் மற்றும் பதிலையும் அதன் ஆதரவு வாக்கியங்களையும் மீட்டெடுக்க வேண்டும். இது ஒரு பயனர் அல்லது தேடல் ஏஜென்ட்டை பதிலை விரைவாகச் சரிபார்க்கவும், அது சரியான ஆவணத்திலிருந்து வந்தது என்பதை உறுதிப்படுத்தவும் அனுமதிக்கிறது.

ஒவ்வொரு வினவலுக்கும், இலக்கு ஆவணத்தில் “பதில்” மற்றும் “ஆதாரம்” வாக்கியங்களை லேபிளிடுகிறோம். ஒரு மாதிரி ஒரு பதில் வாக்கியத்தை ஒவ்வொரு ஆதாரக் குழுவிலிருந்தும் குறைந்தபட்சம் ஒரு வாக்கியத்துடன் மீட்டெடுத்தால் அது எங்கள் “வாசகர் போதுமான தன்மை” (reader sufficiency) தேர்வில் தேர்ச்சி பெறுகிறது. ஒன்றாக, இந்த வாக்கியங்கள் ஒரு வாசகர் ஆதரவு ஆதாரத்துடன் பதிலைச் சரிபார்க்க போதுமான சூழலை வழங்குகின்றன.

சூழல் சார்ந்த உட்பொதிவு மாதிரிகள் இதைச் சரியாகச் செய்யும்போது, முழு ஆவணத்தையும் படிக்காமல் இருக்க வேண்டிய அவசியமின்றி, தேடல் ஏஜென்ட்கள் மதிப்பாய்வு செய்ய வேண்டிய டோக்கன்களின் எண்ணிக்கையைக் கணிசமாகக் குறைக்கலாம், அதே போல் ஒரு நபர் தங்கள் அசல் வினவலுக்கான சரியான பதிலைக் கண்டுபிடித்துள்ளனர் என்பதை விரைவாக உறுதிப்படுத்துவதை மிகவும் எளிதாக்கலாம்.

ஒவ்வொரு ஆதாரக் குழுவையும் மீட்க வேண்டும், ஆனால் ஒரு குழுவின் மாற்று வழிகளில் ஏதேனும் ஒன்று அதை மீட்கப் போதுமானது. இந்த நீளமான ஆவணங்கள் முழுவதும் பல இடங்களில் ஒரே உண்மை கூறப்படுவதைக் பார்ப்பது பொதுவானது. ஒவ்வொரு ஆதாரக் குழுவிலிருந்தும் ஒரு வாக்கியத்தை மட்டும் மீட்டெடுப்பது வாசகர் போதுமான தன்மைக் அளவுகோல்களைப் பூர்த்தி செய்கிறது, எனவே சரியான ஆதாரத்தை மீட்டெடுத்ததாக ஏற்றுக்கொள்ளப்படும்.

ஒவ்வொரு ஆவணமும் வாக்கியங்களாகச் சங் செய்யப்படுகிறது, மேலும் அனைத்து மாதிரிகளுக்கும் அதே எல்லைகள் பயன்படுத்தப்படுகின்றன. சூழல் சாரா உட்பொதிவு மாதிரிகளுக்காக இரண்டு நிபந்தனைகள் சோதிக்கப்படுகின்றன: ஒவ்வொரு வாக்கியமும் தனித்தனியாக உட்பொதிக்கப்படும் ஒன்று மற்றும் முழு ஆவணமும் ஒற்றை சங் ஆக உட்பொதிக்கப்படும் மற்றொரு நிலை.

பதில் நினைவுகூர்தல் மற்றும் ஆதார நினைவுகூர்தலை அளவிட வாக்கிய-நிலை நிபந்தனையைப் பயன்படுத்துகிறோம். சுற்றியுள்ள ஆவணத்திற்கான அணுகல் இல்லாமல் ஒவ்வொரு வாக்கியமும் உட்பொதிக்கப்படும் போது சூழல் சாரா மாதிரி சரியான பதிலையும் ஆதரவு ஆதாரத்தையும் அடையாளம் காண முடியுமா என்பதை இது சோதிக்கிறது. இது வேண்டுமென்றே சவாலானது. பல வினவல்களில், பதில் வாக்கியம் மட்டுமே கார்ப்பஸில் உள்ள ஒத்த வாக்கியங்களிலிருந்து அதை வேறுபடுத்தத் தேவையான விவரங்களைக் கொண்டிருக்கவில்லை.

ஆவண நினைவுகூர்தல் அடிப்படையாக ஆவண-நிலை நிபந்தனையைப் பயன்படுத்துகிறோம். ஒரு ஆவணத்திற்கு ஒரு திசையனைச் சேமிப்பதோடு ஒப்பிடும்போது நுண்ணிய வாக்கிய உட்பொதிவுகள் அவற்றின் கூடுதல் சேமிப்பகச் செலவை நியாயப்படுத்த போதுமான மீட்டெடுப்பு நன்மையை வழங்குகின்றனவா என்பதை இது சோதிக்கிறது. வாக்கிய-நிலை குறியீடானது ஆவண-நிலை குறியீட்டை விட கணிசமாக அதிக திசையன்களை உருவாக்குகிறது, எனவே அந்தச் செலவை உறுதிப்படுத்த ஒரு ஆவணத்திற்கு ஒரு திசையன் அடிப்படையை விட இது சிறப்பாகச் செயல்பட வேண்டும்.

அனைத்து மதிப்பீடுகளும் அனைத்து 2,458,072 சங்ஸ்களுக்கும் எதிரான முழுமையான தரவரிசைகளைப் பயன்படுத்துகின்றன. எனவே மாதிரிகளுக்கு இடையிலான வேறுபாடுகள் பிரதிநிதித்துவங்களை பிரதிபலிக்கின்றன, குறியீட்டு உள்ளமைவை அல்ல. நாங்கள் மூன்று முக்கிய மெட்ரிக்குகளில் கவனம் செலுத்துகிறோம்:

Document@K இவ்வாறு வரையறுக்கப்படுகிறது:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

இங்கு $d^{*}$ என்பது $D_q$ இல் உள்ள மிக உயர்ந்த தரவரிசை ஆவணமாகும்.

Answer@K இவ்வாறு வரையறுக்கப்படுகிறது:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

இங்கு $C_K(q)$ என்பது முழு கார்ப்பஸ் மீதான டாப் $K$ சங்ஸ்கள் மற்றும் $A_{q}$ என்பது ஏற்றுக்கொள்ளப்பட்ட பதில் சங்ஸ்களின் தொகுப்பாகும்.

Evidence Recall@K க்குள் பின்வருமாறு அளவிடப்படுகிறது: இன் வாக்கியங்களை ஒற்றுமையால் தரவரிசைப்படுத்துங்கள், மிக உயர்ந்த தரவரிசைப்படுத்தப்பட்ட பதில் வாக்கியத்தை அகற்றி, மீதமுள்ள டாப் ஐ ஆக இருக்கட்டும். ஆதாரக் குழுக்கள் க்கு, சில மாற்று ஐப் பூர்த்தி செய்தால் குழு மீட்கப்படும், மேலும் $d^{*}$ $d^{*}$ $R_K(q)$ $K$ $G_q=\{g_1,\ldots,g_m\}$ $g_j$ $E\in g_j$ $E\subseteq R_K(q)$

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K என்பது சூழலாக்கமானது சரியான ஆவணத்தை அதன் சொற்களஞ்சியத்தைப் பகிர்ந்து கொள்ளும் உடன்பிறப்புகள் மற்றும் கவனச்சிதறல்களை விட சிறப்பாகச் செயல்பட அனுமதிக்கிறதா என்று கேட்கிறது.

Answer@K என்பது பதில் வாக்கியமே டாப் சங்ஸ்களில் தரவரிசைப்படுத்தப்பட்டுள்ளதா என்று கேட்கிறது.

Evidence Recall@K என்பது மிக உயர்ந்த தரவரிசைப்படுத்தப்பட்ட பதில் சங்கை விலக்கிய பிறகு, சரியான ஆவணத்தின் டாப் K சங்ஸ்களில் எவ்வளவு ஆதரவு சூழல் மீட்கப்படுகிறது என்று கேட்கிறது. பதிலை அகற்றுவது ஆதார நினைவுகூர்தலை Answer@K ஏற்கனவே அளவிடுவதை இருமுறை கணக்கிடுவதைத் தடுக்கிறது, மேலும் ஆதரவு சூழலுக்கான அனைத்து $K$ இடங்களையும் விட்டுவிடுகிறது. தங்க ஆவணம் மீட்டெடுக்கப்பட்ட டாப் 10 ஆவணங்களில் இருக்க வேண்டும் என்பது எந்தவொரு மாதிரியும் அது மேற்பரப்பிற்கு கொண்டு வந்திருக்காத ஒரு ஆவணத்திற்கு ஆதாரக் கிரெடிட்களைப் பெறாது என்பதை அர்த்தப்படுத்துகிறது. ஒவ்வொரு குழுவும் மீட்கப்பட்ட வினவல்களின் பகுதியான All-Evidence@K ஐயும் நாங்கள் தெரிவிக்கிறோம்.

ஒட்டுமொத்தமாக, இந்த மெட்ரிக்குகள் சூழல் சார்ந்த உட்பொதிவு (contextual-embedding) மாதிரிகள் எதிர்கொள்ளும் சவால்களைப் பிரிக்கின்றன: சரியான ஆவணத்தைக் கண்டறிதல், சரியான பதிலைக் கண்டறிதல் மற்றும் பதில் ஏன் சரியானது என்பதைக் காட்டும் குறைந்தபட்ச சூழலை மீட்டெடுத்தல்.

படம் 3, சொத்துநிர்வாக உதாரணத்துடன் அளவுகோள்களை விளக்குகிறது.

context-bench ஆவணம், பதில் மற்றும் ஆதார மீட்டெடுப்பு எவ்வாறு மதிப்பிடப்படுகிறது — படம் 3: குத்தகை வினவலுடன் விளக்கப்பட்ட context-bench மெட்ரிக்குகள். Document@K சரியான ஆவணத்தின் மீட்டெடுப்பை சோதிக்கிறது; Answer@K அதன் பதில் சங் இன் மீட்டெடுப்பை சோதிக்கிறது; Evidence Recall@K இலக்கு ஆவணத்திற்குள் ஆதரவு ஆதாரக் குழுக்களின் மீட்சியளவை அளவிடுகிறது. இந்த எடுத்துக்காட்டில், வாடகையைச் சரிபார்க்க முகவரி மற்றும் குத்தகை-ஆண்டு ஆதாரங்கள் இரண்டும் தேவைப்படுகின்றன. ஆதார நினைவுகூர்தல் டாப் பதில் சங்கை விலக்குகிறது மற்றும் இலக்கு ஆவணம் டாப் 10 இல் தரவரிசைப்படுத்தப்பட வேண்டும்.

சூழல் சார்ந்த மற்றும் சூழல் சாரா உட்பொதிவு மாதிரிகளுக்கு எதிராக எங்கள் மாதிரியை நான்கு முனைகளில் மதிப்பிடுகிறோம்.

எங்கள் சூழல் சார்ந்த அடிப்படை மாதிரிகள் pplx-embed-context-v1-4B மற்றும் voyage-context-4 ஆகும். எங்கள் சூழல் சாரா அடிப்படை மாதிரிகள் voyage-4-large மற்றும் NVIDIA இன் Nemotron-3-Embed-8B-BF16 ஆகும், அவை சங்ஸ்களை தனித்தனியாக குறியிடுகின்றன. ஒவ்வொரு படத்திலும் குறிக்கப்பட்டபடி, அடிப்படை தொகுப்பு பரிசோதனைக்கு பரிசோதனை மாறுபடும்.

இந்தப் பணிக்கு உந்துதலாக இருக்கும் திறன்களை நேரடியாகச் சோதிக்கும் context-bench உடன் தொடங்குகிறோம், பின்னர் சூழல் சார்ந்த உட்பொதிவுகளுக்கான நிலையான பொதுவான அளவுகோலான ConTEB மீதான முடிவுகளைப் புகாரளிக்கிறோம். இந்த ஆதாயங்கள் பொதுவான மீட்டெடுப்பு தரத்தின் விலையில் வரவில்லை என்பதைச் சரிபார்க்க, பொதுவான தரவுத்தொகுப்புகளிலிருந்து நாங்கள் உருவாக்கிய டொமைன் சார்ந்த ஆவணம் மற்றும் சங் மீட்டெடுப்பு அளவுகோல்களையும் நாங்கள் மதிப்பிடுகிறோம். இறுதியாக, வரிசைப்படுத்தலுக்கான இரண்டு நடைமுறை பண்புகளை ஆராய்கிறோம்: திசையனுக்கு சேமிப்பகச் செலவுகளுக்கு எதிரான மீட்டெடுப்பு தரம், மற்றும் குறியீட்டு நேரத்தில் பயன்படுத்தப்படும் சங் அளவிற்கான உணர்திறன். அனைத்து மதிப்பீடுகளும் 32,768 டோக்கன்கள் வரை உள்ள ஆவணங்களை ஒரே பாஸில் குறியிடுகின்றன.

அறிமுகத்தில் உள்ள படம் 1 இல் காட்டப்பட்டுள்ளபடி, எங்கள் முன்னோட்டமானது புகாரளிக்கப்பட்ட ஒவ்வொரு கட்ஆஃபிலும் Answer@K மற்றும் Evidence Recall@K இல் முன்னணியில் உள்ளது, அத்துடன் All-Evidence@10 இலும் முன்னணியில் உள்ளது. K = 10 இல், இது 45.5% பதில் நினைவுகூர்தல், 40.6% ஆதார நினைவுகூர்தல் மற்றும் 31.1% அனைத்து-ஆதார நினைவுகூர்தலை அடைகிறது. இது Document@1 மற்றும் Document@10 இலும் முன்னணியில் உள்ளது, முறையே 15.2% மற்றும் 61.6% ஐ அடைகிறது. K = 10 இல், எங்கள் முன்னோட்டமானது பதில் நினைவுகூர்தலில் 14.4 சதவீத புள்ளிகளிலும், ஆதார நினைவுகூர்தலில் 5.0 புள்ளிகளிலும் voyage-context-4 ஐ விட அதிகமாக உள்ளது.

எங்கள் முன்னோட்ட மாதிரி படம் 4 இல் ConTEB இல் காட்டப்பட்டுள்ள மாதிரிகளில் அதிகூடிய சராசரி nDCG@10 ஐ அடைகிறது. இது ஒவ்வொரு பணியிலும் முன்னணியில் இல்லை: NarrativeQA இல் pplx-context-v1-4B அதிக மதிப்பெண் பெறுகிறது, அதே நேரத்தில் COVID-QA இல் Nemotron-3-8B அதிக மதிப்பெண் பெறுகிறது. முக்கிய ஆசிரியர்கள் ConTEB ஆவணத்தில் சுட்டிக்காட்டியபடி, COVID-QA ஆனது மிகவும் பிரித்தெடுக்கும் தன்மை கொண்ட மற்றும் தொழில்நுட்ப மருத்துவ சொற்களில் எளிய மேற்பரப்பு லெக்சிகல் பொருத்துதலுடன் பூர்த்தி செய்யப்படக்கூடிய வினவல்-சங் ஜோடிகளை பெரும்பாலும் உள்ளடக்கியது. இதன் விளைவாக, இந்தப் பணிக்கு சூழல் புரிதல் குறைவாகவே பயனுள்ளதாக இருக்கும் மற்றும் சூழல் சாரா மாதிரிகள் பொதுவாக சூழல் சார்ந்த மாதிரிகளை விட சிறப்பாகச் செயல்படுகின்றன.

ConTEB இல் 10 இல் பணி-நிலை nDCG — படம் 4: வினவல்-டு-சங் அமைப்பில் ConTEB இல் பணி-நிலை nDCG@10. சராசரி என்பது எட்டு பணிகளில் எடையிடப்படாத சராசரி ஆகும்.

சூழல் சார்ந்த உட்பொதிவுகளுக்காக வடிவமைக்கப்பட்ட அளவுகோல்களுக்கு அப்பால், எங்கள் மாதிரியின் டொமைன் சார்ந்த செயல்திறனை மதிப்பிடுகிறோம்.

எங்களின் வினவல்-டு-சங் (Q2C) தொகுப்பு LegalBench மற்றும் FinanceBench போன்ற MTEB பணிகளைப் பயன்படுத்துகிறது, பொதுவான தரவுத்தொகுப்புகளிலிருந்து நாங்கள் க்யூரேட் செய்த கூடுதல் மீட்டெடுப்பு பணிகளுடன். ஒவ்வொரு தொடர்புடைய ஆவணத்திற்கும்ள், ஒரு சங் சரியான பதில் இடைவெளியைக் கொண்டிருந்தால் அது தொடர்புடையதாக லேபிளிடப்படுகிறது, இல்லையெனில் ஒரு LLM மூலம் வினவலுடன் அதன் தொடர்பைக் கொண்டு மதிப்பிடப்படுகிறது. வினவல்-டு-ஆவணம் (Q2D) தொகுப்பு அதே பணிகளைப் பயன்படுத்துகிறது மற்றும் தொடர்புடைய ஆவணம் மீட்டெடுக்கப்பட்டதா என்பதை மதிப்பிடுகிறது.

எங்கள் மாதிரி படம் 5 இல் சங் மீட்டெடுப்பில் அதிகூடிய சராசரி மதிப்பெண்ணை அடைகிறது மற்றும் சட்டம், தொழில்நுட்பம் மற்றும் சுகாதார டொமைன்களில் முன்னணியில் உள்ளது. இது ஒவ்வொரு டொமைனிலும் முன்னணியில் இல்லை: ஃபைனான்ஸ் மற்றும் பன்மொழி மீட்டெடுப்பில் voyage-context-4 அதிக மதிப்பெண் பெறுகிறது, மேலும் உரையாடல் மீட்டெடுப்பில் Nemotron-3-8B அதிக மதிப்பெண் பெறுகிறது. படம் 6 இல் உள்ள ஆவண மீட்டெடுப்பில், எங்கள் மாதிரி சராசரியாக voyage-context-4 ஐ விட சற்று கீழே மதிப்பெண் பெறுகிறது, அதே நேரத்தில் தொழில்நுட்ப டொமைனில் முன்னணியில் உள்ளது. pplx-context-v1-4B அடிப்படை மாதிரி இரண்டு தொகுப்புகளிலும் சராசரியாகக் குறைவான மதிப்பெண் பெறுகிறது, இது ConTEB பயிற்சி தொகுப்பில் மட்டுமே பயிற்சி பெற்றவற்றுடன் ஒத்துப்போகிறது, ஒரு அளவுகோலின் தங்க சங்ஸுடன் இணைக்கப்பட்ட மேற்பார்வை மற்ற டொமைன்களுக்கு மோசமாக மாற்றப்படுகிறது என்பதைக் காட்டுகிறது.

டொமைன் வாரியாக வினவல்-டு-சங் மீட்டெடுப்பு மதிப்பெண்கள் — படம் 5: டொமைன் வாரியாக தொகுக்கப்பட்ட, வினவல்-டு-சங் (Q2C) பணிகளில் சராசரி nDCG@10. டொமைன் பார்கள் அந்த டொமைனில் உள்ள பணி-நிலை மதிப்பெண்களின் எடையிடப்படாத சராசரிகளாகும்; ஒட்டுமொத்த சராசரி என்பது காட்டப்பட்டுள்ள அனைத்து பணிகளிலும் எடையிடப்படாத சராசரியாகும்.

டொமைன் வாரியாக வினவல்-டு-ஆவணம் மீட்டெடுப்பு மதிப்பெண்கள் — படம் 6: துறை வாரியாக குழுவாக்கப்பட்ட query-to-document (Q2D) பணிகளுக்கான சராசரி retrieval score. ஒரு துறையிலுள்ள ஒவ்வொரு பட்டையும் அதன் பணி-நிலை முதன்மை மதிப்பெண்களின் எடைப்படுத்தப்படாத சராசரி; மொத்த சராசரி என்பது காண்பிக்கப்பட்ட அனைத்து பணிகளின் எடைப்படுத்தப்படாத சராசரி.

ஒரு contextual embedding model ஒவ்வொரு chunk-க்கும் ஒரு vector உருவாக்குகிறது; ஆகவே, எங்கள் model-இன் மூலம் கட்டப்பட்ட index-இல், அதே chunking strategy-யைப் பயன்படுத்தும் ஒரு conventional chunk-level index-இல் இருப்பதற்குச் சரியாக அதே அளவு vector-கள் இருக்கும். Contextualization ஒவ்வொரு vector-ம் என்ன encode செய்கிறது என்பதை மாற்றுகிறது, சேமிக்கப்படும் vector-களின் எண்ணிக்கையை அல்ல. எனவே storage footprint, ஒவ்வொரு vector-ன் அளவால் நிர்ணயிக்கப்படுகிறது. அந்த model அதை குறைக்கும் இரண்டு வழிகளை வழங்குகிறது: embedding-ஐ 2048-இலிருந்து 1024 dimensions-ஆக truncate செய்வது மற்றும் அதை int8-ஆக quantize செய்வது.

படம் 7 மீட்டெடுப்பு தரம் மற்றும் திசையன் சேமிப்பகத்திற்கு இடையேயான சாதகமான வர்த்தகத்தைக் காட்டுகிறது. 1024 பரிமாணங்களில், எங்கள் int8 உட்பொதிவுகள் திசையனுக்கு 1 KB ஐப் பயன்படுத்துகின்றன, அதே நேரத்தில் float32 இல் 2048 பரிமாணங்களில் voyage-context-4 இன் சங்-மீட்டெடுப்பு மதிப்பெண்ணை சற்று மீறுகின்றன, இது திசையனுக்கு 8 KB ஐப் பயன்படுத்துகிறது. எங்கள் உட்பொதிவு அளவை 2048 பரிமாணங்களாக அதிகரிப்பது திசையனுக்கு 2 KB இல் மீட்டெடுப்பு தரத்தை மேலும் அதிகரிக்கிறது. இந்த சேமிப்பக புள்ளிவிவரங்கள் திசையன்களை மட்டுமே குறிக்கின்றன, குறியீட்டின் மற்ற பகுதிகளை அல்ல.

சங் மீட்டெடுப்பு தரம் மற்றும் திசையனுக்கு சேமிப்பகம் — படம் 7: திசையனுக்கான சேமிப்பகத்தின் செயல்பாடாக சங் மீட்டெடுப்பு தரம் (சராசரி nDCG@10). திடக் கோடுகள் float32 ஐக் குறிக்கின்றன மற்றும் புள்ளிக் கோடுகள் int8 ஐக் குறிக்கின்றன; லேபிள்கள் உட்பொதிவு பரிமாணத்தைக் கொடுக்கின்றன.

சங் அளவு 64 இலிருந்து 512 டோக்கன்களாக அதிகரிக்கும் போது மீட்டெடுப்பு தரத்தில் மிதமான மாற்றத்தை மட்டுமே படம் 8 காட்டுகிறது: சராசரி மதிப்பெண் 81.0% இலிருந்து 79.9% ஆகக் குறைகிறது, இது 1.1 சதவீத புள்ளிகள் குறைவு. சோதிக்கப்பட்ட சங் அளவுகள் முழுவதும் மாதிரி பயனுள்ளதாக இருப்பதை இது அறிவுறுத்துகிறது, ஆவணங்கள் எவ்வாறு பிரிக்கப்படுகின்றன என்பதில் குறியீட்டு குழாய்களுக்கு நெகிழ்வுத்தன்மையை அளிக்கிறது.

சங்-அளவு உணர்திறன்: 64 முதல் 512 டோக்கன்கள் வரையிலான சங்ஸ்களுக்கான மீட்டெடுப்பு மதிப்பெண்கள் — படம் 8: எங்கள் மாதிரியின் சங்-அளவு உணர்திறன். கொடுக்கப்பட்ட சங் அளவில் குறியிடப்பட்ட ஆவணங்களுடன், ஒவ்வொரு புள்ளியும் 74 MTEB பணிகளில் எடையிடப்படாத சராசரி nDCG@10 ஆகும்.

turbopuffer தனது முழு கார்ப்பஸ் (corpus), வினவல்கள் மற்றும் context-bench இன் லேபிள்களை தனிப்பட்ட முறையில் வைத்திருக்கிறது மற்றும் சமர்ப்பிக்கப்பட்ட மாதிரிகளுக்கான முடிவுகளை அறிக்கை செய்கிறது. இந்த வகையான பொதுவான அளவுகோல் அதன் வினவல்கள் மற்றும் ஆவணங்களில் நேரடி பயிற்சியை அழைக்கின்றது, இது படிப்படியாக அதை நிரப்பி, காலப்போக்கில் முன்னேற்றத்தைக் கண்காணிப்பதற்கான அதன் மதிப்பைக் குறைக்கும். அளவுகோலில் உங்கள் மாதிரி மதிப்பீடு செய்யப்பட விரும்பினால், தயவுசெய்து turbopuffer ஐ contextbench@turbopuffer.com இல் தொடர்பு கொள்ளவும்.

எங்கள் மாதிரியின் முன்னோட்டம் Hugging Face இல் கிடைக்கிறது, மேலும் இந்தப் பதிவில் உள்ள அனைத்து முடிவுகளும் இந்த முன்னோட்டத்திற்காக அறிவிக்கப்பட்டுள்ளன. Perplexity API மூலம் மாதிரியை அணுகும்படி செய்வதிலும், turbopuffer உடன் இணைந்து நீண்ட ஆவணங்கள் மீதான மீட்டெடுப்பை மேலும் மேம்படுத்துவதிலும் நாங்கள் பணியாற்றி வருகிறோம்.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

அறிமுகம்

மீட்டெடுப்புக்கு சூழல் ஏன் முக்கியம்

தங்க-சங் மேற்பார்வையின் வரம்புகள்

சூழல் சார்ந்த கற்றலுக்கான ஒரு புதிய அணுகுமுறை

இழப்பு செயல்பாடு

ஆவண-நிலை மாறுபட்ட இழப்பு

சங்-நிலை வடித்தல் இழப்பு

கூட்டு இழப்பு

பயிற்சி தரவு

பயிற்சி அமைப்பு

சங்-நிலை மீட்டெடுப்புக்கான புதிய அளவுகோல்

ஆவணங்கள் மற்றும் வினவல்கள்

பதில் மற்றும் ஆதார லேபிள்கள்

மெட்ரிக்குகள்

மதிப்பீட்டு முடிவுகள்

Context-bench

ConTEB

டொமைன்கள் முழுவதும் பொதுவான மீட்டெடுப்பு தரம்

மீட்டெடுப்பு தரம் மற்றும் சேமிப்பகச் செலவுகள்

சங் அளவு உணர்திறன்

வெளியீடு

மேற்கோள்