Q2D-Web: அளவில் முதல்-கட்ட மீட்டெடுப்பாரை மதிப்பீடு செய்தல்

70 ஆயிரம் ஏஜென்ட் வினவல்கள், 190 மில்லியன் இணைய ஆவணங்கள் மற்றும் மூன்று பொருத்தமான தீர்ப்புத் தொகுப்புகளைக் கொண்ட பெஞ்ச்மார்க் மற்றும் லீடர்போர்டு.

ஆசிரியர்கள்Perplexity Research

இன்று, ஏஜென்டிக் RAG அமைப்புகளில் மீட்டெடுப்பை மதிப்பீடு செய்வதற்கான ஒரு தனிப்பட்ட பெஞ்ச்மார்க் மற்றும் பொது லீடர்போர்டான Q2D-Web (Query2Doc-Web) ஐ நாங்கள் அறிமுகப்படுத்துகிறோம். Q2D-Web எங்கள் அசல் Q2D பெஞ்ச்மார்க்கை பெரிய அளவிலான கார்பஸ், பெரிய வினவல் தொகுதி மற்றும் ஆழமான தீர்ப்பு சிறுகுறிப்புகளுக்கு நீட்டிக்கிறது.

பெரிய அளவிலான இணையத் தேடலில் எம்பிக்கிங் மாதிரிகளை மதிப்பீடு செய்ய Q2D-Web கட்டமைக்கப்பட்டுள்ளது. இது ஒன்பது மாத PII-இல்லாத உற்பத்தித் தேடல் போக்குவரத்தில் மாதிரி எடுக்கப்பட்ட பத்து மொழிகளில் 190 மில்லியன் இணைய ஆவணங்கள் மற்றும் 69,721 ஏஜென்ட்-மறுவடிவமைக்கப்பட்ட வினவல்களைக் கொண்டுள்ளது.

இந்த அளவில், வினவல்-ஆவண மட்டத்தில் பொருத்தமான சமிக்ஞை தவிர்க்க முடியாமல் சிதறடிக்கப்படுகிறது. ஒரு மூலத்தை தரை உண்மையாக நடத்துவதற்குப் பதிலாக, ஏஜென்ட் மேற்கோள்கள், உற்பத்தி இணைய தரவரிசைகள் மற்றும் முன்னர் தீர்ப்பளிக்கப்படாத ஜோடிகளுக்கான கூடுதல் LLM தீர்ப்புகளிலிருந்து பெறப்பட்ட மூன்று பொருத்தமான-தீர்ப்பு தொகுப்புகளை நாங்கள் வழங்குகிறோம். பல மூலங்கள் ஒற்றை லேபிளிங் பைப்லைனில் இருந்து சார்புகளைக் குறைக்கின்றன, அதே நேரத்தில் ஆழமான சிறுகுறிப்பு தவறான எதிர்மறைகளைக் குறைக்கிறது.

எங்கள் லீடர்போர்டு பொதுவில் வெளியிடப்பட்ட மீட்டெடுப்பு மாதிரிகளுக்கான முடிவுகளைப் புகாரளிக்கிறது, இது ஒரு நிலையான குறியீட்டு, மீட்டெடுப்பு மற்றும் ஸ்கோரிங் பைப்லைன் மூலம் பெஞ்ச்மார்க்கிற்கு எதிராக நேரடியாக மதிப்பீடு செய்யப்படுகிறது. எங்கள் கோரிக்கை படிவத்தின் மூலம் மதிப்பீட்டைச் சமர்ப்பிக்கலாம்.

யதார்த்தமான மீட்டெடுப்பு மதிப்பீட்டின் சவால்

ஒவ்வொரு வினவலுக்கும், உற்பத்தி அளவிலான மீட்டெடுப்பு அமைப்பு பில்லியன் கணக்கான இணையப் பக்கங்களைக் கொண்ட கார்பஸைத் தேடி ஆயிரக்கணக்கான வேட்பாளர் ஆவணங்களை வழங்குகிறது. இந்த வேட்பாளர்கள் கீழ்நிலை அமைப்புகள் எந்த மூலங்களைக் காண முடியும் என்பதைத் தீர்மானிக்கிறார்கள், இது ஏஜென்ட்டுக்குக் கிடைக்கும் ஆதாரங்களை நேரடியாக வடிவமைக்கிறது.

எனவே, இந்த முதல் கட்டத்தின் யதார்த்தமான மதிப்பீட்டிற்கு மூன்று பரிமாணங்களில் அளவிடக்கூடிய பெஞ்ச்மார்க்குகள் தேவைப்படுகின்றன: கார்பஸில் உள்ள ஆவணங்களின் எண்ணிக்கை, தீர்ப்பளிக்கப்பட்ட வினவல்களின் எண்ணிக்கை மற்றும் ஒரு வினவலுக்கான பொருத்தமான தீர்ப்புகளின் எண்ணிக்கை.

பெரிய கார்பஸ்கள் கடினமான எதிர்மறைகளை அறிமுகப்படுத்துவதன் மூலம் ஒரு பெஞ்ச்மார்க்கை மிகவும் வேறுபடுத்தக்கூடியதாக மாற்றலாம் - வினவலுடன் சொற்பொருளில் ஒத்திருக்கும் ஆனால் கோரப்பட்ட தகவலை வழங்காத ஆவணங்கள். மீட்டெடுப்பாளர்கள் இந்த நம்பத்தகுந்த பொருத்தங்களை பொருத்தமான ஆவணங்களிலிருந்து வேறுபடுத்த வேண்டும். அறியப்பட்ட பொருத்தமான ஆவணங்களைத் தக்க வைத்துக் கொள்ளும்போது கார்பஸைக் சுருக்குவது இந்த டிஸ்ட்ராக்டர்களை அகற்றி நினைவு கூர்வதை உயர்த்தக்கூடும், கீழே உள்ள எங்கள் துணை மாதிரி பரிசோதனைகள் காண்பிப்பது போல.

அதிக தீர்ப்பளிக்கப்பட்ட வினவல்கள் செயல்திறன் மதிப்பீடுகளை மிகவும் நம்பகமானதாக ஆக்குகின்றன. சிறிய வினவல் தொகுப்புடன், பெஞ்ச்மார்க் முடிவுகள் எந்த வினவல்கள் மாதிரி எடுக்கப்பட்டன என்பதைப் பொறுத்து பெரிதும் சார்ந்துள்ளது, இது ஒவ்வொரு மாதிரியின் செயல்திறனையும் துல்லியமாக மதிப்பிடுவதையும் மாதிரிகளுக்கு இடையே உறுதியாக வேறுபடுத்துவதையும் கடினமாக்குகிறது.

ஆழமான தீர்ப்புகள் மதிப்பீட்டில் தவறான எதிர்மறைகளைக் குறைக்கின்றன. சிதறிய லேபிள்களுடன், ஒரு மீட்டெடுப்பாளர் தீர்ப்பளிக்கப்படாத பொருத்தமான ஆவணங்களை வெளிப்படுத்தலாம், எனவே அவை தவறாக பொருத்தமற்றவை என கணக்கிடப்படுகின்றன. இது மதிப்பீட்டை நம்பகத்தன்மையற்றதாக ஆக்குகிறது. MS MARCO என்பது தகவல் மீட்டெடுப்பில் உள்ள முக்கிய பெரிய அளவிலான திறந்த தரவுத்தொகுப்பாகும் மற்றும் நரம்பியல் மீட்டெடுப்பு மாதிரிகளின் வளர்ச்சியை வடிவமைத்தது. அங்கு, கைமுறையாக ஆய்வு செய்யப்பட்ட முதல்-மீட்டெடுக்கப்பட்ட ஆனால் லேபிளிடப்படாத பத்திகளில் 70% உண்மையில் பொருத்தமானவை.

தற்போதைய பெஞ்ச்மார்க்குகள் இந்த பரிமாணங்களில் ஒன்றில் அல்லது இரண்டில் மட்டுமே அளவிட முனைகின்றன: இணைய அளவிலான சேகரிப்புகள் ஒப்பீட்டளவில் சில தீர்ப்பளிக்கப்பட்ட வினவல்களைக் கொண்டுள்ளன, அதே நேரத்தில் பல வினவல்களைக் கொண்ட பெஞ்ச்மார்க்குகள் பொதுவாக மிகக் சிறிய கார்பஸ் மற்றும் சிதறிய லேபிள்களைப் பயன்படுத்துகின்றன. மேலும், பெரும்பாலான பெஞ்ச்மார்க்குகள் மனிதனால் எழுதப்பட்ட வினவல்களைப் பயன்படுத்துகின்றன, அதேசமயம் ஏஜென்டிக் RAG அமைப்புகள் வார்த்தைகள், அமைப்பு மற்றும் குறிப்பிட்ட தன்மையில் மாறுபடக்கூடிய ஏஜென்ட்-மறுவடிவமைக்கப்பட்ட வினவல்களுடன் தேடுகின்றன.

Q2D-Web அனைத்து மூன்று பரிமாணங்களிலும் அளவிடுகிறது. இது 190 மில்லியன் இணைய ஆவணங்கள், 69,721 ஏஜென்ட்-மறுவடிவமைக்கப்பட்ட வினவல்கள் மற்றும் அதன் ஒருங்கிணைந்த தீர்ப்பு தொகுப்பில் வினவலுக்கு சராசரியாக 99.6 நேர்மறையான பொருத்தமான தீர்ப்புகளைக் கொண்டுள்ளது. நெருங்கிய பொது ஒப்பீடு MS MARCO வெப் சர்ச் ஆகும், இது MS MARCO இன் இணைய அளவிலான பதிப்பாகும். இது 100.9 மில்லியன் ஆவணங்கள், 9,374 சோதனை வினவல்கள் மற்றும் வினவலுக்கு ஒரு கிளிக் மூலம் பெறப்பட்ட நேர்மறை லேபிளைக் கொண்டுள்ளது.

நாங்கள் எவ்வாறு Q2D-Web ஐ உருவாக்கினோம்

Q2D-Web construction: privacy-filtered query sampling, corpus assembly and deduplication, relevance labeling, and subcorpus sampling.

வினவல்கள்

Q2D-Web ஆனது ஒன்பது மாத காலப்பகுதியில் சேகரிக்கப்பட்ட பத்து மொழிகள் மற்றும் டஜன் கணக்கான டொமைன்களில் 23,000 PII-இல்லாத உற்பத்தித் தேடல்களின் அடிப்படையில் உருவாக்கப்பட்டுள்ளது.

ஒரு தேடல் என்பது, பயனர் செய்திக்கு பதிலளிக்கும் விதமாக ஏஜெண்ட் செய்யும் அனைத்து வலைத் தேடல் கருவி அழைப்புகளையும் உள்ளடக்கியது. ஒவ்வொரு கருவி அழைப்பிலும் ஒன்று அல்லது அதற்கு மேற்பட்ட வினவல்கள் உள்ளன. ஒவ்வொரு வினவலும் பயனர் கோரிக்கை, முந்தைய உரையாடல் மற்றும் பொருந்தக்கூடிய இடங்களில் அதே தேடலில் முன்பு மீட்டெடுக்கப்பட்ட ஆவணங்களிலிருந்து மறுவடிவமைக்கப்படுகிறது. ஒவ்வொரு தயாரிப்பு தேடலிலும் பயனரின் தகவல் தேவையைக் குறிப்பிடும் ஒரு முதன்மை வினவலும், மாற்று வார்த்தைகள், பின்னணித் தகவல் அல்லது தொடர்புடைய நிறுவனங்களை ஆராயும் பூஜ்ஜியம் அல்லது அதற்கு மேற்பட்ட ஆதரவு வினவல்களும் உள்ளன. அவை ஒரே பரந்த கோரிக்கையைக் கையாண்டாலும், அவற்றுக்கு வெவ்வேறு ஆவணங்கள் தேவைப்படலாம்; எனவே Q2D-Web ஒவ்வொரு வினவலையும் அதன் சொந்தப் பொருத்த மதிப்பீடுகளுடன் தனித்தனியாக மதிப்பிடுகிறது.

Q2D-Web இன் 69,721 வினவல்களின் நீளம் மற்றும் மொழி பரவல்கள். நீளம் எழுத்துகளில் அளவிடப்படுகிறது; பட்டைகள் ஒவ்வொரு பிரிவிலும் உள்ள வினவல்களின் பகுதியைக் காட்டுகின்றன.
பொருள் களங்களில் Q2D-Web வினவல்களின் பரவல். பட்டைகள் வினவல் தொகுப்பில் ஒவ்வொரு களத்தின் பங்கைக் காட்டுகின்றன; "மற்றவை" பதினைந்து கூடுதல் களங்களைக் தொகுக்கின்றன.

உள்ளடக்கப்பட்ட அனைத்து வினவல்களுக்கும் நாங்கள் கடுமையான தனியுரிமை வடிப்பானைப் பயன்படுத்துகிறோம். வினவல்கள் தங்கள் தரவைப் பயன்படுத்த அனுமதித்த பயனர்களிடமிருந்து வர வேண்டும், மேலும் perplexity-ai/pplx-pii-masking ஐப் பயன்படுத்தும் PII கண்டறிதல் தனிப்பட்ட தகவல்களைக் கொண்ட வினவல்களை விலக்குகிறது. நாங்கள் சரியான நகல்கள், மிகக் குறுகிய வினவல்கள் மற்றும் site: அல்லது மேற்கோள் காட்டப்பட்ட சொற்றொடர்கள் போன்ற தேடல் ஆபரேட்டர்களைக் கொண்ட வினவல்களையும் நீக்குகிறோம்.

இந்த பெஞ்ச்மார்க் பத்து மொழிகளை உள்ளடக்கியது. ஆங்கிலம் 65.8% வினவல்களைக் கொண்டுள்ளது, அதைத் தொடர்ந்து ஸ்பானிஷ், ரேயஷ்யன், ஜெர்மன், பிரெஞ்சு, போர்ச்சுகீஸ், இத்தாலியன், கொரியன், ஜப்பானியன் மற்றும் சைனீஸ் உள்ளன. வினவல் விநியோகமானது நுகர்வோர் பொருட்கள், நிரலாக்கம், சட்டம், சுகாதாரம், வணிகம், அறிவியல், கல்வி, தொழில்நுட்பம், நிதி, பயணம், பொழுதுபோக்கு, அரசியல், உள்ளூர் தகவல் மற்றும் செய்தி உள்ளிட்ட பல்வேறு டொமைன்களையும் பரப்புகிறது.

கார்பஸ்

ஒவ்வொரு வினவலுக்கும், உற்பத்தி மீட்டெடுப்பு அமைப்புடன் முதல் 5,000 ஆவணங்களை மீட்டெடுத்து இந்த முடிவுத் தொகுப்புகளின் யூனியனை எடுத்துக்கொள்கிறோம். பின்னர் MinHash–LSH ஐப் பயன்படுத்தி கார்பஸை டூப்ளிகேட் செய்கிறோம், டோக்கன் 5-கிராம் தொகுப்புகள் குறைந்தது 0.975 ஜக்கார்ட் ஒற்றுமையைக் கொண்ட ஆவணங்களைக் கிளஸ்டர் செய்கிறோம்.

இந்த சேகரிப்பு தற்செயலான இணைய மாதிரி அல்ல. ஒவ்வொரு ஆவணமும் குறைந்தது ஒரு பெஞ்ச்மார்க் வினவலுக்கான நம்பத்தகுந்த முடிவாகக் கருதப்பட்டது. இது கடினமான டிஸ்ட்ராக்டர்களின் அடர்த்தியான தொகுப்பை உருவாக்குகிறது: வினவலின் தலைப்பு அல்லது மொழியுடன் பொருந்தும் பக்கங்கள், ஆனால் தேவையான தேதி, நிறுவனம், பதிப்பு, அளவு அல்லது அம்சம் விடுபட்டிருக்கலாம்.

சுமார் 190 மில்லியன் ஆவண உடற்கூட்டில் ஆவண நீளம் மற்றும் மொழி பரவல்கள். நீளம் எழுத்துகளில் அளவிடப்படுகிறது; பட்டைகள் ஒவ்வொரு பிரிவிலும் உள்ள ஆவணங்களின் பகுதியைக் காட்டுகின்றன.

தீர்ப்புகள்

பெரிய அளவில் பொருத்தமான லேபிள்கள் இயல்பாகவே முழுமையற்றவை. சாத்தியமான ஒவ்வொரு வினவல்-ஆவண ஜோடிக்கும் லேபிளிடுவது சாத்தியமற்றது, மேலும் ஒவ்வொரு தீர்ப்பின் மூலமும் வெவ்வேறு சார்புகளைக் கொண்டுள்ளது.

Q2D-Web ஒற்றை சார்பினால் பாதிக்கப்படாமல் சிறுகுறிப்பு ஆழத்தை அதிகரிக்க, ஒரு மூலத்தை தரை உண்மையாகக் கருதுவதற்குப் பதிலாக மூன்று பொருத்தமான தொகுப்புகளைப் பயன்படுத்துகிறது.

ஒரு ஏஜென்ட் ஒரு பதிலில் மேற்கோள் காட்டும்போது ஒரு ஆவணத்தை மேற்கோள் பொருத்தமானது எனக் குறிக்கிறது. இது கீழ்நிலை பயன்பாட்டிற்கு மிக நெருக்கமான சமிக்ஞையாகும்: ஏஜென்ட் ஒரு கூற்றுக்கான ஆதாரமாக ஆவணத்தைத் தேர்ந்தெடுத்தது. ஆனால் வடிவமைப்பு மூலம் மேற்கோள் உயர் துல்லியம் மற்றும் குறைந்த நினைவுகூர்தலைக் கொண்டுள்ளது. ஒரு ஏஜென்ட் போதுமான ஆதரவைப் பெற்றவுடன், மற்ற எல்லா பொருத்தமான பக்கங்களையும் மேற்கோள் காட்ட சிறிய காரணமே உள்ளது.

வெப் ரேங்கிங் ஆனது வினவலுக்கு 50 ஆவணங்கள் வரை (சராசரியாக 43.1) கொண்டுள்ளது, இது முதல் கட்டத்தில் BM25 மற்றும் அடர்ந்த மீட்டெடுப்பைப் பயன்படுத்தும் உள் மீட்டெடுப்பு அடுக்கால் அடையாளம் காணப்பட்டு, அதைத் தொடர்ந்து கிராஸ்-என்கோடர் மறுவரிசைப்படுத்துதலால் செய்யப்படுகிறது. இது பயனுள்ள ஆனால் மேற்கோள் காட்டப்படாத ஆவணங்களைப் பிடிக்கிறது.

ஒருங்கிணைக்கப்பட்ட + LLM-தீர்ப்பளிக்கப்பட்ட ஆனது மேற்கோள் மற்றும் வெப் ரேங்கிங் ஆகியவற்றின் யூனியனை எடுத்துக்கொள்கிறது, பின்னர் தவறான எதிர்மறைகளின் எண்ணிக்கையைக் குறைக்கும் நோக்கத்துடன், முன்னர் தீர்ப்பளிக்கப்படாத வேட்பாளர்களுக்கு LLM தீர்ப்புகளைச் சேர்க்கிறது. ஜனவரி 1, 2025 க்கு முன்பு வெளியிடப்பட்ட BM25, ColBERTv2 மற்றும் ஏழு அடர்ந்த மீட்டெடுப்பாளர்களிடமிருந்து முடிவுகளைக் குவித்து, reciprocal rank fusion (RRF) ஐப் பயன்படுத்தி அவற்றின் தரவரிசைகளை இணைத்து, முதல் 500 தீர்ப்பளிக்கப்படாத ஆவணங்களைத் தேர்ந்தெடுத்து, DeepSeek-V4-Flash ஐப் பயன்படுத்தி கடுமையான பைனரி பொருத்தமான நீதிபதியைப் பயன்படுத்துகிறோம்.

இந்த மூன்று தொகுப்புகளும், மாடல் செயல்திறன் பொருத்தம் எவ்வாறு வரையறுக்கப்படுகிறது என்பதைப் பொறுத்ததா என்று கேட்க நம்மை அனுமதிக்கின்றன. லேபிள்களை உருவாக்கப் பயன்படுத்தப்படும் அமைப்பைப் போன்ற மீட்டெடுப்பவைகளுக்கு ஆதரவாக இருக்கக்கூடிய ஒற்றை லேபிளிங் ஸ்டாக் மீதான நம்பிக்கையையும் அவை குறைக்கின்றன.

மடக்கை அளவில் ஒவ்வொரு வினவலுக்கான தொடர்புடைய ஆவணங்களின் பரவல்கள். ஒருங்கிணைந்த லபிள்கள் மேற்கோள்கள், வலை தரவரிசைகள் மற்றும் கூடுதல் LLM மதிப்பீடுகளை ஒன்றாகக் கொண்டுவருகின்றன.

துணை மாதிரி: பெரிய அளவில் திறமையான மதிப்பீடு

முழு கார்பஸ் மதிப்பீடு விலை உயர்ந்தது மற்றும் மெதுவானது. pplx-embed-v1-4b உடன் Q2D-Web இல் ஒற்றை மதிப்பீட்டிற்கு 4,608 H200 GPU-மணிநேரங்கள் தேவைப்படுகிறது, அதே நேரத்தில் EmbeddingGemma-300M போன்ற சிறிய மாதிரி கூட கிட்டத்தட்ட 200 H200 GPU-மணிநேரங்களைக் கோருகிறது.

மதிப்பீட்டை நடைமுறைப்படுத்த, கார்பஸின் துணை மாதிரி பதிப்பை உருவாக்குகிறோம்.

முழு கார்பஸ் நடத்தையை பிரதிபலிக்கும் சிறிய துணைக்கார்பஸை உருவாக்க மாதிரி உத்திகள் முழுவதும் விரிவான அப்லேஷனை நடத்தினோம். ஒவ்வொரு மூலோபாயமும் சாதகமாக தீர்ப்பளிக்கப்பட்ட அனைத்து ஆவணங்களையும் தக்க வைத்துக் கொள்கிறது மற்றும் தீர்ப்பளிக்கப்படாத டிஸ்ட்ராக்டர்கள் எவ்வாறு தேர்ந்தெடுக்கப்படுகின்றன என்பதில் மட்டுமே வேறுபடுகிறது. முக்கியமான டிஸ்ட்ராக்டர்கள் என்பது ஒரு மீட்டெடுப்பாளர் பொருத்தமான ஆவணத்திற்கு மேல் தரவரிசைப்படுத்தக்கூடியவை ஆகும், ஏனெனில் அவை மாதிரியின் மதிப்பெண் மற்றும் தரவரிசையில் அதன் நிலையை மாற்றுகின்றன.

நாங்கள் சீரான ரேண்டம் சாம்பிளிங், கன்ஸ்ட்ரக்ஷன் ரிட்ரீவர்கள் முழுவதும் ஒரு குறிப்பிட்ட ஆழத்திற்கு பூலிங் செய்வது, மற்றும் வெவ்வேறு ஆழங்களில் பெர்-குவெரி RRF ஆகியவற்றை ஒப்பிட்டோம். RRF-அடிப்படையிலான சாம்பிளிங் முழு கார்பஸில் உள்ள ஆவணங்களில் 31.7% ஐ மட்டுமே பயன்படுத்துகிறது. இது கம்பைண்டு தீர்ப்புகளின் கீழ் முழு-கார்பஸ் மாதிரி தரவரிசையைப் பாதுகாக்கிறது, அதே நேரத்தில் முழுமையான மதிப்பெண்களுக்கு அருகில் உள்ளது, மேலும் அதே அளவிலான ரேண்டம் சாம்பிளிங்கிற்கு 12.8 புள்ளிகளுக்கு எதிராக சராசரி Recall@1000 ஐ 5.2 புள்ளிகள் அதிகரிக்கச் செய்கிறது.

சாம்பிளிங் உத்திகள் முழுவதும் கம்பைண்டு தீர்ப்புகளின் கீழ் சராசரி Recall@1000 மற்றும் முழு-கார்பஸ் மாதிரி தரவரிசைகளுடன் உடன்பாடு. ரெசிப்ரோக்கல் ரேங்க் ஃபியூஷன் (RRF) ஆனது ரேண்டம் சாம்பிளிங்கை விட குறைவான ரீகால் அதிகரிப்புடன், கார்பஸில் 31.7% ஐப் பயன்படுத்தி மதிப்பிடப்பட்ட மாதிரிகளின் தரவரிசையைப் பாதுகாக்கிறது.

இது மதிப்பீட்டு செலவுகளை முழு கார்பஸ் செலவில் மூன்றில் ஒரு பங்காகக் குறைக்கிறது. RRF-அடிப்படையிலான துணைக்கார்பஸைப் பயன்படுத்தி, pplx-embed-v1-4b தோராயமாக 1,500 H200 GPU-மணிநேரங்களையும், EmbeddingGemma-300M 70 க்கும் குறைவாகவும் தேவைப்படுகிறது.

ஒவ்வொரு சமர்ப்பிப்பும் முதலில் மாதிரி துணைக்கார்பஸ் பதிப்பில் மதிப்பீடு செய்யப்படுகிறது. மொத்த அளவுரு எண்ணிக்கையின் அடிப்படையில் சமர்ப்பிப்புகள் இரண்டு குழுக்களாகப் பிரிக்கப்படுகின்றன: 1B வரை மற்றும் 1B க்கு மேல். மாதிரி துணைக்கார்பஸில் தனது குழுவின் முதல் பத்தை எட்டும் மாதிரி முழு கார்பஸில் மதிப்பீடு செய்யப்படுகிறது. தங்கள் குழுவில் முதல் 10 இடங்களுக்கு வெளியே மதிப்பிடப்பட்ட மாதிரிகள் மாதிரி துணைக்கார்பஸ் லீடர்போர்டில் மட்டுமே வெளியிடப்படும்.

மதிப்பீட்டு முடிவுகள்

மதிப்பீடு செய்யப்பட்ட மாதிரிகள் முழுவதும், Q2D-Web அதன் 3 வெவ்வேறு பொருத்தமான தொகுப்புகளில் இணைய அளவில் மீட்டெடுப்பு செயல்திறனின் நிலையான பார்வையை வழங்குகிறது. லீடர்போர்டு இந்த நிரப்பு பார்வைகளைப் பக்கத்து பக்கத்தில் கிடைக்கச் செய்கிறது, குறுகிய மேற்கோள் அடிப்படையிலான லேபிள்கள் மற்றும் பரந்த பொருத்தமான தீர்ப்புகளின் கீழ் மாதிரிகள் எவ்வாறு செயல்படுகின்றன என்பதைப் பயனர்கள் ஆய்வு செய்ய அனுமதிக்கிறது.

நாங்கள் Recall@1000 ஐ எங்கள் முதன்மைக் மெட்ரிக்காகக் கவனம் செலுத்துகிறோம், ஏனெனில் முதல் கட்ட மீட்டெடுப்பாளர் மட்டுமே பொருத்தமான ஆவணங்களை வேட்பாளர் குளத்தில் வைக்க வேண்டும், அதே நேரத்தில் அடுத்தடுத்த மறுவரிசைப்படுத்துதல் அவற்றின் இறுதி வரிசையைத் தீர்மானிக்கிறது.

மாதிரி குடும்பத்தின்படி தொகுக்கப்பட்ட பதின்மூன்று மீட்புகளுக்கான ஒருங்கிணைந்த Recall@1000 மற்றும் ஒருங்கிணைந்த nDCG@10. இரண்டு அளவீடுகளுக்கு இடையில் அதிக மதிப்பெண் பெற்ற மாதிரி வேறுபடுகிறது.

அட்டவணை 1. சிட்டேசன், வெப் ரேங்கிங், மற்றும் கம்பைண்டு பிரபரன்ஸ் செட்கள் முழுவதும் பதின்மூன்று ரிட்ரீவர்களுக்கான முழு-கார்பஸ் Recall@1000 மற்றும் nDCG@10. அதிக மதிப்பெண்கள் சிறந்தவை.

மாதிரி

Recall@1000: மேற்கோள்

Recall@1000: வெப் ரேங்கிங்

Recall@1000: ஒருங்கிணைக்கப்பட்ட

nDCG@10: மேற்கோள்

nDCG@10: வெப் ரேங்கிங்

nDCG@10: ஒருங்கிணைக்கப்பட்ட

BM25-tantivy

60.84

42.50

45.25

7.30

11.45

29.27

EmbeddingGemma-300M

80.10

58.93

66.24

12.21

17.30

41.95

mDenseOn

73.72

52.56

60.09

10.08

15.06

38.87

Nemotron-3-Embed-1B

75.64

54.37

62.44

9.69

14.83

38.84

Nemotron-3-Embed-8B

83.14

61.73

69.33

13.17

18.69

45.65

pplx-embed-v1-0.6b

81.85

62.15

67.91

12.52

19.76

42.73

pplx-embed-v1-4b

85.03

65.73

70.00

14.18

21.29

44.12

Qwen3-Embedding-0.6B

71.19

51.82

58.68

8.53

14.11

36.19

Qwen3-Embedding-4B

76.49

55.60

62.78

9.91

14.97

38.82

Qwen3-Embedding-8B

79.26

58.34

65.32

10.75

16.27

41.20

voyage-4-nano

69.55

50.14

57.42

6.96

11.77

30.59

mLateOn

74.16

53.12

61.77

10.94

15.51

41.61

pplx-embed-v1-late-0.6b

78.64

58.14

64.20

11.88

17.25

41.77

சிட்டேசன் (85.03), வெப் ரேங்கிங் (65.73), மற்றும் கம்பைண்டு (70.00) ஆகிய மூன்று தீர்ப்புத் தொகுப்புகளிலும் pplx-embed-v1-4b மிக உயர்ந்த Recall@1000 மதிப்பைக் கொண்டுள்ளது. கம்பைண்டு Recall@100 மற்றும் nDCG@10 இல், Nemotron-3-Embed-8B (30.32 மற்றும் 45.65) ஆனது pplx-embed-v1-4b (30.17 மற்றும் 44.12) ஐ விட அதிக மதிப்பெண் பெற்றுள்ளது.

ஒரு குடும்பத்திற்குள், பெரிய மாதிரிகள் கம்பைண்டு Recall@1000 இல் அதிக மதிப்பெண்களைப் பெறுகின்றன. Qwen3-Embedding ஆனது 58.68 (0.6B) இலிருந்து 65.32 (8B) ஆகவும், Nemotron-3-Embed ஆனது 62.44 (1B) இலிருந்து 69.33 (8B) ஆகவும், மற்றும் pplx-embed-v1 ஆனது 67.91 (0.6B) இலிருந்து 70.00 (4B) ஆகவும் உயர்கின்றன.

பெர்ப்ளெக்சிட்டி மாதிரிகள் மற்ற அனைத்து சமர்ப்பிக்கப்பட்ட மாதிரிகளின் அதே பைப்I-ஐப் பயன்படுத்தி மதிப்பீடு செய்யப்படுகின்றன. இருப்பினும், Q2D-Web ஆனது Perplexity உற்பத்திப் போக்குவரத்திலிருந்து பெறப்பட்டிருப்பதால், இந்த மாதிரிகள் இன்-டிஸ்ட்ரிபியூஷன் நன்மையிலிருந்து பயனடையலாம். பெஞ்ச்மார்க்கின் மதிப்பீட்டு வினவல்கள் மற்றும் கார்பஸ் ஆகியவை மாதிரி பயிற்சியிலிருந்து விலக்கப்பட்டிருந்தாலும், இந்த சாத்தியமான நன்மையைக் கருத்தில் கொண்டு முடிவுகள் விளக்கப்பட வேண்டும்.

லீடர்போர்டில் சமர்ப்பிப்பது எப்படி

மதிப்பீட்டைக் கோர, எங்களது மதிப்பீட்டுக் கோரிக்கை படிவம் மூலம் பொதுவில் கிடைக்கும் Hugging Face மாதிரியைச் சமர்ப்பிக்கவும்.

நாங்கள் சமர்ப்பிக்கப்பட்ட repository-இல் உள்ள model card-ஐ model-specific inference settings க்காகப் பின்பற்றுகிறோம்; இதில் பரிந்துரைக்கப்பட்ட query மற்றும் document instructions அல்லது prefixes, pooling, normalization, மற்றும் similarity function ஆகியவை அடங்கும். அனைத்து queries மற்றும் documents-ஐயும் model-இன் சொந்த tokenizer-ஐ பயன்படுத்தி 512 tokens-க்கு truncate செய்கிறோம்; இதில் instructions, prefixes, மற்றும் special tokens ஆகியும் அடங்கும், எனவே நீளமான supported context-க்கு எந்த நன்மையும் இல்லை. நோக்கப்பட்ட retrieval setup-ஐ மறுபிரதிபலிக்க model card முழுமையான, தெளிவில்லாததல்லாத instructions-ஐ வழங்குவதை உறுதிப்படுத்தவும்.

தகுதியான மாதிரிகள் நிலையான transformers அல்லது sentence-transformers API கள் மூலம் ஏற்றப்பட வேண்டும். trust_remote_code=False உடன் இயங்காத மாதிரிகளுக்கு மதிப்பீட்டிற்கு முன் தனிப்பயன் குறியீடு மற்றும் சமர்ப்பிப்பவரின் கைமுறை மதிப்பாய்வு தேவைப்படுகிறது, இது கணிசமாக அதிக நேரம் எடுக்கும். தனியார் அல்லது நுழைவு வாயில் களஞ்சியங்கள் தகுதியற்றவை.

முறை மற்றும் கண்டுபிடிப்புகள் பற்றி மேலும் அறிய எங்கள் தொழில்நுட்ப அறிக்கையைப் படிக்கவும்.

மேற்கோள்

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}