Q2D-Web: വലിയ തോതിൽ ആദ്യ ഘട്ട റിട്രീവറുകൾ വിലയിരുത്തുന്നു

70 ആയിരം ഏജന്റ് ക്വറികളും, 190 ദശലക്ഷം വെബ് രേഖകളും, പ്രസക്തി വിധികളുടെ മൂന്ന് സെറ്റുകളും ഉള്ള ഒരു ബെഞ്ച്മാർക്കും ലീഡർബോർഡും.

രചയിതാക്കൾPerplexity Research

ഇന്ന്, ഏജന്റിക് RAG സിസ്റ്റങ്ങളിലെ റിട്രീവൽ വിലയിരുത്തുന്നതിനായുള്ള ഒരു സ്വകാര്യ ബെഞ്ച്മാർക്കും പൊതു ലീഡർബോർഡുമായ Q2D-Web (Query2Doc-Web) ഞങ്ങൾ അവതരിപ്പിക്കുന്നു. Q2D-Web ഞങ്ങളുടെ യഥാർത്ഥ Q2D ബെഞ്ച്മാർക്കിനെ വലിയ തോതിലുള്ള കോർപ്പസിലേക്കും, വലിയ ക്വറി സെറ്റിലേക്കും, ആഴത്തിലുള്ള വിധി അടിക്കുറിപ്പുകളിലേക്കും വ്യാപിപ്പിക്കുന്നു.

വലിയ തോതിലുള്ള വെബ് തിരയലിൽ എംബെഡിംഗ് മോഡലുകൾ വിലയിരുത്താനാണ് Q2D-Web നിർമ്മിച്ചിരിക്കുന്നത്. ഒമ്പത് മാസത്തെ PII-രഹിത പ്രൊഡക്ഷൻ സെർച്ച് ട്രാഫിക്കിൽ നിന്ന് സാമ്പിൾ ചെയ്ത, പത്ത് ഭാഷകളിലായി 190 ദശലക്ഷം വെബ് രേഖകളും 69,721 ഏജന്റ് പുനർരൂപം നൽകിയ ക്വറികളും ഇതിൽ അടങ്ങിയിരിക്കുന്നു.

ഈ അളവിൽ, ക്വറി-ഡോക്യുമെന്റ് ലെവലിലെ പ്രസക്തി സിഗ്നൽ സ്വാഭാവികമായും വിരളമാണ്. ഒരു ഉറവിടത്തെ ഗ്രൗണ്ട് ട്രൂത്ത് ആയി പരിഗണിക്കുന്നതിന് പകരം, ഏജന്റ് ഉദ്ധരണികൾ, പ്രൊഡക്ഷൻ വെബ് റാങ്കിംഗുകൾ, മുമ്പ് വിലയിരുത്തപ്പെടാത്ത ജോഡികൾക്കായുള്ള അധിക LLM വിധികൾ എന്നിവയിൽ നിന്ന് ഉരുത്തിരിഞ്ഞ മൂന്ന് പ്രസക്തി-വിധി സെറ്റുകൾ ഞങ്ങൾ നൽകുന്നു. ഒന്നിലധികം ഉറവിടങ്ങൾ ഏതെങ്കിലും ഒരു ലേബലിംഗ് പൈപ്പ്‌ലൈനിൽ നിന്നുള്ള പക്ഷപാതം പരിമിതപ്പെടുത്തുന്നു, അതേസമയം ആഴത്തിലുള്ള അടിക്കുറിപ്പ് തെറ്റായ നെഗറ്റീവുകൾ കുറയ്ക്കുന്നു.

ഞങ്ങളുടെ ലീഡർബോർഡ്, സ്ഥിരമായ ഇൻഡക്സിംഗ്, റിട്രീവൽ, സ്കോറിംഗ് പൈപ്പ്‌ലൈൻ എന്നിവ ഉപയോഗിച്ച് ബെഞ്ച്മാർക്കിനെതിരെ നേരിട്ട് വിലയിരുത്തപ്പെട്ട, പരസ്യമായി പുറത്തിറക്കിയ റിട്രീവൽ മോഡലുകളുടെ ഫലങ്ങൾ റിപ്പോർട്ട് ചെയ്യുന്നു. ഞങ്ങളുടെ അഭ്യർത്ഥന ഫോം വഴി ഒരു വിലയിരുത്തൽ സമർപ്പിക്കാം.

യാഥാർത്ഥ്യബോധമുള്ള റിട്രീവൽ വിലയിരുത്തലിന്റെ വെല്ലുവിളി

ഓരോ ക്വറിക്കും, പ്രൊഡക്ഷൻ-സ്കെയിൽ റിട്രീവൽ സിസ്റ്റം കോടിക്കണക്കിന് വെബ് പേജുകളുടെ ഒരു കോർപ്പസ് തിരയുകയും ആയിരക്കണക്കിന് കാൻഡിഡേറ്റ് രേഖകൾ നൽകുകയും ചെയ്യുന്നു. ഈ കാൻഡിഡേറ്റുകൾ ഡൗൺസ്ട്രീം സിസ്റ്റങ്ങൾക്ക് ഏതൊക്കെ ഉറവിടങ്ങൾ കാണാൻ കഴിയുമെന്ന് നിർണ്ണയിക്കുന്നു, ഇത് ഏജന്റിന് ലഭ്യമായ തെളിവുകളെ നേരിട്ട് രൂപപ്പെടുത്തുന്നു.

അതിനാൽ, ഈ ആദ്യ ഘട്ടത്തിന്റെ യാഥാർത്ഥ്യബോധമുള്ള വിലയിരുത്തലിന് മൂന്ന് അളവുകളിൽ സ്കെയിൽ ചെയ്യുന്ന ബെഞ്ച്മാർക്കുകൾ ആവശ്യമാണ്: കോർപ്പസിലെ രേഖകളുടെ എണ്ണം, ജഡ്ജ്ഡ് ക്വറികളുടെ എണ്ണം, ഓരോ ക്വറിക്കുമുള്ള പ്രസക്തി വിധികളുടെ എണ്ണം.

വലിയ കോർപ്പസുകൾ, ഒരു ക്വറിയുമായി അർത്ഥശാസ്ത്രപരമായി സമാനമായ എന്നാൽ ആവശ്യപ്പെട്ട വിവരങ്ങൾ നൽകാത്ത രേഖകളായ ഹാർഡ് നെഗറ്റീവുകൾ അവതരിപ്പിച്ചുകൊണ്ട് ബെഞ്ച്മാർക്കിനെ കൂടുതൽ വിവേചനപരമാക്കാൻ കഴിയും. റിട്രീവറുകൾ ഈ സാധ്യമായ പൊരുത്തങ്ങളെ പ്രസക്തമായ രേഖകളിൽ നിന്ന് വേർതിരിച്ചറിയണം. അറിയപ്പെടുന്ന പ്രസക്തമായ രേഖകൾ നിലനിർത്തിക്കൊണ്ട് കോർപ്പസ് ചെറുതാക്കുന്നത് ഈ ഡിസ്ട്രാക്ടറുകൾ നീക്കം ചെയ്യാനും റീകോൾ വർദ്ധിപ്പിക്കാനും ഇടയാക്കും, താഴെയുള്ള ഞങ്ങളുടെ സബ്‌സാമ്പിളിംഗ് പരീക്ഷണങ്ങൾ കാണിക്കുന്നത് പോലെ.

കൂടുതൽ ജഡ്ജ്ഡ് ക്വറികൾ പ്രകടന കണക്കുകളെ കൂടുതൽ വിശ്വസനീയമാക്കുന്നു. ചെറിയ ക്വറി സെറ്റ് ഉപയോഗിച്ച്, ബെഞ്ച്മാർക്ക് ഫലങ്ങൾ ഏത് ക്വറികളാണ് സാമ്പിൾ ചെയ്തത് എന്നതിനെ ആശ്രയിച്ചിരിക്കും, ഇത് ഓരോ മോഡലിന്റെയും പ്രകടനം കൃത്യമായി കണക്കാക്കാനും മോഡലുകൾ തമ്മിൽ ആത്മവിശ്വാസത്തോടെ വേർതിരിച്ചറിയാനും ബുദ്ധിമുട്ടാക്കുന്നു.

ആഴത്തിലുള്ള judgments evaluation-ലുള്ള false negatives കുറയ്ക്കുന്നു. sparse labels ഉള്ളപ്പോൾ, ഒരു retriever relevant documents പുറത്തുകൊണ്ടുവരാം, പക്ഷേ അവ വിലയിരുത്തപ്പെടാതെ non-relevant ആയി തെറ്റായി എണ്ണപ്പെടും. ഇത് evaluation-നെ കുറച്ച് വിശ്വസനീയമാക്കുന്നു. MS MARCO information retrieval-ലുള്ള പ്രധാന വലിയ-തോതിലുള്ള open dataset ആണ്, കൂടാതെ neural retrieval models-ന്റെ വികസനത്തെ രൂപപ്പെടുത്തി. അവിടെ, കൈമാറി പരിശോധിച്ച top-retrieved എന്നാൽ unlabeled passages-ന്റെ 70% വാസ്തവത്തിൽ relevant ആയിരുന്നു.

നിലവിലുള്ള benchmarks സാധാരണയായി ഈ dimensions-ിൽ ഒന്നിലോ രണ്ടിലോ മാത്രമേ scale ചെയ്യാറുള്ളൂ: web-scale collections-ൽ സാധാരണയായി judged queries കുറവായിരിക്കും, എന്നാൽ വളരെ കൂടുതലായ queries ഉള്ള benchmarks സാധാരണയായി വളരെ ചെറിയ corpora-യും sparse labels-ഉം ഉപയോഗിക്കുന്നു. കൂടാതെ, മിക്ക benchmarks-ഉം human-written queries ഉപയോഗിക്കുമ്പോൾ, agentic RAG systems agent-reformulated queries-ലൂടെ search ചെയ്യുന്നു; അവ wording, structure, specificity എന്നിവയിൽ വ്യത്യാസപ്പെടാം.

Q2D-Web മൂന്ന് അളവുകളിലും സ്കെയിൽ ചെയ്യുന്നു. ഇതിൽ 190 ദശലക്ഷം വെബ് രേഖകളും, 69,721 ഏജന്റ് പുനർരൂപം നൽകിയ ക്വറികളും, അതിന്റെ സംയോജിത വിധി സെറ്റിൽ ഓരോ ക്വറിക്കും ശരാശരി 99.6 പോസിറ്റീവ് പ്രസക്തി വിധികളും അടങ്ങിയിരിക്കുന്നു. ഏറ്റവും അടുത്തുള്ള പൊതു താരതമ്യം MS MARCO Web Search ആണ്, ഇത് MS MARCO-യുടെ വെബ്-സ്കെയിൽ പതിപ്പാണ്. ഇതിൽ 100.9 ദശലക്ഷം രേഖകളും, 9,374 ടെസ്റ്റ് ക്വറികളും, ഓരോ ക്വറിക്കും ഒരു ക്ലിക്ക്-ഉദ്ഭവിച്ച പോസിറ്റീവ് ലേബലും ഉണ്ട്.

ഞങ്ങൾ എങ്ങനെ Q2D-Web നിർമ്മിച്ചു

Q2D-Web നിർമ്മാണം: സ്വകാര്യത-ഫിൽട്ടർ ചെയ്ത ക്വറി സാമ്പിളിംഗ്, കോർപ്പസ് അസംബ്ലിയും ഡ്യൂപ്ലിക്കേഷൻ ഒഴിവാക്കലും, പ്രസക്തി ലേബലിംഗ്, സബ്കോർപ്പസ് സാമ്പിളിംഗ്.

ക്വറികൾ

ഒമ്പത് മാസം കൊണ്ട് ശേഖരിച്ച, പത്ത് ഭാഷകളിലെയും ഡോെമെയ്നുകളിലെയും 23,000 PII-രഹിത പ്രൊഡക്ഷൻ തിരയലുകളെ അടിസ്ഥാനമാക്കിയാണ് Q2D-Web നിർമ്മിച്ചിരിക്കുന്നത്.

ഒരു ഉപയോക്തൃ സന്ദേശത്തിന് മറുപടിയായി ഏജന്റ് നടത്തുന്ന എല്ലാ വെബ് തിരയൽ ടൂൾ കോളുകളും ചേർന്നതാണ് ഒരു തിരയൽ. ഓരോ ടൂൾ കോളിലും ഒന്നോ അതിലധികമോ ക്വറികൾ അടങ്ങിയിരിക്കുന്നു. ഓരോ ക്വറിയും ഉപയോക്തൃ അഭ്യർത്ഥന, മുൻകാല സംഭാടനം, കൂടാതെ ബാധകമാകുന്നിടത്ത് അതേ തിരയലിൽ മുമ്പ് വീണ്ടെടുത്ത രേഖകൾ എന്നിവയിൽ നിന്ന് പുനർരൂപം നൽകിയതാണ്. ഓരോ പ്രൊഡക്ഷൻ തിരയലിലും ഉപയോക്താവിന്റെ വിവര ആവശ്യകതയെ പുനരവതരിപ്പിക്കുന്ന ഒരു പ്രാഥമിക ക്വറിയും, ഇതര പദപ്രയോഗങ്ങൾ, പശ്ചാത്തല വിവരങ്ങൾ അല്ലെങ്കിൽ ബന്ധപ്പെട്ട എന്റിറ്റികൾ എന്നിവ പരിശോധിക്കുന്ന പൂജ്യമോ അതിലധികമോ സപ്പോർട്ട് ക്വറികളും അടങ്ങിയിരിക്കുന്നു. അവ ഒരേ വിശാലമായ അഭ്യർത്ഥനയെ അഭിസംബോധന ചെയ്യുന്നുണ്ടെങ്കിലും, അവയ്ക്ക് വ്യത്യസ്ത രേഖകൾ ആവശ്യമായി വന്നേക്കാം, അതിനാൽ Q2D-Web ഓരോ ക്വറിയും അതിന്റേതായ പ്രസക്തി വിധികളോടെ സ്വതന്ത്രമായി വിലയിരുത്തുന്നു.

Q2D-Web-ന്റെ 69,721 ക്വറികളുടെ നീളത്തിന്റെയും ഭാഷയുടെയും വിതരണം. നീളം പ്രതീകങ്ങളിൽ അളക്കുന്നു; ഓരോ വിഭാഗത്തിലെയും ക്വറികളുടെ അനുപാതം ബാറുകൾ കാണിക്കുന്നു.
വിഷയ ഡൊമെയിനുകളിലുടനീളമുള്ള Q2D-Web ക്വറികളുടെ വിതരണം. ക്വറി സെറ്റിൽ ഓരോ ഡൊമെയിനിന്റെയും പങ്ക് ബാറുകൾ കാണിക്കുന്നു; "മറ്റുള്ളവ" പതിനഞ്ച് അധിക ഡൊമെയിനുകളെ ഗ്രൂപ്പ് ചെയ്യുന്നു.

ഉൾപ്പെടുത്തിയിട്ടുള്ള എല്ലാ ക്വറികൾക്കും ഞങ്ങൾ കർശനമായ സ്വകാര്യത ഫിൽട്ടറിംഗ് പ്രയോഗിക്കുന്നു. ഡാറ്റ ഉപയോഗിക്കാൻ അനുമതി നൽകിയ ഉപയോക്താക്കളിൽ നിന്നുള്ളതായിരിക്കണം ക്വറികൾ, കൂടാതെ perplexity-ai/pplx-pii-masking ഉപയോഗിച്ചുള്ള PII കണ്ടെത്തൽ വ്യക്തിഗത വിവരങ്ങൾ അടങ്ങിയ ക്വറികളെ ഒഴിവാക്കുന്നു. കൃത്യമായ ഡ്യൂപ്ലിക്കേറ്റുകൾ, വളരെ ചെറിയ ക്വറികൾ, site: അല്ലെങ്കിൽ ഉദ്ധരിച്ച ശൈലികൾ പോലെയുള്ള തിരയൽ ഓപ്പറേറ്ററുകൾ അടങ്ങിയ ക്വറികൾ എന്നിവയും ഞങ്ങൾ നീക്കം ചെയ്യുന്നു.

ഈ ബെഞ്ച്മാർക്ക് പത്ത് ഭാഷകളെ ഉൾക്കൊള്ളുന്നു. ക്വറികളുടെ 65.8% ഇംഗ്ലീഷാണ്, തുടർന്ന് സ്പാനിഷ്, റഷ്യൻ, ജർമ്മൻ, ഫ്രഞ്ച്, പോർച്ചുഗീസ്, ഇറ്റാലിയൻ, കൊറിയൻ, ജാപ്പനീസ്, ചൈനീസ് എന്നിവ വരുന്നു. ഉപഭോഗ വസ്തുക്കൾ, പ്രോഗ്രാമിംഗ്, നിയമം, ആരോഗ്യം, ബിസിനസ്സ്, ശാസ്ത്രം, വിദ്യാഭ്യാസം, സാങ്കേതികവിദ്യ, ധനകാര്യം, യാത്ര, വിനോദം, രാഷ്ട്രീയം, പ്രാദേശിക വിവരങ്ങൾ, വാർത്തകൾ എന്നിവയുൾപ്പെടെയുള്ള വിവിധ ഡൊമെയ്നുകളുടെ വിശാലമായ മിശ്രിതവും ക്വറി വിതരണത്തിലുണ്ട്.

കോർപ്പസ്

ഓരോ ക്വറിക്കും, ഞങ്ങൾ ഒരു പ്രൊഡക്ഷൻ റിട്രീവൽ സിസ്റ്റം ഉപയോഗിച്ച് ഏറ്റവും മികച്ച 5,000 രേഖകൾ വീണ്ടെടുക്കുകയും ഈ ഫല സെറ്റുകളുടെ യൂണിയൻ എടുക്കുകയും ചെയ്യുന്നു. തുടർന്ന് MinHash–LSH ഉപയോഗിച്ച് ഞങ്ങൾ കോർപ്പസ് ഡ്യൂപ്ലിക്കേറ്റ് ചെയ്യുന്നു, ടോക്കൺ 5-ഗ്രാം സെറ്റുകൾ കുറഞ്ഞത് 0.975 ജക്കാർഡ് സാദൃശ്യമുള്ള രേഖകൾ ക്ലസ്റ്റർ ചെയ്യുന്നു.

ഈ ശേഖരണം യാദൃശ്ചികമായ ഒരു വെബ് സാമ്പിൾ അല്ല. ഓരോ രേഖയും കുറഞ്ഞത് ഒരു ബെഞ്ച്മാർക്ക് ക്വറിയുടെ എങ്കിലും സാധ്യമായ ഫലമായി പരിഗണിക്കപ്പെട്ടു. ഇത് ബുദ്ധിമുട്ടുള്ള ഡിസ്ട്രാക്ടറുകളുടെ ഒരു നിബിഡ സെറ്റ് സൃഷ്ടിക്കുന്നു: ഒരു ക്വറിയുടെ വിഷയവുമായോ ഭാഷയുമായോ പൊരുത്തപ്പെടുന്ന എന്നാൽ ആവശ്യമായ തീയതി, എന്റിറ്റി, പതിപ്പ്, അളവ് അല്ലെങ്കിൽ വശം എന്നിവ നഷ്‌ടമായേക്കാവുന്ന പേജുകൾ.

ഏകദേശം 19-കോടി രേഖകളുള്ള കോർപ്പസിലെ രേഖകളുടെ നീളത്തിന്റെയും ഭാഷയുടെയും വിതരണം. നീളം പ്രതീകങ്ങളിൽ അളക്കുന്നു; ഓരോ വിഭാഗത്തിലെയും രേഖകളുടെ അനുപാതം ബാറുകൾ കാണിക്കുന്നു.

വിധികൾ

വലിയ തോതിൽ പ്രസക്തി ലേബലുകൾ സ്വാഭാവികമായും അപൂർണ്ണമാണ്. സാധ്യമായ എല്ലാ ക്വറി-ഡോക്യുമെന്റ് ജോഡിയും ലേബൽ ചെയ്യുന്നത് അസാധ്യമാണ്, കൂടാതെ വിധികളുടെ ഓരോ ഉറവിടവും വ്യത്യസ്തമായ പക്ഷപാതം വഹിക്കുന്നു.

ഒന്നിലധികം പക്ഷപാതങ്ങളിൽ നിന്ന് കഷ്ടപ്പെടാതെ അടിക്കുറിപ്പ് ആഴം വർദ്ധിപ്പിക്കുന്നതിനായി, ഒരൊറ്റ ഉറവിടത്തെ ഗ്രൗണ്ട് ട്രൂത്ത് ആയി പരിഗണിക്കുന്നതിന് പകരം Q2D-Web മൂന്ന് പ്രസക്തി സെറ്റുകൾ ഉപയോഗിക്കുന്നു.

ഒരു ഏജന്റ് മറുപടിയിൽ ഉദ്ധരിക്കുമ്പോൾ Citation ഒരു രേഖയെ പ്രസക്തമെന്ന് ലേബൽ ചെയ്യുന്നു. ഡൗൺസ്ട്രീം ഉപയോഗത്തോട് ഏറ്റവും അടുത്തുള്ള സിഗ്നലാണിത്: ഏജന്റ് ഒരു അവകാശവാദത്തിനുള്ള തെളിവായി രേഖ തിരഞ്ഞെടുത്തു. എന്നാൽ നിർമ്മാണത്താൽ ഉദ്ധരണി ഉയർന്ന കൃത്യതയുള്ളതും കുറഞ്ഞ റീറോളുള്ളതുമാണ്. ഒരു ഏജന്റിന് മതിയായ പിന്തുണ ലഭിച്ചുകഴിഞ്ഞാൽ, മറ്റ് എല്ലാ പ്രസക്തമായ പേജുകളും ഉദ്ധരിക്കാൻ അതിന് ചെറിയ കാരണമേയുള്ളൂ.

Web Ranking ആദ്യ ഘട്ടത്തിൽ BM25 ഉം ഡെൻസും റിട്രീവലും ഉപയോഗിക്കുന്ന ഒരു ആന്തരിക റിട്രീവൽ സ്റ്റാക്കും, തുടർന്ന് ക്രോസ്-എൻകോഡർ റീറാങ്കിംഗും തിരിച്ചറിഞ്ഞ, ക്വറിക്ക് 50 രേഖകൾ വരെ (ശരാശരി 43.1) ഉൾക്കൊള്ളുന്നു. ഇത് ഉപയോഗപ്രദമായ എന്നാൽ ഉദ്ധരിക്കപ്പെടാത്ത രേഖകളെ പിടിച്ചെടുക്കുന്നു.

Combined + LLM-Judged എന്നത് ഉദ്ധരണിയുടെയും വെബ് റാങ്കിംഗിന്റെയും യൂണിയൻ എടുക്കുന്നു, തുടർന്ന് തെറ്റായ നെഗറ്റീവുകളുടെ എണ്ണം കുറയ്ക്കുകയെന്ന ലക്ഷ്യത്തോടെ, മുമ്പ് വിലയിരുത്തപ്പെടാത്ത കാൻഡിഡേറ്റുകൾക്കായി LLM വിധികൾ ചേർക്കുന്നു. ഞങ്ങൾ BM25, ColBERTv2, കൂടാതെ 2025 ജനുവരി 1-ന് മുമ്പ് പുറത്തിറക്കിയ ഏഴ് ഡെൻസ്‌ റിട്രീവറുകൾ എന്നിവയിൽ നിന്നുള്ള ഫലങ്ങൾ പൂൾ ചെയ്യുന്നു, reciprocal rank fusion (RRF) ഉപയോഗിച്ച് അവയുടെ റാങ്കിംഗുകൾ മർജ് ചെയ്യുന്നു, വിലയിരുത്തപ്പെടാത്ത മികച്ച 500 രേഖകൾ തിരഞ്ഞെടുക്കുന്നു, കൂടാതെ DeepSeek-V4-Flash ഉപയോഗിച്ച് കർശനമായ ബൈനറി പ്രസക്തി വിധി പ്രയോഗിക്കുന്നു.

മൂന്ന് സെറ്റുകൾ relevance എങ്ങനെ നിർവചിച്ചിരിക്കുന്നു എന്നതിനെ ആശ്രയിച്ചാണോ model പ്രകടനം എന്നത് ചോദിക്കാൻ ഞങ്ങളെ അനുവദിക്കുന്നു. ഒറ്റ labeling stack-ിനോടുള്ള ആശ്രയം ഇവ കുറയ്ക്കുന്നു; ഇല്ലെങ്കിൽ ലേബലുകൾ സൃഷ്ടിക്കാൻ ഉപയോഗിച്ച സിസ്റ്റത്തിനോട് സാമ്യമുള്ള retriever-കൾക്ക് അത് അനുകൂലമായേക്കാം.

ലോഗരിഥമിക സ്കെയിലിൽ ഓരോ ക്വറിക്കുമുള്ള പ്രസക്തമായ രേഖകളുടെ വിതരണം. സംയോജിത ലേബലുകൾ സൈറ്റേഷനുകൾ, വെബ് റാങ്കിംഗുകൾ, അധിക എൽ.എൽ.എം വിലയിരുത്തലുകൾ എന്നിവ ഒരുമിച്ച് കൊണ്ടുവരുന്നു.

സബ്‌സാമ്പിളിംഗ്: വലിയ തോതിലുള്ള കാര്യക്ഷമമായ വിലയിരുത്തൽ

മുഴുവൻ കോർപ്പസ് വിലയിരുത്തൽ ചെലവേറിയതും മന്ദഗതിയിലുള്ളതുമാണ്. pplx-embed-v1-4b ഉപയോഗിച്ചുള്ള Q2D-Web-ലെ ഒരേയൊരു വിലയിരുത്തലിന് 4,608 H200 GPU-മണിക്കൂറുകൾ ആവശ്യമാണ്, അതേസമയം EmbeddingGemma-300M പോലെയുള്ള ചെറിയ മോഡലിന് പോലും ഏകദേശം 200 H200 GPU-മണിക്കൂറുകൾ ആവശ്യമാണ്.

വിലയിരുത്തൽ പ്രായോഗികമായി നിലനിർത്താൻ, ഞങ്ങൾ കോർപ്പസിന്റെ ഒരു സബ്‌സാമ്പിൾ ചെയ്ത പതിപ്പ് നിർമ്മിക്കുന്നു.

മുഴുവൻ കോർപ്പസിന്റെയും പെരുമാറ്റത്തെ പ്രതിഫലിപ്പിക്കുന്ന ഒരു ചെറിയ സബ്കോർപ്പസ് നിർമ്മിക്കുന്നതിനായി ഞങ്ങൾ സാമ്പിളിംഗ് തന്ത്രങ്ങളിലുടനീളം വിപുലമായ അബ്ലേഷൻ നടത്തി. ഓരോ തന്ത്രവും പോസിറ്റീവായി വിധിക്കപ്പെട്ട എല്ലാ രേഖകളും നിലനിർത്തുകയും വിലയിരുത്തപ്പെടാത്ത ഡിസ്ട്രാക്ടറുകൾ എങ്ങനെ തിരഞ്ഞെടുക്കുന്നു എന്നതിൽ മാത്രം വ്യത്യാസം വരുത്തുകയും ചെയ്യുന്നു. പ്രധാന്യമുള്ള ഡിസ്ട്രാക്ടറുകൾ ഒരു റിട്രീവർ പ്രസക്തമായ രേഖയ്ക്ക് മുകളിൽ റാങ്ക് ചെയ്യാൻ സാധ്യതയുള്ളവയാണ്, കാരണം അവ ഒരു മോഡലിന്റെ സ്കോറും റാങ്കിംഗിലെ അതിന്റെ സ്ഥാനവും മാറ്റുന്നു.

ഞങ്ങൾ യൂണിഫോം റാൻഡം സാമ്പിളിംഗ്, കൺസ്ട്രക്ഷൻ റിട്രീവറുകളിലുടനീളം നിശ്ചിത ആഴത്തിലേക്ക് പൂളിംഗ് ചെയ്യൽ, വ്യത്യസ്ത ആഴങ്ങളിലുള്ള പെർ-ക്വറി RRF എന്നിവ താരതമ്യം ചെയ്തു. RRF-നെ അടിസ്ഥാനമാക്കിയുള്ള സാമ്പിളിംഗ് പൂർണ്ണ കോർപ്പസിലെ 31.7% ഡെക്യുമെന്റുകൾ മാത്രമാണ് ഉപയോഗിക്കുന്നത്. ഇത് കമ്പൈൻഡ് ജഡ്ജ്മെന്റുകൾക്ക് കീഴിലുള്ള പൂർണ്ണ കോർപ്പസ് മോഡൽ റാങ്കിംഗ് നിലനിർത്തുന്നു, അതേസമയം കേവല സ്കോറുകളോട് അടുത്ത് നിൽക്കുകയും ചെയ്യുന്നു, കൂടാതെ അതേ വലുപ്പത്തിലുള്ള റാൻഡം സാമ്പിളിംഗിന്റെ 12.8 പോയിന്റുകളുമായി താരതമ്യം ചെയ്യുമ്പോൾ, മീൻ Recall@1000 5.2 പോയിന്റുകൾ വർദ്ധിപ്പിക്കുകയും ചെയ്യുന്നു.

സാമ്പിളിംഗ് തന്ത്രങ്ങൾക്ക് കീഴിലുള്ള കമ്പൈൻഡ് ജഡ്ജ്മെന്റുകൾ പ്രകാരമുള്ള മീൻ Recall@1000-ഉം പൂർണ്ണ കോർപ്പസ് മോഡൽ റാങ്കിംഗുകളുമായുള്ള യോജിപ്പും. റെസിപ്രോക്കൽ റാങ്ക് ഫ്യൂഷൻ (RRF) റാൻഡം സാമ്പിളിംഗിനേക്കാൾ കുറഞ്ഞ റീകോൾ വർദ്ധനവോടെ, കോർപ്പസിന്റെ 31.7% ഉപയോഗിച്ച് മൂല്യനിർണ്ണയം നടത്തിയ മോഡലുകളുടെ റാങ്കിംഗ് നിലനിർത്തുന്നു.

ഇത് വിലയിരുത്തൽ ചെലവ് മുഴുവൻ കോർപ്പസ് ചെലവിന്റെ മൂന്നിലൊന്നായി കുറയ്ക്കുന്നു. RRF അടിസ്ഥാനമാക്കിയുള്ള സബ്കോർപ്പസ് ഉപയോഗിച്ച്, pplx-embed-v1-4b-ന് ഏകദേശം 1,500 H200 GPU-മണിക്കൂറുകളും EmbeddingGemma-300M-ന് 70-ൽ താഴെയും ആവശ്യമാണ്.

ഓരോ സമർപ്പണവും ആദ്യം സാമ്പിൾ ചെയ്ത സബ്കോർപ്പസ് പതിപ്പിലാണ് വിലയിരുത്തപ്പെടുന്നത്. ആകെ പാരാമീറ്റർ എണ്ണത്തിന്റെ അടിസ്ഥാനത്തിൽ സമർപ്പണങ്ങളെ രണ്ട് ഗ്രൂപ്പുകളായി തിരിച്ചിരിക്കുന്നു: 1B വരെയും 1B-ക്ക് മുകളിലും. സാമ്പിൾ ചെയ്ത സബ്കോർപ്പസിൽ അതിന്റെ ഗ്രൂപ്പിന്റെ ആദ്യ പത്തിൽ എത്തുന്ന ഒരു മോഡൽ മുഴുവൻ കോർപ്പസിലും വിലയിരുത്തപ്പെടുന്നു. അവരുടെ ഗ്രൂപ്പിലെ ആദ്യ 10-ന് പുറത്ത് റാങ്ക് ചെയ്യപ്പെട്ട മോഡലുകൾ സാമ്പിൾ ചെയ്ത സബ്കോർപ്പസ് ലീഡർബോർഡിൽ മാത്രം പ്രസിദ്ധീകരിക്കപ്പെടും.

വിലയിരുത്തൽ ഫലങ്ങൾ

വിലയിരുത്തിയ models എല്ലായിടത്തും, Q2D-Web അതിന്റെ 3 വ്യത്യസ്ത relevance sets മുഴുവൻ web scale-ൽ retrieval പ്രകടനത്തിന്റെ ഒരു സുസ്ഥിര ദൃശ്യം നൽകുന്നു. leaderboard ഈ പരസ്പരം പൂർത്തിയാക്കുന്ന ദൃശ്യങ്ങളെ ഒപ്പം ഒപ്പം ലഭ്യമാക്കുന്നു, narrower citation-based labels-ക്കും broader relevance judgments-ക്കും കീഴിൽ models എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്ന് ഉപയോക്താക്കൾക്ക് പരിശോധിക്കാനായി.

ആദ്യ ഘട്ടത്തിലുള്ള റിട്രീവറിന് പ്രസക്തമായ രേഖകൾ കാൻഡിഡേറ്റ് പൂളിൽ ഉൾപ്പെടുത്തിയാൽ മതിയെന്നതിനാലും, തുടർന്നുള്ള റീറാങ്കിംഗ് അവയുടെ അന്തിമ ക്രമം നിർണ്ണയിക്കുന്നതിനാലും, ഞങ്ങളുടെ പ്രാഥമിക മെട്രിക് ആയി ഞങ്ങൾ Recall@1000-ൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു.

മോഡൽ കുടുംബങ്ങൾ അനുസരിച്ച് തരംതിരിച്ച പതിമൂന്ന് റിട്രീവറുകൾക്കായുള്ള സംയോജിത Recall@1000 ഉം സംയോജിത nDCG@10 ഉം തമ്മിലുള്ള താരതമ്യം. രണ്ട് മെട്രിക്സുകൾക്കിടയിലും ഏറ്റവും ഉയർന്ന സ്കോർ നേടിയ മോഡൽ വ്യത്യാസപ്പെട്ടിരിക്കുന്നു.

പട്ടിക 1. സിറ്റേഷൻ, വെബ് റാങ്കിംഗ്, കമ്പൈൻഡ് റിലവൻസ് സെറ്റുകളിലുടനീളമുള്ള പതിമൂന്ന് റിട്രീവറുകൾക്കായുള്ള പൂർണ്ണ കോർപ്പസ് Recall@1000, nDCG@10. ഉയർന്ന സ്കോറുകൾ ആണ് നല്ലത്.

Model

Recall@1000: Citation

Recall@1000: Web Ranking

Recall@1000: Combined

nDCG@10: Citation

nDCG@10: Web Ranking

nDCG@10: Combined

BM25-tantivy

60.84

42.50

45.25

7.30

11.45

29.27

EmbeddingGemma-300M

80.10

58.93

66.24

12.21

17.30

41.95

mDenseOn

73.72

52.56

60.09

10.08

15.06

38.87

Nemotron-3-Embed-1B

75.64

54.37

62.44

9.69

14.83

38.84

Nemotron-3-Embed-8B

83.14

61.73

69.33

13.17

18.69

45.65

pplx-embed-v1-0.6b

81.85

62.15

67.91

12.52

19.76

42.73

pplx-embed-v1-4b

85.03

65.73

70.00

14.18

21.29

44.12

Qwen3-Embedding-0.6B

71.19

51.82

58.68

8.53

14.11

36.19

Qwen3-Embedding-4B

76.49

55.60

62.78

9.91

14.97

38.82

Qwen3-Embedding-8B

79.26

58.34

65.32

10.75

16.27

41.20

voyage-4-nano

69.55

50.14

57.42

6.96

11.77

30.59

mLateOn

74.16

53.12

61.77

10.94

15.51

41.61

pplx-embed-v1-late-0.6b

78.64

58.14

64.20

11.88

17.25

41.77

സിറ്റേഷൻ (85.03), വെബ് റാങ്കിംഗ് (65.73), കമ്പൈൻഡ് (70.00) എന്നീ മൂന്ന് ജഡ്ജ്മെന്റ് സെറ്റുകളിലും pplx-embed-v1-4b-ക്ക് ഏറ്റവും ഉയർന്ന Recall@1000 ഉണ്ട്. കമ്പൈൻഡ് Recall@100-ലും nDCG@10-ലും Nemotron-3-Embed-8B (30.32-ഉം 45.65-ഉം) pplx-embed-v1-4b-നേക്കാൾ (30.17-ഉം 44.12-ഉം) ഉയർന്ന സ്കോർ നേടുന്നു.

ഒരു കുടുംബത്തിൽ, വലിയ മോഡലുകൾ കമ്പൈൻഡ് Recall@1000-ൽ ഉയർന്ന സ്കോർ നേടുന്നു. Qwen3-Embedding 58.68-ൽ നിന്ന് (0.6B) 65.32 ആയി (8B) ഉയരുന്നു, Nemotron-3-Embed 62.44-ൽ നിന്ന് (1B) 69.33 ആയി (8B) ഉയരുന്നു, കൂടാതെ pplx-embed-v1 67.91-ൽ നിന്ന് (0.6B) 70.00 ആയി (4B) ഉയരുന്നു.

Perplexity models എല്ലാ മറ്റ് സമർപ്പിച്ച models-ക്കും ഉപയോഗിക്കുന്ന അതേ pipeline ഉപയോഗിച്ചാണ് വിലയിരുത്തുന്നത്. എന്നാൽ, Q2D-Web Perplexity production traffic-ിൽ നിന്ന് രൂപപ്പെടുത്തിയതുകൊണ്ട്, ഈ models-ന് ഒരു in-distribution advantage ലഭിച്ചേക്കാം. benchmark-ന്റെ evaluation queries-യും corpus-ഉം model training-ൽ നിന്ന് ഒഴിവാക്കിയിരുന്നുവെങ്കിലും, ഈ സാധ്യതയുള്ള നേട്ടം മനസ്സിൽ വെച്ച് ഫലങ്ങൾ വ്യാഖ്യാനിക്കണം.

ലീഡർബോർഡിലേക്ക് എങ്ങനെ സമർപ്പിക്കാം

ഒരു വിലയിരുത്തൽ അഭ്യർത്ഥിക്കാൻ, ഞങ്ങളുടെ വിലയിരുത്തൽ അഭ്യർത്ഥന ഫോം വഴി പരസ്യമായി ലഭ്യമായ Hugging Face മോഡൽ സമർപ്പിക്കുക.

ശുപാർശ ചെയ്യപ്പെടുന്ന ക്വറി, ഡോക്യുമെന്റ് നിർദ്ദേശങ്ങൾ അല്ലെങ്കിൽ പ്രിഫിക്സുകൾ, പൂളിംഗ്, നോർമലൈസേഷൻ, സിമിലാരിറ്റി ഫംഗ്ഷൻ എന്നിവ ഉൾപ്പെടെയുള്ള മോഡൽ-നിർദ്ദിഷ്ട ഇൻഫറൻസ് ക്രമീകരണങ്ങൾക്കായി സമർപ്പിച്ച റിപ്പോസിറ്ററിയിലെ മോഡൽ കാർഡ് ഞങ്ങൾ പിന്തുടരുന്നു. നിർദ്ദേശങ്ങൾ, പ്രിഫിക്സുകൾ, പ്രത്യേക ടോക്കണുകൾ എന്നിവയുൾപ്പെടെ മോഡലിന്റെ സ്വന്തം ടോക്കണൈസർ ഉപയോഗിച്ച് എല്ലാ ക്വറികളും രേഖകളും 512 ടോക്കണുകളായി വെട്ടിച്ചുരുക്കിയിരിക്കുന്നു, അതിനാൽ കൂടുതൽ പിന്തുണയ്ക്കുന്ന സന്ദർഭം യാതൊരു പ്രയോജനവും നൽകുന്നില്ല. ഉദ്ദേശിച്ച റിട്രീവൽ സജ്ജീകരണം പുനർനിർമ്മിക്കുന്നതിന് മോഡൽ കാർഡ് പൂർണ്ണവും വ്യക്തവുമായ നിർദ്ദേശങ്ങൾ നൽകുന്നുവെന്ന് ഉറപ്പാക്കുക.

അർഹതയുള്ള മോഡലുകൾ സ്റ്റാൻഡേർഡ് transformers അല്ലെങ്കിൽ sentence-transformers API-കൾ വഴി ലോഡ് ചെയ്യണം. trust_remote_code=False ഉപയോഗിച്ച് പ്രവർത്തിക്കാത്ത മോഡലുകൾക്ക് വിലയിരുത്തലിന് മുമ്പ് കസ്റ്റം കോഡിന്റെയും സമർപ്പിക്കുന്നയാളുടെയും മാനുവൽ അവലോകനം ആവശ്യമാണ്, ഇതിന് കൂടുതൽ സമയമെടുക്കും. സ്വകാര്യ അല്ലെങ്കിൽ ഗേറ്റഡ് റിപ്പോസിറ്ററികൾക്ക് അർഹതയില്ല.

രീതിശാസ്ത്രത്തെയും കണ്ടെത്തലുകളെയും കുറിച്ച് കൂടുതലറിയാൻ ഞങ്ങളുടെ സാങ്കേതിക റിപ്പോർട്ട് വായിക്കുക.

ഉദ്ധരണി

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}