ഗോൾഡ് പാസേജിന് അപ്പുറമുള്ള കോൺടെക്സ്ച്വൽ എംബെഡിംഗ്

കോൺടെക്സ്ച്വൽ എംബെഡിംഗുകൾ മുഴുവൻ ഡോക്യുമെന്റിന്റെയും സന്ദർഭത്തിൽ ഓരോ പാസേജിന്റെയും അല്ലെങ്കിൽ ചങ്കിന്റെയും അർത്ഥം പകർത്തുന്നു. അവയുടെ പരിശീലനവും വിലയിരുത്തലും സാധാരണയായി ഓരോ ചോദ്യത്തിനും പ്രസക്തമായ ഒരൊറ്റ ചങ്ക് അനുമാനിക്കുന്നു, ഇത് "ഗോൾഡ് പാസേജ്" എന്ന് അറിയപ്പെടുന്നു. എന്നിരുന്നാലും, പ്രായോഗികമായി ഒരു ഗോൾഡ് പാസേജ് പലപ്പോഴും പര്യാപ്തമല്ല. അതിൽ ഉത്തരം അടങ്ങിയിരിക്കാം എന്നാൽ അത് മനസ്സിലാക്കാനോ പരിശോധിക്കാനോ ആവശ്യമായ പിന്തുണയ്ക്കുന്ന സന്ദർഭം അതിൽ ഇല്ലാതിരിക്കാം, ഇത് ഒറ്റയ്ക്ക് നിൽക്കുമ്പോൾ അതിനെ അവ്യക്തമാക്കുന്നു.

ഞങ്ങളുടെ പുതിയ സന്ദർഭോചിത എംബെഡിംഗ് മോഡലായ pplx-embed-v2-context-9b-preview ഞങ്ങൾ അവതരിപ്പിക്കുന്നു. Perplexity-യുടെ സന്ദർഭ കംപ്രഷൻ മോഡലിനെ ഒരു അധ്യാപകനായി ഉപയോഗിക്കുന്ന ഒരു നവീന സമീപനത്തിലൂടെയാണ് മോഡൽ പരിശീലിപ്പിച്ചിരിക്കുന്നത്. ഒരൊറ്റ ഗോൾഡ് ചങ്കിന് പകരം ഉത്തരം ചങ്കുകളും പിന്തുണയ്ക്കുന്ന സന്ദർഭവും വീണ്ടെടുക്കാൻ എംബെഡിംഗ് മോഡലിനെ പരിശീലിപ്പിച്ചുകൊണ്ട് ഞങ്ങൾ അതിന്റെ ടോക്കൺ-ലെവൽ പ്രവചനങ്ങളെ ചങ്ക്-ലെവൽ പ്രസക്തി സ്കോറുകളിലേക്ക് സംയോജിപ്പിക്കുന്നു. മോഡൽ അധിക ഇൻഫറൻസ് ചെലവില്ലാതെ ഓരോ ചങ്കിനും ഒരു എംബെഡിംഗ് നിർമ്മിക്കുകയും 1024-ഡയമൻഷണൽ, int8 എംബെഡിംഗുകളെ പിന്തുണയ്ക്കുകയും ചെയ്യുന്നു.

turbopuffer സ്വകാര്യമായി നിർമ്മിക്കുകയും കൈവശം വയ്ക്കുകയും ചെയ്യുന്ന സന്ദർഭ-അവെയർ വീണ്ടെടുക്കലിനായുള്ള ഒരു പുതിയ ബെഞ്ച്മാർക്കായ context-bench-ലും, വ്യാപകമായി ഉപയോഗിക്കപ്പെടുന്ന പൊതു ബെഞ്ച്മാർക്കായ ConTEB-ലും ഇത് അത്യാധുനിക ഫലങ്ങൾ കൈവരിക്കുന്നു. ഞങ്ങളുടെ മോഡൽ context-bench-ൽ നിന്ന് സ്വതന്ത്രമായി വികസിപ്പിക്കുകയും ഒരു ബ്ലൈൻഡ് സബ്മിഷനായി വിലയിരുത്തുകയും ചെയ്തു.

Context-bench-ൽ 21 ഡൊമെയിനുകളിലായി 38,894 ദീർഘമായ ഡോക്യുമെന്റുകളിലുടനീളമുള്ള 2,099 ചോദ്യങ്ങൾ അടങ്ങിയിരിക്കുന്നു കൂടാതെ സന്ദർഭോചിത എംബെഡിംഗുകളുടെ മൂന്ന് കഴിവുകൾ വിലയിരുത്തുന്നു: സമാനമായ ഡ്യൂപ്ലിക്കേറ്റ് ഡോക്യുമെന്റുകൾക്കിടയിലുള്ള ഡോക്യുമെന്റ് ഡിസ്ആംബിഗ്വേഷൻ, ദൂരെയുള്ള സന്ദർഭത്തെ ആശ്രയിച്ചിരിക്കുന്ന അർത്ഥമുള്ള ഗോൾഡ് ചങ്കുകളുടെ വീണ്ടെടുക്കൽ, ഒരു ഉത്തരം പരിശോധിക്കാൻ ആവശ്യമായ തെളിവുകളുടെ വീണ്ടെടുക്കൽ.

മോഡലിന്റെ ഒരു പ്രിവ്യൂ Hugging Face-ൽ പരസ്യമായി ലഭ്യമാണ്. പരിശീലന മലിനീകരണത്തിന്റെ സാധ്യത കുറയ്ക്കുന്നതിനും പുരോഗതി അളക്കുന്നതിനുള്ള അതിന്റെ മൂല്യം സംരക്ഷിക്കുന്നതിനുമായി ബെഞ്ച്മാർക്ക് turbopuffer സ്വകാര്യമായി സൂക്ഷിക്കുന്നു. ഒരു വിലയിരുത്തൽ അഭ്യർത്ഥിക്കാൻ, ദയവായി contextbench@turbopuffer.com എന്ന വിലാസത്തിൽ turbopuffer-മായി ബന്ധപ്പെടുക.

Context-bench-ലെ ഡോക്യുമെന്റ്, ഉത്തരം, തെളിവ് വീണ്ടെടുക്കൽ ഫലങ്ങൾ — ചിത്രം 1: Perplexity v2 പ്രിവ്യൂ 9B-യെ Voyage Context 4, Voyage 4 Large, Perplexity context v1 4B എന്നിവയുമായി താരതമ്യം ചെയ്തുകൊണ്ട് context-bench-ലെ Answer@K, Document@K, Evidence Recall@K, All-Evidence@10.

വീണ്ടെടുക്കൽ സംവിധാനങ്ങൾ സാധാരണയായി ദീർഘമായ ഡോക്യുമെന്റുകളെ സ്വതന്ത്രമായി ഇൻഡക്സ് ചെയ്യാനും തിരയാനും കഴിയുന്ന ചെറിയ ചങ്കുകളായി വിഭജിക്കുന്നു. പ്രായോഗികമായി ചങ്കിംഗ് സൗകര്യപ്രദമാണ്, എന്നാൽ ഇത് ഓരോ ചങ്കും യഥാർത്ഥത്തിൽ ദൃശ്യമായ സന്ദർഭത്തെ ഇല്ലാതാക്കുന്നു, ഇത് വിവര കംപ്രഷന്റെ ഗ്രാനുലാരിറ്റിയും എൻകോഡിംഗ് സമയത്ത് ഉപയോഗിക്കുന്ന സന്ദർഭവും തമ്മിലുള്ള ഒരു ട്രേഡ്-ഓഫ് സൃഷ്ടിക്കുന്നു. ഒരു ചങ്ക് നേരത്തെ അവതരിപ്പിച്ച ഒരു എൻ്റിറ്റിയെ പരാമർശിക്കാം, ഒരു വിഭാഗം തലക്കെട്ടിൽ നിന്ന് അതിന്റെ അർത്ഥം പാരമ്പര്യമായി സ്വീകരിക്കാം, അല്ലെങ്കിൽ ഡോക്യുമെന്റിലെ മറ്റ് സ്ഥലങ്ങളിൽ സ്ഥിതി ചെയ്യുന്ന നിർവചനങ്ങളെ ആശ്രയിക്കാം. ഒരിക്കൽ വേർതിരിച്ചെടുത്താൽ, ഒരു ചോദ്യവുമായി വിശ്വസനീയമായി പൊരുത്തപ്പെടുത്താൻ അതിൽ മതിയായ വിവരങ്ങൾ ഉണ്ടാകണമെന്നില്ല. മുഴുവൻ ഡോക്യുമെന്റും ഒരു ഒറ്റ വെക്ടറായി എൻകോഡ് ചെയ്യുന്നത് ഇത് പരിഹരിക്കുന്നില്ല, കാരണം ഒരു പൂൾ ചെയ്ത പ്രതിനിധാനത്തിന് ദീർഘമായ ഒരു ഡോക്യുമെന്റിന്റെ എല്ലാ വശങ്ങളും വിശ്വസ്തമായി പകർത്താൻ കഴിയില്ല.

കോൺടെക്സ്ച്വൽ എംബെഡിംഗ് മോഡലുകൾ ചുറ്റുമുള്ള ഉള്ളടക്കത്തിന്റെ സന്ദർഭത്തിൽ ഓരോ ചങ്കിനെയും പ്രതിനിധീകരിച്ചുകൊണ്ട് ഈ പരിമിതിയെ അഭിസംബോധന ചെയ്യുന്നു, സാധാരണയായി ലേറ്റ് ചങ്കിംഗ് വഴി: ഡോക്യുമെന്റ് ഒരു ഒറ്റ പാസിൽ എൻകോഡ് ചെയ്യപ്പെടുന്നു, തുടർന്ന് ചങ്ക് പ്രതിനിധാനങ്ങൾ പൂൾ ചെയ്യപ്പെടുന്നു, അങ്ങനെ ഓരോ ചങ്ക് വെക്ടറും മുഴുവൻ ഡോക്യുമെന്റും കണ്ട് കണക്കാക്കപ്പെടുന്നു. ConTEB, ഞങ്ങളുടെ സ്വന്തം pplx-embed-context-v1 തുടങ്ങിയ മുൻകാല പ്രവർത്തനങ്ങൾ, സന്ദർഭോചിതമാക്കിയ ചങ്ക് പ്രതിനിധാനങ്ങൾ സ്വതന്ത്രമായി എൻകോഡ് ചെയ്ത ചങ്കുകളെ അപേക്ഷിച്ച് വീണ്ടെടുക്കൽ ഗണ്യമായി മെച്ചപ്പെടുത്തുന്നുവെന്ന് കാണിച്ചുതന്നിട്ടുണ്ട്, പ്രത്യേകിച്ച് ദീർഘമായ ഡോക്യുമെന്റുകളിൽ.

കോൺടെക്സ്ച്വൽ എംബെഡിംഗ് മോഡലുകൾ പരിശീലിപ്പിക്കുന്നതിന് ഒരു ഡോക്യുമെന്റിന്റെ ഏത് ഭാഗങ്ങളാണ് ഒരു പ്രത്യേക ചോദ്യത്തിന് പ്രസക്തമെന്ന് തിരിച്ചറിയുന്ന സൂപ്പർവിഷൻ ആവശ്യമാണ്. ഒരു സാധാരണ സമീപനം ഗോൾഡ്-ചങ്ക് വ്യാഖ്യാനങ്ങളാണ്: ഓരോ ചോദ്യത്തിനും, ഒരു വ്യാഖ്യാതാവ്, സാധാരണയായി ഒരു വലിയ ഭാഷാ മോഡൽ (LLM), അതിന് ഉത്തരം നൽകുന്ന ഡോക്യുമെന്റിന്റെ ചങ്ക് തിരിച്ചറിയുന്നു.

പരിശീലനം സാധാരണയായി രണ്ട് കോൺട്രാസ്റ്റീവ് നഷ്ടങ്ങളെ സംയോജിപ്പിക്കുന്നു: ഗോൾഡ് ചങ്കിനെ മറ്റ് ഡോക്യുമെന്റുകളിലെ ചങ്കുകളുമായി വൈരുദ്ധ്യം കാണിക്കുന്ന ഒരു ക്രോസ്-ഡോക്യുമെന്റ് നഷ്ടം, അതേ ഡോക്യുമെന്റിലെ മറ്റ് ചങ്കുകളുമായി അതിനെ വൈരുദ്ധ്യം കാണിക്കുന്ന ഒരു വിത്തിൻ-ഡോക്യുമെന്റ് നഷ്ടം.

ഈ സമീപനത്തിന് ചില പരിമിതികളുണ്ട്:

ഒരു ചങ്ക് മാത്രമാണ് പ്രസക്തം. ഇത് ഡോക്യുമെന്റിലെ മറ്റെല്ലാ ചങ്കിനെയും ഒരു നെഗറ്റീവ് ആയി കണക്കാക്കുന്നു, ഉപയോഗപ്രദമായ പിന്തുണയ്ക്കുന്ന വിവരങ്ങൾ ഉള്ളവ ഉൾപ്പെടെ. ഡോക്യുമെന്റ് തലത്തിലുള്ള സൂപ്പർവിഷൻ മറ്റേ തീവ്രതയിൽ പ്രവർത്തിക്കുന്നു. അതിനുള്ളിൽ ഏത് ചങ്കുകളാണ് പ്രസക്തമെന്ന് വ്യക്തമാക്കാതെ ഇത് ഡോക്യുമെന്റിനെ പ്രസക്തമായി തിരിച്ചറിയുന്നു. പ്രായോഗികമായി, പ്രസക്തി പലപ്പോഴും ഈ തീവ്രതകൾക്കിടയിലാണ്. ഉത്തരങ്ങൾ നൽകുന്ന ചങ്ക് ഒരു എൻ്റിറ്റിയെ അവതരിപ്പിക്കുന്ന, ഒരു റഫറൻസ് പരിഹരിക്കുന്ന, അല്ലെങ്കിൽ ഒരു കോംപ്ലിമെന്ററി വസ്തുത നൽകുന്ന ചില പിന്തുണയ്ക്കുന്ന ചങ്കുകളെ ആശ്രയിച്ചേക്കാം, അതേസമയം ഡോക്യുമെന്റിന്റെ ബാക്കി ഭാഗങ്ങൾ അപ്രസക്തമാണ്. അതിനാൽ മോഡൽ ശരിയായ തലത്തിലുള്ള സെലക്റ്റിവിറ്റി പഠിക്കണം: ഒരొറ്റ ഗോൾഡ് ചങ്കിനേക്കാൾ വിശാലമായത്, എന്നാൽ മൊത്തത്തിലുള്ള ഡോക്യുമെന്റിനേക്കാൾ കൂടുതൽ ശ്രദ്ധ കേന്ദ്രീകരിച്ചത്.
പരുക്കൻ സൂപ്പർവിഷൻ. ഓരോ വ്യാഖ്യാനവും ഡോക്യുമെന്റിലുടനീളമുള്ള പ്രസക്തിയുടെ ഡിഗ്രികൾ പകർത്തുന്നതിന് പകരം ഒരൊറ്റ ഗോൾഡ് ചങ്ക് തിരിച്ചറിയുന്നതിനാൽ, അത് ഉത്പാദിപ്പിക്കാൻ ചെലവഴിച്ച കമ്പ്യൂട്ടിന്റെ അളവിനായി ഇത് പരിമിതമായ പരിശീലന സിഗ്നലുകൾ നൽകുന്നു.
സ്കെയിൽ ചെയ്യാൻ ചെലവേറിയത്. ഓരോ പരിശീലന ജോടിക്കും ഡോക്യുമെന്റ് വായിക്കാനും പ്രസക്തമായ ചങ്ക് തിരഞ്ഞെടുക്കാനും ഒരു LLM ആവശ്യമാണ്, അതിനാൽ വ്യാഖ്യാന ചെലവ് പരിശീലന സെറ്റിന്റെ വലുപ്പത്തിനനുസരിച്ച് രേഖീയമായി വളരുകയും പരിശീലന ഡാറ്റ എത്രത്തോളം വൈവിധ്യമാർന്നതായിരിക്കാം എന്നതിനെ പരിമിതപ്പെടുത്തുകയും ചെയ്യുന്നു.
ചങ്ക് അതിരുകളോട് സംവേദനക്ഷമത. ലേബലുകൾ വ്യാഖ്യാന വേളയിൽ ഉപയോഗിക്കുന്ന ചങ്ക് അതിരുകളുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു. നിശ്ചിത ടോക്കൺ-വലിപ്പ വിൻഡോയ്ക്ക് നൽകിയിരിക്കുന്ന ഗോൾഡ് ലേബൽ ഏത് ചെറിയ വാക്യങ്ങളോ നീളമുള്ള പാരാഗ്രാഫുകളോ ആണ് പ്രസക്തമെന്ന് വ്യക്തമാക്കുന്നില്ല. അതിനാൽ, ചങ്കിംഗ് തന്ത്രം മാറ്റുന്നത്, അല്ലെങ്കിൽ ഡോക്യുമെന്റുകൾ ഇൻഡക്സിംഗ് സമയത്ത് എങ്ങനെ വിഭജിക്കപ്പെടുന്നു എന്നതിനോടുള്ള കരുത്ത് മെച്ചപ്പെടുത്തുന്നതിന് ഒന്നിലധികം ചങ്കിംഗുകളിലുടനീളം പരിശീലിപ്പിക്കുന്നത്, കോർപ്പസ് വീണ്ടും വ്യാഖ്യാനിക്കേണ്ടതുണ്ടായേക്കാം.

ഒരു ചോദ്യം-അറിവുള്ള സന്ദർഭ കംപ്രഷൻ മോഡലിൽ നിന്ന് പ്രസക്തി വിധീകരണം ഡിസ്റ്റിൽ ചെയ്തുകൊണ്ട് ഞങ്ങൾ ഗോൾഡ്-ചങ്ക് സൂപ്പർവിഷന്റെ പരിമിതികളെ അഭിസംബോധന ചെയ്യുന്നു. ഈ മോഡൽ ഒരു അധ്യാപകനായി വർത്തിക്കുന്നു: ഇത് ചോദ്യവും ഡോക്യുമെന്റും സംയുക്തമായി വായിക്കുകയും ഓരോ ഡോക്യുമെന്റ് ടോക്കണിനും ഒരു പ്രസക്തി സ്കോർ നൽകുകയും ചെയ്യുന്നു. ഇതിന്റെ പ്രവചനങ്ങൾ സന്ദർഭോചിത എംബെഡിംഗുകൾ പരിശീലിപ്പിക്കുന്നതിന് നിരവധി ഗുണങ്ങൾ വാഗ്ദാനം ചെയ്യുന്നു:

ഫ്ലെക്സിബിൾ ചങ്ക് അതിരുകൾ. ടോക്കൺ-ലെവൽ പ്രസക്തി സ്കോറുകൾ തിരഞ്ഞെടുത്ത ഏതെങ്കിലും ചങ്ക് അതിരുകൾക്ക് മുകളിലായി സംയോജിപ്പിക്കാൻ കഴിയും, പുനർ-വ്യാഖ്യാനമില്ലാതെ വ്യത്യസ്ത ചങ്കിംഗുകളെ മേൽനോട്ടം വഹിക്കാൻ ഒരേ അധ്യാപക പ്രവചനങ്ങളെ ഇത് അനുവദിക്കുന്നു.
തുടർച്ചയായ പ്രസക്തി. ബൈനറി സ്വർണ്ണ-ചങ്ക് ലേബലുകളിൽ നിന്ന് വ്യത്യസ്തമായി, അധ്യാപകൻ തുടർച്ചയായ സ്കോറുകൾ നൽകുന്നു, അവ പ്രസക്തിയുടെ നിലകൾ പിടിച്ചെടുക്കുകയും ഉത്തരമുള്ള ചങ്കുകൾ, പിന്തുണക്കുന്ന കോൺടെക്സ്റ്റ്, പ്രസക്തിയില്ലാത്ത ഉള്ളടക്കം എന്നിവ സ്വാഭാവികമായി വേർതിരിക്കുകയും ചെയ്യുന്നു.
കുറഞ്ഞ വ്യാഖ്യാന ചെലവ്. അധ്യാപകൻ കോംപാക്റ്റും പ്രസക്തി സ്കോറിംഗിൽ പ്രത്യേകതയുള്ളതുമാണ്, ഇത് ഒരു പൊതു ആവശ്യകതയുള്ള LLM-നേക്കാൾ സ്കെയിലിൽ മേൽനോട്ടം വഹിക്കുന്നത് വളരെ വിലകുറഞ്ഞതാക്കുന്നു.

ചോദ്യം-ഡോക്യുമെന്റ് ജോടികളുടെ ബാച്ചുകളിലുടനീളം ഒരു ഡോക്യുമെന്റ്-ലെവൽ കോൺട്രാസ്റ്റീവ് നഷ്ടത്തിന്റെയും ഒരു ചങ്ക്-ലെവൽ ഡിസ്റ്റിലേഷൻ നഷ്ടത്തിന്റെയും ഭാരമുള്ള ആകെത്തുക ഉപയോഗിച്ച് ഞങ്ങൾ ഞങ്ങളുടെ മോഡൽ പരിശീലിപ്പിക്കുന്നു. ഓരോ ചോദ്യത്തിനും, ജോടിയാക്കിയ ഡോക്യുമെന്റ് പോസിറ്റീവായി വർത്തിക്കുന്നു, അതേസമയം അതേ ബാച്ചിലെ ശേഷിക്കുന്ന ഡോക്യുമെന്റുകൾ നെഗറ്റീവുകളായി വർത്തിക്കുന്നു.

ഓരോ ബാച്ചിനും, ഞങ്ങൾ യാദൃശ്ചികമായി ഒരു ചങ്കിംഗ് തന്ത്രം തിരഞ്ഞെടുക്കുകയും അതിനനുസരിച്ച് ഡോക്യുമെന്റുകൾ വിഭജിക്കുകയും ചങ്കുകൾക്കിടയിൽ സെപ്പറേറ്റർ ടോക്കണുകൾ ചേർക്കുകയും ചെയ്യുന്നു. തുടർന്ന് ഞങ്ങൾ ഓരോ ഡോക്യുമെന്റും ഒ ഒറ്റ ഫോർവേഡ് പാസിൽ പ്രോസസ്സ് ചെയ്യുകയും സന്ദർഭോചിത ചങ്ക് എംബെഡിംഗുകൾ ലഭിക്കുന്നതിന് ഓരോ ചങ്കിനുള്ളിലെയും ടോക്കൺ പ്രതിനിധാനങ്ങൾ മീൻ-പൂൾ ചെയ്യുകയും ചെയ്യുന്നു. ചോദ്യങ്ങൾ അവയുടെ ടോക്കൺ പ്രതിനിധാനങ്ങളിലെ മീൻ പൂളിംഗ് ഉപയോഗിച്ച് പ്രത്യേകം എൻകോഡ് ചെയ്യപ്പെടുന്നു. അവസാനമായി, ബാച്ചിലെ ഓരോ ചോദ്യ എംബെഡിംഗും ഓരോ ചങ്ക് എംബെഡിംഗും തമ്മിലുള്ള കൊസൈൻ സാദൃശ്യം ഞങ്ങൾ കണക്കാക്കുന്നു.

ഞങ്ങളുടെ എംബെഡിംഗ് മോഡൽ ചങ്ക്-തല സാദൃശ്യങ്ങൾ മാത്രമാണ് നിർമ്മിക്കുന്നത്, എന്നാൽ നമുക്ക് അവയിൽ നിന്ന് സ്വാഭാവികമായി ഡോക്യുമെന്റ്-തല സാദൃശ്യങ്ങൾ ഉരുത്തിരിച്ചെടുക്കാം. ഒരു പ്രസക്തമായ ചങ്ക് പോലെ ഒരു ചോദ്യം q-ന് d എന്ന ഡോക്യുമെന്റ് പ്രസക്തമാണെന്ന് ഞങ്ങൾ കരുതുന്നു. ഈ സ്കോറിംഗ് റൂൾ ColBERT-ന്റെ MaxSim പ്രവർത്തനത്തിൽ നിന്ന് പ്രചോദനം ഉൾക്കൊണ്ടതാണ്, ഇവിടെ ടോക്കണുകൾക്ക് പകരം ചങ്കുകളിലാണ് ഇത് പ്രയോഗിക്കുന്നത്.

குறிப்பாக, q എംബെഡിംഗുള്ള ഒരു ചോദ്യം q ഉം എംബെഡിംഗുകളുള്ള c ചങ്കുകളുടെ ഒരു ഓർഡർ ചെയ്ത ലിസ്റ്റായി d എന്ന ഡോക്യുമെന്റും നൽകിയിരിക്കുന്നു, ഞങ്ങൾ ഡോക്യുമെന്റ്-തല സാദൃശ്യം ഇങ്ങനെ നിർവചിക്കുന്നു:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

ഈ ഡോക്യുമെന്റ്-തല സാദൃശ്യങ്ങൾ നൽകിയിരിക്കുന്നു, ഇൻ-ബാച്ച് നെഗറ്റീവുകൾക്ക് മുകളിലായി നമുക്ക് ഒരു ഡോക്യുമെന്റ്-തല InfoNCE ഒബ്ജക്റ്റീവ് രൂപപ്പെടുത്താം.

ഒരു ചോദ്യം q-ന്, അതിന്റെ പ്രസക്തമായ ഡോക്യുമെന്റിനെ d⁺ എന്നും ബാച്ചിലെ ഡോക്യുമെന്റുകളെ 𝒟 എന്നും വിളിക്കുക. വായനാക്ഷമതയ്ക്കായി താപനിലകൾ ഒഴിവാക്കിക്കൊണ്ട്, കോൺട്രാസ്റ്റീവ് നഷ്ടം താഴെ പറയുന്നതാണ്:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

ഏത് ഡോക്യുമെന്റാണ് ഒരു ചോദ്യത്തിന് പ്രസക്തമെന്ന് കോൺട്രാസ്റ്റീവ് നഷ്ടം മോഡലിനെ പഠിപ്പിക്കുന്നു. ആ ഡോക്യുമെന്റിനുള്ളിൽ എവിടെയാണ് പ്രസക്തി സ്ഥിതിചെയ്യുന്നത് എന്ന് ഡിസ്റ്റിലേഷൻ നഷ്ടം അതിനെ പഠിപ്പിക്കുന്നു, ഇത് ഒരു സന്ദർഭോചിത മോഡലിന് അത്യാവശ്യമാണ്.

പരിശീലന വേളയിൽ, ഞങ്ങൾ ഓരോ പോസിറ്റീവ് ചോദ്യ-ഡോക്യുമെന്റ് ജോഡിയും ഞങ്ങളുടെ സന്ദർഭ കംപ്രഷൻ മോഡലിലേക്ക് കടത്തിവിടുന്നു, അത് ഡോക്യുമെന്റിലെ എല്ലാ ടോക്കണുകൾക്കും ഒരു പ്രസക്തി സ്കോർ നൽകുന്നു. ഡോക്യുമെന്റ്-തല സ്കോറിംഗ് പോലെ, ഓരോ ചങ്കിന്റെയും പ്രസക്തി അതിന്റെ ഏറ്റവും പ്രസക്തമായ ഉള്ളടക്കങ്ങളിൽ നിന്ന് ഞങ്ങൾ ഉരുത്തിരിച്ചെടുക്കുന്നു. ഔട്ട്‌ലൈർ ടോക്കണുകളോടുള്ള സംവേദനക്ഷമത കുറയ്ക്കുന്നതിന്, ചങ്ക് അതിരുകളിലുള്ളവ ഉൾപ്പെടെ, ചങ്കിനുള്ളിലെ മികച്ച n ടോക്കൺ സ്കോറുകളുടെ ശരാശരിയായി ഞങ്ങൾ ചങ്ക്-തല പ്രസക്തിയെ നിർവചിക്കുന്നു.

ഓരോ ചോദ്യത്തിനും, ഒരു ലക്ഷ്യ വിതരണം ലഭിക്കുന്നതിനായി പോസിറ്റീവ് ഡോക്യുമെന്റിനുള്ളിലെ അധ്യാപകന്റെ ചങ്ക്-തല പ്രസക്തി സ്കോറുകളിലേക്ക് ഞങ്ങൾ ഒരു താപനില-സ്കെയിൽ ചെയ്ത സോഫ്റ്റ്‌മാക്സ് പ്രയോഗിക്കുന്നു. ബാച്ചിലെ മറ്റ് ഡോക്യുമെന്റുകളിലെ ചങ്കുകൾക്ക് പൂജ്യം ലക്ഷ്യ സംഭാവ്യത ലഭിക്കുന്നു. ബാച്ചിലെ എല്ലാ ചങ്കുകൾക്കുമെതിരെയുള്ള ലക്ഷ്യവും അതിന്റെ പ്രവചിച്ച വിതരണവും തമ്മിലുള്ള ഫോർവേഡ് KL വ്യതിചലനം കുറച്ചുകൊണ്ട് ഈ ലക്ഷ്യവുമായി പൊരുത്തപ്പെടാൻ ഞങ്ങൾ എംബെഡിംഗ് മോഡലിനെ പരിശീലിപ്പിക്കുന്നു:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

ഇവിടെ, T, S സൂപ്പർസ്ക്രിപ്റ്റുകൾ അധ്യാപകനെയും വിദ്യാർത്ഥിയെയും സൂചിപ്പിക്കുന്നു, കൂടാതെ പോസിറ്റീവ് ഡോക്യുമെന്റ് d⁺-ലെ ചങ്ക് cⱼ-നായുള്ള അധ്യാപകന്റെ പ്രസക്തി സ്കോർ ആണ് rⱼ. ബാച്ചിലെ മറ്റ് എല്ലാ ഡോക്യുമെന്റുകളിലെയും ചങ്കുകൾക്ക് അധ്യാപകന്റെ ലക്ഷ്യ വിതരണം പൂജ്യം സംഭാവ്യത നൽകുന്നു.

ഒരൊറ്റ ഗോൾഡ്-ചങ്ക് ലേബലിൽ നിന്ന് വ്യത്യസ്തമായി, ഈ ലക്ഷ്യം പ്രസക്തിയുടെ ഡിഗ്രികൾ പകർത്തുന്നു. നെഗറ്റീവുകളായി കണക്കാക്കുന്നതിന് പകരം അധ്യാപകന്റെ സ്കോറുകൾ അനുസരിച്ച് പിന്തുണയ്ക്കുന്ന ചങ്കുകൾക്ക് ഭാരം ലഭിക്കുന്നു, ഉത്തരത്തിന് പുറമേ പിന്തുണയ്ക്കുന്ന സന്ദർഭവും വീണ്ടെടുക്കാൻ മോഡലിനെ ഇത് പഠിപ്പിക്കുന്നു.

ഞങ്ങളുടെ സംയോജിത പരിശീലന ലക്ഷ്യം ഡോക്യുമെന്റ്-തല കോൺട്രാസ്റ്റീവ് നഷ്ടത്തിന്റെയും ചങ്ക്-തല ഡിസ്റ്റിലേഷൻ നഷ്ടത്തിന്റെയും ഭാരമുള്ള ആകെത്തുകയാണ്. ചോദ്യ-ഡോക്യുമെന്റ് ജോടികളുടെ ബാച്ചിലുടനീളം ഞങ്ങൾ ഈ ഭാരമുള്ള നഷ്ടം ശരാശരി കണക്കാക്കുന്നു.

Figure 2 ഞങ്ങളുടെ പരിശീലന സമീപനം വ്യക്തമാക്കുന്നു. context compressor പരിശീലന സമയത്ത് മാത്രം അധ്യാപകനായി പ്രവർത്തിക്കുന്നു. inference സമയത്ത്, embedding model അധിക compression അല്ലെങ്കിൽ reranking ഘട്ടങ്ങളൊന്നുമില്ലാതെ ഓരോ ചങ്കിനും ഒരു contextual embedding വീതം സൃഷ്ടിക്കുന്നു. ഈ സമീപനം index storage വർധിപ്പിക്കാതെയും retrieval സമയത്ത് teacher-model latency ചേർക്കാതെയും contextual embeddings എങ്ങനെ പഠിക്കപ്പെടുന്നു എന്നത് മെച്ചപ്പെടുത്തുന്നു.

contextual embedding distillation-നുള്ള പരിശീലന സജ്ജീകരണം — ചിത്രം 2: ഞങ്ങളുടെ മോഡലിന്റെ പരിശീലന സജ്ജീകരണം. സന്ദർഭോചിത എൻകോഡർ (വിദ്യാർത്ഥി, ഇടത്) ഡോക്യുമെന്റുകൾ പ്രോസസ്സ് ചെയ്യുന്നു, ഓരോന്നും നിരവധി ചങ്കുകൾ അടങ്ങിയതാണ്. ഓരോ ചങ്കും അതിന്റെ ചുറ്റുമുള്ള ഡോക്യുമെന്റ് സന്ദർഭത്തിന് അനുസൃതമായി എംബെഡ് ചെയ്യപ്പെടുന്നു. ചോദ്യം A എന്നത് ഡോക്യുമെന്റ് A-യുടെ അറിയപ്പെടുന്ന പൊരുത്തമാണ് കൂടാതെ പ്രവചിച്ച സാദൃശ്യങ്ങൾ ലഭിക്കുന്നതിനായി എല്ലാ ഡോക്യുമെന്റുകളുടെയും ചങ്കുകൾക്ക് എതിരായി സ്കോർ ചെയ്യപ്പെടുന്നു. ഈ ചങ്ക്-തല സ്കോറുകൾ ഡോക്യുമെന്റ്-തല സ്കോറുകളിലേക്ക് മാക്സ്-പൂൾ ചെയ്യപ്പെടുന്നു. ലക്ഷ്യ വിതരണങ്ങളുമായി (വളരെ) പൊരുത്തപ്പെടാൻ ഞങ്ങൾ ചങ്ക്-തല പ്രവചനങ്ങളെയും ഡോക്യുമെന്റ് തല പ്രവചനങ്ങളെയും പരിശീലിപ്പിക്കുന്നു. ചങ്ക്-തല ലക്ഷ്യം പരിശീലന സമയത്ത് അറിയപ്പെടുന്ന പ്രസക്തമായ ഡോക്യുമെന്റിനുള്ളിലെ സന്ദർഭ കംപ്രസറിന്റെ പ്രവചനമായി കണക്കാക്കപ്പെടുന്നു കൂടാതെ അറിയപ്പെടുന്ന അപ്രസക്തമായ ഡോക്യുമെന്റുകൾക്കുള്ളിൽ പൂജ്യമായി സജ്ജീകരിക്കപ്പെടുന്നു. അറിയപ്പെടുന്ന പ്രസക്തമായ ഡോക്യുമെന്റിൽ ഡോക്യുമെന്റ്-തല ലക്ഷ്യ വിതരണം വൺ-ഹോട്ട് ആയി സജ്ജീകരിക്കപ്പെടുന്നു.

പരിശീലന ഡാറ്റയിൽ 50-ലധികം ഭാഷകൾ ഉൾക്കൊള്ളുന്ന ഏകദേശം 430 പൊതു, ഇൻ-ഹൗസ് ചോദ്യ-ഡോക്യുമെന്റ് ഡാറ്റാസെറ്റുകൾ അടങ്ങിയിരിക്കുന്നു.

PII-ഫിൽട്ടർ ചെയ്ത പ്രൊഡക്ഷൻ ഡാറ്റയിൽ നിന്നും നീളമുള്ള ഡോക്യുമെന്റുകളിൽ പ്രസക്തമായ ചോദ്യങ്ങൾ സിന്തസൈസ് ചെയ്തുകൊണ്ടും ഞങ്ങൾ ഇൻ-ഹൗസ് ജോടി ഡാറ്റാസെറ്റുകൾ നിർമ്മിക്കുന്നു. ഓരോ ഫോർവേഡ് പാസിനും, ഇൻ-ബാച്ച് നെഗറ്റീവുകളുടെ ബുദ്ധിമുട്ട് വർദ്ധിപ്പിക്കുന്നതിനും കുറുക്കുവഴി പഠനം ഒഴിവാക്കുന്നതിനുമായി ഞങ്ങൾ ഒരു ഡാറ്റാസെറ്റ് തിരഞ്ഞെടുക്കുകയും അതിൽ നിന്ന് മുഴുവൻ ബാച്ചും സാമ്പിൾ ചെയ്യുകയും ചെയ്യുന്നു. ഞങ്ങളുടെ പരിശീലന ഡാറ്റാസെറ്റുകളിലൊന്നും ചങ്ക് തലത്തിലുള്ള വ്യാഖ്യാനങ്ങൾ ഇല്ല: ഡോക്യുമെന്റിനുള്ളിലെ എല്ലാ സൂപ്പർവിഷനും കംപ്രഷൻ മോഡലിൽ നിന്നാണ് വരുന്നത്, കൂടാതെ പരിശീലനത്തിനായി ConTEB ഡാറ്റയൊന്നും ഉപയോഗിക്കുന്നില്ല. മാത്രമല്ല, മോഡൽ വികസിപ്പിച്ചെടുക്കുമ്പോൾ context-bench ഡാറ്റ ഒന്നും ലഭ്യമായിരുന്നില്ല.

ഈ മാതൃക ഒരു ഇൻ-ഹൗസ്, 9B-പാരാമീറ്റർ ColBERT റിട്രീവൽ മാതൃകയിൽ നിന്നാണ് ആരംഭിക്കുന്നത്, തുടർന്ന് ഒരു ലീനിയർ പ്രൊജക്ഷൻ ലെയറിലൂടെ 2048-ഡൈമെൻഷൻ എംബെഡിംഗുകൾ സൃഷ്ടിക്കുന്നു. ഞങ്ങൾ പഠിച്ച <|chunk_sep|> ടോക്കൻ ഉപയോഗിച്ച് ചങ്ക് അതിരുകൾ അടയാളപ്പെടുത്തുകയും ഓരോ ചങ്കിന്റെയും ടോക്കൺ എംബെഡിംഗുകൾ ശരാശരി ചെയ്ത് അതിന്റെ എംബെഡിംഗ് രൂപപ്പെടുത്തുകയും ചെയ്യുന്നു. ക്വറികൾ അതേ മാതൃക ഉപയോഗിച്ച് എൻകോഡ് ചെയ്യപ്പെടുന്നു, അവയുടെ ടോക്കൺ എംബെഡിംഗുകൾ ശരാശരി ചെയ്ത് ഒരു ഏക വെക്ടറായി മാറ്റുന്നു.

1024-, 2048-ഡയമൻഷണൽ എംബെഡിംഗുകളെ പിന്തുണയ്ക്കാൻ ഞങ്ങൾ മട്രോഷ്ക പരിശീലനം ഉപയോഗിക്കുന്നു, കൂടാതെ നേറ്റീവ് int8 എംബെഡിംഗുകളെ പിന്തുണയ്ക്കാൻ ക്വാണ്ടൈസേഷൻ-അവെയർ പരിശീലനവും ഉപയോഗിക്കുന്നു. പരിശീലന വേളയിൽ, ഞങ്ങൾ ക്രമേണ ലേണിംഗ് നിരക്ക് വർദ്ധിപ്പിക്കുന്നു, അത് സ്ഥിരമായി നിലനിർത്തുന്നു, തുടർന്ന് അത് കുറയ്ക്കുന്നു.

പുറത്തിറക്കിയ മോഡൽ ഒരേ പരിശീലന റണ്ണിൽ നിന്നുള്ള നിരവധി ചെക്ക്‌പോയിന്റുകളുടെ ഭാരങ്ങൾ ശരാശരി കണക്കാക്കുന്ന ഒരു മോഡൽ സൂപ്പ് ആണ്.

ConTEB പോലെയുള്ള പൊതുവായ കോൺടെക്സ്ച്വൽ-റിട്രീവൽ ബെഞ്ച്മാർക്കുകൾ ഗോൾഡ്-ചങ്ക് സൂപ്പർവിഷന് പിന്നിലെ അനുമാനം പങ്കിടുന്നു: ഓരോ ചോദ്യത്തിനും പ്രസക്തമായ ഒരొറ്റ ചങ്ക് ഉണ്ട് കൂടാതെ ആ ചങ്കിന് ആദ്യം റാങ്ക് നൽകിയാൽ മാത്രമാണ് മോഡലിന് പ്രതിഫലം ലഭിക്കുന്നത്. അവ അതിന്റെ പരിമിതികളും പാരമ്പര്യമായി സ്വീകരിക്കുന്നു.

ആദ്യം, ഒരു ചങ്ക് അതിന്റെ ചുറ്റുമുള്ള കോൺടെക്സ്റ്റ് ഇല്ലാതെ അസ്പഷ്ടമായിരിക്കുന്ന ടാസ്കുകളിൽ ConTEB റിട്രീവൽ പരീക്ഷിക്കുന്നു. ഈ ടാസ്കുകളിൽ, ഓരോ ചങ്കും സ്വതന്ത്രമായി എൻകോഡ് ചെയ്യുന്ന മാതൃകകളെക്കാൾ കോൺടെക്സ്റ്റ് മോഡലുകൾ മികച്ച പ്രകടനം കാഴ്ചവച്ചു. എന്നിരുന്നാലും, ഒരു ചങ്കിനെ മനസ്സിലാക്കാൻ സഹായിക്കുന്ന ഡോക്യുമെന്റിന്റെ മറ്റ് ഭാഗങ്ങളും ഒരു മാതൃക മുന്നിൽ കൊണ്ടുവരുന്നുണ്ടോ എന്ന് ഇത് ചോദിക്കുന്നില്ല.

രണ്ടാമതായി, ഒരേ കോർപ്പസിലെ ഏതാണ്ട് സമാനമായ ഡോക്യുമെന്റുകൾ മറ്റ് വിധത്തിൽ സമാനമായ ഒരു വാക്യത്തിന് ചുറ്റുമുള്ള സന്ദർഭത്തിൽ മാത്രം വ്യത്യാസപ്പെട്ടിരിക്കുമ്പോൾ ശരിയായ ഡോക്യുമെന്റ് കണ്ടെത്താൻ കഴിയുമോ എന്ന് ഇത് വ്യവസ്ഥാപിതമായി പരിശോധിക്കുന്നില്ല.

ഒരു മുഴുവൻ ഡോക്യുമെന്റിനേക്കാൾ വീണ്ടെടുത്ത കുറച്ച് വാക്യങ്ങളിൽ നിന്ന് ഒരു തിരയൽ ഏജന്റ് അല്ലെങ്കിൽ ഉപയോക്താവ് ഒരു ഉത്തരം മനസ്സിലാക്കുകയും പരിശോധിക്കുകയും ചെയ്യേണ്ടിവരുമ്പോൾ രണ്ട് കഴിവുകളും പ്രധാനമാണ്. അതിനാൽ ഞങ്ങൾ context-bench നിർമ്മിച്ചു, ദീർഘമായ ഡോക്യുമെന്റുകളിലൂടെയുള്ള വീണ്ടെടുക്കലിനായുള്ള നിയന്ത്രിത ബെഞ്ച്മാർക്ക്, പൊതുവായ വീണ്ടെടുക്കൽ ഗുണനിലവാരത്തിൽ നിന്ന് ഡോക്യുമെന്റ് സന്ദർഭത്തിന്റെ ഉപയോഗത്തെ വേർതിരിച്ചറിയാൻ രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു. മൂന്ന് കഴിവുകളെ പിന്തുണയ്ക്കുന്നതിനായി ഇത് ഡോക്യുമെന്റിലെ മറ്റ് സ്ഥലങ്ങളിൽ നിന്നുള്ള വിവരങ്ങൾ സന്ദർഭോചിത എംബെഡിംഗുകൾ ഉപയോഗിക്കുന്നുണ്ടോ എന്ന് പരിശോധിക്കുന്നു:

ഡോക്യുമെന്റ് ഡിസ്ആംബിഗ്വേഷൻ: സമാനമായ ഇതരമാർഗ്ഗങ്ങൾക്കിടയിൽ ശരിയായ ഡോക്യുമെന്റ് തിരിച്ചറിയുക.
ഉത്തര വീണ്ടെടുക്കൽ: ഡോക്യുമെന്റിലെ മറ്റ് സ്ഥലങ്ങളിലെ വിശദാംശങ്ങളെ ആശ്രയിച്ചിരിക്കുന്ന അർത്ഥമുള്ള ഉത്തരങ്ങൾ അടങ്ങിയ ചങ്കുകൾ വീണ്ടെടുക്കുക.
തെളിവ് വീണ്ടെടുക്കൽ: ഉത്തരത്തെ വ്യക്തമാക്കുന്നതോ സ്ഥിരീകരിക്കുന്നതോ ആയ പിന്തുണയ്ക്കുന്ന ചങ്കുകൾ വീണ്ടെടുക്കുക.

Context-bench-ൽ 2,099 ചോദ്യങ്ങളും 38,894 ഡോക്യുമെന്റുകളും അടങ്ങിയിരിക്കുന്നു. വാക്യ ദൈർഘ്യമുള്ള ചങ്കുകൾ ഉപയോഗിക്കുന്നു, ഇത് ആകെ 2,458,072 ചങ്കുകൾ നൽകുന്നു. കോർപ്പറേറ്റ് ഫയലിംഗുകൾ, ക്ലിനിക്കൽ ശോധനം, യാത്ര, വിനോദം, വിദ്യാഭ്യാസം, സർക്കാർ, നിയമപരമായ കരാറുകൾ, സോഫ്റ്റ്‌വെയർ ഡോക്യുമെന്റേഷൻ എന്നിവയുൾപ്പെടെ 21 ഡൊമെയിനുകൾ ചോദ്യങ്ങൾ ഉൾക്കൊള്ളുന്നു.

ഓരോ ചോദ്യവും പന്ത്രണ്ട് സന്ദർഭോചിത കഴിവുകളിൽ ഒന്ന് പരിശോധിക്കാൻ രൂപകൽപ്പന ചെയ്തിട്ടുള്ളതാണ്. പ്രാഥമിക ലക്ഷ്യ ഡോക്യുമെന്റുകൾ മനപ്പൂർവ്വം നീളമുള്ളതാണ്: 1,197 വ്യത്യസ്ത പ്രാഥമിക ലക്ഷ്യ ഡോക്യുമെന്റുകളിൽ 1,061 എണ്ണത്തിനും കുറഞ്ഞത് 200 വാക്യങ്ങളുണ്ട്, ഏകദേശം 6,100 ടോക്കണുകളുടെ ശരാശരി നീളമുണ്ട്. കോർപ്പസിൽ ഓരോ ചോദ്യത്തിനും കൃത്യമായി ഒരു ശരിയായ ഉത്തരമുണ്ട്. ഒരേ വസ്തുത ഒരു ഗോൾഡ് ഡോക്യുമെന്റിൽ ഒന്നിൽ കൂടുതൽ തവണ പ്രസ്താവിച്ചിരിക്കുന്നിടത്ത്, ഉദാഹരണത്തിന് ഒരു സംഗ്രഹം വാക്യത്തിലും ഒരു പട്ടിക വരിയിലും, ആ വാക്യങ്ങളിൽ ഏതെങ്കിലും ഉത്തരങ്ങളായി സ്വീകരിക്കപ്പെടും.

ഒരു ഉത്തര റൂട്ട് എന്നത് ഒരു ഉത്തര ചങ്കിന്റെയും അത് വ്യാഖ്യാനിക്കാനോ പരിശോധിക്കാനോ ആവശ്യമായ പിന്തുണയ്ക്കുന്ന തെളിവുകളുടെയും സാധുവായ ഒരു സംയോജനമാണ്. 2,099 ചോദ്യങ്ങളിൽ, പ്രാഥമിക ലക്ഷ്യ-ഡോക്യുമെന്റ് ഉത്തരം റൂട്ടിന് 964 ചോദ്യങ്ങൾക്ക് ഒരു തെളിവ് ഗ്രൂപ്പും, 735-ന് രണ്ടും, 332-ന് മൂന്നോ അതിലധികമോ, 68-ന് ഒന്നുമില്ല. ഇതര സാധുവായ ഉത്തര റൂട്ടുകൾക്ക് വ്യത്യസ്ത തെളിവ് ഗ്രൂപ്പുകൾ ആവശ്യമായി വന്നേക്കാം.

പട്ടിക 1: ബെഞ്ച്മാർക്ക് സ്ഥിതിവിവരക്കണക്കുകൾ.

സ്ഥിതിവിവരക്കണക്ക്	വില
ചോദ്യങ്ങൾ	2,099
ഡോക്യുമെന്റുകൾ	38,894
വാക്യ ചങ്കുകൾ	2,458,072
ശരാശരി പ്രാഥമിക ലക്ഷ്യ ഡോക്യുമെന്റ് നീളം	6,100 ടോക്കണുകൾ
ഡൊമെയിനുകൾ	21
ചോദ്യം പ്രതി തെളിവ് ഗ്രൂപ്പുകൾ (പ്രാഥമിക ലക്ഷ്യ-ഡോക്യുമെന്റ് ഉത്തരം റൂട്ട്)	1: 964; 2: 735; 3+: 332; ഒന്നുമില്ല: 68

പട്ടിക 2: സദൃശ്യമായ ഉദാഹരണങ്ങൾ സഹിതം context-bench പരീക്ഷിച്ച പന്ത്രണ്ട് സന്ദർഭോചിത കഴിവുകൾ.

ശേഷി	ഉദാഹരണ ചോദ്യം	ഉത്തര ഭാഗം	ആവശ്യമായ ഡോക്യുമെന്റ് സന്ദർഭം
1. എൻ്റിറ്റി ഐഡന്റിറ്റി	ഷെയർ റീപ്പർച്ചേസിനായി നോർത്ത്‌ലേക്ക് എത്ര തുക ചെലവഴിച്ചു?	കമ്പനി 12.8 ബില്യൺ ഡോളർ വിലമതിക്കുന്ന ഓഹരികൾ തിരിച്ചുവാങ്ങി.	ആമുഖം നോർത്ത്‌ലേക്കിനെ "കമ്പനി" എന്ന് തിരിച്ചറിയുന്നു. സമാനമായ സൗത്ത്‌ലേക്ക് റിപ്പോർട്ട് പ്രസക്തമല്ല.
2. കാലയളവ് അല്ലെങ്കിൽ പതിപ്പ്	ഏത് കാട്രിഡ്ജാണ് M40 റിവിഷൻ B-ലേക്ക് യോജിക്കുന്നത്?	KC-42 കാട്രിഡ്ജ് ഇൻസ്റ്റാൾ ചെയ്യുക.	ഈ നിർദ്ദേശങ്ങൾ റിവിഷൻ C അല്ല, റിവിഷൻ B-യെയാണ് ഉൾക്കൊള്ളുന്നതെന്ന് ബാധകമാക്കൽ വിഭാഗം പറയുന്നു.
3. നിർവചനങ്ങളും അപരനാമങ്ങളും	15 മിഗ്രാം ഗ്രൂപ്പിന് എത്ര പിൻവലിക്കൽ നിരക്ക് ഉണ്ടായിരുന്നു?	സീറ്റയ്ക്ക് 12.7% പിൻവലിക്കൽ നിരക്ക് ഉണ്ടായിരുന്നു.	റിപ്പോർട്ട് സീറ്റയെ 15 മിഗ്രാം ഗ്രൂപ്പായി നിർവചിക്കുന്നു. ആ നിർവചനമില്ലെങ്കിൽ, അഭ്യർത്ഥിച്ച ഗ്രൂപ്പിനെ ഈ ഭാഗം തിരിച്ചറിയുന്നില്ല.
4. പട്ടിക ഘടന	Max മോഡലിന്റെ ബാറ്ററി ശേഷി എത്രയാണ്?	സാധാരണ ശേഷി: 4,250 \| 4,700 \| 5,150.	പട്ടിക തലക്കെട്ട് Mini \| Base \| Max എന്ന് സ്ഥാപിക്കുന്നു, mAh-ൽ അളക്കുന്നു. അതിനാൽ ഉത്തരം 5,150 mAh ആണ്.
5. നിബന്ധനകളും ഒഴിവാക്കലുകളും	വാണിജ്യ ആവശ്യങ്ങൾക്കായി ബാറ്ററി കവറേജ് എത്ര കാലം നീണ്ടുനിൽക്കും?	ബാറ്ററി കവറേജ് 18 മാസം നീണ്ടുനിൽക്കും.	ഒരു വിഭാഗം ആമുഖം ഈ കവറേജ് വാണിജ്യ ഇൻസ്റ്റാളേഷനുകളിലേക്ക് പരിമിതപ്പെടുത്തുന്നു; ഗാർഹിക ഇൻസ്റ്റാളേഷനുകൾക്ക് വ്യത്യസ്ത വാറന്റിയുണ്ട്.
6. പരാമർശങ്ങളും സർവ്വനാമങ്ങളും	മാര എപ്പോഴാണ് ഡെപ്യൂട്ടി മേയർ ആയത്?	അവൾ 2021-ൽ അധികാരമേറ്റു.	"അവൾ" എന്നത് ചർച്ച ചെയ്യപ്പെടുന്ന എലിൻ എന്നയാൾക്കല്ല, മാരയെയാണ് സൂചിപ്പിക്കുന്നതെന്ന് മുൻകാല വിവരണം വ്യക്തമാക്കുന്നു.
7. ലിസ്റ്റ് ക്രമവും സ്ഥാനവും	ഏത് ഗാനമാണ് എൻകോർ തുറന്നത്?	14. ലാൻ്റേൺ റോഡ്.	14–16 ഗാനങ്ങൾ ചേർന്നതാണ് എൻകോർ എന്ന് മറ്റൊരു സ്ഥലത്തെ കുറിപ്പ് പറയുന്നു. അതിനാൽ ട്രാക്ക് 14 ആണ് അതിന്റെ ഓപ്പണിംഗ് സോംഗ്.
8. വിഭാഗ വ്യാപ്തി	സിനിമയുടെ സിനിമാറ്റോഗ്രഫിക്ക് ഏത് ലെൻസാണ് ഉപയോഗിച്ചത്?	ഉടനീളം 35 എംഎം പ്രൈം ഉപയോഗിച്ചു.	ഈ ഭാഗം "പ്രിൻസിപ്പൽ ഫോട്ടോഗ്രാഫി" എന്നതിന്റെ കീഴിലാണ് വരുന്നത്, പബ്ലിസിറ്റി ഫോട്ടോഗ്രാഫുകളെക്കുറിച്ചുള്ള പ്രത്യേക വിഭാഗത്തിന് കീഴിലല്ല.
9. സ്പീക്കർ ആട്രിബ്യൂഷൻ	മേയർ വാഗ്ദാനം ചെയ്ത പുനരാരംഭ തീയതി എന്താണ്?	ഞങ്ങൾ ജൂൺ 12-ന് വീണ്ടും തുറക്കും.	സംഭാഷണം മേയറെ സ്പീക്കറായി തിരിച്ചറിയുന്നു. ഒരു കരാറുകാരനിൽ നിന്നുള്ള അതേ വാക്കുകൾ മേയറുടെ വാഗ്ദാനം സ്ഥാപിക്കില്ല.
10. കാലക്രമേണയുള്ള മാറ്റങ്ങൾ	മേയ് മാസത്തെ ഭേദഗതിക്ക് ശേഷം ഏത് നോട്ടീസ് കാലയളവാണ് ബാധകമായത്?	നോട്ടീസ് കാലയളവ് ഇപ്പോൾ 45 ദിവസമാണ്.	മുൻപത്തെ 30 ദിവസത്തെ നിയമത്തിന് പകരമായി, ഈ മാറ്റം മെയ് മാസത്തിൽ നിലവിൽ വന്നുവെന്ന് ഭേദഗതി ചരിത്രം വ്യക്തമാക്കുന്നു.
11. കാരണ-കാര്യ ബന്ധങ്ങൾ	എന്തുകൊണ്ടാണ് പടിഞ്ഞാറൻ പമ്പ് നിന്നത്?	ആ തകരാറാണ് ഷട്ട്ഡൗണിന് കാരണമായത്.	പശ്ചിമ പമ്പിലെ ജാം ചെയ്ത ബെയറിങ് ആണ് "ആ തകരാർ" എന്ന് അന്വേഷണം തിരിച്ചറിയുന്നു, കൂടാതെ ബന്ധമില്ലാത്ത ഇൻലെറ്റ് തടസ്സത്തിൽ നിന്ന് ഇതിനെ വേർതിരിച്ചറിയുകയും ചെയ്യുന്നു.
12. ആലങ്കാരിക അല്ലെങ്കിൽ അന്തർ-ഭാഷാ അർത്ഥം	ആലങ്കാരികം: കവിതയിൽ "ശീതകാല മുറി" എന്താണ് സൂചിപ്പിക്കുന്നത്? അന്തർ-ഭാഷ: ഏത് ഘടകമാണ് നീക്കം ചെയ്യാൻ ഫ്രഞ്ച് നിർദ്ദേശം സാങ്കേതിക വിദഗ്ദ്ധനോട് ആവശ്യപ്പെടുന്നത്?	ആലങ്കാരികം: ഇത് ഒരു ഭൗതിക മുറിയേക്കാൾ പ്രവാസത്തെ പ്രതിനിധീകരിക്കുന്നു. അന്തർ-ഭാഷ: Retirez le capot. (കവർ നീക്കം ചെയ്യുക.)	ആലങ്കാരികം: കവിതയിലെ ആവർത്തിച്ചുള്ള "ശീതകാല മുറി" ചിത്രമാണ് "ഇത്" എന്ന് വ്യാഖ്യാനം തിരിച്ചറിയുന്നു. അന്തർ-ഭാഷ: ഷിപ്പിംഗ് കവർ എന്നല്ല, സംരക്ഷണ മോടോർ ഹുഡ് എന്നാണ് "capot" എന്നതിന്റെ അർത്ഥമെന്ന് ഗൈഡിന്റെ ഗ്ലോസറി വ്യക്തമാക്കുന്നു.

ചോദ്യങ്ങൾ, ഡോക്യുമെന്റുകൾ, പരീക്ഷിക്കപ്പെടുന്ന കഴിവുകൾ എന്നിവ turbopuffer-ന്റെ ഉപഭോക്താക്കളുമായുള്ള സംഭാഷണങ്ങളിൽ നിന്ന് പ്രചോദനം ഉൾക്കൊണ്ടതാണ്.

ഒരു ഉദാഹരണം നൽകാൻ, ഒരു പ്രോപ്പർട്ടി മാനേജ്‌മെന്റ് ഫേമിന്റെ തിരയൽ ആവശ്യങ്ങൾ പരിഗണിക്കുക. ഈ ഫാമുകൾക്ക് നൂറുകണക്കിന്, ചിലപ്പോൾ ആയിരക്കണക്കിന് പാട്ട കരാറുകൾ ഉണ്ട്, അവ വാടകക്കാരുടെ പേരുകൾ, തീയതികൾ, മറ്റ് ചില പ്രധാന വിശദാംശങ്ങൾ എന്നിവയിൽ മാത്രം വ്യത്യാസപ്പെട്ടിരിക്കുന്നു. ആ ഡാറ്റാസെറ്റിനായുള്ള ഒരു സാധാരണ ചോദ്യം “when does 5 park avenue’s lease end and what is the current rent?” എന്നതായിരിക്കാം. പാട്ട കരാറുകൾ നീളമുള്ളതായിരിക്കാം, കൂടാതെ നിങ്ങൾ ശരിയായ ഡോക്യുമെന്റ് വീണ്ടെടുത്തിട്ടുണ്ടെന്ന് സ്ഥിരീകരിക്കുന്ന നിർണ്ണായക ഡിസ്ആംബിഗ്വേറ്റിംഗ് ഘടകങ്ങൾ (തീയതി, വിലാസം, വാടകക്കാരന്റെ പേര് മുതലായവ) പ്രതിമാസ പാട്ട പേയ്‌മെന്റ് തുക അടങ്ങിയ പ്രധാന ഉത്തര വാക്യത്തിൽ നിന്ന് വളരെ അകലെയായിരിക്കാം. പ്രായോഗികമായി, "Monthly rent is $X,XXX." പോലുള്ള സമാനമായ വാക്യങ്ങൾ കോർപ്പസിലെ പല ഡോക്യുമെന്റുകളിലും ദൃശ്യമായേക്കാം.

ശരിയായ ഡോക്യുമെന്റ് തിരിച്ചറിയുന്നതിനും ഉത്തരവും അതിന്റെ പിന്തുണയ്ക്കുന്ന വാക്യങ്ങളും വീണ്ടെടുക്കുന്നതിനും നല്ലൊരു കോൺടെക്സ്ച്വൽ എംബെഡിംഗ് മോഡൽ ഡോക്യുമെന്റിലുടനീളമുള്ള സന്ദർഭം ഉപയോഗിക്കണം. ഇത് ഒരു ഉപയോക്താവിനെ അല്ലെങ്കിൽ തിരയൽ ഏജന്റിനെ ഉത്തരം വേഗത്തിൽ പരിശോധിക്കാനും അത് ശരിയായ ഡോക്യുമെന്റിൽ നിന്നാണ് വരുന്നതെന്ന് സ്ഥിരീകരിക്കാനും അനുവദിക്കുന്നു.

ഓരോ ചോദ്യത്തിനും, ഞങ്ങൾ ലക്ഷ്യ ഡോക്യുമെന്റിലെ "ഉത്തരം", "തെളിവ്" വാക്യങ്ങൾ ലേബൽ ചെയ്യുന്നു. ഒരു ഉത്തരം വാക്യവും ഓരോ തെളിവ് ഗ്രൂപ്പിൽ നിന്നുമുള്ള കുറഞ്ഞത് ഒരു വാക്യവും വീണ്ടെടുക്കുകയാണെങ്കിൽ ഒരു മോഡൽ ഞങ്ങളുടെ "റീഡർ സഫിഷ്യൻസി" ടെസ്റ്റ് വിജയിക്കുന്നു. കൂട്ടായി, പിന്തുണയ്ക്കുന്ന തെളിവുകൾ ഉപയോഗിച്ച് ഉത്തരം പരിശോധിക്കാൻ ഈ വാക്യങ്ങൾ ഒരു വായനക്കാരന് ആവശ്യമായ സന്ദർഭം നൽകുന്നു.

കോൺടെക്സ്ച്വൽ എംബെഡിംഗ് മോഡലുകൾ ഇത് നന്നായി ചെയ്യുമ്പോൾ, മുഴുവൻ ഡോക്യുമെന്റും വായിക്കാതെ തന്നെ അവരുടെ യഥാർത്ഥ ചോദ്യത്തിന് ശരിയായ ഉത്തരം ലഭിച്ചുവെന്ന് വേഗത്തിൽ സ്ഥിരീകരിക്കാൻ ഒരു വ്യക്തിക്ക് വളരെ എളുപ്പമാക്കുന്നതിനൊപ്പം തിരയൽ ഏജന്റുകൾക്ക് അവലോകനം ചെയ്യേണ്ട ടോക്കണുകളുടെ എണ്ണം നാടകീയമായി കുറയ്ക്കാനും അവയ്ക്ക് സാധിക്കും.

ഓരോ തെളിവ് ഗ്രൂപ്പും വീണ്ടെടുക്കണം, എന്നാൽ ഒരു ഗ്രൂപ്പിന്റെ ഇതരമാർഗ്ഗങ്ങളിൽ ഏതെങ്കിലും ഒന്ന് അത് വീണ്ടെടുക്കാൻ മതിയാകും. ഈ നീളമുള്ള ഡോക്യുമെന്റുകളിലുടനീളം പലയിടത്തും ഒരേ വസ്തുത പ്രസ്താവിച്ചിരിക്കുന്നത് കാണുന്നത് സാധാരണമാണ്. ഓരോ തെളിവ് ഗ്രൂപ്പിൽ നിന്നും ഒരു വാക്യം മാത്രം വീണ്ടെടുക്കുന്നത് റീഡർ സഫിഷ്യൻസി മാനദണ്ഡങ്ങൾ പാലിക്കുന്നു, അതിനാൽ മികച്ച തെളിവ് തിരിച്ചുവിളിക്കലായി അംഗീകരിക്കപ്പെടും.

ഓരോ ഡോക്യുമെന്റും വാക്യങ്ങളായി ചങ്ക് ചെയ്യപ്പെടുന്നു, കൂടാതെ എല്ലാ മോഡലുകൾക്കും ഒരേ അതിരുകൾ ഉപയോഗിക്കുന്നു. നോൺ-കോൺടെക്സ്ച്വൽ എംബെഡിംഗ് മോഡലുകൾക്കായി രണ്ട് വ്യവസ്ഥകൾ പരീക്ഷിക്കപ്പെടുന്നു: ഓരോ വാക്യവും സ്വതന്ത്രമായി എംബെഡ് ചെയ്യുന്ന ഒന്ന്, മുഴുവൻ ഡോക്യുമെന്റും ഒരു ഒറ്റ ചങ്കായി എംബെഡ് ചെയ്യുന്ന മറ്റൊന്ന്.

ഉത്തരങ്ങൾ തിരിച്ചുവിളിക്കലും തെളിവുകൾ തിരിച്ചുവിളിക്കലും അളക്കാൻ ഞങ്ങൾ വാക്യ തലത്തിലുള്ള അവസ്ഥ ഉപയോഗിക്കുന്നു. ഓരോ വാക്യവും ചുറ്റുമുള്ള ഡോക്യുമെന്റിലേക്ക് പ്രവേശനമില്ലാതെ എംബെഡ് ചെയ്യുമ്പോൾ നോൺ-കോൺടെക്സ്ച്വൽ മോഡലിന് ശരിയായ ഉത്തരവും പിന്തുണയ്ക്കുന്ന തെളിവുകളും തിരിച്ചറിയാൻ കഴിയുമോ എന്ന് ഇത് പരിശോധിക്കുന്നു. ഇത് മനപ്പൂർവ്വം വെല്ലുവിളി നിറഞ്ഞതാണ്. പല ചോദ്യങ്ങളിലും, കോർപ്പസിലെ മറ്റ് സമാനമായ വാക്യങ്ങളിൽ നിന്ന് അതിനെ വേർതിരിച്ചറിയാൻ ആവശ്യമായ വിശദാംശങ്ങൾ ഉത്തര വാക്യത്തിൽ മാത്രം ഉണ്ടാകില്ല.

ഡോക്യുമെന്റ്-ലെവൽ നിലയെ ഞങ്ങൾ ഒരു ഡോക്യുമെന്റ് റിക്കോൾ ബേസ്ലൈനായി ഉപയോഗിക്കുന്നു. ഒരു ഡോക്യുമെന്റിന് ഒരു വെക്ടർ മാത്രം സൂക്ഷിക്കുന്നതിനോടു താരതമ്യത്തിൽ, അധിക സംഭരണച്ചെലവ് ന്യായീകരിക്കാൻ ഫൈൻ-ഗ്രെയിൻഡ് വാക്യ എംബെഡിംഗുകൾ മതിയായ റിട്രീവൽ പ്രയോജനം നൽകുന്നുണ്ടോ എന്ന് ഇത് പരീക്ഷിക്കുന്നു. ഒരു വാക്യ-ലെവൽ ഇൻഡെക്സ് ഡോക്യുമെന്റ്-ലെവൽ ഇൻഡെക്സിനെക്കാൾ വളരെ കൂടുതൽ വെക്ടറുകൾ സൃഷ്ടിക്കുന്നു, അതിനാൽ ആ ചെലവിന് യോഗ്യമാക്കാൻ അത് one-vector-per-document ബേസ്ലൈനിനെക്കാൾ മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കണം.

എല്ലാ വിലയിരുത്തലുകളും 2,458,072 ചങ്കുകൾക്ക് എതിരെയുള്ള സമഗ്രമായ റാങ്കിംഗുകൾ ഉപയോഗിക്കുന്നു. അതിനാൽ മോഡലുകൾ തമ്മിലുള്ള വ്യത്യാസങ്ങൾ പ്രതിനിധാനങ്ങളെയാണ് പ്രതിഫലിപ്പിക്കുന്നത്, ഇൻഡക്സ് കോൺഫിഗറേഷനെയല്ല. ഞങ്ങൾ മൂന്ന് പ്രധാന മെട്രിക്സുകളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു:

Document@K ഇങ്ങനെ നിർവചിക്കപ്പെടുന്നു:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

ഇവിടെ $d^{*}$ എന്നത് $D_q$ -ലെ ഏറ്റവും ഉയർന്ന റാങ്കുള്ള ഡോക്യുമെന്റ് ആണ്.

Answer@K ഇങ്ങനെ നിർവചിക്കപ്പെടുന്നു:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

ഇവിടെ $C_K(q)$ മുഴുവൻ കോർപ്പസിലെയും മികച്ച $K$ ചങ്കുകൾ ആണ്, കൂടാതെ $A_{q}$ എന്നത് സ്വീകരിച്ച ഉത്തര ചങ്കുകളുടെ കൂട്ടമാണ്.

Evidence Recall@K -നുള്ളിൽ താഴെ പറയുന്ന രീതിയിൽ അളക്കപ്പെടുന്നു: -ന്റെ വാക്യങ്ങൾ സാദൃശ്യം അനുസരിച്ച് റാങ്ക് ചെയ്യുക, ഏറ്റവും ഉയർന്ന റാങ്കുള്ള ഉത്തരം വാക്യം നീക്കം ചെയ്യുക, കൂടാതെ ശേഷിക്കുന്ന മികച്ച എന്നത് ആകട്ടെ. തെളിവ് ഗ്രൂപ്പുകൾ -ന് വേണ്ടി, ചില ബദൽ എന്നത് തൃപ്തിപ്പെടുത്തുകയാണെങ്കിൽ ഗ്രൂപ്പ് വീണ്ടെടുക്കപ്പെടും, കൂടാതെ $d^{*}$ $d^{*}$ $R_K(q)$ $K$ $G_q=\{g_1,\ldots,g_m\}$ $g_j$ $E\in g_j$ $E\subseteq R_K(q)$

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K ചോദിക്കുന്നത് സന്ദർഭോചിതമാക്കൽ ശരിയായ ഡോക്യുമെന്റിനെ അതിന്റെ പദാവലി പങ്കിടുന്ന സഹോദരങ്ങളെയും ഡിസ്ട്രാക്ടറുകളെയും മറികടക്കാൻ അനുവദിക്കുന്നുണ്ടോ എന്നാണ്.

Answer@K ചോദിക്കുന്നത് ഉത്തരം വാക്യം തന്നെ മികച്ച ചങ്കുകളിൽ ഉൾപ്പെടുന്നുണ്ടോ എന്നാണ്.

Evidence Recall@K ഏറ്റവും ഉയർന്ന റാങ്കിലുള്ള ഉത്തര ചങ്ക് ഒഴിവാക്കിയതിന് ശേഷം, ശരിയായ ഡോക്യുമെന്റിന്റെ top K ചങ്കുകളിൽ പിന്തുണക്കുന്ന കോൺടെക്സ്റ്റിന്റെ എത്ര ഭാഗം വീണ്ടെടുക്കപ്പെടുന്നു എന്ന് ചോദിക്കുന്നു. ഉത്തരത്തെ നീക്കം ചെയ്യുന്നത് Evidence Recall ഇതിനകം Answer@K അളക്കുന്ന കാര്യം ഇരട്ടയായി എണ്ണുന്നതിൽ നിന്ന് തടയുകയും, പിന്തുണക്കുന്ന കോൺടെക്സ്റ്റിനായി എല്ലാ $K$ സ്ലോട്ടുകളും വിട്ടുകൊടുക്കുകയും ചെയ്യുന്നു. സ്വർണ്ണ ഡോക്യുമെന്റ് top 10 റിട്രീവ് ചെയ്ത ഡോക്യുമെന്റുകൾക്കുള്ളിലായിരിക്കണം എന്ന നിബന്ധന, അത് മുന്നോട്ടുവയ്ക്കില്ലായിരുന്ന ഒരു ഡോക്യുമെന്റിന് ഒരു മാതൃകക്കും evidence ക്രെഡിറ്റ് ലഭിക്കാതിരിക്കാൻ ഉറപ്പാക്കുന്നു. എല്ലാ ഗ്രൂപ്പുകളും വീണ്ടെടുത്തിരിക്കുന്ന ക്വറികളുടെ വിഹിതമായ All-Evidence@Kഉം ഞങ്ങൾ റിപ്പോർട്ട് ചെയ്യുന്നു.

കൂട്ടായി, ഈ മെട്രിക്സ് കോൺടെക്സ്ച്വൽ-എംബെഡിംഗ് മോഡലുകൾ നേരിടുന്ന വെല്ലുവിളികളെ വിശകലനം ചെയ്യുന്നു: ശരിയായ ഡോക്യുമെന്റ് കണ്ടെത്തുക, ശരിയായ ഉത്തരം കണ്ടെത്തുക, ഉത്തരം ശരിയാണെന്ന് കാണിക്കുന്ന ഏറ്റവും കുറഞ്ഞ സന്ദർഭം വീണ്ടെടുക്കുക.

ചിത്രം 3 പ്രോപ്പർട്ടി മാനേജ്‌മെന്റ് ഉദാഹരണം ഉപയോഗിച്ച് മെട്രിക്സ് ചിത്രീകരിക്കുന്നു.

Context-bench ഡോക്യുമെന്റ്, ഉത്തരം, തെളിവ് വീണ്ടെടുക്കൽ എന്നിവ എങ്ങനെ സ്കോർ ചെയ്യപ്പെടുന്നു — ചിത്രം 3: ഒരു പാട്ട ചോദ്യം ഉപയോഗിച്ച് ചിത്രീകരിച്ച Context-bench മെട്രിക്സ്. Document@K ശരിയായ ഡോക്യുമെന്റിന്റെ വീണ്ടെടുക്കൽ പരിശോധിക്കുന്നു; Answer@K അതിന്റെ ഉത്തരം ചങ്കിന്റെ വീണ്ടെടുക്കൽ പരിശോധിക്കുന്നു; Evidence Recall@K ലക്ഷ്യ ഡോക്യുമെന്റിനുള്ളിലെ പിന്തുണയ്ക്കുന്ന തെളിവ് ഗ്രൂപ്പുകളുടെ വീണ്ടെടുക്കൽ അളക്കുന്നു. ഈ ഉദാഹരണത്തിൽ, വാടക പരിശോധിക്കുന്നതിന് വിലാസവും പാട്ട വർഷത്തെക്കുറിച്ചുള്ള തെളിവുകളും ആവശ്യമാണ്. തെളിവ് തിരിച്ചുവിളിക്കൽ ഏറ്റവും ഉയർന്ന ഉത്തരം ചങ്കിനെ ഒഴിവാക്കുകയും ലക്ഷ്യ ഡോക്യുമെന്റിന് മികച്ച 10-ൽ റാങ്ക് ആവശ്യപ്പെടുകയും ചെയ്യുന്നു.

കോൺടെക്സ്ച്വൽ, നോൺ-കോൺടെക്സ്ച്വൽ എംബെഡിംഗ് മോഡലുകൾക്കെതിരെ ഞങ്ങൾ ഞങ്ങളുടെ മോഡൽ നാല് തലങ്ങളിൽ വിലയിരുത്തുന്നു.

ഞങ്ങളുടെ കോൺടെക്സ്ച്വൽ ബെഞ്ച്മാർക്കുകൾ pplx-embed-context-v1-4B, voyage-context-4 എന്നിവയാണ്. ഞങ്ങളുടെ നോൺ-കോൺടെക്സ്ച്വൽ ബെഞ്ച്മാർക്കുകൾ voyage-4-large, NVIDIA-യുടെ Nemotron-3-Embed-8B-BF16 എന്നിവയാണ്, അവ ചങ്കുകളെ സ്വതന്ത്രമായി എൻകോഡ് ചെയ്യുന്നു. ഓരോ ചിത്രത്തിലും സൂചിപ്പിച്ചിരിക്കുന്നതുപോലെ, ബെഞ്ച്മാർക്ക് സെറ്റ് പരീക്ഷണത്തിനനുസരിച്ച് വ്യത്യാസപ്പെടുന്നു.

ഈ പ്രവർത്തനത്തിന് പ്രചോദനം നൽകുന്ന കഴിവുകൾ നേരിട്ട് പരിശോധിക്കുന്ന context-bench ഉപയോഗിച്ച് ഞങ്ങൾ ആരംഭിക്കുന്നു, തുടർന്ന് കോൺടെക്സ്ച്വൽ എംബെഡിംഗുകൾക്കായുള്ള സ്റ്റാൻഡേർഡ് പബ്ലിക് ബെഞ്ച്മാർക്കായ ConTEB-ലെ ഫലങ്ങൾ റിപ്പോർട്ട് ചെയ്യുന്നു. ഈ നേട്ടങ്ങൾ പൊതുവായ വീണ്ടെടുക്കൽ ഗുണനിലവാരത്തിന്റെ ചെലവിലാണ് വരുന്നില്ലെന്ന് പരിശോധിക്കാൻ, പൊതുവായ ഡാറ്റാസെറ്റുകളിൽ നിന്ന് ഞങ്ങൾ നിർമ്മിച്ച ഡൊമെയിൻ നിർദ്ദിഷ്ട ഡോക്യുമെന്റ്, ചങ്ക് വീണ്ടെടുക്കൽ ബെഞ്ച്മാർക്കുകളും ഞങ്ങൾ വിലയിരുത്തുന്നു. അവസാനമായി, വിന്യാസത്തിനായുള്ള രണ്ട് പ്രായോഗിക ഗുണവിശേഷങ്ങൾ ഞങ്ങൾ പരിശോധിക്കുന്നു: വെക്ടറിന് ശേഷമുള്ള സംഭരണ ചെലവുകൾക്കെതിരെയുള്ള വീണ്ടെടുക്കൽ ഗുണനിലവാരം, കൂടാതെ ഇൻഡക്സിംഗ് സമയത്ത് ഉപയോഗിക്കുന്ന ചങ്ക് വേഷത്തോടുള്ള സംവേദനക്ഷമത. എല്ലാ വിലയിരുത്തലുകളും ഒ ഒറ്റ പാസിൽ 32,768 ടോക്കണുകൾ വരെയുള്ള ഡോക്യുമെന്റുകൾ എൻകോഡ് ചെയ്യുന്നു.

ആമുഖത്തിലെ ചിത്രം 1-ൽ കാണിച്ചിരിക്കുന്നതുപോലെ, ഞങ്ങളുടെ പ്രിവ്യൂ റിപ്പോർട്ട് ചെയ്ത എല്ലാ കട്ട്ഓഫിലും Answer@K, Evidence Recall@K എന്നിവയിലും കൂടാതെ All-Evidence@10-ലും മുന്നിലാണ്. K = 10-ൽ, ഇത് 45.5% ഉത്തരം തിരിച്ചുവിളിക്കലും, 40.6% തെളിവ് തിരിച്ചുവിളിക്കലും, 31.1% എല്ലാ തെളിവുകളും തിരിച്ചുവിളിക്കലും കൈവരിക്കുന്നു. Document@1, Document@10 എന്നിവയിലും ഇത് മുന്നിലാണ്, യഥാർത്ഥത്തിൽ 15.2%, 61.6% എന്നിവയിലെത്തുന്നു. K = 10-ൽ, ഞങ്ങളുടെ പ്രിവ്യൂ ഉത്തരം തിരിച്ചുവിളിക്കലിൽ voyage-context-4-നേക്കാൾ 14.4 ശതമാനം പോയിന്റുകളും തെളിവ് തിരിച്ചുവിളിക്കലിൽ 5.0 പോയിന്റുകളും കവിയുന്നു.

ഞങ്ങളുടെ പ്രിവ്യൂ മോഡൽ Figure 4-ൽ ConTEB-ൽ കാണിച്ചിരിക്കുന്ന മോഡലുകളിൽ ഏറ്റവും ഉയർന്ന ശരാശരി nDCG@10 നേടുന്നു. എന്നാൽ അത് എല്ലാ ടാസ്കുകളിലും മുന്നിൽ നിൽക്കുന്നില്ല: NarrativeQA-യിൽ pplx-context-v1-4B കൂടുതലായി സ്കോർ ചെയ്യുന്നു, അതേസമയം COVID-QA-യിൽ Nemotron-3-8B ഏറ്റവും ഉയർന്ന സ്കോർ നേടുന്നു. ConTEB പേപ്പറിൽ പ്രധാന രചയിതാക്കൾ തന്നെ ചൂണ്ടിക്കാട്ടിയതുപോലെ, COVID-QAയിൽ കൂടുതലും വളരെ extractive ആയ query-chunk pairings ആണ് ഉൾപ്പെടുന്നത്, കൂടാതെ സാങ്കേതിക മെഡിക്കൽ പദങ്ങളിലെ ലളിതമായ surface lexical matching ഉപയോഗിച്ച് അവ നിറവേറ്റാൻ കഴിയും. അതിനാൽ, ഈ ടാസ്കിൽ കോൺടെക്സ്റ്റ് മനസ്സിലാക്കൽ കുറച്ച് മാത്രം പ്രയോജനപ്പെടുന്നു, non-contextual മോഡലുകൾ സാധാരണയായി contextual മോഡലുകളെ മറികടക്കുന്നു.

ConTEB-ൽ 10-ൽ ടാസ്ക് ലെവൽ nDCG — ചിത്രം 4: ചോദ്യം-മുതൽ-ചങ്ക് ക്രമീകരണത്തിൽ ConTEB-ലെ ടാസ്ക് ലെവൽ nDCG@10. എട്ട് ടാസ്കുകളിലുടനീളമുള്ള ഭാരമില്ലാത്ത ശരാശരിയാണ് ശരാശരി.

കോൺടെക്സ്ച്വൽ എംബെഡിംഗുകൾക്കായി രൂപകൽപ്പന ചെയ്ത ബെഞ്ച്മാർക്കുകൾക്ക് അപ്പുറം, ഞങ്ങൾ ഞങ്ങളുടെ മോഡലിന്റെ ഡൊമെയിൻ നിർദ്ദിഷ്ട പ്രകടനം വിലയിരുത്തുന്നു.

ഞങ്ങളുടെ ചോദ്യം-മുതൽ-ചങ്ക് (Q2C) സ്യൂട്ട് LegalBench, FinanceBench പോലുള്ള MTEB ടാസ്കുകൾക്കൊപ്പം പൊതു ഡാറ്റാസെറ്റുകളിൽ നിന്ന് ഞങ്ങൾ ക്യൂറേറ്റ് ചെയ്ത അധിക വീണ്ടെടുക്കൽ ടാസ്കുകളും ഉപയോഗിക്കുന്നു. ഓരോ പ്രസക്തമായ ഡോക്യുമെന്റിനുള്ളിലും, ടാസ്ക് ഒരെണ്ണം നൽകുമ്പോൾ കൃത്യമായ ഉത്തരം സ്പാൻ അടങ്ങിയിട്ടുണ്ടെങ്കിൽ ഒരു ചങ്ക് പ്രസക്തമായി ലേബൽ ചെയ്യപ്പെടുന്നു, അല്ലെങ്കിൽ ചോദ്യത്തോടുള്ള അതിന്റെ പ്രസക്തി വിലയിരുത്തുന്ന ഒരു LLM വഴിയും. ചോദ്യം-മുതൽ-ഡോക്യുമെന്റ് (Q2D) സ്യൂട്ട് അതേ ടാസ്കുകൾ ഉപയോഗിക്കുകയും പ്രസക്തമായ ഡോക്യുമെന്റ് വീണ്ടെടുക്കപ്പെടുന്നുണ്ടോ എന്ന് സ്കോർ ചെയ്യുകയും ചെയ്യുന്നു.

ചിത്രം 5-ൽ ചങ്ക് വീണ്ടെടുക്കലിൽ ഞങ്ങളുടെ മോഡൽ ഏറ്റവും ഉയർന്ന ശരാശരി സ്കോർ കൈവരിക്കുന്നു കൂടാതെ നിയമപരമായ, സാങ്കേതിക, ആരോഗ്യ ഡൊമെയിനുകളിൽ മുന്നിലാണ്. ഇത് എല്ലാ ഡൊമെയിനിലും മുന്നിലല്ല: ഫിനാൻസിലും ബഹുഭാഷാ വീണ്ടെടുക്കലിലും voyage-context-4 ഉയർന്ന സ്കോർ നേടുന്നു, കൂടാതെ സംഭാഷണ വീണ്ടെടുക്കലിൽ Nemotron-3-8B ആണ് ഏറ്റവും ഉയർന്ന സ്കോർ നേടുന്നത്. ചിത്രം 6-ലെ ഡോക്യുമെന്റ് വീണ്ടെടുക്കലിൽ, ഞങ്ങളുടെ മോഡൽ ശരാശരി voyage-context-4-നേക്കാൾ അല്പം താഴെയാണ് സ്കോർ ചെയ്യുന്നത്, അതേസമയം സാങ്കേതിക ഡൊമെയിനിൽ മുന്നിലാണ്. pplx-context-v1-4B ബെഞ്ച്മാർക്ക് രണ്ട് സ്യൂട്ടുകളിലും ശരാശരി കുറഞ്ഞ സ്കോർ നേടുന്നു, ഇത് ConTEB പരിശീലന സെറ്റിൽ മാത്രം പരിശീലിപ്പിക്കപ്പെട്ടതുമായി പൊരുത്തപ്പെടുന്നു, ഒരു ബെഞ്ച്മാർക്കിന്റെ ഗോൾഡ് ചങ്കുകളുമായി ബന്ധിപ്പിച്ചിരിക്കുന്ന സൂപ്പർവിഷൻ മറ്റ് ഡൊമെയിനുകളിലേക്ക് മോശമായി കൈമാറ്റം ചെയ്യപ്പെടുന്നുവെന്ന് കാണിക്കുന്നു.

ഡൊമെയിൻ അനുസരിച്ച് ചോദ്യം-മുതൽ-ചങ്ക് വീണ്ടെടുക്കൽ സ്കോറുകൾ — ചിത്രം 5: ചോദ്യം-മുതൽ-ചങ്ക് (Q2C) ടാസ്കുകളിലെ ശരാശരി nDCG@10, ഡൊമെയിൻ അനുസരിച്ച് ഗ്രൂപ്പ് ചെയ്തിരിക്കുന്നു. ഡൊമെയിൻ ബാറുകൾ ആ ഡൊമെയിനിലെ ടാസ്ക് ലെവൽ സ്കോറുകളുടെ ഭാരമില്ലാത്ത ശരാശരിയാണ്; മൊത്തത്തിലുള്ള ശരാശരി പ്രദർശിപ്പിച്ച എല്ലാ ടാസ്കുകളിലുടനീളമുള്ള ഭാരമില്ലാത്ത ശരാശരിയാണ്.

ഡൊമെയിൻ അനുസരിച്ച് ചോദ്യം-മുതൽ-ഡോക്യുമെന്റ് വീണ്ടെടുക്കൽ സ്കോറുകൾ — ചിത്രം 6: ചോദ്യം-മുതൽ-ഡോക്യുമെന്റ് (Q2D) ടാസ്കുകളിലെ ശരാശരി വീണ്ടെടുക്കൽ സ്കോർ, ഡൊമെയിൻ അനുസരിച്ച് ഗ്രൂപ്പ് ചെയ്തിരിക്കുന്നു. ഒരു ഡൊമെയിനിലെ ഓരോ ബാറും അതിന്റെ ടാസ്ക് ലെവൽ പ്രധാന സ്കോറുകളുടെ ഭാരമില്ലാത്ത ശരാശരിയാണ്; മൊത്തത്തിലുള്ള ശരാശരി പ്രദർശിപ്പിച്ച എല്ലാ ടാസ്കുകളിലുടനീളമുള്ള ഭാരമില്ലാത്ത ശരാശരിയാണ്.

ഒരു കോൺടെക്സ്ച്വൽ എംബെഡിംഗ് മോഡൽ ഓരോ ചങ്കിനും ഒരു വെക്ടർ നിർമ്മിക്കുന്നു, അതിനാൽ ഞങ്ങളുടെ മോഡൽ ഉപയോഗിച്ച് നിർമ്മിച്ച ഒരു ഇൻഡക്സിൽ അതേ ചങ്കിംഗ് തന്ത്രമുള്ള പരമ്പരാഗത ചങ്ക്-ലെവൽ ഇൻഡക്സിലെ അതേത്ര വെക്ടറുകൾ കൃത്യമായി അടങ്ങിയിരിക്കുന്നു. സന്ദർഭോചിതമാക്കൽ ഓരോ വെക്ടറും എന്താണ് എൻകോഡ് ചെയ്യുന്നത് എന്ന് മാറ്റുന്നു, എത്ര വെക്ടറുകൾ സംഭരിക്കപ്പെടുന്നു എന്നതിനെയല്ല. അതിനാൽ സംഭരണ കാൽപ്പാട് ഓരോ വെക്ടറിന്റെയും വലുപ്പത്താൽ നിയന്ത്രിക്കപ്പെടുന്നു. ഇത് കുറയ്ക്കുന്നതിന് മോഡൽ രണ്ട് വഴികൾ വാഗ്ദാനം ചെയ്യുന്നു: എംബെഡിംഗ് 2048-ൽ നിന്ന് 1024 ഡയമൻഷനുകളായി ചുരുക്കുക, int8 ആയി ക്വാണ്ടൈസ് ചെയ്യുക.

ചിത്രം 7 വീണ്ടെടുക്കൽ ഗുണനിലവാരവും വെക്ടർ സംഭരണവും തമ്മിലുള്ള അനുകൂലമായ ട്രേഡ്-ഓഫ് കാണിക്കുന്നു. 1024 ഡയമൻഷനുകളിൽ, ഞങ്ങളുടെ int8 എംബെഡിംഗുകൾ വെക്ടറിന് 1 KB ഉപയോഗിക്കുന്നു, അതേസമയം 2048 ഡയമൻഷനുകളിൽ float32-ൽ ഉള്ള voyage-context-4-ന്റെ ചങ്ക്-വീണ്ടെടുക്കൽ സ്കോറിനെ ചെറുതായി കവിയുന്നു, ഇത് വെക്ടറിന് 8 KB ഉപയോഗിക്കുന്നു. ഞങ്ങളുടെ എംബെഡിംഗ് വലുപ്പം 2048 ഡയമൻഷനുകളായി വർദ്ധിപ്പിക്കുന്നത് വെക്ടറിന് 2 KB എന്ന നിരക്കിൽ വീണ്ടെടുക്കൽ ഗുണനിലവാരം കൂടുതൽ ഉയർത്തുന്നു. ഈ സംഭരണ കണക്കുകൾ ഇൻഡക്സിന്റെ ബാക്കി ഭാഗത്തെയല്ല, വെക്ടറുകളെ മാത്രം സൂചിപ്പിക്കുന്നു.

ഒരു വെക്ടറിനുള്ള സംഭരണത്തോടു താരതമ്യത്തിൽ ചങ്ക് റിട്രീവൽ ഗുണമേൻമ — ചിത്രം 7: ചങ്ക് വീണ്ടെടുക്കൽ ഗുണനിലവാരം (ശരാശരി nDCG@10) വെക്ടർ പ്രതി സംഭരണത്തിന്റെ ഒരു ഫംഗ്ഷനായി. സോളിഡ് ലൈനുകൾ float32-നെയും ഡാഷ്ഡ് ലൈനുകൾ int8-നെയും സൂചിപ്പിക്കുന്നു; ലേബലുകൾ എംബെഡിംഗ് ഡയമൻഷൻ നൽകുന്നു.

ചങ്ക് വലിപ്പം 64-ൽ നിന്ന് 512 ടോക്കണുകളായി വർദ്ധിക്കുമ്പോൾ വീണ്ടെടുക്കൽ ഗുണനിലവാരത്തിൽ മിതമായ മാറ്റം മാത്രമേ ചിത്രം 8 കാണിക്കുന്നുള്ളൂ: ശരാശരി സ്കോർ 81.0%-ൽ നിന്ന് 79.9 ആയി കുറയുന്നു, 1.1 ശതമാനം പോയിന്റിന്റെ കുറവ്. പരീക്ഷിച്ച ചങ്ക് വലിപ്പങ്ങളിലുടനീളം മോഡൽ ഫലപ്രദമായി തുടരുന്നുവെന്ന് ഇത് നിർദ്ദേശിക്കുന്നു, ഡോക്യുമെന്റുകൾ എങ്ങനെ വിഭജിക്കണം എന്നതിൽ ഇൻഡക്സിംഗ് പൈപ്പലൈനുകൾക്ക് വഴക്കം നൽകുന്നു.

ചങ്ക്-വലിപ്പ സംവേദനക്ഷമത: 64 മുതൽ 512 വരെ ടോക്കണുകളുള്ള ചങ്കുകൾക്കുള്ള വീണ്ടെടുക്കൽ സ്കോറുകൾ — ചിത്രം 8: ഞങ്ങളുടെ മോഡലിന്റെ ചങ്ക്-വലിപ്പ സംവേദനക്ഷമത. ഓരോ പോയിന്റും 74 MTEB ടാസ്കുകളിലുടനീളമുള്ള ഭാരമില്ലാത്ത ശരാശരി nDCG@10 ആണ്, നൽകിയിരിക്കുന്ന ചങ്ക് വലിപ്പത്തിൽ ഡോക്യുമെന്റുകൾ ഇൻഡക്സ് ചെയ്തിരിക്കുന്നു.

context-bench-ന്റെ പൂർ L corpus, queries, labels എന്നിവ turbopuffer സ്വകാര്യമായി സൂക്ഷിക്കുകയും സമർപ്പിച്ച മോഡലുകൾക്കായുള്ള ഫലങ്ങൾ റിപ്പോർട്ട് ചെയ്യുകയും ചെയ്യുന്നു. ഇത്തരത്തിലുള്ള ഒരു പൊതു ബെഞ്ച്മാർക്ക് അതിന്റെ ചോദ്യങ്ങളിലും ഡോക്യുമെന്റുകളിലും നേരിട്ടുള്ള പരിശീലനത്തെ ക്ഷണിച്ചുവരുത്തുന്നു, ഇത് ക്രമേണ അതിനെ സാച്ചുറേറ്റ് ചെയ്യുകയും കാലക്രമേണ പുരോഗതി ട്രാക്കുചെയ്യുന്നതിനുള്ള അതിന്റെ മൂല്യത്തെ ഇല്ലാതാക്കുകയും ചെയ്യും. ബെഞ്ച്മാർക്കിൽ നിങ്ങളുടെ മോഡൽ വിലയിരുത്താൻ നിങ്ങൾ ആഗ്രഹിക്കുന്നുവെങ്കിൽ, ദയവായി contextbench@turbopuffer.com എന്ന വിലാസത്തിൽ turbopuffer-മായി ബന്ധപ്പെടുക.

ഞങ്ങളുടെ മോഡലിന്റെ ഒരു പ്രിവ്യൂ Hugging Face-ൽ ലഭ്യമാണ്, കൂടാതെ ഈ പോസ്റ്റിലെ എല്ലാ ഫലങ്ങളും ഈ പ്രിവ്യൂവിനായി റിപ്പോർട്ട് ചെയ്യപ്പെടുന്നു. Perplexity API വഴി മോഡൽ ലഭ്യമാക്കുന്നതിനും, turbopuffer-നൊപ്പം ദീർഘമായ ഡോക്യുമെന്റുകളിലൂടെയുള്ള വീണ്ടെടുക്കൽ കൂടുതൽ മെച്ചപ്പെടുത്തുന്നതിനും ഞങ്ങൾ പ്രവർത്തിക്കുന്നു.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

ആമുഖം

എന്തുകൊണ്ടാണ് വീണ്ടെടുക്കലിന് സന്ദർഭം പ്രധാനം

ഗോൾഡ്-ചങ്ക് സൂപ്പർവിഷന്റെ പരിമിതികൾ

സന്ദർഭോചിത പഠനത്തിനായുള്ള ഒരു നവീന സമീപനം

നഷ്ട പ്രവർത്തനം

ഡോക്യുമെന്റ്-തല കോൺട്രാസ്റ്റീവ് നഷ്ടം

ചങ്ക്-തല ഡിസ്റ്റിലേഷൻ നഷ്ടം

സംയോജിത നഷ്ടം

പരിശീലന ഡാറ്റ

ട്രെയിനിംഗ് സജ്ജീകരണം

ചങ്ക് ലെവൽ വീണ്ടെടുക്കലിനായുള്ള ഒരു പുതിയ ബെഞ്ച്മാർക്ക്

ഡോക്യുമെന്റുകളും ചോദ്യങ്ങളും

ഉത്തരവും തെളിവ് ലേബലുകളും

മെട്രിക്സ്

വിലയിരുത്തൽ ഫലങ്ങൾ

Context-bench

ConTEB

ഡൊമെയിനുകളിലുടനീളമുള്ള പൊതുവായ വീണ്ടെടുക്കൽ ഗുണനിലവാരം

വീണ്ടെടുക്കൽ ഗുണനിലവാരവും സംഭരണ ചെലവുകളും

ചങ്ക് വലിപ്പ സംവേദനക്ഷമത

റിലീസ്

ഉദ്ധരണി