pplx-embed: വെബ്-സ്കെയിൽ റിട്രീവലിനായുള്ള അത്യാധുനിക എംബഡിംഗ് മോഡലുകൾ
റിയൽ-വേൾഡ്, വെബ്-സ്കെയിൽ റിട്രീവലിനായി നിർമ്മിച്ച രണ്ട് അത്യാധുനിക ടെക്സ്റ്റ് എംബഡിംഗ് മോഡലുകളായ pplx-embed-v1, pplx-embed-context-v1 എന്നിവ ഞങ്ങൾ ഇന്ന് പുറത്തിറക്കുന്നു.
റിയൽ-വേൾഡ്, വെബ്-സ്കെയിൽ റിട്രീവലിനായി നിർമ്മിച്ച രണ്ട് അത്യാധുനിക ടെക്സ്റ്റ് എംബഡിംഗ് മോഡലുകളായ pplx-embed-v1, pplx-embed-context-v1 എന്നിവ ഞങ്ങൾ ഇന്ന് പുറത്തിറക്കുന്നു. pplx-embed-v1 സ്റ്റാൻഡേർഡ് ഡെൻസ് ടെക്സ്റ്റ് റിട്രീവലിനായി ഒപ്റ്റിമൈസ് ചെയ്തിരിക്കുന്നു, അതേസമയം pplx-embed-context-v1 ചുറ്റുമുള്ള ഡോക്യുമെന്റ് തലത്തിലുള്ള സന്ദർഭവുമായി ബന്ധപ്പെടുത്തി പാസേജുകൾ എംബഡ് ചെയ്യുന്നു.
pplx-embed-v1, pplx-embed-context-v1 എന്നീ രണ്ടും 0.6B, 4B പാരാമീറ്റർ സ്കെയിലുകളിൽ ലഭ്യമാണ്. 0.6B മോഡലുകൾ ഭാരം കുറഞ്ഞതും കുറഞ്ഞ ലേറ്റൻസിയുള്ളതുമായ എംബഡിംഗ് ജനറേഷനെ ലക്ഷ്യമിടുന്നു, അതേസമയം 4B മോഡലുകൾ റിട്രീവൽ ഗുണനിലവാരം പരമാവധിയാക്കുന്നു. ഞങ്ങളുടെ വിലയിരുത്തലുകളിൽ, pplx-embed ഫാമിലി MTEB(Multilingual, v2), BERGEN, ToolRet, ConTEB എന്നിവയുൾപ്പെടെയുള്ള വിവിധ പബ്ലിക് ബെഞ്ച്മാർക്കുകളിൽ മുന്നിലാണ്. കൂടാതെ, ഞങ്ങളുടെ ആന്തരിക വെബ്-സ്കെയിൽ ബെഞ്ച്മാർക്കുകളിൽ pplx-embed-v1 മികച്ച ഫലങ്ങൾ നൽകുന്നു: PPLXQuery2Query, PPLXQuery2Doc.
മോഡലുകൾ INT8, ബൈനറി എംബഡിംഗുകൾ നിർമ്മിക്കുന്നു, FP32-നെ അപേക്ഷിച്ച് സംഭരണ ആവശ്യകതകൾ യഥാക്രമം 4x, 32x ആയി കുറയ്ക്കുന്നു. ഈ കോംപാക്ട്നെസ്സ് വെബ്-സ്കെയിൽ എംബഡിംഗ് സംഭരണവും റിട്രീവലും കൂടുതൽ പ്രായോഗികമാക്കുന്നു.
മോഡൽ | ഡൈമെൻഷനുകൾ | കോൺടെക്സ്റ്റ് | MRL | ക്വാണ്ടൈസേഷൻ | നിർദ്ദേശം | പൂളിംഗ് |
pplx-embed-v1-0.6B | 1024 | 32K | അതെ | INT8/BINARY | ഇല്ല | മീൻ |
pplx-embed-v1-4B | 2560 | 32K | അതെ | INT8/BINARY | ഇല്ല | മീൻ |
pplx-embed-context-v1-0.6B | 1024 | 32K | അതെ | INT8/BINARY | ഇല്ല | മീൻ |
pplx-embed-context-v1-4B | 2560 | 32K | അതെ | INT8/BINARY | ഇല്ല | മീൻ |
pplx-embed മോഡൽ അളവുകൾ, കോൺടെക്സ്റ്റ് നീളം, ക്വാണ്ടൈസേഷൻ, പൂളിംഗ് കോൺഫിഗറേഷൻ.
ഞങ്ങളുടെ സാങ്കേതിക റിപ്പോർട്ട്, ഹഗ്ഗിംഗ് ഫെയ്സ് മോഡലുകൾ, API ഡോക്സ് എന്നിവ പരിശോധിക്കുക.
പ്രചോദനം
ഡെൻസ് ടെക്സ്റ്റ് എംബെഡിങ്ങുകൾ ക്വെറികളെയും ഡോക്യുമെന്റുകളെയും പങ്കിട്ടൊരു സെമാന്റിക് സ്പേസിലേക്ക് മാപ്പ് ചെയ്യുന്നു, അതോടെ റിട്രീവൽ ഏകദേശം nearest neighbor search-ിലേക്കാണ് ചുരുങ്ങുന്നത്. Perplexityയുടെ സ്കെയിലിൽ, എംബെഡിങ്ങുകളാണ് ഞങ്ങളുടെ റിട്രീവൽ പൈപ്പ്ലൈനിലെ ആദ്യ ഘട്ടം; ബില്യൺ കണക്കിന് വെബ് പേജുകളിൽ നിന്ന് ഡൗൺസ്ട്രീം റാങ്കറുകളും ലാംഗ്വേജ് മോഡലുകളും പരിഗണിക്കുന്ന ഡോക്യുമെന്റുകൾ ഏതൊക്കെയാണെന്ന് ഇവയാണ് നിർണ്ണയിക്കുന്നത്.
ഇന്നത്തെ മിക്ക മുൻനിര എംബഡിംഗ് മോഡലുകളും കോസൽ അറ്റൻഷൻ മാസ്കിംഗ് ഉള്ള ഡീകോഡർ-മാത്രം LLM-കളിൽ നിർമ്മിച്ചവയാണ്, ഇവിടെ ഓരോ ടോക്കണും മുൻപത്തെ ടോക്കണുകളെ മാത്രമേ ശ്രദ്ധിക്കാൻ കഴിയൂ. റിട്രീവലിനെ സംബന്ധിച്ചിടത്തോളം, ഇതൊരു അടിസ്ഥാനപരമായ പരിമിതിയാണ്: ഒരു പാസേജ് മനസ്സിലാക്കാൻ പലപ്പോഴും ബൈഡയറക്ഷണൽ സന്ദർഭം ആവശ്യമാണ്. ഡിഫ്യൂഷൻ-അധിഷ്ഠിത തുടർച്ചയായ പ്രീട്രെയിനിംഗ് വഴി ഞങ്ങൾ ഇത് പരിഹരിക്കുന്നു, ഇത് ഒരു കോസൽ LLM-നെ ബൈഡയറക്ഷണൽ എൻകോഡറാക്കി മാറ്റുന്നു. പൂർണ്ണ ബൈഡയറക്ഷണൽ അറ്റൻഷൻ എല്ലാ ടോക്കൺ റെപ്രസന്റേഷനുകളിലും മീൻ പൂളിംഗ് സാധ്യമാക്കുകയും സന്ദർഭോചിതമായ എംബഡിംഗുകൾക്കായി ലേറ്റ് ചങ്കിംഗിനെ പിന്തുണയ്ക്കുകയും ചെയ്യുന്നു, ഇവിടെ ഓരോ ചങ്കിന്റെയും എംബഡിംഗ് അത് ദൃശ്യമാകുന്ന പൂർണ്ണ ഡോക്യുമെന്റ് വഴി അറിയിക്കപ്പെടുന്നു.
വെബ് സ്കെയിലിൽ, FP32-ൽ എംബഡിംഗുകൾ സംഭരിക്കുന്നത് വളരെ ചെലവേറിയതാണ്. പോസ്റ്റ്-ഹോക് കംപ്രഷൻ ഘട്ടമായി ക്വാണ്ടൈസേഷൻ പ്രയോഗിക്കുന്നതിന് പകരം, ഞങ്ങളുടെ മോഡലുകൾ നേറ്റീവ് ആയി INT8 എംബഡിംഗുകൾ നിർമ്മിക്കാൻ ക്വാണ്ടൈസേഷൻ-അവെയർ ട്രെയിനിംഗ് ഉപയോഗിക്കുന്നു, പ്രകടനത്തിൽ യാതൊരു വിട്ടവീഴ്ചയുമില്ലാതെ സംഭരണം 4x ആയി കുറയ്ക്കുന്നു. ബൈനറി ക്വാണ്ടൈസേഷൻ സംഭരണം 32x ആയി കുറയ്ക്കുന്നു, ഗുണനിലവാരത്തിൽ കുറഞ്ഞ നഷ്ടം മാത്രം വരുത്തുന്നു, പ്രത്യേകിച്ചും 4B സ്കെയിലിൽ.
പല ആധുനിക എംബഡിംഗ് മോഡലുകൾക്കും എല്ലാ ഇൻപുട്ടിനും മുമ്പ് പ്രീപെൻഡ് ചെയ്ത നിർദ്ദേശ പ്രിഫിക്സുകൾ ആവശ്യമാണ്. ബെഞ്ച്മാർക്കുകളിൽ ഇത് ചെറിയ നേട്ടങ്ങൾ നൽകുമെങ്കിലും, പ്രായോഗികമായി ഇത് ബുദ്ധിമുട്ട് വർദ്ധിപ്പിക്കുന്നു: ഇൻഡെക്സിംഗും ക്വറി സമയവും തമ്മിലുള്ള പൊരുത്തപ്പെടാത്ത നിർദ്ദേശങ്ങൾ റിട്രീവലിനെ നിശബ്ദമായി തകരാറിലാക്കുന്നു, കൂടാതെ ഓരോ ഉപയോഗ കേസിനും ശരിയായ പ്രോംപ്റ്റ് തിരഞ്ഞെടുക്കുന്നത് ശരിയാക്കേണ്ട മറ്റൊരു കാര്യമായി മാറുന്നു. ഞങ്ങളുടെ മോഡലുകൾക്ക് നിർദ്ദേശങ്ങളൊന്നും ആവശ്യമില്ല, സംയോജനം ലളിതമാക്കുന്നു.
പരിശീലനം
pplx-embed-v1, pplx-embed-context-v1 എന്നിവ റിട്രീവലിനായി ടെക്സ്റ്റ് റെപ്രസന്റേഷനുകളെ ക്രമാനുഗതമായി രൂപപ്പെടുത്തുന്ന ഒരു മൾട്ടി-സ്റ്റേജ് പൈപ്പ്ലൈനിലൂടെ പരിശീലിപ്പിക്കപ്പെടുന്നു.
തുടർച്ചയായ ഡിഫ്യൂഷൻ പ്രീട്രെയിനിംഗ്
ഞങ്ങൾ പ്രീട്രെയിൻ ചെയ്ത Qwen3 അടിസ്ഥാന മോഡലുകളിൽ (0.6B, 4B) നിന്ന് ആരംഭിച്ച് കോസൽ അറ്റൻഷൻ മാസ്ക് പ്രവർത്തനരഹിതമാക്കിക്കൊണ്ടും ഡിഫ്യൂഷൻ ഡിനോയിസിങ് ഒബ്ജക്റ്റീവ് ഉപയോഗിച്ച് പരിശീലിപ്പിച്ചുകൊണ്ടും അവയെ കോസൽ ഡീകോഡറുകളിൽ നിന്ന് ബൈഡയറക്ഷണൽ എൻകോഡറുകളാക്കി മാറ്റുന്നു. ഇടത്തുനിന്ന് വലത്തോട്ട് ടോക്കണുകൾ പ്രവചിക്കുന്ന ഓട്ടോറിഗ്രസീവ് മോഡലുകളിൽ നിന്ന് വ്യത്യസ്തമായി, ഓരോ മാസ്ക് ചെയ്ത സ്ഥാനത്തിന് ചുറ്റുമുള്ള പൂർണ്ണ ബൈഡയറക്ഷണൽ സന്ദർഭം ഉപയോഗിച്ച് യാദൃശ്ചികമായി മാസ്ക് ചെയ്ത ടോക്കണുകൾ പുനർനിർമ്മിക്കാൻ ഡിഫ്യൂഷൻ ട്രെയിനിങ് മോഡലിനെ നിർബന്ധിക്കുന്നു. ഇതിനർത്ഥം കോൺട്രാസ്റ്റീവ് ഫൈൻ-ട്യൂണിംഗ് ആരംഭിക്കുമ്പോഴേക്കും റെപ്രസന്റേഷനുകൾ ഇതിനകം തന്നെ ബൈഡയറക്ഷണൽ സെമാന്റിക്സ് എൻകോഡ് ചെയ്യുന്നുണ്ടെന്നാണ്, ഇത് ഒരു കോസൽ പ്രാരംഭ ബിന്ദിയേക്കാൾ ശക്തമായ ഒരു അടിത്തറ റിട്രീവലിനായി നൽകുന്നു. 30 ഭാഷകളിലായി വ്യാപിച്ചുകിടക്കുന്ന ഏകദേശം 250 ബില്യൺ ടോക്കൺ മൾട്ടിളിങ്വൽ ടെക്സ്റ്റിൽ ഞങ്ങൾ പ്രീട്രെയിൻ ചെയ്യുന്നു. അബ്ലേഷനുകളിൽ, ഡിഫ്യൂഷൻ-പ്രീട്രെയിൻ ചെയ്ത ബാക്ക്ബോണുകൾ അവയുടെ കോസൽ എതിരാളികളേക്കാൾ ഗണ്യമായി കുറഞ്ഞ കോൺട്രാസ്റ്റീവ് ട്രെയിനിംഗ് ലോസ് കൈവരിക്കുന്നു, ഇത് റിട്രീവൽ ടാസ്കുകളിൽ ഏകദേശം 1 ശതമാനം പോയിന്റ് മെച്ചപ്പെടുത്തലിലേക്ക് വിവർത്തനം ചെയ്യുന്നു.
കോൺട്രാസ്റ്റീവ് ട്രെയിനിംഗ്
പ്രീട്രെയിനിംഗിനെ തുടർന്ന്, ഞങ്ങൾ കോൺട്രാസ്റ്റീവ് ലേണിംഗിന്റെ മൂന്ന് ഘട്ടങ്ങൾ നിർവഹിക്കുന്നു. പെയർ ട്രെയിനിംഗ് ഇൻ-ബാച്ച് നെഗറ്റീവുകളുള്ള ഒരു InfoNCE ലോസ് ഉപയോഗിച്ച് ക്വറികളും ഡോക്യുമെന്റുകളും തമ്മിലുള്ള അടിസ്ഥാന സെമാന്റിക് അലൈൻമെന്റ് സ്ഥാപിക്കുന്നു. വലിയ ബാച്ച് വലുപ്പങ്ങൾ ഉള്ളപ്പോൾ, ചില ഇൻ-ബാച്ച് നെഗറ്റീവുകൾ യഥാർത്ഥത്തിൽ പോസിറ്റീവിന്റെ അടുത്ത ഡ്യൂപ്ലിക്കേറ്റുകളാണ്, അതിനാൽ ഈ തെറ്റായ നെഗറ്റീവുകൾ ട്രെയിനിങ് സിഗ്നലിനെ നശിപ്പിക്കുന്നത് തടയാൻ ഞങ്ങൾ ഒരു സിമിലാരിറ്റി-അധിഷ്ഠിത മാസ്ക് പ്രയോഗിക്കുന്നു. ട്രെയിനിംഗ് ഘട്ടങ്ങളായി മുന്നോട്ട് പോകുന്നു—ഇംഗ്ലീഷ് മാത്രം, തുടർന്ന് ക്രോസ്-ലിങ്വൽ, തുടർന്ന് പൂർണ്ണമായി മൾട്ടിളിങ്വൽ—എല്ലാം ഒറ്റയടിക്ക് എന്നതിന് പകരം ക്രമേണ ശേഷി വളർത്തിയെടുക്കുന്നു. കോൺടെക്സ്ചുവൽ ട്രെയിനിംഗ് തുടർന്ന് ചങ്ക് തലത്തിലുള്ള സെമാന്റിക്സ് ഡോക്യുമെന്റ് തലത്തിലുള്ള സന്ദർഭവുമായി ബന്ധപ്പെടുത്തി മോഡലിനെ പഠിപ്പിക്കുന്നു, ഇത് ചങ്ക്, ഡോക്യുമെന്റ് ലെവലുകളിൽ ഇൻ-സീക്വൻസ്, ഇൻ-ബാച്ച് കോൺട്രാസ്റ്റ് എന്നിവ സംയോജിപ്പിക്കുന്ന ഒരു ഡ്യുവൽ ലോസ് ഉപയോഗിക്കുന്നു—ഈ ഘട്ടം pplx-embed-context-v1 നിർമ്മിക്കുന്നു. അവസാനമായി, മൈൻഡ് ചെയ്ത ഹാർഡ് നെഗറ്റീവുകളോടുകൂടിയ ട്രിപ്ലെറ്റ് ട്രെയിനിംഗ് സമാനമായ എന്നാൽ പ്രസക്തമല്ലാത്ത ഡോക്യുമെന്റുകൾ തമ്മിലുള്ള അതിരുകൾ പരിഷ്കരിക്കുന്നു. സ്പെറിക്കൽ ലീനിയർ ഇന്റർപോളേഷൻ (SLERP) വഴി കോൺടെക്സ്ചുവൽ, ട്രിപ്ലെറ്റ് ചെക്ക്പോയിന്റുകൾ മർജ് ചെയ്തുകൊണ്ടാണ് അവസാനത്തെ pplx-embed-v1 ലഭിക്കുന്നത്.
നേറ്റീവ് ക്വാണ്ടൈസേഷൻ
എല്ലാ കോൺട്രാസ്റ്റീവ് ഘട്ടങ്ങളിലും, പരിശീലനത്തിലും ഇൻഫറൻസിലും എംബെഡിങ്ങുകൾ INT8-ലേക്ക് ക്വാണ്ടൈസ് ചെയ്യുന്നു. ഞങ്ങൾ tanh അധിഷ്ഠിതമായ mean pooling പ്രവർത്തനം പ്രയോഗിച്ച് അതിനു പിന്നാലെ റൗണ്ടിംഗ് നടത്തുന്നു, കൂടാതെ വ്യുത്പന്നമാക്കാനാകാത്ത ക്വാണ്ടൈസേഷൻ ഘട്ടത്തിലൂടെ backpropagate ചെയ്യാൻ straight-through gradient estimation ഉപയോഗിക്കുന്നു. ഇതിലൂടെ മോഡൽ തുടക്കത്തിൽ തന്നെ കുറവ് പ്രിസിഷനായി ഓപ്റ്റിമൈസ് ചെയ്ത പ്രതിനിധാനങ്ങൾ പഠിക്കുന്നതായി ഉറപ്പുവരുത്തുന്നു; അതിന് ശേഷം നടക്കുന്ന compression മൂലമുള്ള ഗുണനിലവാരക്കുറവ് അനുഭവിക്കേണ്ടിവരില്ല. ബൈനറി ക്വാണ്ടൈസേഷനിൽ, 4B മോഡലുകൾ 0.6B-നെക്കാൾ ശ്രദ്ധേയമായി കൂടുതൽ robust ആണ്: അവരുടെ വലിയ embedding dimension (2560 vs. 1024) binarization ശേഷം കൂടുതൽ വിവരങ്ങൾ നിലനിർത്തുന്നു, ഇതുവഴി smaller scale-ൽ 2–4 points-നോട് താരതമ്യം ചെയ്യുമ്പോൾ performance drop 1.6 percentage points-നു താഴെയാക്കുന്നു.
পাবলিক ബെഞ്ച്മാർക്കുകൾ
MTEB(Multilingual, v2) റിട്രീവൽ ബെഞ്ച്മാർക്കിൽ, pplx-embed-v1-4B(INT8) ശരാശരി nDCG@10 69.66% നേടുന്നു, Qwen3-Embedding-4B (69.60%)-നെ സമനിലയിൽ എത്തിക്കുകയും gemini-embedding-001 (67.71%)-നെ മറികടക്കുകയും ചെയ്യുന്നു, അതേസമയം ഓരോ എംബെഡിങ്ങിനും ഗണ്യമായി കുറവ് സ്റ്റോറേജ് മാത്രമേ ആവശ്യപ്പെടൂ. നമ്മുടെ 0.6B മോഡൽ അതേ parameter scale-ൽ അതിന്റെ Qwen3 സമകക്ഷിയെക്കാൾ മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കുന്നു.
ConTEB ബെഞ്ച്മാർക്കിലെ കോൺടെക്സ്ചുവൽ റിട്രീവൽ പ്രകടനം. ഇടത്: സന്ദർഭ വൽക്കരിച്ച മോഡലുകൾ. വലത്: സന്ദർഭ വൽക്കരിക്കാത്ത മോഡലുകൾ. pplx-embed-context-v1-4B (INT8) 81.96 എന്ന ഏറ്റവും ഉയർന്ന സ്കോർ കൈവരിക്കുന്നു, തൊട്ടുപിന്നാലെ voyage-context-3 (79.45), pplx-embed-context-v1-0.6B (INT8) (76.53) എന്നിവ വരുന്നു.
കോൺടെക്സ്ചുവൽ റിട്രീവലിനായി, pplx-embed-context-v1-4B 81.96% ശരാശരി nDCG@10 ഉപയോഗിച്ച് ConTEB ബെഞ്ച്മാർക്കിൽ ഒരു പുതിയ അത്യാധുനിക നിലവാരം സ്ഥാപിക്കുന്നു, ഇത് voyage-context-3 (79.45%), Anthropic Contextual (72.4%) എന്നിവയെ മറികടക്കുന്നു. ഡോക്യുമെന്റ് തലത്തിലുള്ള സെമാന്റിക്സ് ഉൾക്കൊള്ളുന്ന ചങ്ക് തലത്തിലുള്ള റെപ്രസന്റേഷനുകൾ പരിശീലിപ്പിക്കുന്നതിലൂടെ, ചുറ്റുമുള്ള സന്ദർഭത്തെ ആശ്രയിച്ചാണ് അതിന്റെ അർത്ഥം എങ്കിൽപ്പോലും ഞങ്ങളുടെ മോഡലുകൾ ശരിയായ പാസേജ് വീണ്ടെടുക്കുന്നു.
BERGEN ബെഞ്ച്മാർക്ക് ഉപയോഗിച്ച് end-to-end RAG-ലും ഞങ്ങൾ നമ്മുടെ മോഡലുകൾ വിലയിരുത്തുന്നു, അവിടെ retrieved passages ഒരു language model-ിലേക്ക് നൽകി ഉത്തരങ്ങൾ സൃഷ്ടിക്കുന്നു. pplx-embed-v1-4B വിലയിരുത്തിയ അഞ്ചിൽ നാലു question-answering tasks-ലും Qwen3-Embedding-4B-നെ മറികടക്കുന്നു. ശ്രദ്ധേയമായി, pplx-embed-v1-0.6B അഞ്ചിൽ മൂന്നിൽ, വലുതായ Qwen3-Embedding-4B-നെക്കാൾ മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കുന്നു; practical RAG settings-ൽ വളരെ വലിയ parameter scale-ൽ ഉള്ള ഒരു മത്സരിയെ നമ്മുടെ ചെറിയ മോഡൽ സമനിലയിൽ എത്തിക്കുകയോ മറികടക്കുകയോ ചെയ്യാമെന്ന് ഇത് തെളിയിക്കുന്നു. ഈ വിലയിരുത്തലിനെക്കുറിച്ചുള്ള കൂടുതൽ വിവരങ്ങൾക്ക്, ഞങ്ങൾ technical report-നെ കാണിക്കുന്നു.
സ്കെയിലിൽ യഥാർത്ഥ ലോക റിട്രീവൽ
പബ്ലിക് ബെഞ്ച്മാർക്കുകൾ ഉപയോഗപ്രദമാണ്, എന്നാൽ അവ വെബ്-സ്കെയിൽ റിട്രീവൽ വെല്ലുവിളികളെ പൂർണ്ണമായി ഉൾക്കൊള്ളുന്നില്ല: ലോംഗ്-ടെയിൽ ക്വറികൾ, ശബ്ദമുള്ള ഡോക്യുമെന്റുകൾ, പ്രൊഡക്ഷൻ എൻവയോൺമെന്റുകളെ സവിശേഷമാക്കുന്ന ഡിസ്ട്രിബ്യൂഷൻ ഷിഫ്റ്റുകൾ. പ്രായോഗികമായി പ്രധാനപ്പെട്ടത് എന്താണെന്ന് അളക്കാൻ, 1 ബില്യണിലധികം വെബ് പേജുകളിൽ നിന്ന് ശേഖരിച്ച 30 ദശലക്ഷത്തിലധികം ഡോക്യുമെന്റുകൾക്കെതിരെ വിലയിരുത്തിയ 115K യഥാർത്ഥ ലോക ക്വറികൾ വരെ ഉൾക്കൊള്ളുന്ന രണ്ട് ആന്തരിക ബെഞ്ച്മാർക്കുകൾ ഞങ്ങൾ നിർമ്മിച്ചു. യഥാർത്ഥ തിരയൽ ട്രാഫിക്കിൽ നിന്ന് ഒരു എംബഡിംഗ് മോഡലിന് സെമാന്റിക്കലി തുല്യമായ ക്വറികൾ തിരിച്ചറിയാൻ കഴിയുമോ എന്ന് PPLXQuery2Query വിലയിരുത്തുന്നു; 30M-പേജ് കോർപ്പസിൽ നിന്നുള്ള ഡോക്യുമെന്റ് റിട്രീവൽ PPLXQuery2Doc അളക്കുന്നു.
PPLXQuery2Query-ൽ (2.4M കോർപ്പസ്), pplx-embed-v1-4B 73.5% Recall@10 കൈവരിക്കുന്നു, ഇത് Qwen3-Embedding-4B-നെ (67.9%) 5.6 ശതമാനം പോയിന്റുകൾക്ക് പിന്നിലാക്കുന്നു. ഞങ്ങളുടെ 0.6B മോഡൽ 71.1% Recall@10 കൈവരിക്കുന്നു, BGE-M3 (61.8%), Qwen3-Embedding-0.6B (55.1%) എന്നിവയെ ഗണ്യമായി മറികടക്കുന്നു.
മൾട്ടിളിങ്വൽ PPLXQuery2Doc ടാസ്കിൽ (30M കോർപ്പസ്), Qwen3-Embedding-4B-ന്റെ 88.6%-വുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ pplx-embed-v1-4B 91.7% Recall@1000 കൈവരിക്കുന്നു. മൾട്ടി-സ്റ്റേജ് റാങ്കിംഗ് പൈപ്പ്ലൈനുകളിൽ ഫസ്റ്റ്-സ്റ്റേജ് റിട്രീവറുകളായി പ്രവർത്തിക്കുന്ന എംബഡിംഗ് മോഡലുകൾക്ക് വലിയ റിട്രീവൽ ഡെപ്തുകളിൽ ഉയർന്ന റീകോൾ നിർണായകമാണ്, ഇവിടെ ഡൗൺസ്ട്രീം റീരാങ്കറുകളിലേക്ക് കൈമാറുന്ന പ്രസക്തമായ കാൻഡിഡേറ്റുകളുടെ എണ്ണം പരമാവധിയാക്കുന്നത് അന്തിമ ഫലത്തിന്റെ ഗുണനിലവാരത്തെ നേരിട്ട് ബാധിക്കുന്നു.
ആരംഭിക്കുന്നു
എല്ലാ മോഡലുകളും Hugging Face-ലും (MIT ലൈസൻസിന് കീഴിൽ) Perplexity API വഴിയും ലഭ്യമാണ്. Transformers, SentenceTransformers, Text Embeddings Inference, ONNX എന്നിവയിലൂടെ ഞങ്ങൾ ഇൻഫറൻസിനെ പിന്തുണയ്ക്കുന്നു. ഓരോ ഓപ്ഷനെയും കുറിച്ചുള്ള പൂർണ്ണ വിവരങ്ങൾക്ക്, Hugging Face model collection കാണുക.
സമഗ്രമായ സാങ്കേതിക വിവരങ്ങൾക്കും പൂർണ്ണമായ വിലയിരുത്തൽ ഫലങ്ങൾക്കും, ഞങ്ങളുടെ സാങ്കേതിക റിപ്പോർട്ട് കാണുക.
ഉദ്ധരണി
@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
date = {2026-02-26},
url = {https://www.perplexity.ai/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}