ഒരു single vector-നെ മറികടക്കുന്ന multimodal embeddings

ഫെബ്രുവരിയിൽ pplx-embed-v1 പുറത്തിറക്കിയതിനു ശേഷം, ഞങ്ങൾ embedding മോഡലുകളുടെ പുതിയ തലമുറയിൽ പ്രവർത്തിച്ചുവരുന്നു. കഴിഞ്ഞ ആഴ്ച, ഞങ്ങൾ നമ്മുടെ പുതിയ contextual embedding model ആയ pplx-embed-v2-context അവതരിപ്പിച്ചു. ഇന്ന്, late-interaction മോഡലുകളുടെ ഒരു ശേഖരമായ pplx-embed-v2-late കൊണ്ട് കുടുംബത്തെ വിപുലീകരിക്കുന്നു. കൂടുതൽ ശക്തമായ റിട്രീവൽ ശേഷികളോടൊപ്പം, ഈ മോഡലുകൾ മൂന്ന് പ്രധാന സവിശേഷതകളെ ഒരുമിച്ച് കൂട്ടുന്ന ആദ്യവയാണ്:

• Multi-vector representations. ഓരോ ഇൻപുട്ടിനെയും ഒരു single vector-ലേക്ക് ചുരുക്കുന്നതിനു പകരം, ഈ മോഡലുകൾ കൂടുതൽ സൂക്ഷ്മമായ query-document താരതമ്യങ്ങൾക്ക് token-level vectors നിലനിർത്തുന്നു. ഇതു കൊണ്ട് ഒരു query-യുടെ വ്യത്യസ്ത ഭാഗങ്ങൾ ഒരു document-ന്റെ വ്യത്യസ്ത ഭാഗങ്ങളുമായി പൊരുത്തപ്പെടുത്താൻ കഴിയും, പ്രത്യേകിച്ച് multimodal retrieval-ൽ വിലപ്പെട്ട വിശദാംശങ്ങൾ നിലനിര്‍ത്തിക്കൊണ്ട്.
• text, image modalities എന്നിവയ്ക്കുള്ള പിന്തുണ. നമ്മുടെ മുമ്പത്തെ മോഡലുകളുടെ text-to-text retrieval ശേഷികൾക്ക് പുറമേ, ഈ പുതിയ മോഡലുകൾ text-to-image retrieval കൈകാര്യം ചെയ്യുന്നു, OCR അല്ലെങ്കിൽ parsed text ആവശ്യമില്ലാതെ റെൻഡർ ചെയ്ത PDF പേജുകൾ നേരിട്ട് തിരയാൻ അവയെ അനുവദിക്കുന്നു.
• ഒരു പങ്കിട്ട embedding space. വ്യത്യസ്ത ഗുണനിലവാരം, latency, compute ആവശ്യങ്ങൾ പിന്തുണയ്ക്കാൻ ഞങ്ങൾ 0.6Bയും 9Bയും എന്ന രണ്ട് മോഡൽ വലുപ്പങ്ങൾ പുറത്തിറക്കുന്നു. ഓരോന്നിനെയും സ്വതന്ത്രമായി ഉപയോഗിക്കാം, പക്ഷേ പങ്കിട്ട embedding space ചെറിയ മോഡലിന് വലിയ മോഡൽ ഉപയോഗിച്ച് സൃഷ്ടിച്ച ഇൻഡക്സ് query ചെയ്യാനും അനുവദിക്കുന്നു, ഉയർന്ന നിലവാരമുള്ള document embeddings നെ കുറഞ്ഞ ചെലവിലുള്ള, വേഗത്തിലുള്ള query-time inference നോടൊപ്പം കൂട്ടിച്ചേർത്ത്.

വിവിധ വിഷൻ, ടെക്സ്റ്റ് റിട്രീവൽ ബെഞ്ച്മാർക്കുകളിലും ഏജന്റിക് ചോദ്യോത്തര ടാസ്കുകളിലും ഈ പുതിയ മോഡലുകൾ അത്യാധുനിക നിലവാരത്തിലുള്ള ഫലങ്ങൾ കൈവരിക്കുന്നു. ശ്രദ്ധേയമെന്നു പറയട്ടെ, മുൻനിര വിഷ്വൽ ഡോക്യുമെന്റ് റിട്രീവൽ ബെഞ്ച്മാർക്കായ ViDoRe (V3)-ൽ, അഞ്ചിരട്ടി സജീവ പാരാമീറ്ററുകളുള്ള മോഡലുകൾക്ക് തുല്യമായ പ്രകടനം ഞങ്ങളുടെ 0.6B മോഡൽ കാഴ്ചവയ്ക്കുന്നു. രണ്ട് മോഡലുകളും Hugging Face-ൽ പൊതുവായി ലഭ്യമാണ്. രീതിശാസ്ത്രത്തെയും മൂല്യനിർണ്ണയ ഫലങ്ങളെയും കുറിച്ചുള്ള കൂടുതൽ വിവരങ്ങൾ ഞങ്ങളുടെ സാങ്കേതിക റിപ്പോർട്ടിൽ നൽകിയിട്ടുണ്ട്.

സിംഗിൾ വെക്ടറുകളിൽ നിന്ന് late interaction വരെ

retrieval സിസ്റ്റങ്ങൾ കാര്യക്ഷമതയും queryകളും documentകളുമിടയിലെ ഇടപെടലിന്റെ ആഴവും തമ്മിൽ ഒരു തുലന നില കണ്ടെത്തേണ്ടതാണ്. Dense embedding മോഡലുകൾ ഓരോ query-യെയും document-നെയും സ്വതന്ത്രമായി encode ചെയ്യുന്നു, അതിനാൽ ചെലവുകുറഞ്ഞ inner product ഉപയോഗിച്ച് അവയെ താരതമ്യം ചെയ്യാം. ഇത് ബില്യൺ കണക്കിന് രേഖകളിലേക്കുള്ള approximate nearest-neighbor (ANN) search പ്രായോഗികമാക്കുന്നു. മറുവശത്ത്, cross-encoders queryയെയും documentനെയും ഒരുമിച്ച് പ്രോസസ് ചെയ്ത് കൂടുതൽ സമ്പന്നമായ ഇടപെടൽ സാധ്യമാക്കുന്നു, പക്ഷേ ഓരോ candidate-നും പ്രത്യേക forward pass ആവശ്യമാണ്. വലിയ രേഖാസമൂഹത്തിൽ ഓരോ തിരച്ചിലിനും ഈ കണക്കുകൂട്ടൽ പ്രയോഗിക്കുന്നത് താങ്ങാനാവാത്തത്ര ചെലവേറിയതാണ്, അതിനാൽ cross-encoders സാധാരണയായി ചെറുതായ retrieved candidate സമുച്ചയം rerank ചെയ്യുന്നതിനായി മാത്രം ഉപയോഗിക്കുന്നു.

Dense embeddings-ന്റെ പരിമിതികൾ

മുഴുവൻ document-നെ ഒരൊറ്റ fixed-size vector ഉപയോഗിച്ച് പ്രതിനിധീകരിക്കുന്നത് ഒരു information bottleneck സൃഷ്ടിക്കുന്നു. രേഖകൾ നീളമേറുകയും കൂടുതൽ വിഷയങ്ങൾ ഉൾക്കൊള്ളുകയും ചെയ്യുമ്പോൾ, query-യ്ക്ക് പ്രസക്തമായ എല്ലാം നിലനിർത്താൻ അതേ vector-ലേക്ക് കൂടുതൽ ഉള്ളടക്കം ചുരുക്കേണ്ടിവരും. Chunking ഈ സമ്മർദം കുറയ്ക്കാം, പക്ഷേ അത് document-നെ ഭാഗങ്ങളാക്കി, ഒരുമിച്ച് മാത്രമേ അർത്ഥമുള്ളൂന്നുള്ള വിവരങ്ങളെ വേർതിരിക്കാം; ഈ പ്രശ്നം ഞങ്ങളും നമ്മുടെ contextual embedding model വഴി കൈകാര്യം ചെയ്യുന്നു. ചിത്രങ്ങളുടെ information density കൂടുതൽ compression ആവശ്യപ്പെടുന്നതിനാൽ, multimodal settings-ൽ ഈ bottleneck കൂടുതൽ രൂക്ഷമാകുന്നു.

Single-vector dense retrieval ഓരോ താരതമ്യത്തെയും രണ്ടു vectors-ിനിടയിലെ inner product-ലേക്ക് കുറയ്ക്കുന്നു, scoring function-ന്റെ പ്രകടനശേഷി പരിമിതപ്പെടുത്തുന്നു. നിശ്ചിത embedding dimension-നും മതിയായ വലിപ്പമുള്ള ഒരു corpus-നും ഉള്ളപ്പോൾ, പരിശീലനം എന്തായാലും, query-document pairs-ൽ score-ുകളുടെ ചില പാറ്റേണുകൾ സൃഷ്ടിക്കാൻ അസാധ്യമാണ്. LIMIT benchmark ഈ സിദ്ധാന്തപരമായ ആശങ്കയെ single-vector retrieval-നുള്ള വ്യക്തമായ stress test ആക്കി മാറ്റുന്നു.

വൈകിയുള്ള ഇടപെടൽ വിവരവീണ്ടെടുപ്പ് (late-interaction retrieval)

Late-interaction മോഡലുകൾ, വിലകുറഞ്ഞ dense embedding മോഡലുകളും കൂടുതൽ പ്രകടനശേഷിയുള്ള cross-encodersഉം തമ്മിലുള്ള ഇടത്തിലാണു സ്ഥിതിചെയ്യുന്നത്. Dense മോഡലുകളെപ്പോലെ, അവ query-യിൽ നിന്ന് സ്വതന്ത്രമായി document-കളെ encode ചെയ്യുന്നു, അതിലൂടെ document representations offline ആയി കണക്കാക്കാൻ കഴിയും. എന്നാൽ, ഓരോ ഇൻപുട്ടിനെയും ഒരു vector-ലേക്ക് ചുരുക്കുന്നതിനുപകരം, അവ നിരവധി vectors നിലനിർത്തുകയും queryയെ ഒരു document-ുമായി താരതമ്യം ചെയ്യുമ്പോൾ കൂടുതൽ സമ്പന്നമായ scoring function ഉപയോഗിക്കുകയും ചെയ്യുന്നു.

നമ്മുടെ pplx-embed-v2-late മോഡലുകൾ ColBERT-style architecture ഉപയോഗിക്കുന്നു, ഇൻപുട്ടിലെ ഓരോ token-നും 128-ഡൈമൻഷനൽ embeddings ഔട്ട്പുട്ട് ചെയ്യുന്നു. ഞങ്ങൾ MaxSim ഉപയോഗിച്ച് query-document ജോഡികളെ സ്കോർ ചെയ്യുന്നു; ഓരോ query token-നുമെത്തുമ്പോൾ, മോഡൽ ഏറ്റവും ഉയർന്ന സ്കോർ ഉള്ള document token തെരഞ്ഞെടുക്കുകയും, അന്തിമ സ്കോർ നിർമ്മിക്കാൻ ഓരോ token-ന്റെയും പരമാവധി സാമ്യതകൾ കൂട്ടിച്ചേർക്കുകയും ചെയ്യുന്നു. ഇതുവഴി query-യുടെ വ്യത്യസ്ത ഭാഗങ്ങൾ document-ന്റെ വ്യത്യസ്ത ഭാഗങ്ങളുമായി പൊരുത്തപ്പെടാൻ കഴിയും, കൂടുതൽ ശക്തമായ token matches സ്കോറിലേക്ക് കൂടുതൽ സംഭാവന നൽകുന്നു.

വലുതാക്കുക

ഈ അധിക പ്രകടനശേഷിക്കൊപ്പം കൂടുതൽ സംഭരണവും candidate-scoring ചെലവുകളും വരുന്നു. Dense retrieval ഓരോ document-ക്കും ഒരു vector മാത്രം സംഭരിക്കുകയും ഒരു candidate-നെ ഒരു inner product ഉപയോഗിച്ച് സ്കോർ ചെയ്യുകയും ചെയ്യുന്നു; late interaction document tokens-ക്കായി vectors സംഭരിക്കുകയും അനേകം token-to-token സാമ്യതകൾ വിലയിരുത്തുകയും ചെയ്യുന്നു. ചെലവ് document നീളത്തിനൊപ്പം വർധിക്കുന്നു, അതിനാൽ one-vector ANN retrieval-നൊപ്പം താരതമ്യം ചെയ്യുമ്പോൾ late interaction-യ്ക്ക് വ്യത്യസ്തമായ indexing, serving trade-off ആവശ്യമാണ്. പകരമായി, quality-sensitive corpora-ക്കായി ഇത് കൂടുതൽ സമ്പന്നമായ ആദ്യഘട്ട retrieval നൽകുകയും, വലിയ web-scale retrieval pipeline-ൽ പിന്നീട് ഒരു ഘട്ടമായും സേവിക്കാനും കഴിയും.

ഒരു മോഡൽ, പല modalities

ഈ മെച്ചപ്പെട്ട interaction depth വിവിധ ജോലികൾക്ക്, ഉൾപ്പെടെ long-context, agentic, out-of-domain retrieval എന്നിവയ്ക്ക്, വളരെ ഉപകാരപ്രദമാണെന്ന് തെളിഞ്ഞിട്ടുണ്ട്. ColPali മോഡലുകളുടെ വലിയ ലീഡ് ViDoRe(V3) leaderboard-ൽ കാണുന്നതുപോലെ, ഈ വ്യത്യാസം multimodal retrieval-ൽ പ്രത്യേകിച്ച് വ്യക്തമാണ്.

യാഥാർത്ഥ്യ ലോകത്തിലെ കോർപ്പസുകൾ ശുദ്ധമായ ടെക്സ്റ്റ് മാത്രം കൊണ്ടുള്ളവയല്ല. അവ PDF-കൾ, slide decks, screenshots, സ്കാൻ ചെയ്ത പേജുകൾ, charts, tables എന്നിവയായി എത്തുന്നു. പരമ്പരാഗത pipeline ഈ രേഖകൾ parse ചെയ്ത്, OCR അല്ലെങ്കിൽ captioning പ്രയോഗിച്ച്, resulting text തിരയുന്നു, ഇത് ചെലവേറിയതും നഷ്ടകരവുമാണ്: OCR പിഴവുകൾ കൊണ്ടുവരാനും layout, table structure, figures, spatial relationships എന്നിവ ഉപേക്ഷിക്കാനും ഇത് ഇടയാക്കും. Visual document search ആ ഘട്ടം ഒഴിവാക്കി, rendered page-നെ നേരിട്ട് representation space-ലേക്ക് project ചെയ്യുന്നു, അവിടെ text queries അതിനെ തിരയാൻ കഴിയും.

ഞങ്ങളുടെ പുതിയ മോഡൽ കുടുംബം മൾട്ടി-വെക്ടർ മോഡലുകളുടെ മൾട്ടി-മോഡൽ തിരച്ചിലിലെ ശക്തമായ പ്രകടനത്തെ അടിസ്ഥാനമാക്കി നിർമ്മിച്ചതും, ഏറ്റവും വ്യാപകമായി ഉപയോഗിക്കുന്ന ഡോക്യുമെന്റ് തിരച്ചിൽ ബെഞ്ച്മാർക്കായ ViDoRe(V3)-ൽ ചെറുമോഡലുകൾക്കായുള്ള പാരേറ്റോ ഫ്രണ്ടിയർ മുന്നോട്ട് നയിക്കുന്നതുമാണ്. ഡോക്യുമെന്റ് റെൻഡറിംഗുകളാണ് ദൃശ്യ ഇൻപുട്ടിന്റെ ഏറ്റവും സാധാരണമായ രൂപമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നുവെങ്കിലും, പ്രകൃതിദൃശ്യ ഫോട്ടോഗ്രാഫികളുപോലുള്ള സ്വാഭാവിക ചിത്രങ്ങളിലുടനീളം സെമാന്റിക് ഇമേജ് സെർച്ചിനെയും ഞങ്ങളുടെ മോഡലുകൾ പിന്തുണയ്ക്കുന്നു.

പരസ്പരം പ്രവർത്തിക്കാവുന്ന മോഡലുകളുടെ ഒരു കുടുംബത്തെ പരിശീലിപ്പിക്കൽ

Search അടിസ്ഥാനപരമായി asymmetrical ആണ്: indexing ഉം query encoding ഉം വ്യത്യസ്ത പ്രവർത്തന നിയന്ത്രണങ്ങളാണ് അനുഭവിക്കുന്നത്. Indexing offline ആയി പ്രവർത്തിക്കുകയും parallelize ചെയ്യുകയും ചെയ്യാം, അതിനാൽ അതിന്റെ compute cost ഭാവിയിലെ നിരവധി search-ുകളിലായി അമോർട്ടൈസ് ചെയ്യപ്പെടുന്നു. Query encoding ഓരോ അഭ്യർത്ഥനയ്ക്കും online ആയി പ്രവർത്തിക്കുന്നതിനാൽ ഇത് latency-sensitive ആണ്, ചിലപ്പോൾ serving അല്ലെങ്കിൽ edge-device പരിധികൾക്കും വിധേയമാണ്. നമ്മുടെ model family ഈ അസമത്വം പ്രയോജനപ്പെടുത്തുന്നു, retrieval pipeline-ന്റെ ഓരോ വശത്തിനും അനുയോജ്യമായ വലുപ്പങ്ങൾ നൽകുന്നു.

ഞങ്ങൾ ആദ്യം ഒരു 18B teacher-നെ contrastively പരിശീലിപ്പിക്കുന്നു, തുടർന്ന് അതിനെ പ്രത്യേകം 9B, 0.6B students-ലേക്ക് distill ചെയ്യുന്നു. ഓരോ student-നും teacher-ന്റെ ranking distribution പുനഃസൃഷ്ടിക്കാൻ മാത്രം പരിശീലിപ്പിക്കുന്നതിനുപകരം, ഞങ്ങൾ LEAF-style representation distillation ഉപയോഗിക്കുന്നു: ഓരോ input token-നും, student-ന്റെ output embedding teacher-ന്റേതുമായി align ചെയ്യുന്നു. Representation-space distillation മുമ്പ് dense, single-vector മോഡലുകളിൽ ഉപയോഗിച്ചിരുന്നെങ്കിലും, ഞങ്ങൾ അത് late interaction-ലേക്ക് വിപുലീകരിക്കുന്നു, അവിടെ alignment target retained token ഓരോന്നിനും ഒരു vector ആണ്.

ഫലമായി, പുറത്തിറക്കിയ രണ്ടും checkpoints-ുകളും ഒരേ multi-vector embedding space പങ്കിടുന്നു. ഇത് cross-model retrieval സാധ്യമാക്കി, അധിക deployment ഓപ്ഷനുകൾ പ്രാപ്തമാക്കുന്നു.

• പരമാവധി ഗുണനിലവാരം: 9B മോഡൽ ഉപയോഗിച്ച് documents-ും queries-ും encode ചെയ്യുക.
• പരമാവധി കാര്യക്ഷമത: 100% local inference-നായി 0.6B മോഡൽ ഉപയോഗിച്ച് documents-ും queries-ും encode ചെയ്യുക
• Low-latency retrieval: corpus index 9B മോഡൽ ഉപയോഗിച്ച് നിർമ്മിച്ച്, തുടർന്ന് live queries 0.6B മോഡൽ ഉപയോഗിച്ച് encode ചെയ്ത് index-time computation പ്രയോജനപ്പെടുത്തുകയും querying വേഗത്തിൽ നിലനിർത്തുകയും ചെയ്യുക.
• Local–cloud retrieval: സ്വകാര്യ local documents അല്ലെങ്കിൽ live queries 0.6B മോഡൽ ഉപയോഗിച്ച് on-device encode ചെയ്ത്, cloud-ൽ ഹോസ്റ്റ് ചെയ്തിരിക്കുന്ന 9B index-ിൽ നിന്നുള്ള results-നൊപ്പം അവയുടെ representations compare ചെയ്യുക അല്ലെങ്കിൽ merge ചെയ്യുക.

latency-sensitive settings-നായി, 0.6B മോഡലിനെ edge devices-ലും പ്രവർത്തിപ്പിക്കാവുന്ന ഒരു lightweight query encoder ആയി ഞങ്ങൾ രൂപകൽപ്പന ചെയ്തു. Qwen3.5-0.8B-യിൽ നിന്ന് ആരംഭിച്ച്, ഞങ്ങൾ അതിന്റെ 24-layer text tower-നെ 12 layers ആയി prune ചെയ്തു, ആ tower-നെ 498M-ൽ നിന്ന് 240M non-embedding parameters ആയി കുറച്ചു. ഫലമായി മോഡലിന് ആകെ 594M parameters ഉണ്ട്, പക്ഷേ അതിന്റെ nominal size serving cost-നെ അതിരുകടക്കുന്നു: 100M image encoding-ന് ഉപയോഗിക്കുന്നു, 254M token-embedding table-ൽ ആണ്, അത് runtime-ൽ ചെറിയ സ്വാധീനം മാത്രമേ ചെലുത്തൂ. Text encoding-ൽ ഏകദേശം 240M parameters-ും image encoding-ൽ 340M parameters-ും മാത്രമാണ് സജീവമാകുന്നത്, അതോടെ 9B index-ുമായുള്ള compatibility നിലനിർത്തിക്കൊണ്ടുതന്നെ, ഗണ്യമായി ചെറുതായ മോഡലിന്റെ serving cost ഈ മോഡൽ കൈവരിക്കുന്നു.

ഞങ്ങൾ അതേ പ്രക്രിയ പ്രയോഗിച്ച് 27B backbone-ിൽ നിന്ന് നമ്മുടെ 18B teacher നിർമ്മിച്ചു, അതുവഴി അത് നൽകുന്ന signal ദുർബലപ്പെടുത്താതെ distill ചെയ്യാനുള്ള ചെലവ് വളരെ കുറച്ചു.

ബഹുഭാഷാ, ബഹുമാദ്ധ്യമ, മലിനീകരണമില്ലാത്ത പരിശീലന ഡാറ്റ

ഞങ്ങൾ ഇരുവരും മോഡലുകളെയും 46 ഭാഷകളിലായി 594 datasets-ൽ നിന്ന് എടുത്ത 186 million query-document pairs അടങ്ങിയ ഒരു dataset-ൽ പരിശീലിപ്പിക്കുന്നു. ഈ pairs-ൽ 88.3% text-to-text, 8.3% text-to-image, 3.4% text-to-visual-document pairs ആണ്. Dataset വലുപ്പത്തിന് അനുപാതമായി sampling ചെയ്യുന്നതിനുപകരം, ഞങ്ങൾ ഓരോ dataset-നും ഒരു sampling weight നിശ്ചയിക്കുന്നു, അതിലൂടെ യഥാക്രമം 56.5%, 30.9%, 12.6% എന്നിങ്ങനെ കൂടുതൽ സമതുലിതമായ training mixture ലഭിക്കുന്നു.

നമ്മുടെ training data നിർമ്മിക്കുമ്പോൾ, benchmark scores കൃത്രിമമായി ഉയർത്താതെ നമ്മുടെ ഫലങ്ങളെ വിശ്വസ്തമായി പ്രതിനിധീകരിക്കാൻ, നാം വിലയിരുത്തുന്ന benchmarks-നുമായി ബന്ധപ്പെട്ട ഏതെങ്കിലും datasets ഞങ്ങൾ ഒഴിവാക്കുന്നു. ഈ തീരുമാനത്തിന് trade-off ഉണ്ട്: ഞങ്ങൾ ഒഴിവാക്കാൻ തെരഞ്ഞെടുത്ത ചില datasets-ൽ ഉയർന്ന നിലവാരമുള്ള data ഉണ്ട്, അത് അവ വന്ന benchmark-നു പുറമേ മറ്റ് ജോലികളിൽ നമ്മുടെ model-ന്റെ പ്രകടനം മെച്ചപ്പെടുത്താമായിരുന്നു. അവസാനം, ഞങ്ങൾ ആ ചെലവ് അംഗീകരിക്കാൻ തീരുമാനിച്ചു: വികസനകാലത്ത്, കൂടാതെ മോഡലുകൾ തമ്മിൽ താരതമ്യം ചെയ്യുമ്പോൾ ഉപയോക്താക്കൾക്കും, വിശ്വസനീയമായ സംഖ്യകളാണ് കൂടുതൽ പ്രയോജനകരം.

മൂല്യനിർണ്ണയം

ഞങ്ങൾ ഇരുവരും മോഡലുകളെയും text, visual-document, mixed-image, agentic retrieval എന്നിവയിലൂടെ വിലയിരുത്തുന്നു. Q2D-Web, BrowseComp+ എന്നിവയിൽ ഇരുവരും വിലയിരുത്തിയ baselines-നെ മറികടക്കുന്നു, കൂടാതെ visual-document retrieval-ലും MADQA-യിലും ശക്തമായ ഫലങ്ങൾ നേടുന്നു.

ടെക്സ്റ്റ് റിട്രീവൽ

ഞങ്ങൾ മൂന്ന് ബെഞ്ച്മാർക്കുകളിൽ text-to-text retrieval വിലയിരുത്തുന്നു:

• ഡൊമെയ്ൻ-നിർദ്ദിഷ്ട ബെഞ്ച്മാർക്കുകൾ: അഞ്ച് ഡൊമെയ്‌നുകളിലായി (finance, legal, health, conversation, tech) 55 എണ്ണം ഉൾപ്പെടെ 72 MTEB-style ജോലികളുടെയും, കൂടാതെ 17 miscellaneous multilingual ജോലികളുടെയും ഒരു സമാഹാരം. ഈ സമാഹാരത്തിൽ FinQA, AILACasedocs, XLSum പോലുള്ള ജോലികൾ ഉൾപ്പെടുന്നു. മുകളിൽ വിശദീകരിച്ചിട്ടുള്ളതുപോലെ, ഈ datasets ഒന്നും നമ്മുടെ training data-യിൽ ഉൾപ്പെടുന്നില്ല.
• Q2D-Web: production search traffic-ൽ നിന്ന് എടുത്ത ഏകദേശം 70,000 agent-reformulated search queries അടങ്ങിയ, 190M web documents ഉള്ള ഒരു corpus-ലുള്ള നമ്മുടെ web-scale retrieval ബെഞ്ച്മാർക്ക്. production-like queries, വലിയ തോതിലുള്ള corpus എന്നിവ കാരണം, ലഭ്യമായ മറ്റ് retrieval ബെഞ്ച്മാർക്കുകളേക്കാൾ യഥാർത്ഥ ലോക web retrieval-നോട് ഏറെ അടുത്ത സാഹചര്യത്തിലാണ് ഈ benchmark retrieval പ്രകടനം അളക്കുന്നത്.
• ViDoRe(V3) Markdown: ViDoRe(V3) സാധാരണയായി text-to-visual-document retrieval ജോലിയായാണ് ഉപയോഗിക്കുന്നത്, എന്നാൽ Markdown-ലേക്ക് parse ചെയ്ത corpus പതിപ്പ് ഉപയോഗിച്ച് ഇത് text task ആയിയും വിലയിരുത്താൻ കഴിയും, ചിത്രവും ടെക്സ്റ്റും എന്നീ രണ്ട് modalities-ലും വിവരസമ്പന്നമായ document retrieval വിലയിരുത്താൻ ഇത് ഞങ്ങളെ അനുവദിക്കുന്നു.

Q2D-Web-ൽ മാത്രം Recall@1000 റിപ്പോർട്ട് ചെയ്യുന്നതൊഴികെ, മറ്റെല്ലാ ഇടങ്ങളിലും ഞങ്ങൾ nDCG@10 ഉപയോഗിച്ചാണ് പ്രകടനം അളക്കുന്നത്, കാരണം ആ benchmark ആദ്യഘട്ട web-retrieval സാഹചര്യത്തിലേക്കാണ് ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നത്. നമ്മുടെ മുഴുവൻ മൂല്യനിർണ്ണയങ്ങളിലും, വ്യത്യസ്ത size classes-ൽ industry-leading embedding മോഡലുകളെ നാം താരതമ്യം ചെയ്യുന്നു. Text retrieval-ക്കായി, nemotron-embed-8b, gemini-embedding-2, voyage-large-4, qwen3-embed-8b എന്നിവയാണ് ഏറ്റവും ശക്തവും വ്യാപകമായി ഉപയോഗിക്കപ്പെടുന്നതുമായ dense മത്സരക്കാർ, അതേസമയം voyage-4-nanoയും qwen3-embed-0.6bയും sub-billion parameter dense അടിസ്ഥാനരേഖകളായി പ്രവർത്തിക്കുന്നു. TopK പ്രസിദ്ധീകരിച്ച ഫലങ്ങളുള്ള ബെഞ്ച്മാർക്കുകളിൽ, TopK-യുടെ സമീപകാലത്ത് പുറത്തിറങ്ങിയ topk-embed-v1 late-interaction മോഡലുകളുമായും ഞങ്ങൾ അധികമായി താരതമ്യം ചെയ്യുന്നു. ViDoRe(V3) സ്കോറുകൾ അവരുടെ model cards-ൽ നിന്ന് 128 dimensions-ൽ നിന്നാണ് എടുത്തിരിക്കുന്നത്, ഇത് നമ്മുടെ token embeddings-ന്റെ വീതിയുമായി പൊരുത്തപ്പെടുന്നു; Q2D-Web സ്കോർ നമ്മുടെ leaderboard-ൽ നിന്നാണ് എടുത്തത്.

ഡൊമെയ്ൻ-നിർദ്ദിഷ്ട ബെഞ്ച്മാർക്കുകളിൽ, നമ്മുടെ 9Bയും 0.6Bയും മോഡലുകൾ യഥാക്രമം ശരാശരി 81.3%യും 78.0%യും നേടി. നാം വിലയിരുത്തിയ എല്ലാ മോഡലുകളിലും ഏറ്റവും ഉയർന്ന സ്കോർ നമ്മുടെ 9B മോഡൽ നേടുന്നു, അടുത്ത മികച്ച മോഡലിനെ 1.6pp-ന് തോൽപ്പിച്ച്. നമ്മുടെ 0.6B മോഡൽ മറ്റ് ഉയർന്ന സ്കോർ നേടിയ മോഡലുകളുമായി മത്സരക്ഷമമാണ്, gemini-embedding-2-നെക്കാൾ 0.3pp മാത്രം പിന്നിൽ. പ്രധാനമായി, ഈ ബെഞ്ച്മാർക്ക് ജോലികളിലേക്കുള്ള ഡാറ്റയിൽ ഒന്നിലും ഞങ്ങൾ പരിശീലനം നടത്തിയിട്ടില്ലാത്തതിനാൽ, ഡൊമെയ്ൻ-നിർദ്ദിഷ്ട ബെഞ്ച്മാർക്കുകൾ നമ്മുടെ embedding മോഡലുകൾക്ക് പുതിയ ഡൊമെയ്‌നുകളിലേക്ക് പൊതുക്കരിക്കാമെന്ന് കാണിക്കുന്നു.

വലുതാക്കുക

ViDoRe(V3) Markdown ജോലിയിൽ നമ്മുടെ 0.6B മോഡലിന്റെ ആപേക്ഷിക ശക്തി ഇതിലും കൂടുതലാണ്; അതിന്റെ 61.2% സ്കോർ നമ്മുടെ 9B മോഡലിനെ ഒഴികെ മറ്റെല്ലാ മോഡലുകളെയും മറികടക്കുന്നു, നമ്മുടെ 9B മോഡൽ 64.7% നേടി. അടുത്ത മികച്ച പുറമെയുള്ള മോഡൽ 60.6% നേടി, അടുത്ത മികച്ച sub-1B മോഡലായ topk-embed-v1-0.8b നമ്മുടെ 0.6B മോഡലിനേക്കാൾ 4.3pp പിന്നിലായി.

വലുതാക്കുക

Q2D-Web-ൽ, പ്രസക്തി മൂന്ന് വിധി സമുച്ചയങ്ങളിൽ നിന്നാണ് ലഭിക്കുന്നത്: ഏജന്റ് ഉദ്ധരിച്ച രേഖകൾ (Citation), നമ്മുടെ production retrieval system റാങ്ക് ചെയ്ത രേഖകൾ (Web), കൂടാതെ രണ്ടിന്റെയും യൂണിയൻ, ലേബൽ ചെയ്യാത്ത രേഖകളുടെ LLM വിധികളാൽ വിപുലീകരിച്ചത് (Combined). എല്ലാ മൂന്ന് വിധി സമുച്ചയങ്ങളിലും pplx-embed-v2-late മോഡലുകൾ രണ്ടും എല്ലാ അടിസ്ഥാനരേഖകളെയും മുന്നിലാക്കുന്നു. നാം സംയോജിത വിധികളിലാണ് ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നത്, കാരണം Citation, Web സമുച്ചയങ്ങൾ നമ്മുടെ സ്വന്തം സിസ്റ്റങ്ങൾ ഇതിനകം തന്നെ ഉപരിതലത്തിൽ കൊണ്ടുവന്നതിൽ നിന്നാണ് ഉണ്ടായത്, അതിനാൽ അവപോലെ റാങ്ക് ചെയ്യുന്ന മോഡലുകൾക്ക് അവ അനുകൂലമാണ്; Combined-ൽ ചേർത്ത LLM വിധികൾ രണ്ട് സിസ്റ്റങ്ങളും കണ്ടെത്താത്ത രേഖകളെ ഉൾക്കൊള്ളുന്നു. ആ സമുച്ചയത്തിൽ, നമ്മുടെ 9Bയും 0.6Bയും മോഡലുകൾ എല്ലാ മത്സരക്കാരെയും തോൽപ്പിച്ച് യഥാക്രമം 74.8%നും 73.6%നും സ്കോറുകൾ നേടി, മുൻപ് മികച്ച സ്കോർ 69.3% ആയിരുന്നു.

വലുതാക്കുക

ദൃശ്യ റിട്രീവൽ

നമ്മുടെ പ്രാഥമിക ദൃശ്യ റിട്രീവൽ ബെഞ്ച്മാർക്ക് ViDoRe(V3)-ന്റെ സ്റ്റാൻഡേർഡ് പൊതു ഉപസമുച്ചയമാണ്, ഇവിടെ കോർപ്പസ് Markdown പരിവർത്തനത്തിനു പകരം റെൻഡർ ചെയ്ത പേജ് ചിത്രങ്ങളാണ് ഉൾക്കൊള്ളുന്നത്. ഞങ്ങൾ രണ്ട് മുൻനിര dense vision-language മോഡലുകളായ qwen3-vl-embed-8bയും gemini-embedding-2യും, കൂടാതെ topk-embed-v1 late-interaction മോഡലുകളും താരതമ്യം ചെയ്യുന്നു. ഇതുകൂടാതെ, Tencent-ന്റെ EVIE മോഡലുകളും NVIDIA-യുടെ Nemotron ColEmbed V2 മോഡലുകളും ചിത്ര റിട്രീവൽ ജോലികൾക്കായി പ്രത്യേകം പരിശീലിപ്പിച്ച “vision-only” multi-vector അടിസ്ഥാനരേഖകളാണ്.

നമ്മുടെ രണ്ടും മോഡലുകളും vision-language മോഡലുകൾക്കായുള്ള state of the art പ്രകടനം കൈവരിക്കുന്നു. നമ്മുടെ 9B മോഡൽ ശരാശരി 65.2% സ്കോർ നേടി, EVIE-യ്ക്ക് മാത്രം പിന്നിലായി. നമ്മുടെ 0.6B മോഡൽ 62.3% സ്കോർ നേടുന്നു, topk-embed-v1-2b-നെക്കാൾ മുന്നിലും, പുറമെയുള്ള അടിസ്ഥാനരേഖകളിൽ ഏറെ വലിയ EVIEയും nemotron-colembed-v2-8bയും മാത്രമാണ് അതിനെക്കാൾ മുന്നിലുള്ളത്.

വലുതാക്കുക

മോഡൽ വലുപ്പത്തിന്റെ പശ്ചാത്തലത്തിൽ നമ്മുടെ 0.6B മോഡൽ പ്രത്യേകിച്ച് മത്സരക്ഷമമാണ്. ഇതിന് സമാന വലുപ്പമുള്ള എല്ലാ മോഡലുകളെയും മറികടക്കുകയും, ചിത്രം ഇൻപുട്ടുകൾക്കായി 340M പാരാമീറ്ററുകൾ മാത്രം സജീവമാക്കിക്കൊണ്ട് nemotron-colembed-v2-8b-നേക്കാൾ 1.2pp ഉള്ളിലായിരിക്കുകയും ചെയ്യുന്നു. നമ്മുടെ മോഡലുകൾ ഓരോ token-ക്കും 128-ഡൈമൻഷനൽ embeddings ഉൽപ്പാദിപ്പിക്കുന്നു, താരതമ്യത്തിന് EVIE-4.5B-ക്ക് 2,048, EVIE-8Bക്കും nemotron-colembed-v2-8bക്കും 4,096 വീതം. സംഭരണച്ചെലവിലെ ഈ വ്യത്യാസം ഈ മോഡലുകൾ പ്രായോഗികമായി ഉപയോഗിക്കാവുന്ന സാഹചര്യങ്ങളെ വൻതോതിൽ ബാധിക്കാം.

വലുതാക്കുക

വിക്കിപീഡിയ ലേഖനങ്ങളുടെ സ്ക്രീൻഷോട്ടുകൾ ഉൾക്കൊള്ളുന്ന corpus ഉള്ള MIRACL-Vision-ലും, visual documents-ഉം natural images-ഉം ഉൾക്കൊള്ളുന്ന ആഭ്യന്തര benchmark ആയ PPLX-Q2I-ലും ഞങ്ങൾ visual retrieval കൂടി വിലയിരുത്തുന്നു. PPLX-Q2I Perplexity-യുടെ production image-search logs-ൽ നിന്നാണ് നിർമ്മിച്ചിരിക്കുന്നത്, image search use cases-ുകളുടെ വൈവിധ്യം പ്രതിഫലിപ്പിക്കുന്നവിധത്തിലാണ് ഇത് രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്. ഭാഷയും ഡൊമെയ്‌നും അനുസരിച്ച് stratify ചെയ്ത 10,000-query sample ആണ് ഞങ്ങൾ ഉപയോഗിക്കുന്നത്, 100,000 images ഉള്ള corpus-നെതിരെ; ഓരോ query-യുടെയും relevant documents അതിന് served ചെയ്ത images ആണു. അവരുടെ ഡിഫോൾട്ട് output dimensionalities-ൽ ഈ വലുപ്പത്തിലുള്ള corpus index ചെയ്യുന്നത് പ്രായോഗികമല്ലായതിനാൽ, ഞങ്ങൾ EVIE-8Bയെയോ Nemotron ColEmbed-നെയോ PPLX-Q2I-ൽ വിലയിരുത്തിയില്ല (Nemotron ColEmbed 4B-യ്ക്ക് 2,560, Nemotron ColEmbed 8B-ക്കും EVIE-8B-ക്കും 4,096).

ViDoRe(V3)-ലുള്ള പ്രകടനത്തോട് സാമ്യമാക്കി, നമ്മുടെ 0.6B മോഡൽ വളരെ വലിയ മോഡലുകളുമായി മത്സരക്ഷമമാണ്, MIRACL-Vision-ൽ qwen3-vl-embed-8b-നെക്കാൾ 1pp മാത്രം പിന്നിൽ സ്കോർ നേടി. നമ്മുടെ 9B മോഡൽ gemini-embedding-2-നെ ഒഴികെ മറ്റെല്ലാ മോഡലുകളെയും മറികടക്കുന്നു.

PPLX-Q2I-ൽ, നമ്മുടെ രണ്ടു മോഡലുകളും qwen3-vl-embedding-8b-നെ 9pp-ൽ കൂടുതൽ മാർജിനോടെ മറികടക്കുന്നു, കൂടാതെ നമ്മുടെ 9B മോഡൽ gemini-embedding-2-നെക്കാൾ 2pp മാത്രം പിന്നിലാണ്. visual documents-ഉം natural images-ഉം അടങ്ങിയ corpus-കളിലും നമ്മുടെ ഫലങ്ങൾ മത്സരക്ഷമമായി തുടരുന്നതിനാൽ, ViDoRe(V3)-ൽ നേട്ടം നൽകുന്ന multi-vector representations പൊതുവായ image search-ന്റെ ചെലവിൽ വരുന്നതല്ല.

വലുതാക്കുക

ക്രോസ്-മോഡൽ റിട്രീവൽ

മുന്‍ വിഭാഗങ്ങളിലെ ഫലങ്ങൾ ഓരോ മോഡലിനെയും അത് സ്വയം embed ചെയ്ത ഒരു കോർപ്പസിനെതിരെ വിലയിരുത്തുന്നു. പങ്കിട്ട embedding space എന്നത് ഇത് നിർബന്ധമല്ലെന്ന് കാണിക്കുന്നു: 9B മോഡൽ ഇൻഡക്സ് ചെയ്ത ഒരു കോർപ്പസ് 0.6B മോഡൽ embed ചെയ്ത queries ഉപയോഗിച്ച് തിരയാം. indexing ഒരിക്കല്‍ മാത്രം വരുന്ന ചെലവായതിനാൽ കോർപ്പസിന്റെ ആയുഷ്കാലം മുഴുവൻ അത് അമോർട്ടൈസ് ചെയ്യപ്പെടുന്നു, അതേസമയം query embedding ഓരോ അഭ്യർത്ഥനയുടെയും latency-critical പാതയിലാണ് പ്രവർത്തിക്കുന്നത്, അതിനാൽ പ്രൊഡക്ഷൻ വിന്യാസങ്ങളിൽ നാം പ്രതീക്ഷിക്കുന്ന വിന്യാസക്രമം ഇതാണ്.

query സമയത്ത് 9B മോഡൽ പ്രവർത്തിപ്പിക്കാൻ കഴിയാത്ത ഒരു വിന്യാസം വേണമെങ്കിൽ, അത് index ചെയ്യാനും 0.6B മോഡൽ തന്നെ ഉപയോഗിക്കുമായിരുന്നു; അതിനാൽ ആ സിമ്മെട്രിക് 0.6B കോൺഫിഗറേഷനാണ് താരതമ്യത്തിന് പ്രസക്തമായ ബിന്ദു. മുകളിൽ ഉപയോഗിച്ച 72 ഡൊമെയ്ൻ-നിർദ്ദിഷ്ട ബെഞ്ച്മാർക്കുകളിലും ViDoRe v3 image retrieval-ലും ഞങ്ങൾ വിലയിരുത്തുന്നു. Queries pplx-embed-v2-late-0.6b ഉപയോഗിച്ച് embed ചെയ്യുന്നു, corpus embed ചെയ്തത് എന്താണെന്നതിൽ മാത്രം ഞങ്ങൾ വ്യത്യാസം വരുത്തുന്നു.

9B മോഡൽ ഉപയോഗിച്ച് indexing ചെയ്യുന്നത് ഒരു കർശനമായ മെച്ചപ്പെടുത്തലാണ്. ഡൊമെയ്ൻ-നിർദ്ദിഷ്ട ബെഞ്ച്മാർക്കുകളിൽ, അസിമ്മെട്രിക് കോൺഫിഗറേഷൻ ശരാശരി 1.6pp നേട്ടം നേടുന്നു. ViDoRe v3 image retrieval-ൽ, ഇത് 63.5% സ്കോർ ചെയ്യുന്നു, ഇരുവശത്തും 0.6B മോഡൽ ഉപയോഗിച്ചപ്പോൾ ലഭിച്ച 62.3%-ൽ നിന്ന് 1.2 ശതമാന പോയിന്റുകളുടെ നേട്ടം. Query-encoding ചെലവ് സിമ്മെട്രിക് 0.6B-യും അസിമ്മെട്രിക് കോൺഫിഗറേഷനുകളും തമ്മിൽ മാറ്റമില്ല, കാരണം ഇരുവശത്തും query encode ചെയ്യുന്നത് അതേ 0.6B മോഡലാണ്; അധിക document-encoding ചെലവ് indexing സമയത്താണ് സംഭവിക്കുന്നത്.

രണ്ടുവശത്തും 9B മോഡൽ പ്രവർത്തിപ്പിക്കുന്നത് അതിലും മികച്ചതാണ്, ഡൊമെയ്ൻ-നിർദ്ദിഷ്ട ബെഞ്ച്മാർക്കുകളിൽ ശരാശരി 81.3% നേടുന്നു. അതിനാൽ, അസിമ്മെട്രിക് കോൺഫിഗറേഷൻ ടെക്സ്റ്റിലെ രണ്ട് മോഡലുകൾക്കിടയിലെ ഗുണനിലവാര വ്യത്യാസത്തിന്റെ ഏകദേശം പകുതി, അധിക query-encoding ചെലവില്ലാതെ, വീണ്ടെടുക്കുന്നു. ഏത് കോൺഫിഗറേഷൻ തിരഞ്ഞെടുക്കണമെന്ന് 9B മോഡൽ query സമയത്ത് താങ്ങാനാവുമോ എന്നതിൽ ആശ്രയിച്ചിരിക്കുന്നു; കഴിയുന്നില്ലെങ്കിൽ, അസിമ്മെട്രിക് സെറ്റപ്പ് അതിന്റെ നേട്ടത്തിന്റെ വലിയൊരു ഭാഗം പിടിച്ചെടുക്കുന്നു.

വലുതാക്കുക

ഏജന്റിക് റിട്രീവൽ

Agentic retrieval multi-vector embeddings പ്രത്യേകിച്ച് ശക്തമായ മറ്റൊരു സെറ്റിംഗാണ്. BrowseComp+-ൽ, ഒരു LLM (GPT-OSS-120B നമ്മുടെ കാര്യത്തിൽ) embedding model ഉപയോഗിച്ച് ഒരു സങ്കീർണ്ണ ഉപയോക്തൃ query-യ്ക്ക് പ്രസക്തമായ വിവരങ്ങൾക്കായി corpus തിരയുന്നു, തുടർന്ന് ലഭിച്ച ഉത്തരം ground truth-നോട് പൊരുത്തപ്പെടുന്നുണ്ടോ എന്ന് രണ്ടാമത്തെ LLM വിധിക്കുന്നു. നമ്മുടെ 9B മോഡൽ 64.0% accuracy നേടുന്നു, അടുത്ത മികച്ച ColBERT മോഡലിനെ 4.9pp-നും അടുത്ത മികച്ച dense മോഡലിനെ 8.7pp-നും മറികടന്ന്, നമ്മുടെ 0.6B മോഡലിനെ ഒഴികെ മറ്റെല്ലാ മോഡലുകളിലും കുറവ് തിരച്ചിലുകൾ മാത്രം നടത്തിക്കൊണ്ട്. 0.6B മോഡലും നമ്മുടെ കുടുംബത്തിന് പുറത്തുള്ള എല്ലാ മോഡലുകളെയും മറികടക്കുന്നു.

വലുതാക്കുക

MADQA 18,000-ത്തിലധികം പേജുകൾ ഉൾക്കൊള്ളുന്ന 800 വ്യത്യസ്ത യാഥാർത്ഥ്യ ലോക PDF-കളിൽ agentic question-answering പരിശോധിക്കുന്നു, പൊതുവായ അറിവിൽ നിന്ന് ഉത്തരമാക്കാൻ കഴിയാത്ത 500 മനുഷ്യർ രചിച്ച ചോദ്യങ്ങളോടെ. ഒരു agent (ഞങ്ങളുടെ കാര്യത്തിൽ Gemini 3.5 Flash) പരീക്ഷണത്തിലിരിക്കുന്ന retriever ഉപയോഗിച്ച് സമാഹാരം തിരയുകയും, ഉത്തരം കൃത്യതയിലും annotated evidence pages-നെതിരെയുള്ള page F1-ലുമാണ് സ്കോർ ചെയ്യപ്പെടുന്നത്. നമ്മുടെ 9B മോഡൽ retrievers-ിൽ 92.4% accuracy-യോടെ പുതിയ state of the art സ്ഥാപിക്കുന്നു, Mixedbread-ന്റെ retriever ഉപയോഗിക്കുന്ന അതേ agent-നേക്കാൾ 3.5pp മുന്നിൽ; നമ്മുടെ 0.6B മോഡൽ 90.1% എത്തുന്നു. അവരുടെ search system-ലുള്ള ഒരു search sub-agent പ്രധാന agent-ിൽ നിന്ന് ഓരോ call-ലും പല searches ആസൂത്രണം ചെയ്ത് നടത്തുന്നതായ Mixedbread Agentic Search-നോടും നമ്മുടെ retriever മത്സരക്ഷമമായ ഫലങ്ങൾ നേടുന്നുവെന്നും ഞങ്ങൾ കുറിക്കുന്നു (93.4%, നമ്മുടെ confidence interval-ിനുള്ളിൽ).

വലുതാക്കുക

ആരംഭിക്കുക

നമ്മുടെ 0.6Bയും 9Bയും മോഡലുകൾ Hugging Face-ൽ ലഭ്യമാണ്, കൂടാതെ sentence-transformers >= 6.0.0നും transformers >= 5.4.0. അവയ്ക്ക് out of the box അനുയോജ്യവുമാണ്. കൂടുതൽ സാങ്കേതിക വിശദാംശങ്ങളും പൂർണ്ണ മൂല്യനിർണ്ണയ ഫലങ്ങളും ഈ വർഷം പിന്നീട് ഒരു സാങ്കേതിക റിപ്പോർട്ടിൽ പ്രസിദ്ധീകരിക്കും.

ഞങ്ങളുടെ ഡെൻസ് എംബെഡിംഗ് മോഡലുകളുടെ അടുത്ത തലമുറയെ ഞങ്ങൾ നിലവിൽ പരിശീലിപ്പിച്ചുകൊണ്ടിരിക്കുകയാണ്. Perplexity API Platform-ൽ ലേറ്റ്-ഇന്ററാക്ഷൻ, ഡെൻസ്, കോൺടെക്സ്ച്വൽ എംബെഡിംഗുകൾക്കുള്ള പിന്തുണ ഘട്ടം ഘട്ടമായി ലഭ്യമാക്കുകയും ചെയ്യും.

ഉദ്ധരണി

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}