একক ভেক্টরের বাইরে multimodal embedding

ফেব্রুয়ারিতে pplx-embed-v1 প্রকাশের পর থেকে আমরা embedding model-এর নতুন প্রজন্ম নিয়ে কাজ করে আসছি। গত সপ্তাহে আমরা আমাদের নতুন contextual embedding model, pplx-embed-v2-context, উন্মোচন করেছি। আজ আমরা পরিবারটিকে pplx-embed-v2-late-এর মাধ্যমে সম্প্রসারিত করছি, যা late-interaction model-এর একটি সংগ্রহ। আরও শক্তিশালী retrieval capability-এর পাশাপাশি, এই মডেলগুলো এমন প্রথম মডেল যারা তিনটি মূল বৈশিষ্ট্য একসঙ্গে যুক্ত করে:

• মাল্টি-ভেক্টর উপস্থাপন। প্রতিটি ইনপুটকে একটি একক ভেক্টরে সংকুচিত করার পরিবর্তে, এই মডেলগুলো আরও সূক্ষ্ম query-document তুলনার জন্য token-level ভেক্টর ধরে রাখে। এতে কুয়েরির বিভিন্ন অংশ ডকুমেন্টের বিভিন্ন অংশের সঙ্গে মিলতে পারে, এবং এমন বিস্তারিত তথ্য সংরক্ষিত থাকে যা multimodal retrieval-এর ক্ষেত্রে বিশেষভাবে মূল্যবান।
• টেক্সট এবং ইমেজ—উভয় modality-এর সমর্থন। আমাদের পূর্ববর্তী মডেলগুলোর text-to-text retrieval সক্ষমতার পাশাপাশি, এই নতুন মডেলগুলো text-to-image retrieval-ও পরিচালনা করে, ফলে OCR বা parsed text-এর প্রয়োজন ছাড়াই তারা সরাসরি rendered PDF page অনুসন্ধান করতে পারে।
• একটি শেয়ার্ড embedding space। আমরা 0.6B এবং 9B—দুটি model size প্রকাশ করছি, যাতে ভিন্ন quality, latency, এবং compute requirement সমর্থন করা যায়। প্রতিটি মডেল স্বাধীনভাবে ব্যবহার করা যায়, কিন্তু shared embedding space ছোট মডেলকেও বড় মডেল দিয়ে তৈরি index-এ query করতে দেয়, উচ্চমানের document embedding-এর সঙ্গে সস্তা, দ্রুত query-time inference একত্রিত করে।

এই নতুন মডেলগুলো বিভিন্ন ভিশন ও টেক্সট রিট্রিভাল বেঞ্চমার্কের পাশাপাশি এজেন্টিক প্রশ্নোত্তর টাস্কেও অত্যাধুনিক ফলাফল অর্জন করেছে। উল্লেখযোগ্যভাবে, শীর্ষস্থানীয় ভিজ্যুয়াল ডকুমেন্ট রিট্রিভাল বেঞ্চমার্ক ViDoRe (V3)-এ আমাদের 0.6B মডেলটি নিজের চেয়ে পাঁচ গুণ বেশি সক্রিয় প্যারামিটারসম্পন্ন মডেলগুলোর সমান পারফরম্যান্স দেখিয়েছে। দুটি মডেলই Hugging Face-এ সর্বজনীনভাবে উপলব্ধ। পদ্ধতি ও মূল্যায়নের ফলাফল সম্পর্কে আরও বিস্তারিত তথ্য আমাদের প্রযুক্তিগত প্রতিবেদনে পাওয়া যাবে।

একক ভেক্টর থেকে late interaction-এ

Retrieval system-কে efficiency এবং query ও document-এর মধ্যে interaction-এর গভীরতার মধ্যে ভারসাম্য খুঁজে পেতে হয়। ডেন্স embedding model প্রতিটি query এবং document-কে স্বাধীনভাবে encode করে, যাতে সেগুলো সস্তা inner product দিয়ে তুলনা করা যায়। এতে বিপুলসংখ্যক document-এর ওপর approximate nearest-neighbor (ANN) search ব্যবহারিক হয়ে ওঠে। অন্য প্রান্তে, cross-encoder query এবং document-কে একসঙ্গে প্রক্রিয়া করে, যা আরও সমৃদ্ধ interaction সক্ষম করে, কিন্তু প্রতিটি candidate-এর জন্য আলাদা forward pass প্রয়োজন হয়। প্রতিটি search-এর জন্য বিশাল document corpus জুড়ে এই computation প্রয়োগ করা অত্যন্ত ব্যয়বহুল, তাই cross-encoder সাধারণত অল্পসংখ্যক retrieved candidate পুনরায় র‌্যাঙ্ক করার জন্য সংরক্ষিত থাকে।

ডেন্স embedding-এর সীমাবদ্ধতা

একটি সম্পূর্ণ ডকুমেন্টকে একটিমাত্র fixed-size vector দিয়ে উপস্থাপন করলে একটি information bottleneck তৈরি হয়। ডকুমেন্ট যত দীর্ঘ হয় এবং যত বেশি বিষয় অন্তর্ভুক্ত করে, মডেলকে তত বেশি বিষয়বস্তু একই ভেক্টরে সংকুচিত করতে হয়, ফলে কুয়েরির সঙ্গে প্রাসঙ্গিক সবকিছু সংরক্ষণ করা কঠিন হয়ে পড়ে। Chunking এই চাপ কমাতে পারে, কিন্তু এতে ডকুমেন্ট খণ্ডিত হয়ে যায় এবং এমন তথ্য আলাদা হয়ে যেতে পারে যা একসঙ্গে থাকলেই অর্থপূর্ণ; এই সমস্যাটিও আমরা আমাদের contextual embedding model দিয়ে সমাধানের চেষ্টা করি। multimodal setting-এ এই bottleneck আরও তীব্র হয়, কারণ ইমেজের তথ্যঘনত্ব আরও বেশি compression দাবি করে।

Single-vector dense retrieval-ও প্রতিটি তুলনাকে দুই ভেক্টরের inner product-এ নামিয়ে আনে, ফলে scoring function-এর expressivity সীমিত হয়ে যায়। নির্দিষ্ট embedding dimension এবং যথেষ্ট বড় corpus-এর ক্ষেত্রে, query-document জোড়াগুলোর স্কোরের কিছু ধরণ training যাই হোক না কেন তৈরি করা অসম্ভব। LIMIT benchmark এই তাত্ত্বিক উদ্বেগকে single-vector retrieval-এর জন্য একটি বাস্তব stress test-এ পরিণত করে।

লেট-ইন্টারঅ্যাকশনভিত্তিক তথ্য পুনরুদ্ধার

Late-interaction modelগুলো সস্তা ডেন্স embedding model এবং অধিক expressive cross-encoder-এর মাঝামাঝি অবস্থান করে। ডেন্স model-এর মতোই, এগুলো query থেকে স্বাধীনভাবে document encode করে, ফলে document representation offline-এ গণনা করা যায়। তবে প্রতিটি ইনপুটকে একটি একক ভেক্টরে নামিয়ে না এনে, এগুলো একাধিক ভেক্টর ধরে রাখে এবং query-এর সঙ্গে document তুলনা করার সময় আরও সমৃদ্ধ scoring function ব্যবহার করে।

আমাদের pplx-embed-v2-late মডেলগুলো ColBERT-ধাঁচের একটি আর্কিটেকচার ব্যবহার করে, যা ইনপুটের প্রতিটি token-এর জন্য 128-dimensional embedding আউটপুট করে। আমরা MaxSim ব্যবহার করে query-document জোড়া স্কোর করি; প্রতিটি query token-এর জন্য মডেলটি সর্বোচ্চ-স্কোরিং document token নির্বাচন করে এবং চূড়ান্ত স্কোর পেতে token-প্রতি সর্বাধিক similarity-গুলোর যোগফল নেয়। এর ফলে কুয়েরির বিভিন্ন অংশ ডকুমেন্টের বিভিন্ন অংশের সঙ্গে মেলাতে পারে, এবং শক্তিশালী token match স্কোরে আরও বেশি অবদান রাখে।

বড় করুন

এই অতিরিক্ত expressivity-এর বিনিময়ে storage এবং candidate-scoring cost বেশি হয়। ডেন্স retrieval-এ প্রতিটি ডকুমেন্টের জন্য একটি ভেক্টর সংরক্ষণ করা হয় এবং একটি candidate-কে একটি inner product দিয়ে স্কোর করা হয়; late interaction-এ document token-এর জন্য ভেক্টর সংরক্ষণ করা হয় এবং বহু token-to-token similarity গণনা করা হয়। ডকুমেন্টের দৈর্ঘ্যের সঙ্গে এই খরচ বাড়ে, তাই late interaction-এর জন্য one-vector ANN retrieval-এর থেকে ভিন্ন indexing এবং serving trade-off প্রয়োজন। এর বিনিময়ে, এটি quality-sensitive corpus-এর জন্য আরও সমৃদ্ধ first-stage retrieval প্রদান করে এবং বৃহত্তর web-scale retrieval pipeline-এর একটি পরবর্তী stage হিসেবেও কাজ করতে পারে।

একটি মডেল, বহু modality

এই উন্নত interaction depth বিভিন্ন কাজের ক্ষেত্রে, যেমন long-context, agentic এবং out-of-domain retrieval-এ, অত্যন্ত উপযোগী বলে প্রমাণিত হয়েছে। multimodal retrieval-এ এই পার্থক্যটি বিশেষভাবে স্পষ্ট, যেমন ViDoRe(V3) leaderboard-এ ColPali model-এর বড় অগ্রগতি দেখায়।

বাস্তব জগতের corpus কেবলমাত্র পরিষ্কার text দিয়ে গঠিত নয়। এগুলো আসে PDF, slide deck, screenshot, scanned page, chart, এবং table আকারে। প্রচলিত pipeline এই ডকুমেন্টগুলো parse করে, OCR বা captioning প্রয়োগ করে, এবং উৎপন্ন text অনুসন্ধান করে, যা ব্যয়বহুল এবং তথ্যহানিকর: এতে OCR ত্রুটি যোগ হতে পারে এবং layout, table structure, figure, ও spatial relationship বাদ পড়ে যায়। Visual document search সেই ধাপটি এড়িয়ে যায়, rendering করা page-টিকে সরাসরি representation space-এ প্রক্ষেপণ করে, যেখানে text query তা অনুসন্ধান করতে পারে।

আমাদের নতুন model family multi-modal search-এর জন্য multi-vector model-এর শক্তিশালী পারফরম্যান্সের ওপর ভিত্তি করে তৈরি, এবং সর্বাধিক ব্যবহৃত document search benchmark ViDoRe(V3)-এ ছোট মডেলগুলোর জন্য Pareto frontier আরও এগিয়ে নিয়ে যায়। আমরা document rendering-ই visual input-এর সবচেয়ে সাধারণ রূপ হবে বলে আশা করি, তবে আমাদের মডেলগুলো scenic photograph-এর মতো natural image-এর ওপর semantic image search-ও সমর্থন করে।

ইন্টারঅপারেবল মডেলের একটি পরিবার প্রশিক্ষণ

সার্চ মৌলিকভাবে asymmetric: indexing এবং query encoding-এর operational constraint আলাদা। Indexing offline-এ চলে এবং parallelized করা যায়, তাই এর compute cost বহু ভবিষ্যৎ search-এর মধ্যে ভাগ হয়ে যায়। Query encoding প্রতিটি অনুরোধের জন্য online-এ চলে, ফলে এটি latency-sensitive এবং কখনও কখনও serving বা edge-device-এর সীমাবদ্ধতার অধীন। আমাদের model family এই asymmetry কাজে লাগায়, retrieval pipeline-এর প্রতিটি দিকের জন্য উপযোগী size সরবরাহ করে।

আমরা প্রথমে 18B teacher-কে contrastiveভাবে প্রশিক্ষণ দিই, তারপর সেটিকে আলাদাভাবে 9B এবং 0.6B student-এ distill করি। প্রতিটি student-কে কেবল teacher-এর ranking distribution পুনরুত্পাদন করতে প্রশিক্ষণ দেওয়ার বদলে, আমরা LEAF-ধাঁচের representation distillation ব্যবহার করি: প্রতিটি input token-এর জন্য আমরা student-এর output embedding-কে teacher-এর embedding-এর সঙ্গে align করি। representation-space distillation আগে dense, single-vector model-এ ব্যবহার করা হয়েছে, তবে আমরা এটিকে late interaction-এ প্রসারিত করি, যেখানে alignment target হলো ধরে রাখা প্রতিটি token-এর জন্য একটি ভেক্টর।

ফলে, প্রকাশিত উভয় checkpoint একই multi-vector embedding space ভাগ করে। এটি cross-model retrieval সক্ষম করে, এবং অতিরিক্ত deployment option সম্ভব করে তোলে।

• সর্বোচ্চ মান: 9B মডেল দিয়ে document এবং query encode করুন।
• সর্বোচ্চ দক্ষতা: 100% local inference-এর জন্য 0.6B মডেল দিয়ে document এবং query encode করুন
• স্বল্প-লেটেন্সি রিট্রিভাল: 9B মডেল দিয়ে corpus index তৈরি করুন, তারপর দ্রুত querying বজায় রেখে index-time computation কাজে লাগাতে লাইভ query-গুলো 0.6B মডেল দিয়ে encode করুন।
• স্থানীয়–ক্লাউড রিট্রিভাল: 0.6B মডেল ব্যবহার করে on-device-এ private local document বা live query encode করুন, এবং সেই representation-গুলো 9B index-এর cloud-hosted ফলাফলের সঙ্গে তুলনা বা merge করুন।

Latency-sensitive পরিবেশের জন্য আমরা 0.6B মডেলটিকে একটি হালকা query encoder হিসেবে ডিজাইন করেছি, যা edge device-এও চলতে পারে। Qwen3.5-0.8B থেকে শুরু করে আমরা এর 24-layer text tower-কে 12 layer-এ prune করেছি, ফলে ওই tower-এ non-embedding parameter 498M থেকে 240M-এ নেমে এসেছে। ফলে মডেলটির মোট parameter 594M, কিন্তু এর nominal size serving cost-কে বেশি দেখায়: 100M image encoding-এর জন্য ব্যবহৃত হয়, এবং 254M token-embedding table-এ থাকে, যার runtime-এর ওপর প্রভাব খুব কম। Text encoding-এর জন্য সক্রিয় থাকে মাত্র প্রায় 240M parameter, এবং image encoding-এর জন্য 340M, ফলে 9B index-এর সঙ্গে সামঞ্জস্য বজায় রেখেই মডেলটি উল্লেখযোগ্যভাবে ছোট একটি মডেলের serving cost প্রদান করে।

আমরা একই প্রক্রিয়া প্রয়োগ করে 27B backbone থেকে আমাদের 18B teacher তৈরি করেছি, যা teacher-টিকে তার প্রদত্ত signal দুর্বল না করেই distill করার খরচ উল্লেখযোগ্যভাবে কমিয়েছে।

বহুভাষিক, বহুমাত্রিক, দূষণমুক্ত প্রশিক্ষণ ডেটা

আমরা উভয় মডেলকে 46টি ভাষায় 594টি dataset থেকে সংগৃহীত 186 মিলিয়ন query-document pair-এর একটি dataset-এ প্রশিক্ষণ দিই। এই pairগুলোর মধ্যে 88.3% text-to-text, 8.3% text-to-image, এবং 3.4% text-to-visual-document pair। dataset-এর আকারের অনুপাতে sampling করার বদলে আমরা প্রতিটি dataset-কে একটি sampling weight দিই, যা যথাক্রমে 56.5%, 30.9%, এবং 12.6%-এর আরও সুষম training mixture তৈরি করে।

আমাদের training data তৈরির সময়, আমরা এমন কোনো dataset অন্তর্ভুক্ত করি না যা আমরা যে benchmark-এ মূল্যায়ন করি সেগুলোর সঙ্গে সম্পর্কিত, যাতে benchmark score কৃত্রিমভাবে বাড়িয়ে না তুলে আমাদের ফলাফল বিশ্বস্তভাবে উপস্থাপন করা যায়। এই সিদ্ধান্তের সঙ্গে একটি trade-off রয়েছে: আমরা বাদ দেওয়ার জন্য যে datasetগুলো বেছে নিয়েছি, তার কিছুতে উচ্চমানের ডেটা রয়েছে যা সেগুলো যে benchmark থেকে এসেছে তার বাইরে অন্য task-এ আমাদের model-এর পারফরম্যান্স উন্নত করতে পারত। শেষ পর্যন্ত আমরা সেই খরচ মেনে নেওয়ার সিদ্ধান্ত নিয়েছি: development-এর সময় আমাদের কাছে এবং model তুলনা করার সময় ব্যবহারকারীদের কাছে নির্ভরযোগ্য সংখ্যা বেশি উপযোগী।

মূল্যায়ন

আমরা text, visual-document, mixed-image, এবং agentic retrieval জুড়ে উভয় মডেল মূল্যায়ন করি। উভয় মডেলই Q2D-Web এবং BrowseComp+-এ মূল্যায়িত baseline-গুলোকে ছাড়িয়ে যায়, এবং visual-document retrieval ও MADQA-তে শক্তিশালী ফলাফল অর্জন করে।

টেক্সট রিট্রিভাল

আমরা তিনটি বেঞ্চমার্কে text-to-text retrieval মূল্যায়ন করি:

• ডোমেইন-নির্দিষ্ট বেঞ্চমার্ক: 72টি MTEB-ধাঁচের task-এর একটি সংগ্রহ, যার মধ্যে 55টি পাঁচটি ডোমেইনে (finance, legal, health, conversation, tech), এবং আরও 17টি বিবিধ বহুভাষিক task রয়েছে। এই সংগ্রহে FinQA, AILACasedocs, এবং XLSum-এর মতো task অন্তর্ভুক্ত। উপরে বর্ণিত অনুযায়ী, এই datasetগুলোর কোনোটি আমাদের training data-তে নেই।
• Q2D-Web: আমাদের web-scale retrieval benchmark, যেখানে production search traffic থেকে সংগৃহীত প্রায় 70,000টি এজেন্ট-পুনর্গঠিত search query রয়েছে, এবং যা 190M web document-এর একটি corpus-এর ওপর ভিত্তি করে। এই benchmark উৎপাদনধর্মী query এবং বৃহৎ-স্কেলের corpus-এর কারণে, অন্যান্য উপলভ্য retrieval benchmark-এর তুলনায় বাস্তব-জগতের web retrieval-এর অনেক বেশি কাছাকাছি একটি পরিবেশে retrieval performance পরিমাপ করে।
• ViDoRe(V3) Markdown: ViDoRe(V3) সাধারণত একটি text-to-visual-document retrieval task, তবে Markdown-এ parse করা corpus-এর একটি সংস্করণ ব্যবহার করে এটিকে text task হিসেবেও মূল্যায়ন করা যায়, যা আমাদের image এবং text—উভয় modality-তে information-rich document retrieval মূল্যায়ন করতে দেয়।

আমরা nDCG@10 ব্যবহার করে পারফরম্যান্স পরিমাপ করি, শুধু Q2D-Web ছাড়া, যেখানে benchmark-এর প্রথম-স্তরের web-retrieval scenario-র ওপর ফোকাসের কারণে আমরা Recall@1000 প্রতিবেদন করি। আমাদের মূল্যায়ন জুড়ে, আমরা বিভিন্ন size class জুড়ে শিল্প-নেতৃস্থানীয় embedding model-এর সঙ্গে তুলনা করি। Text retrieval-এর জন্য, nemotron-embed-8b, gemini-embedding-2, voyage-large-4, এবং qwen3-embed-8b সবচেয়ে শক্তিশালী এবং সর্বাধিক ব্যবহৃত dense প্রতিদ্বন্দ্বী, আর voyage-4-nano এবং qwen3-embed-0.6b sub-billion-parameter dense baseline হিসেবে কাজ করে। আমরা TopK সম্প্রতি প্রকাশিত topk-embed-v1 late-interaction model-এর সঙ্গেও তুলনা করি, যেসব বেঞ্চমার্কে TopK ফলাফল প্রকাশ করেছে সেখানে। ViDoRe(V3)-এর স্কোর তাদের model card থেকে 128-dimension-এ নেওয়া হয়েছে, যা আমাদের token embedding-এর width-এর সঙ্গে মিলে যায়; Q2D-Web-এর স্কোর আমাদের leaderboard থেকে নেওয়া হয়েছে।

ডোমেইন-নির্দিষ্ট বেঞ্চমার্কগুলোতে আমাদের 9B এবং 0.6B মডেলের গড় স্কোর যথাক্রমে 81.3% এবং 78.0%। আমাদের 9B মডেলটি আমরা মূল্যায়ন করা সব মডেলের মধ্যে সর্বোচ্চ স্কোর অর্জন করে, এবং পরবর্তী সেরা মডেলকে 1.6pp ব্যবধানে হারায়। আমাদের 0.6B মডেলটি অন্য শীর্ষ-স্কোরিং মডেলগুলোর সঙ্গে প্রতিযোগিতামূলক, এবং gemini-embedding-2-এর চেয়ে মাত্র 0.3pp পিছিয়ে। গুরুত্বপূর্ণভাবে, যেহেতু আমরা এই বেঞ্চমার্ক টাস্কগুলোর কোনো ডেটাতেই প্রশিক্ষণ দিইনি, তাই ডোমেইন-নির্দিষ্ট বেঞ্চমার্কগুলো দেখায় যে আমাদের embedding model নতুন ডোমেইনে generalize করতে পারে।

বড় করুন

ViDoRe(V3) Markdown task-এ আমাদের 0.6B মডেলের আপেক্ষিক শক্তি আরও বেশি; এর 61.2% স্কোর আমাদের 9B মডেল বাদে অন্য সব মডেলকে ছাড়িয়ে যায়, যার স্কোর ছিল 64.7%। পরবর্তী সেরা বাহ্যিক মডেলের স্কোর ছিল 60.6%, এবং পরবর্তী সেরা sub-1B মডেল, topk-embed-v1-0.8b, আমাদের 0.6B মডেলের চেয়ে 4.3pp পিছিয়ে ছিল।

বড় করুন

Q2D-Web-এ প্রাসঙ্গিকতা তিনটি বিচার সেট থেকে আসে: এজেন্ট যে ডকুমেন্টগুলো উদ্ধৃত করেছে (Citation), আমাদের production retrieval system দ্বারা র‌্যাঙ্ক করা ডকুমেন্টগুলো (Web), এবং উভয়ের সংযুক্ত সেট, যার সঙ্গে unlabeled ডকুমেন্টগুলোর LLM বিচার যোগ করা হয়েছে (Combined)। pplx-embed-v2-late মডেলের উভয় সংস্করণই তিনটি বিচার সেটেই প্রতিটি বেসলাইনকে নেতৃত্ব দেয়। আমরা combined বিচারগুলোর ওপর ফোকাস করি, কারণ Citation এবং Web সেটগুলো আমাদের নিজস্ব সিস্টেম ইতিমধ্যে যা surfaced করেছে তার থেকেই উদ্ভূত, তাই এগুলো এমন মডেলের পক্ষে যায় যেগুলো তাদের মতোই র‌্যাঙ্ক করে; Combined-এ যোগ করা LLM বিচারগুলো এমন ডকুমেন্ট কভার করে যা কোনো সিস্টেমই উদ্ধার করতে পারেনি। সেই সেটে আমাদের 9B এবং 0.6B—উভয় মডেলই সব প্রতিযোগীকে হারায়, যথাক্রমে 74.8% এবং 73.6% স্কোর করে, যেখানে আগের সেরা স্কোর ছিল 69.3%।

বড় করুন

ভিজ্যুয়াল রিট্রিভাল

আমাদের প্রধান ভিজ্যুয়াল রিট্রিভাল বেঞ্চমার্ক হলো ViDoRe(V3)-এর মানক পাবলিক সাবসেট, যেখানে কর্পাসটি Markdown রূপান্তরের পরিবর্তে রেন্ডার করা পেজ ইমেজ নিয়ে গঠিত। আমরা দুটি শীর্ষস্থানীয় ডেন্স ভিশন-ল্যাঙ্গুয়েজ মডেল, qwen3-vl-embed-8b এবং gemini-embedding-2, এবং topk-embed-v1 লেট-ইন্টারঅ্যাকশন মডেলের সঙ্গে তুলনা করি। এছাড়াও, Tencent-এর EVIE মডেল এবং NVIDIA-এর Nemotron ColEmbed V2 মডেলগুলো হলো “vision-only” মাল্টি-ভেক্টর বেসলাইন, যা বিশেষভাবে ইমেজ রিট্রিভাল টাস্কের জন্য প্রশিক্ষিত।

আমাদের উভয় মডেলই vision-language model-এর ক্ষেত্রে state of the art পারফরম্যান্স অর্জন করে। আমাদের 9B মডেল গড়ে 65.2% স্কোর করে, এবং কেবলমাত্র EVIE-এর পেছনে থাকে। আমাদের 0.6B মডেল 62.3% স্কোর অর্জন করে, যা topk-embed-v1-2b-এর চেয়ে এগিয়ে এবং বাহ্যিক বেসলাইনগুলোর মধ্যে কেবল অনেক বড় EVIE এবং nemotron-colembed-v2-8b-এর পেছনে থাকে।

বড় করুন

আমাদের 0.6B মডেলটি model size-এর প্রেক্ষাপটে বিশেষভাবে প্রতিযোগিতামূলক। এটি তুলনীয় আকারের সব মডেলের চেয়ে এগিয়ে এবং nemotron-colembed-v2-8b-এর থেকে 1.2pp-এর মধ্যে রয়েছে, যদিও image input-এর জন্য কেবল 340M প্যারামিটার সক্রিয় করে। আমাদের মডেলগুলো token প্রতি 128-dimensional embedding তৈরি করে, যেখানে EVIE-4.5B-এর জন্য তা 2,048 এবং EVIE-8B ও nemotron-colembed-v2-8b-এর জন্য 4,096। storage cost-এর এই পার্থক্য এসব মডেল বাস্তবে কোথায় ব্যবহারযোগ্য হবে তা নাটকীয়ভাবে প্রভাবিত করতে পারে।

বড় করুন

আমরা MIRACL-Vision-এও visual retrieval মূল্যায়ন করি, একটি benchmark যার corpus Wikipedia article-এর screenshot নিয়ে গঠিত, এবং PPLX-Q2I-এ, যা visual document এবং natural image—উভয়কে কভার করে এমন একটি অভ্যন্তরীণ benchmark। PPLX-Q2I Perplexity-এর production image-search log থেকে তৈরি এবং image search ব্যবহারের ক্ষেত্রে বৈচিত্র্য প্রতিফলিত করার জন্য নকশা করা হয়েছে। আমরা ভাষা ও ডোমেইন অনুযায়ী স্তরীকৃত 10,000-কুয়েরির একটি নমুনা ব্যবহার করি, 100,000 ছবির corpus-এর বিপরীতে; প্রতিটি কুয়েরির relevant document হলো সেই ছবিগুলো যা এর জন্য পরিবেশন করা হয়েছে। আমরা PPLX-Q2I-এ EVIE-8B বা Nemotron ColEmbed মূল্যায়ন করিনি, কারণ তাদের default output dimensionality-তে (Nemotron ColEmbed 4B-এর জন্য 2,560, এবং Nemotron ColEmbed 8B ও EVIE-8B-এর জন্য 4,096) এই আকারের corpus index করা ব্যবহারিক ছিল না।

ViDoRe(V3)-এ এর পারফরম্যান্সের মতোই, আমাদের 0.6B মডেলটি অনেক বড় মডেলগুলোর সঙ্গে প্রতিযোগিতামূলক, MIRACL-Vision-এ qwen3-vl-embed-8b-এর চেয়ে মাত্র 1pp পিছিয়ে স্কোর করে। আমাদের 9B মডেল gemini-embedding-2 ছাড়া অন্য সব মডেলকে ছাড়িয়ে যায়।

PPLX-Q2I-তে আমাদের উভয় মডেলই qwen3-vl-embedding-8b-কে 9pp-এরও বেশি ব্যবধানে হারায়, এবং আমাদের 9B মডেল gemini-embedding-2-এর চেয়ে মাত্র 2pp পিছিয়ে। visual document-এর পাশাপাশি natural image-ও থাকা corpus-এ আমাদের ফলাফল প্রতিযোগিতামূলকই থাকে, তাই ViDoRe(V3)-তে যে multi-vector representation ফল দেয়, তা সাধারণ image search-এর মূল্যে আসে না।

বড় করুন

ক্রস-মডেল রিট্রিভাল

পূর্ববর্তী বিভাগগুলোর ফলাফল প্রতিটি মডেলকে এমন একটি কর্পাসের বিপরীতে মূল্যায়ন করে, যেটি তারা নিজেই এমবেড করেছে। শেয়ার্ড embedding space-এর কারণে এটি কোনো বাধ্যতামূলক শর্ত নয়: 9B মডেল দিয়ে ইনডেক্স করা একটি কর্পাস 0.6B মডেল দিয়ে এমবেড করা কুয়েরি দ্বারা অনুসন্ধান করা যেতে পারে। বাস্তব উৎপাদন ডেপ্লয়মেন্টে আমরা এটাই প্রত্যাশা করি যে এই কনফিগারেশন ব্যবহৃত হবে, কারণ indexing হলো একবারের খরচ যা কর্পাসের পুরো আয়ুষ্কাল জুড়ে ভাগ হয়ে যায়, অন্যদিকে query embedding প্রতিটি অনুরোধের latency-critical path-এ চলে।

যে ডেপ্লয়মেন্ট query time-এ 9B মডেল চালাতে পারে না, সেটি অন্যথায় 0.6B মডেল দিয়েও index করত; তাই সেই symmetric 0.6B configuration-ই তুলনার প্রাসঙ্গিক বিন্দু। আমরা উপরে ব্যবহৃত 72টি domain-specific benchmark এবং ViDoRe v3 image retrieval-এর বিরুদ্ধে মূল্যায়ন করি। Query-গুলো pplx-embed-v2-late-0.6b দিয়ে এমবেড করা হয়, এবং আমরা কেবল কর্পাস কী দিয়ে এমবেড করা হয়েছে তা পরিবর্তন করি।

9B মডেল দিয়ে indexing করা নিঃসন্দেহে একটি উন্নতি। ডোমেইন-নির্দিষ্ট বেঞ্চমার্কগুলোতে asymmetric configuration গড়ে 1.6pp লাভ করে। ViDoRe v3 image retrieval-এ এটি 63.5% স্কোর করে, যা উভয় পাশে 0.6B মডেল ব্যবহারে 62.3%-এর চেয়ে 1.2 percentage point বেশি। symmetric 0.6B এবং asymmetric configuration-এর মধ্যে query-encoding cost অপরিবর্তিত থাকে, কারণ উভয় ক্ষেত্রেই একই 0.6B মডেল query encode করে; অতিরিক্ত document-encoding cost indexing time-এ বহন করা হয়।

উভয় পাশে 9B মডেল চালানো আরও ভালো, ডোমেইন-নির্দিষ্ট বেঞ্চমার্কগুলোতে গড়ে 81.3% স্কোর করে। তাই asymmetric configuration text-এ দুই মডেলের গুণগত পার্থক্যের প্রায় অর্ধেকটি পুনরুদ্ধার করে, তাও অতিরিক্ত query-encoding cost ছাড়াই। কোন configuration বেছে নেয়া হবে তা নির্ভর করে query time-এ 9B মডেলটি সাশ্রয়ী কি না তার ওপর; যেখানে তা নয়, সেখানে asymmetric setup তার সুবিধার একটি বড় অংশ ধরে রাখে।

বড় করুন

এজেন্টিক রিট্রিভাল

Agentic retrieval হলো আরেকটি ক্ষেত্র, যেখানে multi-vector embedding বিশেষভাবে শক্তিশালী। BrowseComp+-এ একটি LLM (GPT-OSS-120B আমাদের ক্ষেত্রে) জটিল user query-এর জন্য প্রাসঙ্গিক তথ্য খুঁজতে embedding model ব্যবহার করে corpus অনুসন্ধান করে, এবং দ্বিতীয় একটি LLM নির্ধারণ করে প্রাপ্ত উত্তরটি ground truth-এর সঙ্গে মেলে কি না। আমাদের 9B মডেল 64.0% accuracy অর্জন করে, next best ColBERT model-কে 4.9pp এবং next best dense model-কে 8.7pp ব্যবধানে হারায়, আর আমাদের 0.6B ছাড়া অন্য যেকোনো মডেলের তুলনায় কম search করে। 0.6B মডেলটিও আমাদের family-এর বাইরের প্রতিটি মডেলের চেয়ে এগিয়ে।

বড় করুন

MADQA 800টি বৈচিত্র্যময় বাস্তব-জগতের PDF জুড়ে agentic question-answering পরীক্ষা করে, যা 18,000-এরও বেশি পৃষ্ঠা বিস্তৃত, এবং এতে 500টি মানব-লিখিত প্রশ্ন রয়েছে যেগুলোর উত্তর সাধারণ জ্ঞান থেকে দেয়া যায় না। একটি এজেন্ট (আমাদের ক্ষেত্রে Gemini 3.5 Flash) পরীক্ষাধীন retriever ব্যবহার করে সংগ্রহটি অনুসন্ধান করে এবং annoted evidence page-এর বিপরীতে answer accuracy ও page F1-এর ভিত্তিতে স্কোর করা হয়। আমাদের 9B মডেল retriever-দের মধ্যে 92.4% accuracy নিয়ে নতুন state of the art স্থাপন করে, একই এজেন্ট যখন Mixedbread-এর retriever ব্যবহার করে তার তুলনায় 3.5pp এগিয়ে; আমাদের 0.6B মডেল 90.1%-এ পৌঁছায়। আমরা এটিও লক্ষ্য করি যে আমাদের retriever Mixedbread Agentic Search-এর বিপরীতে প্রতিযোগিতামূলক ফলাফল অর্জন করে, যেখানে তাদের search system-এ একটি search sub-agent রয়েছে যা main agent-এর প্রতিটি কলের জন্য একাধিক search পরিকল্পনা ও চালায় (93.4%, আমাদের confidence interval-এর মধ্যে)।

বড় করুন

শুরু করা

আমাদের 0.6B এবং 9B—উভয় মডেলই Hugging Face-এ উপলভ্য এবং sentence-transformers >= 6.0.0 এবং transformers >= 5.4.0-এর সঙ্গে আউট-অব-দ্য-বক্স সামঞ্জস্যপূর্ণ। আরও প্রযুক্তিগত বিবরণ এবং সম্পূর্ণ মূল্যায়ন ফলাফল এই বছরের শেষের দিকে একটি technical report-এ প্রকাশ করা হবে।

আমরা বর্তমানে আমাদের ডেন্স এমবেডিং মডেলগুলোর পরবর্তী প্রজন্মকে প্রশিক্ষণ দিচ্ছি এবং Perplexity API Platform-এ পর্যায়ক্রমে লেট-ইন্টারঅ্যাকশন, ডেন্স ও কনটেক্সচুয়াল এমবেডিংয়ের সাপোর্ট চালু করব।

উদ্ধৃতি

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}