تضمينات متعددة الوسائط تتجاوز المتجه الواحد

منذ إطلاق pplx-embed-v1 في فبراير، ونحن نعمل على جيل جديد من نماذج التضمين. الأسبوع الماضي، قدمنا نموذجنا الجديد للتضمين السياقي، pplx-embed-v2-context. واليوم، نوسّع العائلة بـ pplx-embed-v2-late، وهي مجموعة من نماذج التفاعل المتأخر. وبالإضافة إلى قدرات الاسترجاع الأقوى، فهي أول نماذج تجمع ثلاث ميزات أساسية:

• تمثيلات متعددة المتجهات. بدلًا من ضغط كل مدخل إلى متجه واحد، تحتفظ هذه النماذج بمتجهات على مستوى الرموز من أجل مقارنات أدق بين الاستعلام والمستند. يتيح ذلك لأجزاء مختلفة من الاستعلام أن تطابق أجزاء مختلفة من المستند، مع الحفاظ على التفاصيل التي تكون ذات قيمة خاصة للاسترجاع متعدد الوسائط.
• دعم كلٍّ من وسيطي النص والصورة. إلى جانب قدرات الاسترجاع من نص إلى نص في نماذجنا السابقة، تتعامل هذه النماذج الجديدة مع الاسترجاع من نص إلى صورة، ما يتيح لها البحث مباشرةً في صفحات PDF المُولَّدة دون الحاجة إلى OCR أو نص مُحلَّل.
• مساحة تضمين مشتركة. نطرح حجمين للنموذج، 0.6B و9B، لدعم متطلبات مختلفة من الجودة والكمون والحوسبة. يمكن استخدام كلٍّ منهما بشكل مستقل، لكن مساحة التضمين المشتركة تتيح أيضًا للنموذج الأصغر الاستعلام عن فهرس أُنشئ باستخدام النموذج الأكبر، ما يجمع بين تضمينات مستندات أعلى جودة واستدلال سريع ومنخفض الكلفة وقت الاستعلام.

تحقق هذه النماذج الجديدة نتائج هي الأفضل حاليًا على مجموعة من معايير استرجاع المحتوى المرئي والنصي، فضلًا عن مهام الإجابة عن الأسئلة القائمة على الوكلاء. واللافت أنه على معيار ViDoRe (V3)، وهو أحد أبرز معايير استرجاع المستندات المرئية، يضاهي نموذجنا ذو 0.6 مليار معلمة نماذجَ يفوق عدد معلماتها النشطة عدد معلماته بخمسة أضعاف. ويتوفر كلا النموذجين للعامة على Hugging Face. ويقدّم تقريرنا التقني مزيدًا من التفاصيل حول المنهجية ونتائج التقييم.

من متجهات منفردة إلى التفاعل المتأخر

يجب أن توازن أنظمة الاسترجاع بين الكفاءة وعمق التفاعل بين الاستعلامات والمستندات. ترمّز نماذج التضمين الكثيفة كل استعلام وكل مستند بشكل مستقل، مما يتيح مقارنتهما بضرب داخلي منخفض الكلفة. وهذا يجعل البحث التقريبي عن أقرب الجيران (ANN) عبر مليارات المستندات عمليًا. وفي الطرف الآخر، تعالج مُرمِّزات العبور الاستعلامَ والمستند معًا، ما يتيح تفاعلًا أغنى لكنه يتطلب تمريرًا أماميًا منفصلًا لكل مرشح. إن تطبيق هذه الحوسبة على كوربس كبير من المستندات لكل بحث مكلف للغاية، لذا تُستخدم مُرمِّزات العبور عادةً لإعادة ترتيب مجموعة صغيرة من المرشحين المسترجعين.

قيود التضمينات الكثيفة

يمثل تمثيل مستند كامل بمتجه واحد ثابت الحجم عنق زجاجة للمعلومات. ومع ازدياد طول المستندات وتغطيتها لمزيد من الموضوعات، يجب على النموذج ضغط محتوى أكبر في المتجه نفسه، ما يجعل الحفاظ على كل ما هو ذي صلة باستعلام معين أصعب. يمكن للتقطيع إلى مقاطع أن يخفف هذا الضغط، لكنه يجزئ المستند وقد يفصل بين معلومات لا يكون لها معنى إلا معًا، وهي مشكلة نعالجها أيضًا عبر نموذج التضمين السياقي لدينا. ويتفاقم هذا العنق الزجاجة في البيئات متعددة الوسائط، حيث تتطلب كثافة المعلومات في الصور ضغطًا أكبر أيضًا.

الاسترجاع الكثيف ذو المتجه الواحد يختزل أيضًا كل مقارنة إلى ضرب داخلي بين متجهين، مما يحد من غنى دالة التسجيل. ومع بُعد تضمين ثابت وكوربس كبير بما يكفي، تصبح بعض أنماط الدرجات عبر أزواج الاستعلام-المستند مستحيلة الإخراج، بغض النظر عن التدريب. يحول معيار LIMIT هذا القلق النظري إلى اختبار إجهاد عملي للاسترجاع ذي المتجه الواحد.

الاسترجاع بالتفاعل المتأخر

تحتل نماذج التفاعل المتأخر المساحة بين نماذج التضمين الكثيفة الأرخص ومُرمِّزات العبور الأكثر تعبيرًا. ومثل النماذج الكثيفة، فهي ترمّز المستندات بصورة مستقلة عن الاستعلام، مما يسمح بحساب تمثيلات المستندات مسبقًا دون اتصال. لكن بدلًا من تقليل كل مدخل إلى متجه واحد، فإنها تحتفظ بعدة متجهات وتستخدم دالة تسجيل أغنى عند مقارنة استعلام بمستند.

تستخدم نماذج pplx-embed-v2-late لدينا بنية على نمط ColBERT، وتُخرج تضمينات بطول 128 بُعدًا لكل رمز في المدخل. نقيم أزواج الاستعلام-المستند باستخدام MaxSim؛ فلكل رمز في الاستعلام، يختار النموذج أعلى رمز مستند تسجيلًا ويجمع أعلى أوجه التشابه على مستوى الرموز لإنتاج الدرجة النهائية. يتيح هذا لأجزاء مختلفة من الاستعلام أن تطابق أجزاء مختلفة من المستند، مع مساهمة المطابقات الأقوى على مستوى الرموز بدرجة أكبر في النتيجة.

تكبير

تأتي هذه القدرة التعبيرية الإضافية مع تكاليف أعلى للتخزين وتسجيل المرشحين. يخزن الاسترجاع الكثيف متجهًا واحدًا لكل مستند ويقيّم المرشح بضرب داخلي واحد؛ بينما يخزن التفاعل المتأخر متجهات لرموز المستند ويقيّم العديد من أوجه التشابه بين الرموز. وتزداد الكلفة مع طول المستند، لذا يتطلب التفاعل المتأخر مفاضلة مختلفة في الفهرسة والخدمة عن الاسترجاع ذي المتجه الواحد باستخدام ANN. وفي المقابل، يوفر استرجاعًا أوليًا أغنى للكوربسات الحساسة للجودة، ويمكنه أيضًا أن يعمل كمرحلة لاحقة في خط استرجاع أكبر على مستوى الويب.

نموذج واحد، وسائط متعددة

وقد ثبت أن هذا العمق المحسَّن للتفاعل مفيد للغاية في مهام مختلفة، بما في ذلك الاسترجاع ذو السياق الطويل، والاسترجاع الوكيلي، والاسترجاع خارج المجال. ويتضح هذا الفرق بشكل خاص في الاسترجاع متعدد الوسائط، كما يظهر من التقدم الكبير لنماذج ColPali على لوحة الصدارة في ViDoRe(V3).

الكوربسات الواقعية لا تتكون من نص نظيف فقط. فهي تأتي على شكل ملفات PDF وعروض شرائح ولقطات شاشة وصفحات ممسوحة ضوئيًا ومخططات وجداول. تقوم السلسلة التقليدية بتحليل هذه المستندات وتطبيق OCR أو الوصف التوضيحي، ثم البحث في النص الناتج، وهو أمر مكلف ومعرض للفقد: فقد يُدخل أخطاء OCR، كما أنه يتخلى عن التخطيط وبنية الجداول والأشكال والعلاقات المكانية. أما البحث البصري في المستندات فيتجاوز هذه الخطوة، إذ يَسقط الصفحة المُولَّدة مباشرةً في مساحة التمثيل حيث يمكن للاستعلامات النصية البحث فيها.

يبني جيلنا الجديد من النماذج على الأداء القوي للنماذج متعددة المتجهات في البحث متعدد الوسائط، ويُحسن حدود Pareto للنماذج الصغيرة على معيار البحث في المستندات الأكثر استخدامًا، ViDoRe(V3). وبينما نتوقع أن تكون تمثيلات المستندات الشكل الأكثر شيوعًا للمدخلات البصرية، تدعم نماذجنا أيضًا البحث الدلالي في الصور الطبيعية، مثل الصور الطبيعية للمناظر.

تدريب عائلة من النماذج القابلة للتشغيل البيني

البحث غير متماثل جوهريًا: فالفهرسة وترميز الاستعلام يخضعان لقيود تشغيلية مختلفة. تعمل الفهرسة دون اتصال ويمكن موازنتها، لذا تُستهلك كلفة الحوسبة فيها عبر العديد من عمليات البحث المستقبلية. أما ترميز الاستعلام فيعمل على الخط لكل طلب، مما يجعله حساسًا للكمون وأحيانًا خاضعًا لقيود الخدمة أو الجهاز الطرفي. وتستفيد عائلتنا من النماذج من هذا اللاتماثل، إذ تقدم أحجامًا مصممة لكل جانب من خط الاسترجاع.

ندرب معلمًا بحجم 18B بطريقة تباينية، ثم نُقطر معرفته بشكل منفصل إلى طلاب بحجم 9B و0.6B. وبدلًا من تدريب كل طالب فقط على إعادة إنتاج توزيع ترتيب المعلم، نستخدم تقطير التمثيل بأسلوب LEAF: لكل رمز إدخال، نُحاذي التضمين الناتج للطالب مع تضمين المعلم. وبينما استُخدم تقطير فضاء التمثيل سابقًا مع النماذج الكثيفة ذات المتجه الواحد، فإننا نعممه على التفاعل المتأخر، حيث يكون هدف المحاذاة متجهًا لكل رمز محتفَظ به.

ونتيجةً لذلك، تشترك نقطتا التحقق المصدرتان في فضاء التضمين متعدد المتجهات نفسه. وهذا يتيح الاسترجاع عبر النماذج، ما يجعل خيارات نشر إضافية ممكنة.

• أقصى جودة: شفر المستندات والاستعلامات باستخدام نموذج 9B.
• أقصى كفاءة: شفر المستندات والاستعلامات باستخدام نموذج 0.6B من أجل استدلال محلي بنسبة 100%
• استرجاع منخفض الكمون: أنشئ فهرس الكوربس باستخدام نموذج 9B، ثم شفر الاستعلامات المباشرة باستخدام نموذج 0.6B للاستفادة من الحوسبة وقت الفهرسة مع الحفاظ على سرعة الاستعلام.
• استرجاع محلي–سحابي: شفر المستندات المحلية الخاصة أو الاستعلامات المباشرة باستخدام نموذج 0.6B على الجهاز، ثم قارن تلك التمثيلات أو ادمجها مع النتائج من فهرس 9B مستضاف في السحابة.

للسياقات الحساسة للكمون، صممنا نموذج 0.6B على أنه مُرمِّز استعلام خفيف الوزن يمكنه أيضًا العمل على الأجهزة الطرفية. بدءًا من Qwen3.5-0.8B، قمنا بتقليم برج النص ذي 24 طبقة إلى 12 طبقة، مما خفض هذا البرج من 498 مليون إلى 240 مليون معلمة غير خاصة بالتضمين. يملك النموذج الناتج 594 مليون معلمة إجمالًا، لكن حجمه الاسمي يبالغ في تقدير كلفة الخدمة: إذ يُستخدم 100 مليون منها لترميز الصور، و254 مليونًا في جدول تضمين الرموز، وهو ما لا يؤثر كثيرًا في وقت التشغيل. لا تنشط إلا نحو 240 مليون معلمة لترميز النص و340 مليونًا لترميز الصور، مما يمنح النموذج كلفة خدمة نموذج أصغر بكثير مع الحفاظ على التوافق مع فهرس 9B.

طبقنا العملية نفسها لبناء معلمنا بحجم 18B من أساس 27B، مما جعل تقطير المعلم أقل كلفة بكثير من دون إضعاف الإشارة التي يوفرها.

بيانات تدريب متعددة اللغات ومتعددة الوسائط وغير ملوثة

ندرب النموذجين على مجموعة بيانات تضم 186 مليون زوج استعلام-مستند مأخوذ من 594 مجموعة بيانات عبر 46 لغة. من هذه الأزواج، 88.3% نص-إلى-نص، و8.3% نص-إلى-صورة، و3.4% نص-إلى-مستند بصري. وبدلًا من العينة المتناسبة مع حجم مجموعة البيانات، نخصص لكل مجموعة وزنًا للعينة، ما ينتج عنه مزيج تدريبي أكثر توازنًا بنسبة 56.5% و30.9% و12.6% على التوالي.

عند بناء بيانات التدريب لدينا، نستبعد أي مجموعات بيانات مرتبطة بالمعايير المرجعية التي نقيم عليها، كي نمثل نتائجنا بأمانة من دون تضخيم درجات المعايير. ويأتي هذا القرار مع مقايضة مفادها أن بعض مجموعات البيانات التي اخترنا استبعادها تحتوي على بيانات عالية الجودة كان يمكن أن تحسن أداء نموذجنا في مهام غير المعيار الذي جاءت منه. في النهاية، اخترنا قبول هذه الكلفة: فالأرقام الموثوقة أكثر فائدة لنا أثناء التطوير، وللمستخدمين عند مقارنة النماذج.

التقييم

نقيّم كلا النموذجين عبر الاسترجاع النصي، واسترجاع المستندات البصرية، واسترجاع الصور المختلطة، والاسترجاع الوكيلي. ويتفوق النموذجان على خطوط الأساس التي جرى تقييمها في Q2D-Web وBrowseComp+، ويحققان نتائج قوية في استرجاع المستندات البصرية وMADQA.

استرجاع النص

نقيّم الاسترجاع من نص إلى نص على ثلاثة معايير مرجعية:

• معايير مرجعية خاصة بالمجال: مجموعة من 72 مهمة على نمط MTEB، منها 55 مهمة عبر خمسة مجالات (التمويل، القانون، الصحة، المحادثة، التقنية)، إضافة إلى 17 مهمة متعددة اللغات متنوعة. تتضمن المجموعة مهامًا مثل FinQA وAILACasedocs وXLSum. لا تظهر أي من هذه المجموعات في بيانات التدريب لدينا، كما ذُكر أعلاه.
• Q2D-Web: معيارنا المرجعي للاسترجاع على نطاق الويب، ويضم نحو 70,000 استعلام بحث صيغت من جديد بواسطة الوكيل، مأخوذة من حركة البحث الإنتاجية، فوق كوربس من 190 مليون مستند ويب. يقيس هذا المعيار أداء الاسترجاع في إعداد أقرب كثيرًا إلى استرجاع الويب الواقعي مقارنةً بمعايير الاسترجاع الأخرى المتاحة، وذلك بسبب استعلاماته الشبيهة بالإنتاج وكوربسه واسع النطاق.
• ViDoRe(V3) Markdown: تُعد ViDoRe(V3) عادةً مهمة استرجاع من نص إلى مستند بصري، لكن يمكن أيضًا تقييمها كمهمة نصية باستخدام نسخة من الكوربس جرى تحليلها إلى Markdown، ما يتيح لنا تقييم استرجاع المستندات الغنية بالمعلومات في كلٍّ من وسيطي الصورة والنص.

نقيس الأداء باستخدام nDCG@10، باستثناء Q2D-Web، حيث نبلغ عن Recall@1000 بسبب تركيز المعيار على سيناريو استرجاع ويب من المرحلة الأولى. طوال تقييماتنا، نقارن مع نماذج التضمين الرائدة في الصناعة عبر فئات الحجم المختلفة. وللاسترجاع النصي، تمثل nemotron-embed-8b وgemini-embedding-2 وvoyage-large-4 وqwen3-embed-8b أقوى المنافسين الكثيفين وأكثرهم استخدامًا، بينما يعمل voyage-4-nano وqwen3-embed-0.6b كخطوط أساس كثيفة دون مليار معلمة. كما نقارن أيضًا مع نماذج التفاعل المتأخر topk-embed-v1 التي أصدرتها TopK مؤخرًا على المعايير التي نشرت TopK نتائجها لها. تُؤخذ نتائج ViDoRe(V3) من بطاقات النماذج لديهم عند 128 بُعدًا، بما يطابق عرض تضمينات الرموز لدينا؛ أما نتيجة Q2D-Web فتؤخذ من لوحة الصدارة لدينا.

في المعايير المرجعية الخاصة بالمجال، يبلغ متوسط نموذجي 9B و0.6B لدينا 81.3% و78.0% على التوالي. يحقق نموذج 9B لدينا أعلى نتيجة بين جميع النماذج التي قيّمناها، متفوقًا على أقرب نموذج تالٍ بفارق 1.6 نقطة مئوية. أما نموذج 0.6B لدينا فهو منافس للنماذج الأخرى الأعلى تسجيلًا، إذ يتأخر فقط 0.3 نقطة مئوية عن gemini-embedding-2. والأهم من ذلك، وبما أننا لم نتدرب على أي من بيانات مهام هذه المعايير المرجعية، فإن المعايير الخاصة بالمجال تُظهر أن نماذج التضمين لدينا قادرة على التعميم إلى مجالات جديدة.

تكبير

تزداد القوة النسبية لنموذج 0.6B لدينا أكثر أيضًا في مهمة ViDoRe(V3) Markdown؛ إذ تتفوق نتيجته البالغة 61.2% على جميع النماذج الأخرى باستثناء نموذج 9B لدينا، الذي سجل 64.7%. أما أفضل نموذج خارجي تالٍ فسجل 60.6%، بينما تأخر أفضل نموذج دون مليار معلمة، topk-embed-v1-0.8b، بفارق 4.3 نقطة مئوية خلف نموذج 0.6B لدينا.

تكبير

في Q2D-Web، تأتي الصلة من ثلاث مجموعات من الأحكام: المستندات التي استشهد بها الوكيل (Citation)، والمستندات المصنفة بواسطة نظام الاسترجاع الإنتاجي لدينا (Web)، واتحاد المجموعتين مع توسيعها بأحكام LLM للمستندات غير الموسومة (Combined). يتصدر نموذجا pplx-embed-v2-late جميع خطوط الأساس في مجموعات الأحكام الثلاث كلها. نركز على الأحكام المجمعة، لأن مجموعتي Citation وWeb مشتقتان مما أظهرته أنظمتنا بالفعل، وبالتالي فهما تفضلان النماذج التي ترتب بالطريقة نفسها التي ترتب بها أنظمتنا؛ أما أحكام LLM المضافة في Combined فتغطي مستندات لم يسترجعها أي من النظامين. في تلك المجموعة، يتفوق نموذجا 9B و0.6B لدينا على جميع المنافسين، محققين 74.8% و73.6% على التوالي، مقابل أفضل نتيجة سابقة 69.3%.

تكبير

الاسترجاع البصري

معيارنا الأساسي للاسترجاع البصري هو المجموعة العامة القياسية من ViDoRe(V3)، حيث يتكون الكوربس من صور صفحات مُولَّدة بدلًا من تحويل Markdown. نقارن ذلك مع نموذجي الرؤية-اللغة الكثيفين الرائدين، qwen3-vl-embed-8b وgemini-embedding-2، ومع نماذج التفاعل المتأخر topk-embed-v1. بالإضافة إلى ذلك، تُعد نماذج EVIE من Tencent ونماذج Nemotron ColEmbed V2 من NVIDIA خط أساس متعدد المتجهات «للرؤية فقط» جرى تدريبه خصيصًا لمهام استرجاع الصور.

يحقق نموذجان لدينا أداءً متقدمًا في نماذج الرؤية-اللغة. يسجل نموذج 9B لدينا 65.2% في المتوسط، ولا يتفوق عليه سوى EVIE. ويحقق نموذج 0.6B لدينا 62.3%، متقدمًا على topk-embed-v1-2b، ولا يتفوق عليه بين خطوط الأساس الخارجية سوى EVIE الأكبر بكثير وnemotron-colembed-v2-8b.

تكبير

يكون نموذج 0.6B لدينا منافسًا بشكل خاص في سياق حجم النموذج. فهو يتقدم على جميع النماذج المماثلة الحجم، ولا يبتعد سوى 1.2 نقطة مئوية عن nemotron-colembed-v2-8b، مع تفعيل 340 مليون معلمة فقط لمدخلات الصور. تنتج نماذجنا تضمينات بطول 128 بُعدًا لكل رمز، مقارنةً بـ 2,048 في EVIE-4.5B و4,096 في EVIE-8B وnemotron-colembed-v2-8b. يمكن لهذا الفرق في تكاليف التخزين أن يؤثر بشكل كبير في الحالات التي تكون فيها هذه النماذج عملية للاستخدام.

تكبير

نقيّم أيضًا الاسترجاع البصري على MIRACL-Vision، وهو معيار يتكون كوربسه من لقطات شاشة لمقالات ويكيبيديا، وعلى PPLX-Q2I، وهو معيار داخلي يغطي كلًّا من المستندات البصرية والصور الطبيعية. بُني PPLX-Q2I من سجلات البحث عن الصور الإنتاجية في Perplexity، وصُمم ليعكس تنوع حالات استخدام البحث عن الصور. نستخدم عينة من 10,000 استعلام، طبقية حسب اللغة والمجال، مقابل كوربس من 100,000 صورة؛ وتُعد المستندات ذات الصلة لكل استعلام هي الصور التي خُدِّمت له. لم نقم بتقييم EVIE-8B أو Nemotron ColEmbed على PPLX-Q2I، لأن فهرسة كوربس بهذا الحجم عند أبعاد الإخراج الافتراضية لديهم (2,560 لـ Nemotron ColEmbed 4B و4,096 لـ Nemotron ColEmbed 8B وEVIE-8B) كانت غير عملية.

وبالمثل مع أدائه على ViDoRe(V3)، فإن نموذج 0.6B لدينا منافس لنماذج أكبر بكثير، إذ يتأخر فقط نقطة مئوية واحدة عن qwen3-vl-embed-8b على MIRACL-Vision. أما نموذج 9B لدينا فيتفوق على جميع النماذج الأخرى باستثناء gemini-embedding-2.

في PPLX-Q2I، يتفوق نموذجا لدينا على qwen3-vl-embedding-8b بفارق يزيد على 9 نقاط مئوية، ويأتي نموذج 9B لدينا خلف gemini-embedding-2 بنقطتين مئويتين فقط. تظل نتائجنا منافسة على الكوربسات التي تحتوي على صور طبيعية إضافة إلى المستندات البصرية، لذا فإن التمثيلات متعددة المتجهات التي تؤتي ثمارها على ViDoRe(V3) لا تأتي على حساب البحث العام عن الصور.

تكبير

الاسترجاع عبر النماذج

تقيّم النتائج في الأقسام السابقة كل نموذج مقابل كوربس قام بترميزه هو نفسه. إن مساحة التضمين المشتركة تعني أن هذا ليس شرطًا: يمكن البحث في كوربس مفهرس بواسطة نموذج 9B باستخدام استعلامات مشفَّرة بواسطة نموذج 0.6B. هذا هو الإعداد الذي نتوقع أن تستخدمه معظم عمليات النشر الإنتاجية، لأن الفهرسة تكلفة لمرة واحدة تُستهلك على مدى عمر الكوربس، بينما يعمل ترميز الاستعلام ضمن المسار الحساس للكمون في كل طلب.

أي عملية نشر لا تستطيع تشغيل نموذج 9B وقت الاستعلام ستفهرس بخلاف ذلك باستخدام نموذج 0.6B أيضًا، لذا فإن إعداد 0.6B المتماثل هو نقطة المقارنة ذات الصلة. نقيم ذلك مقابل المعايير المرجعية الخاصة بالمجال وعددها 72 المستخدمَة أعلاه وعلى استرجاع الصور في ViDoRe v3. تُشفَّر الاستعلامات بواسطة pplx-embed-v2-late-0.6b، ونغيّر فقط ما قام بترميز الكوربس.

يمثل الفهرسة بنموذج 9B تحسنًا صارمًا. في المعايير المرجعية الخاصة بالمجال، يحقق الإعداد غير المتماثل متوسط مكسب قدره 1.6 نقطة مئوية. وعلى استرجاع الصور في ViDoRe v3، يسجل 63.5%، بزيادة عن 62.3% عندما يستخدم نموذج 0.6B على الجانبين، أي مكسب قدره 1.2 نقطة مئوية. تبقى كلفة ترميز الاستعلام كما هي بين إعداد 0.6B المتماثل والإعداد غير المتماثل، بما أن نموذج 0.6B نفسه يرمز الاستعلام في الحالتين؛ أما كلفة ترميز المستند الإضافية فتتكبد وقت الفهرسة.

ويظل تشغيل نموذج 9B على الجانبين أفضل أيضًا، بمتوسط 81.3% على المعايير المرجعية الخاصة بالمجال. لذا يستعيد الإعداد غير المتماثل نحو نصف فرق الجودة بين النموذجين في النص، من دون أي كلفة إضافية لترميز الاستعلام. ويعتمد اختيار الإعداد على ما إذا كان نموذج 9B ميسور الكلفة وقت الاستعلام؛ وحيث لا يكون كذلك، يلتقط الإعداد غير المتماثل جزءًا كبيرًا من فائدته.

تكبير

الاسترجاع الوكيلي

الاسترجاع الوكيلي هو إعداد آخر تكون فيه التضمينات متعددة المتجهات قوية بشكل خاص. في BrowseComp+، يستخدم LLM (GPT-OSS-120B في حالتنا) نموذج التضمين للبحث في كوربس عن معلومات ذات صلة باستعلام مستخدم معقد، ثم يحكم LLM ثانٍ فيما إذا كانت الإجابة الناتجة تطابق الحقيقة الأساسية. يحقق نموذج 9B لدينا دقة 64.0%، متفوقًا على أفضل نموذج ColBERT تالٍ بفارق 4.9 نقطة مئوية، وعلى أفضل نموذج كثيف تالٍ بفارق 8.7 نقطة مئوية، مع تنفيذ عدد أقل من عمليات البحث من أي نموذج آخر باستثناء نموذج 0.6B لدينا. كما أن نموذج 0.6B لدينا يتقدم أيضًا على كل نموذج خارج عائلتنا.

تكبير

يختبر MADQA الإجابة الوكيلية على الأسئلة عبر 800 ملف PDF واقعي غير متجانس تمتد لأكثر من 18,000 صفحة، مع 500 سؤالًا من تأليف بشري لا يمكن الإجابة عنها من المعرفة العامة. يقوم وكيل (Gemini 3.5 Flash في حالتنا) بالبحث في المجموعة باستخدام أداة الاسترجاع قيد الاختبار، ويُقيَّم على دقة الإجابة وعلى F1 على مستوى الصفحة مقابل صفحات الأدلة المشروحة. يضع نموذج 9B لدينا معيارًا جديدًا للأداء المتقدم بين أدوات الاسترجاع بدقة 92.4%، متقدمًا بـ 3.5 نقطة مئوية على الوكيل نفسه عند استخدام أداة استرجاع Mixedbread؛ ويصل نموذج 0.6B لدينا إلى 90.1%. كما نلاحظ أن أداة الاسترجاع لدينا تحقق نتائج تنافسية أمام Mixedbread Agentic Search، التي تستخدم وكيل بحث فرعيًا في نظام البحث لديهم يخطط وينفذ عدة عمليات بحث لكل استدعاء من الوكيل الرئيسي (93.4%، ضمن مجال الثقة لدينا).

تكبير

البدء

يتوفر نموذجا 0.6B و9B لدينا على Hugging Face، وهما متوافقان مباشرةً مع sentence-transformers >= 6.0.0 وtransformers >= 5.4.0. سيُنشر المزيد من التفاصيل التقنية ونتائج التقييم الكاملة في تقرير تقني لاحقًا هذا العام.

نعمل حاليًا على تدريب الجيل التالي من نماذج التضمين الكثيف لدينا، وسنطرح تدريجيًا دعم التضمينات ذات التفاعل المتأخر والتضمينات الكثيفة والسياقية على Perplexity API Platform.

الاستشهاد

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}