pplx-embed: نماذج تضمين متطورة للاسترجاع على نطاق الويب
نطلق اليوم pplx-embed-v1 و pplx-embed-context-v1، وهما نموذجان متطوران لتضمين النصوص مصممان للاسترجاع الواقعي على نطاق الويب.
نطلق اليوم pplx-embed-v1 و pplx-embed-context-v1، وهما نموذجان متطوران لتضمين النصوص مصممان للاسترجاع الواقعي على نطاق الويب. نموذج pplx-embed-v1 مخصص للاسترجاع القياسي للنصوص الكثيفة، بينما يقوم pplx-embed-context-v1 بتضمين المقاطع مع مراعاة السياق المحيط على مستوى المستند.
يتوفر كل من pplx-embed-v1 و pplx-embed-context-v1 بنطاقي معاملات 0.6B و 4B. تستهدف نماذج 0.6B توليد تضمين خفيف الوزن ومنخفض الكمون، بينما تعظم نماذج 4B جودة الاسترجاع. في تقييماتنا، تتصدر عائلة pplx-embed مجموعة من المعايير العامة بما في ذلك MTEB(Multilingual, v2) و BERGEN و ToolRet و ConTEB. علاوة على ذلك، يقدم pplx-embed-v1 نتائج هي الأفضل في فئتها على معاييرنا الداخلية لنطاق الويب: PPLXQuery2Query، PPLXQuery2Doc.
تنتج النماذج تضمينات INT8 و ثنائية (binary)، مما يقلل متطلبات التخزين بمقدار 4 أضعاف و 32 ضعفاً على التوالي، مقارنة بـ FP32. تجعل هذه المدمجة تخزين التضمينات والاسترجاع على نطاق الويب أكثر عملية بشكل ملحوظ.
النموذج | الأبعاد | السياق | MRL | التقييس (Quantization) | التعليمات | التجميع (Pooling) |
pplx-embed-v1-0.6B | 1024 | 32K | نعم | INT8/BINARY | لا | المتوسط (Mean) |
pplx-embed-v1-4B | 2560 | 32K | نعم | INT8/BINARY | لا | المتوسط (Mean) |
pplx-embed-context-v1-0.6B | 1024 | 32K | نعم | INT8/BINARY | لا | المتوسط (Mean) |
pplx-embed-context-v1-4B | 2560 | 32K | نعم | INT8/BINARY | لا | المتوسط (Mean) |
أبعاد نموذج pplx-embed، وطول السياق، والتكميم، وإعداد التجميع.
تحقق من التقرير التقني، نماذج Hugging Face، و وثائق API.
الدافع
تقوم تضمينات النصوص الكثيفة بتعيين الاستعلامات والمستندات في مساحة دلالية مشتركة حيث يختزل الاسترجاع إلى تقريب أقرب جيران (approximate nearest neighbor search). في نطاق Perplexity، تعتبر التضمينات المرحلة الأولى من خط أنابيب الاسترجاع الخاص بنا، حيث تحدد المستندات من بين مليارات صفحات الويب التي يتم النظر فيها بواسطة مانحي الترتيب والنماذج اللغوية اللاحقة.
معظم نماذج التضمين الرائدة اليوم مبنية على نماذج لغوية كبيرة ذات مفسر فقط (decoder-only LLMs) مع قناع انتباه سببي، حيث يمكن لكل رمز الانتباه فقط إلى الرموز السابقة. بالنسبة للاسترجاع، يعد هذا قيداً أساسياً: غالباً ما يتطلب فهم المقطع سياقاً ثنائي الاتجاه. نعالج هذا من خلال التدريب المسبق المستمر القائم على الانتشار (diffusion-based continued pretraining)، والذي يحول النموذج اللغوي الكبير السببي إلى مشفر ثنائي الاتجاه. يتيح الانتباه الثنائي الاتجاه الكامل تجميع المتوسط عبر جميع تمثيلات الرموز ويدعم التقطيع المتأخر للتضمينات السياقية، حيث يتم إعلام تضمين كل مقطع بالمستند الكامل الذي يظهر فيه.
على نطاق الويب، يعد تخزين التضمينات في FP32 مكلفاً للغاية. بدلاً من تطبيق التقييس كخطوة ضغط لاحقة، تستخدم نماذجنا التدريب الواعي بالتقييس لإنتاج تضمينات INT8 بشكل أصلي، مما يقلل التخزين بمقدار 4 أضعاف دون أي مساس بالأداء. يقلل التقييس الثنائي التخزين بمقدار 32 ضعفاً مع الحد الأدنى من فقدان الجودة، لا سيما في نطاق 4B.
تتطلب العديد من نماذج التضمين الحديثة بادئات تعليمات تضاف إلى كل مدخل. في حين أن هذا يمكن أن يحقق تحسينات طفيفة على المعايير، إلا أنه يضيف احتكاكاً في الممارسة: فالتعليمات غير المتطابقة بين الفهرسة وقت الاستعلام تؤدي بصمت إلى تدهور الاسترجاع، واختيار الموجه المناسب لكل حالة استخدام يصبح أمراً آخر يجب ضبطه بشكل صحيح. لا تتطلب نماذجنا أي تعليمات، مما يجعل التكامل مباشراً.
التدريب
تم تدريب pplx-embed-v1 و pplx-embed-context-v1 من خلال خط أنابيب متعدد المراحل يشكل تدريجياً تمثيلات النصوص للاسترجاع.
التدريب المسبق المستمر للانتشار
نبدأ من نماذج Qwen3 الأساسية المسبقة التدريب (0.6B و4B) ونحوّلها من فكّ ترميز سببي إلى مشفّرات ثنائية الاتجاه عبر تعطيل قناع الانتباه السببي والتدريب باستخدام هدف إزالة الضوضاء بالانتشار. وعلى خلاف النماذج التوليدية المتتابعة التي تتنبأ بالرموز من اليسار إلى اليمين، يفرض تدريب الانتشار على النموذج إعادة بناء الرموز المقنّعة عشوائيًا باستخدام السياق الثنائي الاتجاه الكامل المحيط بكل موضع مقنّع. وهذا يعني أنه بحلول الوقت الذي يبدأ فيه الضبط الدقيق بالتباين، تكون التمثيلات قد شَفّرت بالفعل الدلالات الثنائية الاتجاه، مما يوفر أساسًا أقوى للاسترجاع من نقطة بداية سببية. نُجري التدريب المسبق على نحو 250 مليار رمز من النصوص متعددة اللغات تمتد عبر 30 لغة. وفي دراسات الإزالة، تحقق النوى المسبقة التدريب بالانتشار خسارة تدريب تباينية أقل بكثير من نظيراتها السببية، ما يترجم إلى تحسن يقارب نقطة مئوية واحدة في مهام الاسترجاع.
التدريب التبايني
بعد التدريب المسبق، نقوم بإجراء ثلاث مراحل من التعلم التبايني. يؤسس تدريب الأزواج محاذاة دلالية أساسية بين الاستعلامات والمستندات باستخدام خسارة InfoNCE مع السلبيات داخل الدُفعة. مع أحجام الدُفعات الكبيرة، تكون بعض السلبيات داخل الدُفعة في الواقع شبه مكررة للإيجابي، لذلك نطبق قناعاً قائماً على التشابه لمنع هذه السلبيات الزائفة من إفساد إشارة التدريب. يتم التدريب على مراحل - باللغة الإنجليزية فقط، ثم عبر اللغات، ثم متعدد اللغات بالكامل - لبناء القدرة تدريجياً بدلاً من دفعة واحدة. ثم يعلم التدريب السياقي النموذج دلالات على مستوى المقطع فيما يتعلق بسياق مستوى المستند، باستخدام خسارة مزدوجة تجمع بين التباين داخل التسلسل وداخل الدُفعة على مستوى المقطع والمستند - تنتج هذه المرحلة pplx-embed-context-v1. أخيراً، يعمل تدريب الثلاثيات مع السلبيات الصعبة المستخرجة على تنقيح الحدود بين المستندات المتشابهة ولكن غير ذات الصلة. يتم الحصول على نموذج pplx-embed-v1 النهائي عن طريق دمج نقاط التحقق السياقية والثلاثية عبر الاستيفاء الخطي الكروي (SLERP).
التقييس الأصلي (Native quantization)
طوال جميع المراحل التباينية، يتم تقييس التضمينات إلى INT8 أثناء التدريب والاستدلال. نطبق عملية تجميع متوسط قائمة على tanh تليه عملية التقريب، ونستخدم تقدير التدرج المستقيم (straight-through gradient estimation) للانتشار الخلفي عبر خطوة التقييس غير القابلة للاشتقاق. يضمن هذا أن يتعلم النموذج تمثيلات محسنة للدقة المخفضة منذ البداية، بدلاً من المعاناة من التدهور الناتج عن الضغط اللاحق. بالنسبة للتقييس الثنائي، تعد نماذج 4B أكثر قوة بشكل ملحوظ من 0.6B: حيث يحافظ بُعد التضمين الأكبر لديها (2560 مقابل 1024) على مزيد من المعلومات بعد التثنية (binarization)، مما يحصر انخفاض الأداء في أقل من 1.6 نقطة مئوية مقارنة بـ 2-4 نقاط في النطاق الأصغر.
المعايير العامة
على معيار الاسترجاع MTEB(Multilingual, v2)، يحقق pplx-embed-v1-4B (INT8) متوسط nDCG@10 بنسبة 69.66%، مطابقاً لـ Qwen3-Embedding-4B (69.60%) ومتجاوزاً gemini-embedding-001 (67.71)، بينما يتطلب تخزيناً أقل بكثير لكل تضمين. يتفوق نموذجنا 0.6B على نظيره في Qwen3 في نفس نطاق المعاملات.
أداء الاسترجاع السياقي على معيار ConTEB. اليسار: النماذج السياقية. اليمين: النماذج غير السياقية. يحقق pplx-embed-context-v1-4B (INT8) أعلى نتيجة بـ 81.96، يليه voyage-context-3 (79.45) و pplx-embed-context-v1-0.6B (INT8) عند 76.53.
بالنسبة للاسترجاع السياقي، يضع pplx-embed-context-v1-4B معياراً حديثاً جديداً على معيار ConTEB بمتوسط nDCG@10 يبلغ 81.96%، متجاوزاً voyage-context-3 (79.45%) و Anthropic Contextual (72.4%). من خلال تدريب تمثيلات على مستوى المقاطع تدمج دلالات مستوى المستند، تسترجع نماذجنا المقطع الصحيح حتى عندما يعتمد معناه على السياق المحيط.
نقيّم أيضًا نماذجنا في RAG من طرف إلى طرف باستخدام معيار BERGEN، حيث تُمرَّر المقاطع المسترجعة إلى نموذج لغوي لتوليد الإجابات. يتفوق pplx-embed-v1-4B على Qwen3-Embedding-4B في أربعة من أصل خمسة مهام سؤال وجواب المُقيَّمة. ولافتًا للنظر، يتفوق pplx-embed-v1-0.6B على Qwen3-Embedding-4B الأكبر حجمًا في ثلاث من أصل خمس مهام، مما يثبت أن نموذجنا الأصغر يمكنه مضاهاة منافس أو التفوق عليه عند نطاق معلمات أكبر بكثير في إعدادات RAG العملية. لمزيد من التفاصيل حول هذا التقييم، نرجع إلى التقرير التقني.
الاسترجاع الواقعي على نطاق واسع
المعايير العامة مفيدة، لكنها لا تلتقط بالكامل تحديات الاسترجاع على نطاق الويب: استعلامات الذيل الطويل، والمستندات الصاخبة، وتحولات التوزيع التي تميز بيئات الإنتاج. لقياس ما يهم في الممارسة، قمنا بنناء معيارين داخليين مع ما يصل إلى 115 ألف استعلام واقعي تم تقييمها مقابل أكثر من 30 مليون مستند مجمعة من أكثر من مليار صفحة ويب. يقوم PPLXQuery2Query بتقييم ما إذا كان نموذج التضمين يمكنه تحديد استعلامات متكافئة دلالياً من حركة بحث حقيقية؛ بينما يقيس PPLXQuery2Doc استرجاع المستندات من مجموعة بيانات تتكون من 30 مليون صفحة.
على PPLXQuery2Query (مجموعة بيانات 2.4 مليون)، يحقق pplx-embed-v1-4B نسبة استرجاع Recall@10 تبلغ 73.5%، متجاوزاً Qwen3-Embedding-4B (67.9%) بـ 5.6 نقطة مئوية. يحقق نموذجنا 0.6B نسبة Recall@10 تبلغ 71.1%، متفوقاً بشكل كبير على BGE-M3 (61.8%) و Qwen3-Embedding-0.6B (55.1%).
في مهمة PPLXQuery2Doc متعددة اللغات (مجموعة بيانات 30 مليون)، يحقق pplx-embed-v1-4B نسبة Recall@1000 تبلغ 91.7%، مقارنة بـ 88.6% لـ Qwen3-Embedding-4B. يعد الاسترجاع العالي عند أعماق استرجاع كبيرة أمراً بالغ الأهمية لنماذج التضمين التي تعمل كمسترجعات للمرحلة الأولى في خطوط أنابيب الترتيب متعددة المراحل، حيث يؤثر تعظيم عدد المرشحين ذوي الصلة المحولين إلى معيدي الترتيب اللاحقين بشكل مباشر على جودة النتيجة النهائية.
الخطوات الأولى
جميع النماذج متوفرة على Hugging Face (بموجب ترخيص MIT) ومن خلال Perplexity API. نحن ندعم الاستدلال عبر Transformers و SentenceTransformers و Text Embeddings Inference و ONNX. للحصول على التفاصيل الكاملة حول كل خيار، راجع مجموعة نماذج Hugging Face.
للحصول على التفاصيل التقنية الشاملة ونتائج التقييم الكاملة، راجع تقريرنا التقني.
اقتباس
@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
date = {2026-02-26},
url = {https://www.perplexity.ai/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}