Q2D-Web: تقييم أدوات الاسترجاع للمرحلة الأولى على نطاق واسع

معيار ولوحة صدارة يضمان 70 ألف استعلام وكيل، و190 مليون مستند ويب، وثلاث مجموعات من تقييمات الصلة.

المؤلفونPerplexity Research

اليوم، نقدم Q2D-Web (Query2Doc-Web)، وهو معيار خاص ولوحة صدارة عامة لتقييم الاسترجاع في أنظمة RAG القائمة على الوكلاء. يوسع Q2D-Web معيارنا الأصلي Q2D ليشمل مجموعة نصوص واسعة النطاق، ومجموعة استعلامات أكبر، وتعليقات تقييم أعمق.

تم بناء Q2D-Web لتقييم نماذج التضمين على البحث في الويب واسع النطاق. وهو يتكون من 190 مليون مستند ويب و69,721 استعلاماً معاد صياغته بواسطة الوكيل بعشر لغات، تم أخذ عينات منها على مدار تسعة أشهر من حركة مرور بحث الإنتاج الخالية من معلومات التعرف الشخصية (PII).

بهذا الحجم، تكون إشارة الصلة على مستوى الاستعلام والمستند متفرقة حتماً. بدلاً من معاملة مصدر واحد كالحقيقة الأساسية، نقدم ثلاث مجموعات لتقييم الصلة، مستمدة من استشهادات الوكلاء، وترتيبات الويب الإنتاجية، وتقييمات نماذج اللغة الكبيرة الإضافية للأزواج التي لم تقيّم مسبقاً. تقلل مصادر متعددة الانحياز من أي خط أنابيب لتسمية واحدة، بينما تقلل التعليقات التوضيحية الأعمق من السلبيات الكاذبة.

تُبلغ لوحة الصدارة لدينا عن النتائج الخاصة بنماذج الاسترجاع المُصدَرة للجمهور، المُقيَّمة مباشرةً مقابل المعيار المرجعي باستخدام خط أنابيب متسق للفهرسة والاسترجاع والتسجيل. يمكن تقديم تقييم عبر نموذج الطلب الخاص بنا.

تحدي تقييم الاسترجاع الواقعي

لكل استعلام، يقوم نظام استرجاع على نطاق الإنتاج بالبحث في مجموعة نصوص تضم مليارات من صفحات الويب ويعيد آلاف المستندات المرشحة. تحدد هذه الترشيحات المصادر التي يمكن أن تراهان الأنظمة اللاحقة، مما يؤثر بشكل مباشر على الأدلة المتاحة للوكيل.

لذلك يتطلب التقييم الواقعي لهذه المرحلة الأولى معايير تتوسع عبر ثلاثة أبعاد: عدد المستندات في مجموعة النصوص، وعدد الاستعلامات المقيّمة، وعدد تقديرات الصلة لكل استعلام.

يمكن لمجموعات النصوص الأكبر أن تجعل المعيار أكثر تمييزاً من خلال إدخال سلبيات صعبة - وهي مستندات تشابه دلالياً استعلاماً ولكنها لا توفر المعلومات المطلوبة. يجب على أدوات الاسترجاع تمييز هذه التطابقات المعقولة عن المستندات ذات الصلة. يمكن أن يؤدي تقليص مجموعة النصوص مع الاحتفاظ بالمستندات المعروفة ذات الصلة إلى إزالة هذه المشتتات وتضخيم معدل الاسترجاع، كما تظهر تجارب أخذ العينات الفرعية أدناه.

تخلق الاستعلامات المقيمة الأكثر تقديرات أداء أكثر موثوقية. مع مجموعة استعلامات صغيرة، تعتمد نتائج المعيار بشكل كبير على الاستعلامات التي تم أخذ عينات منها، مما يجعل من الصعب تقدير أداء كل نموذج بدقة وتمييز النماذج عن بعضها البعض بثقة.

التقييمات الأعمق تقلل السلبيات الكاذبة في التقييم. مع التسميات المتفرقة، يمكن لأداة الاسترجاع إبراز مستندات ذات صلة لم يتم تقييمها وبالتالي يتم احتسابها بشكل غير صحيح على أنها غير ذات صلة. هذا يجعل التقييم أقل موثوقية. MS MARCO هو مجموعة البيانات المفتوحة الرئيسية واسعة النطاق في استرجاع المعلومات وشكل تطوير نماذج الاسترجاع العصبي. هناك، كان 70% من المقتطفات المسترجعة العلوية التي تم فحصها يدويًا ولكن لم يتم تسميتها ذات صلة في الواقع.

تميل المعايير الحالية إلى القياس في بُعد واحد أو بُعدين فقط من هذه الأبعاد: غالباً ما تحتوي المجموعات على نطاق الويب على استعلامات مقيّمة قليلة نسبياً، بينما تستخدم المعايير التي تحتوي على العديد من الاستعلامات عموماً مجموعات نصوص أصغر بكثير وتسميات متفرقة. علاوة على ذلك، تستخدم معظم المعايير استعلامات مكتوبة بواسطة بشر، بينما تبحث أنظمة RAG القائمة على الوكلاء باستخدام استعلامات معاد صياغتها بواسطة الوكيل والتي قد تختلف في الصياغة والهيكل والخصوصية.

يتوسع Q2D-Web عبر الأبعاد الثلاثة جميعها. فهو يحتوي على 190 مليون مستند ويب، و69,721 استعلاماً معاد صياغته بواسطة الوكيل، ومعدل قدره 99.6 تقدير صلة إيجابي لكل استعلام في مجموعة التقييم المشتركة الخاصة به. المقارنة العامة الأقرب هي MS MARCO Web Search، الإصدار واسع النطاق على الويب من MS MARCO. يحتوي على 100.9 مليون مستند، و9,374 استعلام اختبار، وتسمية إيجابية واحدة مستمدة من النقرات لكل استعلام.

كيف أنشأنا Q2D-Web

بناء Q2D-Web: أخذ عينات الاستعلامات المفلترة حسب الخصوصية، وتجميع المتون وإزالة التكرار، وتصنيف الأهمية، وأخذ عينات المتون الفرعية.

الاستعلامات

تم بناء Q2D-Web على 23,000 بحث إنتاجي خالي من معلومات التعرف الشخصية (PII) بست لغات وعشرات المجالات تم جمعها على مدار فترة تسعة أشهر.

يتكون البحث من جميع استدعاءات أدوات البحث في الويب التي يقوم بها الوكيل استجابةً لرسالة المستخدم. يحتوي كل استدعاء أداة على استعلام واحد أو أكثر. يتم إعادة صياغة كل استعلام بناءً على طلب المستخدم، والمحادثة السابقة، وعند الاقتراض، المستندات المسترجعة مسبقاً في نفس البحث. يحتوي كل بحث إنتاجي على استعلام أساسي واحد، يعيد صياغة الحاجة للمعلومات لدى المستخدم، وصفر أو أكثر من استعلامات الدعم، التي تستكشف صياغات بديلة، أو معلومات أساسية، أو كيانات ذات صلة. على الرغم من أنها تعالج نفس الطلب الأوسع، إلا أنها قد تتطلب مستندات مختلفة، لذلك يقوم نظام Q2D-Web بتقييم كل استعلام بشكل مستقل مع تقديرات الصلة الخاصة به.

توزيعات الطول واللغة لـ 69,721 استعلاماً في Q2D-Web. يُقاس الطول بالأحرف؛ وتُظهر الأشرطة نسبة الاستعلامات في كل فئة.
توزيع استعلامات Q2D-Web عبر نطاق الموضوعات. تُظهر الأشرطة حصة كل نطاق من مجموعة الاستعلامات؛ ويجمع قسم "أخرى" خمسة عشر نطاقاً إضافياً.

نحن نطبق تصفية خصوصية صارمة لجميع الاستعلامات المضمنة. يجب أن تأتي الاستعلامات من مستخدمين سمحوا باستخدام بياناتهم، ويكتشف اكتشاف معلومات التعرف الشخصية (PII) باستخدام perplexity-ai/pplx-pii-masking الاستعلامات التي تحتوي على معلومات شخصية. كما نقوم بإزالة النسخ المتطابقة تماماً، والاستعلامات القصيرة جداً، والاستعلامات التي تحتوي على مشغلات بحث مثل site: أو العبارات المقتبسة.

يغطي المعيار عشر لغات. تشكل اللغة الإنجليزية 65.8% من الاستعلامات، تليها الإسبانية، والروسية، والألمانية، والفرنسية، والبرتغالية، والإيطالية، والكورية، واليابانية، والصينية. يغطي توزيع الاستعلامات أيضاً مزيجاً واسعاً من المجالات، بما في ذلك السلع الاستهلاكية، والبرمجة، والقانون، والصحة، والأعمال التجارية، والعلوم، والتعليم، والتكنولوجيا، والتمويل، والسفر، والترفيه، والسياسة، والمعلومات المحلية، والأخبار.

مجموعة النصوص

لكل استعلام، نسترجع أعلى 5,000 مستند باستخدام نظام استرجاع إنتاجي ونأخذ اتحاد مجموعات النتائج هذه. ثم نقوم بإزالة التكرار من مجموعة النصوص باستخدام MinHash–LSH، وتجميع المستندات التي تشترك مجموعات الرموز ذات الـ 5 جرام فيها في تشابه Jaccard لا يقل عن 0.975.

المجموعة ليست عينة ويب عشوائية عن قصد. اعتبر كل مستند نتيجة معقولة لاستعلام مرعي واحد على الأقل. وهذا يخلق مجموعة كثيفة من المشتتات الصعبة: صفحات تتطابق مع موضوع الاستعلام أو لغته ولكن قد تفقد تاريخاً أو كياناً أو إصداراً أو كمية أو جانباً مطلوباً.

توزيعات طول المستند واللغة في متن المستندات البالغ عددها حوالي 190 مليون مستند. يُقاس الطول بالأحرف؛ وتُظهر الأشرطة نسبة المستندات في كل فئة.

التقديرات

تكون تسميات الصلة غير مكتملة بطبيعتها على نطاق واسع. إن وضع تسمية لكل زوج محتمل من الاستعلام والمستند أمر غير ممكن، وكل مصدر للتقييم يحمل انحيازاً مختلفاً.

يستخدم Q2D-Web ثلاث مجموعات صلة بدلاً من معاملة مصدر واحد كالحقيقة الأساسية، لزيادة عمق التعليقات التوضيحية دون المعاناة من انحياز واحد.

الاستشهاد (Citation) يصنف المستند على أنه ذو صلة عندما يستشهد به الوكيل في رد. هذه هي الإشارة الأقرب للاستخدام اللاحق: اختار الوكيل المستند كدليل على ادعاء ما. لكن الاستشهاد يتميز بدقة عالية واسترجاع منخفض بطبيعته. بمجرد حصول الوكيل على دعم كافٍ، يكون لديه سبب ضئيل للاستشهاد بكل صفحة أخرى ذات صلة.

ترتيب الويب (Web Ranking) يتكون من ما يصل إلى 50 مستنداً لكل استعلام (43.1 في المتوسط)، تم تحديدها بواسطة نظام استرجاع داخلي باستخدام BM25 والاسترجاع الكثيف في المرحلة الأولى، متبوعاً بإعادة ترتيب بترميز تقاطعي (cross-encoder). يلتقط هذا المستندات المفيدة ولكن التي لم تتم الإشارة إليها.

Combined + LLM-Judged يأخذ اتحاد Citation وWeb Ranking، ثم يضيف أحكام LLM للعناصر المرشحة التي لم تُحكم سابقًا، بهدف تقليل عدد السلبيات الكاذبة. نجمع النتائج من BM25 وColBERTv2 وسبعة مسترجعات كثيفة أُصدرت قبل 1 يناير 2025، ثم ندمج ترتيبها باستخدام reciprocal rank fusion (RRF)، ونختار أفضل 500 مستند غير مُحكَم، ونطبّق حكم ملاءمة ثنائيًا صارمًا باستخدام DeepSeek-V4-Flash.

تتيح لنا المجموعات الثلاث طرح سؤال عما إذا كانت أداءات النماذج تعتمد على كيفية تعريف الصلة. كما أنها تقلل الاعتماد على حزمة تصنيف واحدة، والتي قد تفضل بخلاف ذلك أدوات الاسترجاع المشابهة للنظام المستخدم لتوليد التسميات.

توزيع المستندات ذات الصلة لكل استعلام على مقياس لوغاريتمي. تجمع التصنيفات المجمعة بين الاستشهادات، وترتيب الويب، وتقييمات إضافية لنماذج اللغات الكبيرة.

أخذ العينات الفرعية: التقييم الفعال على نطاق واسع

تقييم مجموعة النصوص الكاملة مكلف وبطيء. يتطلب التقييم الواحد على Q2D-Web مع نموذج pplx-embed-v1-4b حوالي 4,608 ساعة معالجة رسومية (GPU) لـ H200، بينما يتطلب حتى نموذج صغير مثل EmbeddingGemma-300M ما يقرب من 200 ساعة معالجة رسومية لـ H200.

للحفاظ على عملية التقييم عملية، نقوم بنباء نسخة مأخوذة من العينات الفرعية من مجموعة النصوص.

أجرينا دراسة استئصال واسعة النطاق عبر استراتيجيات أخذ العينات لبناء مجموعة فرعية أصغر تعكس سلوك مجموعة النصوص الكاملة. تحتفظ كل استراتيجية بجميع المستندات التي تم الحكم عليها إيجابياً وتختلف فقط في كيفية اختيار المشتتات التي لم يتم تقييمها. المشتتات المهمة هي تلك التي من المرجح أن يصنفها أداة الاسترجاع فوق مستند ذي صلة، لأنها تغير نقاط النموذج وموقعه في الترتيب.

لقد قارنا بين أخذ العينات العشوائية المنتظمة، والتجميع حتى عمق ثابت عبر نماذج الاسترجاع الإنشائية، وتقنية دمج الرتب العكسية (RRF) لكل استعلام عبر أعماق مختلفة. يستخدم أخذ العينات القائم على تقنية RRF 31.7% فقط من المستندات في المتن الكامل. وهو يحافظ على ترتيب نماذج المتن الكامل في ظل الأحكام المدمجة، مع البقاء قريبًا من الدرجات المطلقة، مما يؤدي إلى تضخيم متوسط Recall@1000 بمقدار 5.2 نقطة مقابل 12.8 نقطة لأخذ العينات العشوائي بنفس الحجم.

متوسط Recall@1000 ومدى توافقه مع ترتيب نماذج المتن الكامل في ظل الأحكام المدمجة عبر استراتيجيات أخذ العينات. تحافظ تقنية دمج الرتب العكسية (RRF) على ترتيب النماذج المُقيَّمة باستخدام 31.7% من المتن، مع تضخيم أقل لمعدل الاسترجاع مقارنة بأخذ العينات العشوائي.

هذا يقلل تكاليف التقييم إلى حوالي ثلث تكلفة مجموعة النصوص الكاملة. باستخدام مجموعة فرعية تعتمد على RRF، يتطلب pplx-embed-v1-4b ما يقرب من 1,500 ساعة معالجة رسومية (GPU) لـ H200 ويتطلب EmbeddingGemma-300M أقل من 70.

يتم تقييم كل طلب تقدیم أولاً على إصدار مجموعة النصوص الفرعية العينة. يتم تقسيم التقديمات إلى مجموعتين حسب العدد الإجمالي للمعلمات: تصل إلى 1B وما فوق 1B. ثم يتم تقييم النموذج الذي يصل إلى المراكز العشرة الأولى في مجموعته على مجموعة النصوص الفرعية على مجموعة النصوص الكاملة. النماذج المصنفة خارج المراكز العشرة الأولى في مجموعتها سيتم نشرها فقط على لوحة صدارة مجموعة النصوص الفرعية العينة.

نتائج التقييم

عبر النماذج المقيمة، يوفر Q2D-Web نظرة متسقة لأداء الاسترجاع على نطاق الويب عبر مجموعات الصلة الثلاث المختلفة الخاصة به. تجعل لوحة الصدارة هذه الرؤى التكميلية متاحة جنباً إلى جنب، مما يسمح للمستخدمين بفحص كيفية أداء النماذج تحت تسميات أضيق تعتمد على الاستشهاد وتقييمات صلة أوسع.

نحن نركز على مقياس Recall@1000 كمقياس أساسي لنا لأن أداة الاسترجاع في المرحلة الأولى تحتاج فقط إلى وضع المستندات ذات الصلة في مجموعة المرشحين، بينما يحدد إعادة الترتيب اللاحق ترتيبها النهائي.

معدل الاسترجاع المجمع Recall@1000 مقابل مقياس nDCG@10 المجمع لثلاثة عشر أداة استرجاع، مجمعة حسب عائلة النموذج. يختلف النموذج الحاصل على أعلى نقاط بين المقاييس.

الجدول 1. معدل الاسترجاع Recall@1000 للمتن الكامل ومقياس nDCG@10 لثلاثة عشر نموذج استرجاع عبر مجموعات الملائمة للاستشهاد وترتيب الويب والمجموعات المدمجة. الدرجات الأعلى تمثل أداءً أفضل.

Model

Recall@1000: Citation

Recall@1000: Web Ranking

Recall@1000: Combined

nDCG@10: Citation

nDCG@10: Web Ranking

nDCG@10: Combined

BM25-tantivy

60.84

42.50

45.25

7.30

11.45

29.27

EmbeddingGemma-300M

80.10

58.93

66.24

12.21

17.30

41.95

mDenseOn

73.72

52.56

60.09

10.08

15.06

38.87

Nemotron-3-Embed-1B

75.64

54.37

62.44

9.69

14.83

38.84

Nemotron-3-Embed-8B

83.14

61.73

69.33

13.17

18.69

45.65

pplx-embed-v1-0.6b

81.85

62.15

67.91

12.52

19.76

42.73

pplx-embed-v1-4b

85.03

65.73

70.00

14.18

21.29

44.12

Qwen3-Embedding-0.6B

71.19

51.82

58.68

8.53

14.11

36.19

Qwen3-Embedding-4B

76.49

55.60

62.78

9.91

14.97

38.82

Qwen3-Embedding-8B

79.26

58.34

65.32

10.75

16.27

41.20

voyage-4-nano

69.55

50.14

57.42

6.96

11.77

30.59

mLateOn

74.16

53.12

61.77

10.94

15.51

41.61

pplx-embed-v1-late-0.6b

78.64

58.14

64.20

11.88

17.25

41.77

يحقق نموذج pplx-embed-v1-4b أعلى معدل استرجاع Recall@1000 عبر مجموعات التقييم الثلاث: الاستشهاد (85.03)، وترتيب الويب (65.73)، والمدمجة (70.00). وفي مقياسي Combined Recall@100 وnDCG@10، يسجل نموذج Nemotron-3-Embed-8B (30.32 و45.65) أعلى من نموذج pplx-embed-v1-4b (30.17 و44.12).

ضمن عائلة النماذج الواحدة، تحقق النماذج الأكبر حجماً درجات أعلى في مقياس Combined Recall@1000. ترتفع درجات Qwen3-Embedding من 58.68 (0.6 مليار) إلى 65.32 (8 مليارات)، ونموذج Nemotron-3-Embed من 62.44 (1 مليار) إلى 69.33 (8 مليارات)، ونموذج pplx-embed-v1 من 67.91 (0.6 مليار) إلى 70.00 (4 مليارات).

يتم تقييم نماذج Perplexity باستخدام نفس مسار العمل لجميع النماذج المقدمة الأخرى. ومع ذلك، نظراً لأن Q2D-Web مستمد من حركة مرور الإنتاج في Perplexity، فقد تستستفيد هذه النماذج من ميزة داخل التوزيع. على الرغم من استبعاد استعلامات التقييم الخاصة بالمعيار ومجموعة النصوص من تدريب النماذج، يجب تفسير النتائج مع وضع هذه الميزة المحتملة في الاعتبار.

كيفية التقديم إلى لوحة الصدارة

لطلب تقييم، أرسل نموذج Hugging Face متاحاً للعامة من خلال نموذج طلب التقييم الخاص بنا.

نتبع بطاقة النموذج في المستودع المقدم لإعدادات الاستدلال الخاصة بالنموذج، بما في ذلك تعليمات الاستعلام والمستندات الموصى بها أو البادئات، والتجميع، والتطبيع، ودالة التشابه. يتم تقليص جميع الاستعلامات والمستندات إلى 512 رمزاً باستخدام مُرمِّز النموذج الخاص، بما في ذلك التعليمات والبادئات والرموز الخاصة، لذا فإن السياق المدعوم الأطول لا يمنح أي ميزة. يُرجى التأكد من أن بطاقة النموذج توفر تعليمات كاملة لا لبس فيها لإعادة إنتاج إعداد الاسترجاع المقصود.

يجب أن يتم تحميل النماذج المؤهلة من خلال واجهات برمجة التطبيقات القياسية transformers أو sentence-transformers. تتطلب النماذج التي لا تعمل مع trust_remote_code=False مراجعة يدوية للكود المخصص ومن قبل مقدم الطلب قبل التقييم، مما يستغرق وقتاً أطول بكثير. المستودعات الخاصة أو المقيدة غير مؤهلة.

اقرأ تقريرنا التقني لمعرفة المزيد حول المنهجية والنتائج.

اقتباس

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}