معيار WANDR: تقييم وكلاء البحث الذين يجب عليهم البحث بعمق واتساع

اليوم، نطلق WANDR (Wide ANd Deep Research)، وهو معيار مفتوح وأداة تقييم مبنية حول 500 مهمة لجمع البيانات واقعية ومليئة بالتحديات لأعمال المعرفة. WANDR هو الشقيق الواسع لـمعيار DRACO للبحث المتعمق. يسأل DRACO عما إذا كان الوكيل قادراً على إنتاج تقرير طويل دقيق وكامل وموضوعي؛ بينما يسأل WANDR عما إذا كان بإمكانه بناء مجموعة كبيرة ودعم كل عضو بأدلة محددة.

هذه هي أنواع المهام التي يسلمها الأشخاص بالفعل إلى وكلاء البحث: رسم الخارطة التنافسية، والعناية الواجبة، ومراجعة الأدبيات، وتحليل السوق، ومقارنة المنتجات، وتوريد المواهب، والمزيد. تتراوح المهام من العشرات إلى الآلاف من السجلات القابلة للتحقق بشكل مستقل. حتى في إعداد الجهد العالي، يصل أقوى نظام في تقييمنا إلى 0.363 في مقياس F1 الناعم و0.133 في مقياس F1 الصارم. لا يزال البحث الواسع والمتعمق بعيداً كل البعد عن الحل.

تكبير

لماذا يهم البحث المتعمق

العديد من مهام البحث المفيدة لا تنتهي عندما يجد الوكيل إجابة واحدة. قد يحتاج محلل السوق إلى كل منافس مؤهل، مع نفس الأدلة لكل منهم. قد يحتاج فريق العناية الواجبة إلى عشرات الشركات، ثم الملكية، والمسؤولين التنفيذيين، والتمويل، والوضع التنظيمي لكل واحد منها. وهذا يخلق طلبين منفصلين:

واسع: اكتشاف مجموعة كبيرة وغالباً مفتوحة النهاية من الكيانات المؤهلة.

متعمق: التحقيق في كل كيان بعمق كافٍ لدعم كل مطالبة مطلوبة بالأدلة.

الجمع بين الأمرين يغير المشكلة. القفزة من الأمثلة المقنعة ليست كافية، وكذلك السرد المصقول المبني على بحث غير مكتمل. يجب على الوكيل الحفاظ على الاكتشاف الواسع دون التضحية بالجودة الواقعية من سجل إلى آخر.

يلتقط WANDR هذا الهيكل باستخدام تسلسل هرمي مرن وقابل للتكوين لمفاتيح التأهيل. قد تطلب المهمة

company(n) → employee(m) → url(k)

هذا يعني العثور على n من الشركات المؤهلة، وm من الموظفين المؤهلين في كل شركة، وk من الصفحات الداعمة لكل موظف. يمكن التحقق من كل مسار كامل عبر الشجرة بشكل مستقل. يمكن أن يمثل نفس الهيكل الأساسي قائمة مسطحة، أو بحثاً متداخلة، أو مصفوفة، أو مهمة ذات فروع أدلة متعددة. يمكن أيضاً جمع هذه الأنماط معاً، مما يسمح لتمثيل واحد بتغطية مجموعة واسعة من حالات الاستخدام الواقعية.

تكبير

توضح إحدى المهام الصادرة هذا الهيكل في الممارسة العملية.

ceo_cfo_appointments

المهمة الأساسية. العثور على 70 شركة على الأقل مقرها الولايات المتحدة مع تعيين رئيس تنفيذي (CEO) أو مديري مالية (CFO) تم الإعلان عنه لأول مرة بين 1 مارس و30 أبريل 2026. لكل شركة، قم بتوفير صفحة تعيين موثوقة تحدد الشركة والشخص المعين، وتؤكد الدور وتاريخ الإعلان، وتأتي من الجهة المصدرة، أو ملف تنظيمي، أو وكالة أنباء، أو صحافة أعمال مباشرة منسوبة مباشرة.

التسلسل الهرمي الأساسي. company(70) → company_appointee(1) → url(1).

المهمة الفرعية لقائمة الشركات. بالنسبة لنفس الشركات، قم بتوفير صفحة جهة إصدار قائمة معترف بها تُظهر إما إدراجاً في بورصة الأوراق المالية الوطنية الأمريكية أو وضعاً كجهة إصدار خاضعة لإعداد التقارير بموجب قانون بورصة الأوراق المالية الأمريكي.

تسلسل هرمي للمهمة الفرعية. company(70) → url(1).

السجلات المطلوبة. 140: 70 سجل تعيين بالإضافة إلى 70 سجل إدراج.

ينتهي كل مسار في صفحة ومقتطفات يمكن للمصحح إعادة فحصها. يربط مفتاح الشركة المشترك بين فروع التعين والإدراج، لذا فإن التعيين بدون إثبات منفصل لحالة الإدراج يترك تلك الشركة غير مكتملة.

مهام واقعية، تم إنشاؤها على نطاق واسع

يبدأ WANDR من الأنماط مجهولة المصدر التي لوحظت في استخدام الإنتاج بدلاً من المطالبات الاصطناعية. هذا يبقي المعيار قريباً من العمل الذي يفوضه الناس بالفعل: الاكتشاف المفتوح، والإثراء المتكرر، والفحوصات عبر المصادر، والمقارنات المنظمة على نطاق مهني. تحول خط أنابيب شبه تلقائي تلك الأنماط إلى مهام، محتفظاً بالجهد البشري لمراقبة الجودة بدلاً من التعليق الشامل على الإجابات.

يحتوي خط الأنابيب على أربع مراحل. البذر يستخرج طلبات المنتجات مجهولة المصدر لنمط بحث واسع قابل لإعادة الاستخدام. الإنشاء يشغل حلقة تفاعلية بين المؤلف والناقد: يقوم الوكلاء برسم واختبار إجهاد التصميم، وكتابة مواصفات المهمة والحكم، وإنشاء سجلات تركيبية، واستخدام مدقق ميكانيكي للحفاظ على توافق كل شيء. القبول يتحقق من إمكانية الوصول إلى الحجم المستهدف عن طريق دمج 10-12 عملية إطلاق للمؤلف، ويدقيق الحكم الخاص بالمهمة، ويضيف اختيارياً موافقة بشرية. القيم يصنف المهام المقبولة ويحدد مجموعة نهائية متوازنة عبر المواضيع، والحجم، والطوبولوجيا، والصعوبة.

تكبير

تطلب المهمة المتوسطة 50 عضواً، وأربعة سجلات لكل عضو، و245 سجلاً بشكل عام. مجتمعة، تطلب المهام الـ 500 170,495 سجلاً مدعوماً بالمصدر. نقوم بمعايرة الصعوبة من عمليات إطلاق مرحلة التصميم التاريخية، ثم نقسم المهام حسب الرتبة إلى 167 مثالاً أقل صعوبة، و166 متوسطة، و167 أعلى صعوبة. يُظهر الرسم البياني أدناه أن الصعوبة لا تُحدد بالحجم وحده؛ بل تعتمد أيضاً على العمل المطلوب لكل سجل.

تكبير

تصنيف خالٍ من المراجع ومتحقق من الأدلة

مفتاح الإجابة الثابت ليس مناسباً للبحث مفتوح النهاية. إنه مكلف البناء، وسرعان ما يصبح قديماً، ولا يمثل جيداً الأسئلة التي تتغير إجاباتها بمرور الوقت. بدلاً من ذلك، يقوم WANDR بتقييم كل مطالبة مقدمة مقابل الأدلة التي يستشهد بها الوكيل.

يحتوي كل سجل على عنصر، وعنوان URL، ومقتطفات مختارة، وإجابة. يعيد المُقيِّم جلب الصفحة ويتحقق مما إذا كانت قابلة للاستخدام، وما إذا كانت المطالبة واضحة وضمن النطاق، وما إذا كانت المقتطفات تظهر بصدق على الصفحة، وما إذا كانت كل من الصفحة والمقتطفات تدعم كل متطلب.

تتدرج أحكام السجل الثنائية هذه عبر التسلسل الهرمي. تقيس الدقة جودة ما قدمه النظام. يقيس الاستدعاء الإتمام المُعدّل للجودة مقابل الحجم المطلوب، مع ملء أي نقص بالأصفار. يوازن F1 بين الاثنين. تمنح النشرات الناعمة رصيداً جزئياً للأعضاء غير المكتملين؛ بينما تحسب الدرجات الصارمة فقط الأعضاء الذين تكون شجرتهم الفرعية الكاملة المطلوبة صحيحة. للتشخيص، يُبلغ WANDR أيضاً عن حكم خاص بالاسترجاع فقط والذي يسأل عما إذا كانت الصفحة التي تم جلبها تلبي المهمة قبل إضافة الفحوصات الأكثر صرامة على الصلاحية والمقتطفات المقدمة.

هذا يجعل الإخفاقات قابلة للتفسير وقابلة للتحديد محلياً. الدقة العالية مع الاستدعاء المنخفض تعني عادةً أن النظام وجد بعض الأعضاء الجيدين ولكن ليس ما يكفي منهم. يعني الانخفاض الكبير من الناعم إلى الصارم أنه حقق تقدماً جزئياً ولكنه نادراً ما أكمل كل فرع مطلوب للحصول على رصيد كامل. يمكن لشجرة النتائج تحديد موقع الخسارة في الاكتشاف، أو الإثراء، أو معالجة الهوية، أو تأهيل الصفحة، أو استخراج الأدلة.

تكبير

ما وجدناه

لقد قارنا بين ستة أنظمة إنتاج: مهام مستضافة واجهات برمجة تطبيقات البحث، وواجهات برمجة تطبيقات وكلاء الويب العامة، ومنتج بحث متعمق، ونظام تنسيق البحث البرمجي الخاص بنا، Search as Code (SaC). تم جدولة كل واحد منها على جميع المهام الـ 500 تحت تكوين مثبت، ثم مر عبر نفس خط أنابيب الجلب، والحكم، وحل الهوية، والتسجيل.

يتقدم Perplexity Search as Code عند 0.363 مقياس F1 ناعم و0.133 مقياس F1 صارم. تأتي Anthropic في المرتبة الثانية عند 0.249 و0.072؛ ويصل أقصى حد لأي نظام آخر إلى 0.121 مقياس F1 ناعم و0.035 مقياس F1 صارم. لا يوجد نظام يهيمن على الجودة والكفاءة معاً. تقع Perplexity في منتصف نطاق التكلفة بمبلغ 5.20 دولار لكل مهمة، مع زمن حل وسيط يبلغ 14.9 دقيقة و3.82 مليون رمز مبلغ عنه لكل مهمة. OpenAI وExa أسرع وأرخص ولكنها تسجل درجات أقل بكثير. تأتي Anthropic الأقرب من حيث الجودة، ولكنها تستخدم وقتاً ومالاً ورموزاً أكثر بكثير.

تكبير

تكبير

لقد قيّمنا أيضاً كل إعداد جهد متاح على نفس المجموعة الفرعية المكونة من 45 مهمة. يؤدي المزيد من الجهد إلى تحسين Perplexity وGemini وExa في كل خطوة؛ وتصل Perplexity إلى 0.447 مقياس F1 ناعم و0.224 مقياس F1 صارم عند xhigh. ومع ذلك، فإن الجهد الأعلى ليس أفضل بشكل موحد: تصل OpenAI ذروتها عند high، وتنخفض درجات F1 الصارمة لـ Parallel قليلاً بين ultra2x وultra4x. تمتد التكلفة لأكثر من أربعة أوامر من الحجم، من 0.03 دولار لكل مهمة لـ Exa low إلى 324.83 دولار لـ Gemini max.

تكبير

تكبير

تبرز أربعة نتائج.

التقدم الجزئي أمر شائع؛ أما التغطية الكاملة فلا. يكون الاستدعاء الناعم أقل من الدقة الناعمة لكل نظام، مما يعني أن الأداء ينخفض بمجرد دخول الحجم المطلوب بالكامل في المقام. تحتفظ Perplexity باستدعاء 0.357 من أصل 0.389 دقة، وهي الفجوة الأصغر؛ بينما تنخفض Anthropic من 0.354 إلى 0.222. التحويل من ناعم إلى صارم هو أكثر قسوة. تنخفض Perplexity من 0.363 مقياس F1 ناعم إلى 0.133 مقياس F1 صارم، وتنخفض Anthropic من 0.249 إلى 0.072. أفضل دقة صارمة هي 0.150 وأفضل استدعاء صارم هو 0.134: حتى القائد يكسب رصيداً كاملاً لحوالي واحد فقط من كل سبعة أعضاء يقدمهم وواحد من كل سبعة أعضاء تطلبه المهمة.

يزيد الحجم من تفاقم المشكلة. من أصغر صندوق حجم مستهدف إلى أكبرها، تنخفض الدقة الصارمة لـ Perplexity من 0.235 إلى 0.096 وينخفض استدعاؤها الصارم من 0.219 إلى 0.079. تنخفض Anthropic من 0.205 إلى 0.113 ومن 0.127 إلى 0.042؛ وتنخفض OpenAI من 0.109 إلى 0.034 ومن 0.102 إلى 0.016. عادة ما ينخفض الاستدعاء بشكل أسرع من الدقة: قد يحتفظ النظام بجيب صغير من الأعضاء الكاملين بينما يغطي نسبة أقل فأقل من المجموعة المطلوبة.

التسلسلات الهرمية الأعمق تكون أكثر قسوة. بالانتقال من عدم وجود مفتاح وسيط إلى ثلاثة مفاتيح أو أكثر، تنخفض الدقة الصارمة لـ Perplexity من 0.392 إلى 0.019 والاستدعاء الصارم من 0.378 إلى 0.017؛ وتنخفض Anthropic من 0.311 إلى 0.049 ومن 0.229 إلى 0.022؛ وتنخفض OpenAI من 0.136 إلى 0.012 ومن 0.120 إلى 0.011. يخلق كل فرع مضاف مكاناً آخر يمكن أن يفقد فيه العضو النتيجة الصارمة لكل شيء أو لا شيء. لا تتبع التكلفة وزمن الوصول نمطاً أحادي الاتجاه شائعاً.

تكبير

حتى قبل الحكم على الجودة، يُعد الاكتشاف هو عنق الزجاجة الهيكلي الأول. بالنظر فقط إلى العدد الخام قبل الانهيار، يتراوح متوسط إتمام الاكتشاف في المستوى الأعلى من 0.611 إلى 0.951. يكون الإثراء الشرطي أقوى عند 0.767-0.967، ويصل إتمام خانة الأدلة الطرفية إلى 0.979-0.994 بمجرد وجود العضو ومسار إثراؤه. تتصدر Perplexity الاكتشاف عند 0.951 والإثراء عند 0.967، لكن OpenAI أعلى قليلاً في خانات الأدلة الطرفية عند 0.994 مقابل 0.991. يمثل انهيار التكرار 0.017-0.205 نقطة مئوية فقط من فقدان العد عبر العمليات الست الكاملة، لذا فإن النقص في التسليم، وليس دمج الهويات، هو التفسير الإجمالي الرئيسي. تحدث أكبر الخسائر الهيكلية الخام قبل إرفاق عنوان URL النهائي.

تكبير

العثور على صفحة قابلة للاستخدام غالباً ما يكون سهلاً؛ أما العثور على أدلة كاملة فهو أمر صعب. بالنسبة لخمسة أنظمة، فإن 3.2% إلى 8.9% فقط من الصفحات المقدمة غير قابلة للاستخدام؛ وOpenAI هي الشاذة بنسبة 23.1%. السجلات غير الصالحة أو ذات النوع الخاطئ نادرة نسبياً أيضاً بنسبة 4.2% إلى 17.4%. الخسائر المهيمنة تأتي بعد ذلك: 33.6% إلى 68.3% من الصفحات المقدمة تفشل في تلبية متطلب مهمة موضوعي واحد على الأقل، و57.5% إلى 86.6% من المقتطفات المقدمة تفشل في دعم كل ما يدعيه السجل. معدلات Perplexity هي 41.4% و57.5%. ينخفض مقياس F1 الناعم الخاص بها من 0.531 تحت فحص الاسترجاع فقط، والذي يسأل فقط عما إذا كانت الصفحة تلبي كل متطلب موضوعي، إلى 0.363 تحت الحكم الكامل، والذي يتطلب أيضاً الفحوصات العامة، وصلاحية المهمة الخاصة، ودعم المقتطف الكامل. ينخفض مقياس F1 الصارم بالمثل من 0.245 إلى 0.133. الجزء الصعب ليس فقط الوصول إلى صفحة معقولة؛ بل هو تحويل تلك الصفحة إلى أدلة كافية للمطالبة بأكملها.

تكبير

Search as Code متوافق جيداً مع شكل هذه المهمة. يمكن للنموذج التعبير عن الاسترجاع، والتصفية، والتفرع، وتقديم النتائج، وعمليات الربط، وإلغاء التكرار، ومنطق الإيقاف كبرنامج، بينما تتعامل الحوسبة الحتمية مع العمليات المتكررة خارج سياق النموذج. هذا الملف الشخصي متسق مع احتفاظ Perplexity الأقوى بالعرض وبناء المقتطفات، على الرغم من أنه لا يتصدر في كل طبقة: تمتلك Anthropic أدنى معدل إخفاق لمتطلبات الصفحة.

ما التالي

يقدم WANDR أكثر من مجرد درجة لوحة صدارة واحدة. يدعم هيكل مهمته المشترك وخط أنابيبه شبه التلقائي توليد مهام متنوعة وعالية الحجم، بينما تُظهر الأحكام لكل سجل والدرجات على مستوى التسلسل الهرمي المكان الذي يفشل فيه التشغيل: الاكتشاف، أو الإثراء، أو معالجة الهوية، أو التأهيل الدلالي، أو بناء الأدلة. توفر المهام المُصدرة، وأداة التحقق، والتشخيصات الهيكلية أساساً لتحسين أنظمة البحث الشاملة واختبار ما إذا كانت هذه المكاسب تثبت على نطاق واسع.

قد يجعل نفس الهيكل WANDR مفيداً أيضاً للتعلم التعزيزي. بدلاً من الاعتماد على مكافأة طرفية واحدة متفرقة، يمكن للمدرب استخدام الأحكام على مستوى السجل والفرع، وتعيين رصيد جزئي لا تقدم الاكتشاف والإثراء، وبناء منهج دراسي عن طريق زيادة الأعداد المطلوبة بمرور الوقت. يمكن لخط الأنابيب توليد مهام فرعية محجوزة عبر المجالات، وأشكال التسلسل الهرمي، وقواعد الأدلة، وإعدادات العرض والعمق دون تعداد الإجابات الذهبية. هذا يخلق مساراً لتدريب الوكلاء ليس فقط على العثور على حقائق صحيحة، بل وأيضاً على التخطيط للتغطية، واكتشاف الفروع المفقودة، والتعافي قبل التوقف.

مهام المعيار، وأداة التقييم، والتقرير التقني الكامل متاحة على GitHub.

اقتباس

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}