تقييم أداء البحث المتعمق في الطبيعة باستخدام معيار DRACO

نصدر اليوم معيار دقة واكتمال وموضوعية البحث المتعمق (DRACO)، وهو معيار مفتوح لتقييم وكلاء البحث المتعمق استناداً إلى كيفية استخدام المستخدمين الفعليين للذكاء الاصطناعي في مهام البحث المعقدة. من خلال توفير DRACO كمصدر مفتوح، نهدف إلى مساعدة مجتمع الذكاء الاصطناعي الأوسع على بناء أدوات بحث تلبي احتياجات المستخدمين الحقيقية بشكل أفضل.

يسلط معيار DRACO الضوء على الفجوة بين حل المهام الاصطناعية وتلبية احتياجات البحث الحقيقية. أداة التقييم هذه مستقلة عن النماذج: مع ظهور نماذج لغة كبيرة (LLMs) وكيلة أقوى، سنعيد تشغيل التقييمات ونشر النتائج المحدثة. وبينما نطلق تحسينات ميزة البحث المتعمق على Perplexity.ai,، سيلاحظ المستخدمون انعكاس تلك المكاسب في كل من أداء المنتج ونتائج المعيار.

البحث المتعمق المتطور

يحقق ميزة البحث المتعمق من Perplexity أداءً متطوراً في المعايير الخارجية الرائدة، بما في ذلك نظام DeepSearchQA من Google DeepMind وResearchRubrics من Scale AI.

تكبير

تكبير

تنبع هذه النتائج من الجمع بين أفضل النماذج المتاحة وقدرات الوكلاء المصممة خصيصاً من Perplexity: أدوات البحث الخاصة، وبنية المتصفح التحتية، وتنفيذ الكود. معاً، تشكل هذه العناصر نظاماً مُحسَّناً من البداية إلى النهاية لاسترجاع معلومات العالم الحقيقي، وتوليفها، والاستدلال بناءً عليها.

أثناء عملية بناء هذا المنتج، أدركنا أن المعايير الخارجية، على الرغم من فائدتها في مقارنة النماذج، غالباً ما تقصر عن استيعاب الاستعلامات متعددة الجوانب ومتطلبات التوليف التي يطرحها المستخدمون الحقيقيون كل يوم. اليوم، نطلق معيار DRACO كمصدر مفتوح، وهو معيار مستند إلى كيفية استخدام الأشخاص الفعليين للبحث المتعمق، مدفوعاً بملايين مهام الإنتاج عبر عشرة مجالات.

تكبير

لماذا يكتسي التقييم المستند إلى الإنتاج أهمية بالغة

غالباً ما تختبر المعايير الحالية مهارات ضيقة بمعزل عن غيرها: استرجاع حقيقة واحدة، أو الإجابة على سؤال تافه، أو حل مشكلة محددة بدقة. لكن استعلامات البحث الحقيقية تتطلب التوليف عبر مصادر متعددة، وتحليلاً دقيقاً، وإرشادات قابلة للتنفيذ، مع الحفاظ في الوقت ذاته على الدقة الواقعية والاستشهاد السليم.

يضم معيار DRACO 100 مهمة منتقاة بعناية تغطي مجالات الأكاديميا، والتمويل، والقانون، والطب، والتكنولوجيا، والمعلومات العامة، وتصميم تجربة المستخدم (UX)، والمساعد المخصص، ومقارنة التسوق/المنتجات، والإبرة في كومة قش، ويقترن كل منها بقواعد تقييم أعدها خبراء بمعدل ~40 معيار تقييم.

تنشأ هذه المهام من طلبات المستخدمين الفعلية على ميزة البحث المتعمق من Perplexity، حيث يتم أخذ عينات منها من ملايين طلبات الإنتاج ثم إعادة صياغتها، وتوسيعها، وتصفيتها بشكل منهجي من خلال خط أنابيب مكون من خمس مراحل: نقوم بإزالة معلومات التعريف الشخصية، وإضافة السياق والنطاق، والتصفية من أجل الموضوعية والصعوبة، وإجراء مراجعة نهائية من قبل خبراء المجال. والنتيجة هي معيار يعكس احتياجات المستخدمين الحقيقية بدلاً من التمارين الاصطناعية أو المهام التي يختارها الخبراء.

كيف يعمل معيار DRACO

تكبير

مرت كل مهمة في المعيار بعملية تطوير صارمة لقواعد التقييم. تعاونت Perplexity مع شريك لتوليد البيانات، وهو The LLM Data Company، لتطوير واختبار قواعد تقييم المجموعة تحت الضغط. وضع خبراء الموضوع قواعد تقييم أولية بمساعدة أدوات نماذج اللغة الكبيرة (LLM)، ثم قاموا بالتكرار من خلال مراجعة النظراء والمعايرة. تمت إعادة قواعد التقييم غير المحددة بدقة الشديدة أو المتساهلة للغاية للمراجعة، حيث تم تنقيح نحو 45% من قواعد التقييم مرة واحدة على الأقل من خلال هذه العملية. والنتيجة هي معايير تقييم تميز حقاً بين قدرات الأنظمة.

تقييم القواعد أربعة أبعاد: الدقة الواقعية (نحو نصف المعايير تقريباً)، وعرض العمق والتحليل، جودة العرض، والاستشهاد بالمصادر الأساسية. يتلقى كل معيار وزناً يعكس أهميته وتكون بعض المعايير سلبية، حيث تعاقب الأخطاء مثل الهلوسة أو الادعاءات غير المدعومة.

يتم تقييم الإجابات باستخدام بروتوكول نموذج لغة كبرى كحكم (LLM-as-judge)، حيث يتلقى كل معيار حكماً ثنائياً. هذا النهج مناسب تماماً لتقييم الدقة الواقعية لأن القواعد ترسخ الحكم في بيانات العالم الحقيقي المستمدة من نتائج البحث، مما يحول التقييم الذاتي إلى التحقق من الحقائق القابلة للتحقق. لقد تحققنا من الموثوقية عبر ثلاثة نماذج حكم ووجدنا أنه على الرغم من اختلاف النتائج المطلقة، فإن ترتيب الأنظمة النسبي يظل ثابتاً.

تكبير

مجموعة الأدوات وبيئة التقييم

تم تصميم المعيار لتقييم الوكلاء الذين يمتلكون حق الوصول إلى مجموعة أدوات بحث كاملة، بما في ذلك بيئة اختبار تنفيذ الكود (Sandbox) وقدرات المتصفح.

ما وجدناه

الأداء حسب المجال. لقد قيمنا اربعة أنظمة بحث متعمق عبر 10 مجالات معرفية من خلال قياس معدلات النجاح (نسبة معايير التقييم المستوفاة). حقق البحث المتعمق أعلى معدلات النجاح عبر جميع المجالات، مع أداء قوي بشكل خاص في مجالات القانون (89.4%) والأكاديميا (82.4%).

تكبير

بالنسبة للمستخدمين، هذا يعني إجابات أكثر موثوقية سواء كنت تجهز مذكرة قانونية، أو تجري مراجعة للأدبيات، أو تقارن خيارات العلاج الطبي. اتسعت فجوات الأداء بشكل ملحوظ في مهام الاستدلال المعقدة: في سيناريوهات المساعد المخصص والإبرة في كومة قش، تفوق النظام Perplexity على النظام الأقل تقييماً بأكثر من 20 نقطة مئوية. تعكس هذه المجالات احتياجات المستخدم الحقيقية مثل التوصيات المخصصة والعثور على حقائق محددة مدفونة في مستندات ضخمة.

تكبير

الأداء حسب جانب التقييم. عبر أربعة أبعاد تقييم رئيسية، تصدر البحث المتعمق في ثلاثة: الدقة الواقعية، وعرض وعمق التحليل، وجودة الاستشهاد. هذه هي الأبعاد الأكثر أهمية عندما تحتاج إلى الوثوق ببحثك لاتخاذ قرارات حقيقية، سواء كنت تقدم المشورة لعميل، أو تقوم باستثمار، أو تكتب تقريراً يحمل اسمك. أظهر نظام واحد آخر فقط أداءً قابلاً للمقارنة مع بحث Perplexity المتعمق في جودة العرض، مما يشير إلى أن المشاكل الصعبة في البحث المتعمق لا تتعلق بالتنسيق بل تتعلق بصحة الحقائق واكتمال التحليل.

تكبير

الجودة والكفاءة. والجدير بالذكر أن النظام الأفضل أداءً حقق أيضاً أدنى زمن استجابة (459.6 ثانية مقابل 592 إلى 1808 ثانية للمنافسين). بالنسبة للمستخدمين، هذا يعني أنك لست مضطراً للاختيار بين البحث الشامل والحصول على إجابات بسرعة. وهذا يعكس ميزة البنية التحتية المتكاملة رأسياً من البداية إلى النهاية: بحث أفضل¹ [رابط حاشية سفلية لواجهة برمجة تطبيقات البحث الخاصة بنا] وتكامل المتصفح مع بيئات التنفيذ المُحسَّنة يترجمان مباشرة إلى بحث أسرع وأكثر دقة.

ما التالي

أداة البحث المتعمق من Perplexity مستقلة عن النماذج: مع ظهور نماذج لغة كبيرة وكيلة أقوى، سنعيد تشغيل التقييمات ونشر النتائج المحدثة. وبينما نطلق تحسينات ميزة البحث المتعمق على Perplexity.ai,، سيلاحظ المستخدمون انعكاس تلك المكاسب في كل من أداء المنتج ونتائج المعيار.

يقيم المعيار حالياً التفاعلات باللغة الإنجليزية حصراً، ذات الدور الواحد عبر عشرة مجالات. ستتوسع التكرارات المستقبلية لتشمل التنوع اللغوي، وتضيف تقييم الأدوار المتعددة، وتوسع نطاق تغطية المجالات.

ابنِ وكلاء بحث أفضل باستخدام معيار DRACO

معيار DRACO متاح الآن كمصدر مفتوح بالكامل. يمكن لأي فريق يبني أنظمة بحث متعمق تقييم نماذجه مقابل مهام البحث في العالم الحقيقي بدلاً من الألغاز الأكاديمية الاصطناعية. نحن نصدر المعيار الكامل، وجميع قواعد التقييم، وموجه الحكم.

لمعرفة المزيد حول المنهجية والنتائج التفصيلية، اقرأ التقرير التقني الكامل: معيار DRACO واستكشف مجموعة البيانات على Hugging Face.

اقتباس

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}