Search API: استخراج أفضل، معايير ديناميكية

في شهر سبتمبر، نشرنا نظرة عامة تقنية حول هندسة واجهة برمجة تطبيقات البحث Perplexity Search API وأصدرنا search_evals، وهو إطار عمل التقييم مفتوح المصدر الخاص بنا لقياس أداء واجهات برمجة تطبيقات البحث في سير العمل الوكيلية. ومنذ ذلك الحين، كان الاستثمار الأكبر في جودة المقتطفات، والتي تم تحسينها على بعدين: الصلة والحجم. إن إرجاع المحتوى الصحيح بالكمية الصحيحة يحدد بشكل مباشر دقة الإجابة النهائية وكفاءة الرموز (tokens). تضمنت العمليات اللازمة للوصول إلى ذلك بناء أنظمة جديدة للاستخراج، والتصنيف على مستوى النطاق (span-level)، والتقييم، وأبرزها خط أنابيب تصنيف النطاقات الذي يحدد الأجزاء من المستند المصدر التي تستجيب لاستعلام معين.

تقييم المقتطفات على مستوى النطاق

لتحسين المقتطفات بشكل منهجي، قمنا بتصميم نظام تقييم جديد. بالنسبة لاستعلام ومستند معيين، يقوم النظام بتحديد وتصنيف النطاقات داخل المستند وفقاً لعلاقتها بالاستعلام: النطاقات "الحيوية" التي يجب تضمينها في المقتطف، ومختلف فئات النطاقات "غير ذات الصلة" التي يجب استبعادها، والنسخ المتطابقة، وفئات أخرى. يتيح لنا هذا التصنيف على مستوى النطاق تقييم جودة المقتطف بدقة لم تكن ممكنة من قبل، مع قياس ما تم تضمينه بشكل صحيح وما تم استبعاده بشكل صحيح.

في الواقع، تتيح لنا هذه التحسينات إنشاء مقتطفات أصغر تكون أكثر صلة بالاستعلام. يتعامل خط أنابيب فهم المحتوى المحسّن ذاتياً الآن مع نطاق أوسع من تنسيق البيانات المنظمة، بما في ذلك الجداول، والقوائم المتداخلة، والمحتوى المعروض ديناميكياً والذي فشلت القواعد السابقة في تحليل بشكل موثوق.

ظهرت هذه التحسينات من أنظمة الإنتاج الخاصة بنا. مع دفع أبحاثنا الداخلية لصلة المقتطفات وحجمها إلى الأمام، كشفت التقييمات الداخلية أن ميزانيات المحتوى الأصغر أنتجت في الواقع نتائج أكثر دقة بعد سلسلة من تحسينات الجودة. لقد أجرينا بعض التعديلات على تكويناتنا الافتراضية لتعكس نتائجنا، مما أدى إلى تقليل حجم حمولة الاستجابة وزمن الانتقال مع تقديم محتوى أكثر فائدة لكل نتيجة. بالنسبة للمطورين, تترجم المقتطفات الأصغر والأكثر صلة بشكل مباشر إلى تكاليف رموز (tokens) أقل وإدارة أفضل للسياق لنماذج اللغة الكبيرة (LLMs) النهائية.

SEAL: تقييم الاسترجاع الحساس للوقت

يختبر معيار SEAL ما إذا كان نظام الاسترجاع قادراً على الإجابة على الأسئلة التي تتغير إجاباتها الصحيحة ب مرور الوقت. يتطلب الرد بشكل موثوق حداثة الفهرس في الوقت الفعلي، واستخراجاً أكثر ذكاءً للمقتطفات من مصادر بيانات مختلفة يتم تحديثها باستمرار، وتحليلاً يمكنه تحديد القيمة الحالية بدلاً من القيمة التاريخية.

عندما قمنا بتشغيل search_evals مقابل إصدار SEAL في 22 فبراير باستخدام Claude Sonnet 4.5، زادت درجات Perplexity بينما انخفضت درجات مقدمي الخدمة الآخرين على SEAL-Hard:

تكبير

لقد قمنا بتوسيع إطار عمل search_evals الخاص بنا ليشمل SEAL إلى جانب المعايير المذكورة في منشورنا لشهر سبتمبر. النتائج والمنهجية المحدثة متاحة في المستودع المحدث على GitHub.

دعم الاستعلامات المتعددة

تدعم واجهة برمجة التطبيقات الآن ما يصل إلى 5 استعلامات في طلب واحد. يتم إرجاع النتائج مجمعة لكل استعلام بنفس ترتيب إرسالها. يؤدي هذا إلى تقليل رحلات الذهاب والإياب للتطبيقات التي تحتاج إلى إصدار عمليات بحث ذات صلة بالتوازي، مثل الوكلاء الذين يقومون بتقسيم سؤال معقد إلى مهام فرعية متعددة للاسترجاع.

تصفية موسعة

بالإضافة إلى تصفية النطاقات (قائمة السماح وقائمة الحظر، حتى 20 نطاقاً) وتصفية الحداثة، تدعم واجهة برمجة التطبيقات الآن التصفية اللغوية برمز ISO 639-1 والبحث الإقليمي برمز الدولة ISO. يمكن دمج هذه لتحديد نطاق النتائج بدقة، على سبيل المثال تقييدها بالنتائج باللغة الإنجليزية من النطاقات الألمانية.

حزمة تطوير البرمجيات (SDK) والتوافر

توفر Python SDK (pip install perplexityai) الآن دعماً أصلياً لواجهة برمجة تطبيقات البحث Search API إلى جانب Agent API و Sonar API.

التوثيق الكامل موجود في docs.perplexity.ai