كيفية تقييم وكلاء الذكاء الاصطناعي: مجموعات الاختبار وأدوات التقييم وفحوصات الانحدار

وراء كل منتج ذكاء اصطناعي رائع عمليةُ تقييم قوية لوكلاء الذكاء الاصطناعي، تُعرف باسم التقييمات (evals)، تكشف الأخطاء مبكرًا وتضمن عمل الوكيل على النحو الصحيح. وتُعد التقييمات بالغة الأهمية لوكلاء الذكاء الاصطناعي الذين ينفذون إجراءات عالية المخاطر، مثل إصدار المبالغ المستردة نيابةً عن شخص ما.

يتطلب بناء هذه العملية بعض المعرفة التقنية ومهارات تحليل البيانات. لكنها ليست مخيفة أو صعبة المنال كما قد تبدو. ولمساعدتك على البدء، عرضنا ست خطوات عملية لتقييم وكلاء الذكاء الاصطناعي، إلى جانب المفاهيم الخاطئة الشائعة التي تُفسد هذه العملية.

ماذا يعني تقييم وكيل الذكاء الاصطناعي؟

يعني تقييم وكيل الذكاء الاصطناعي قياس أدائه في إنجاز المهام بشكل صحيح، ومدى تلبية قراراته لمتطلبات المؤسسة. ومن الناحية العملية، فإن تقييمات وكلاء الذكاء الاصطناعي، أو التقييمات (evals)، هي مقاييس محددة تساعد المؤسسات على تحديد ما إذا كان الوكيل يعمل بموثوقية كافية لأداء الدور المنوط به.

تخيّل وكيل مشتريات يعمل بالذكاء الاصطناعي في أحد المصانع، يتحقق من مخزون قطع الغيار ويُعد طلبات إعادة التزويد. إذا كانت إحدى القطع المعتمدة غير متوفرة أو كانت بيانات المورّد قديمة، فهل سينبّه الوكيل إلى المشكلة أم سيوصي ببديل غير معتمد؟

وإذا غيّرت موجّه النظام الخاص به لإصلاح تلك المشكلة، فكيف تتأكد من أنك لم تتسبب في مشكلة أخرى؟

من دون تقييم، لا يبقى أمام مديري المنتجات في الأساس سوى التخمين. ولذلك توفر التقييمات إشارة تغذية راجعة لقياس الأداء، ورصد المشكلات المتكررة، واختبار التغييرات بثقة أكبر.

وفي هذا السياق، يمكن لتقييم الوكيل أن يفحص عدة جوانب من عملية التشغيل:

• جودة النتيجة النهائية
• المعلومات التي استخدمها الوكيل
• الأدوات التي استدعاها
• ما إذا كان قد التزم بالقواعد التي تحكم سلوكه

المقاييس الشائعة لتقييم وكلاء الذكاء الاصطناعي

تعتمد التقييمات على بيانات نوعية وكمية. يساعدك التقييم النوعي على فهم ما يحدث وأسبابه، بما في ذلك المراجعة اليدوية لقرارات الوكيل. أما التقييم الكمي فيحوّل هذه الملاحظات إلى مؤشرات قابلة للقياس، مثل حساب عدد مرات تكرار أنماط إخفاق معينة أو حساب معدلات نجاح المهام.

إليك قائمة بالمقاييس الأساسية لتقييم وكلاء الذكاء الاصطناعي:

• نجاح المهمة يقيس ما إذا كان الوكيل قد حقق النتيجة المقصودة، ويُقاس عادةً بالنسبة المئوية لعمليات التشغيل التي تُنتج نتائج صالحة.
• صحة الإجراءات تقيس ما إذا كان الوكيل قد استخدم الأدوات بشكل مناسب، واختار وسيطات صالحة، والتزم بالأذونات.
• جودة الإجابة تقيّم ما إذا كان الناتج النهائي دقيقًا وكاملًا ومفيدًا. ويمكن أن تشمل الصحة الواقعية، والالتزام بالتعليمات، ومدى استناد الوكيل في قراراته إلى المعلومات المتاحة.
• الموثوقية تقيس الاتساق عبر المحاولات المتكررة، والمدخلات المتنوعة، والحالات الحدّية.
• التكلفة وزمن الاستجابة يقيسان الموارد اللازمة لتحقيق نتيجة ناجحة، بما في ذلك وقت التنفيذ، واستهلاك الرموز المميزة (tokens)، واستدعاءات الأدوات.

بحسب ما تقيسه، يمكن للتقييمات أن تقيّم أداء الوكيل من البداية إلى النهاية، أو مسار تنفيذه، أو مكونات فردية مثل استدعاءات الأدوات وخطوات الاسترجاع.

الخطوة 1: حدّد ما يبدو عليه التشغيل الناجح للوكيل

أولًا، صِف بوضوح ما يُفترض أن ينجزه الوكيل — أي متطلبات المنتج. يبدو الأمر بديهيًا، لكنه قد يكون صعبًا على نحو مفاجئ. بل إن لهذه المشكلة اسمًا: فجوة المواصفات.

إليك كيفية التعامل مع ذلك، وفقًا لـأندريه خوموتوف، كبير علماء البيانات لدينا:

“ابدأ بسؤالين: “ما الذي يُعدّ إنجازًا للمهمة؟” و“ما الذي قد يجعل تشغيلًا يبدو ناجحًا غير مقبول؟”

وبالنسبة إلى الوكلاء، ومن منظور تقني، يعني ذلك التحقق من النتيجة ومن الطريقة التي وصل بها الوكلاء إليها.”

قد يُنتج الوكيل الإجابة الصحيحة عبر الوصول إلى مفتاح إجابات مسرّب، أو يتخذ إجراءات غير مصرّح بها أثناء إنجاز مهمته. ويشير خوموتوف إلى أن تسرّب الإجابات والإجراءات غير الآمنة أثناء التقييمات سببان ملموسان لعدم الحكم على الإجابة النهائية وحدها.

ويضيف: “أتوقع أن يصبح فحص مسار التنفيذ جزءًا أساسيًا من مجموعات تقييم الوكلاء، بدلًا من أن يكون أمرًا لا نلجأ إليه إلا عندما تبدو إحدى النتائج مريبة.”

بعد ذلك، أشرِك خبيرًا في المجال للتحقق من صحة معايير النجاح لديك. فالأشخاص الذين يمتلكون معرفة عملية بالمجال قادرون على تحديد ما إذا كانت الشروط التي وضعناها لوكيل الذكاء الاصطناعي تعكس نتيجة ناجحة.

الخطوة 2. أنشئ مجموعة اختبار من مهام وإخفاقات حقيقية

افحص السلوك الفعلي للوكيل لفهم ما يبدو عليه الأداء الجيد والسيئ. وقاوم إغراء البدء بإنشاء عشرات الاختبارات بناءً فقط على ما تظن أنه قد يسير على نحو خاطئ.

هامل حسين، مهندس تعلم الآلة في Parlance Lab، وشريا شانكار، الباحثة في أنظمة تعلم الآلة وتقييمات الذكاء الاصطناعي التطبيقي، يوصيان بالبدء بـتحليل الأخطاء، وهي تقنية مستعارة من تعلم الآلة وعلم البيانات. وتبدأ العملية بتحليل نوعي لـسجلات تتبّع التنفيذ الخاصة بالوكيل — وهي سجلات تُظهر مدخلات المستخدم، واستدعاءات الأدوات، والمعلومات المسترجعة، ومخرجات الوكيل.

1. راجِع سجلات التتبّع الفردية ودوّن الأخطاء (الترميز المفتوح). اطلب من خبير في المجال فحص عمليات تشغيل الوكيل وكتابة ملاحظات قصيرة حول الخطأ الذي حدث. وركّز على أول خطأ جوهري.
2. جمّع الملاحظات في أنماط إخفاق (الترميز المحوري). بمجرد أن تجمع ملاحظات كافية، استخدم نموذجًا لغويًا كبيرًا (LLM) لاقتراح فئات للأخطاء المتشابهة. وقد تشمل هذه الفئات التوصية بقطع غير متوافقة، والاسترجاع غير الدقيق لبيانات المخزون، والإخفاق في تسليم المهمة إلى البشر.
3. احسب عدد مرات التكرار. صنّف كل ملاحظة ضمن فئة، ثم استخدم جدول بيانات أو جدولًا محوريًا لحساب عدد مرات ظهور كل نمط إخفاق.
4. حدّد أولويات ما يجب معالجته، مع مراعاة التكرار والخطورة معًا.
5. حوّل الإخفاقات المهمة إلى حالات اختبار. احفظ المدخلات ذات الصلة، وظروف البدء، والنتيجة المتوقعة، ومعايير التقييم، حتى يمكن اختبار الوكيل على السيناريو نفسه مرة أخرى.

كم عدد سجلات التتبّع التي ينبغي فحصها؟ نحو 100، لكن لا يوجد رقم سحري. توقّف مبكرًا عندما تصل إلى التشبّع النظري: وهي النقطة التي يتوقف عندها فحص المزيد من سجلات التتبّع عن الكشف عن أنماط إخفاق جديدة ذات أهمية.

ألم تُطلق التطبيق بعد؟ يمكن للأمثلة الاصطناعية أن تساعد في بناء مجموعة اختبار أولية، لكن ينبغي الاستناد إلى بيانات المستخدمين الحقيقية فور توفرها.

استخدام المعايير المرجعية في تقييم وكلاء الذكاء الاصطناعي

إلى جانب إنشاء حالات الاختبار الخاصة بك، يمكنك استخدام مجموعات قائمة من مهام التقييم الموحّدة، تُعرف باسم المعايير المرجعية (benchmarks)، لتقييم قدرات الوكيل.

لكن المعايير المرجعية ليست معصومة من الخطأ. إذ توضح عمليات تدقيق SWE-bench، ومراجعات Epoch AI للمعايير المرجعية، والإجابات الصحيحة التي رُفضت في البداية في TheoPhysEval كيف يمكن للمهام أو الإجابات المتوقعة المعيبة أن تشوّه نتائج التقييم.

وكما ينصح خوموتوف، اختر معايير مرجعية حديثة ذات صلة بمجالك، وتحقّق من حالات النجاح أو الإخفاق المفاجئة قبل اعتبار الدرجات دليلًا موثوقًا على أداء الوكيل.

الخطوة 3. شغّل الوكيل في بيئة اختبار قابلة للتكرار

بيئة الاختبار القابلة للتكرار هي إعداد مضبوط يمكنك فيه تشغيل وكيل الذكاء الاصطناعي على حالات الاختبار نفسها في ظل ظروف البدء نفسها ومقارنة النتائج. ويشمل ذلك مجلدًا لحالات الاختبار، أو نصًا برمجيًا بلغة Python يشغّل الوكيل، أو مجموعة من عمليات التحقق التي تقيّم النتائج.

يمكنك البدء بتخزين مدخلات تمثيلية في صورة ملفات JSON، واستخدام نص برمجي بلغة Python لتنفيذ سير عمل الوكيل والتحقق من مخرجاته باستخدام التأكيدات (assertions). وبالنسبة إلى وكيل المخزون في مصنعنا، قد تبدو بيئة الاختبار القابلة للتكرار على النحو التالي:

تكبير

لإعداد بيئة اختبار قابلة للتكرار، اتبع الخطوات التالية:

1. احفظ مدخلات تمثيلية. خزّن الأحداث الفعلية أو حالات الاختبار بالبنية نفسها التي يتلقاها تطبيقك في بيئة الإنتاج. في السيناريو الذي نتناوله، ستحفظ طلب صيانة يتضمن معرّف الآلة، وقطعة الغيار المطلوبة، وتاريخ الصيانة في ملف JSON، إلى جانب لقطة من بيانات المخزون والقطع المعتمدة.
2. نفّذ سير العمل. مرّر كل مُدخل عبر الوكيل، بما في ذلك خطوات الاسترجاع، واستدعاءات الأدوات، وتوليد الاستجابة.
3. احفظ النتيجة وسجل التتبّع. التقط المخرجات النهائية والإجراءات الوسيطة ذات الصلة (مثل عمليات البحث في المخزون) حتى تتمكن من معرفة ليس فقط ما إذا كان الوكيل قد أخفق، بل أين أخفق أيضًا.
4. كرّر الحالات بناءً على خطورة الإخفاق، ومدى تكراره، وصعوبة إصلاح المشكلة. تطبيقات النماذج اللغوية الكبيرة غير حتمية (إذ يمكن أن تُنتج نتائج مختلفة من مدخلات متطابقة)، لذا فإن نجاح تشغيل واحد لا يضمن نجاح التشغيل التالي. أبلِغ عن نسبة المحاولات الناجحة وافحص الإخفاقات.

ولهذا الغرض، ينصح خوموتوف بقياس pass@1 (معدل نجاح الوكيل في محاولة واحدة) وpass@k (احتمال النجاح مرة واحدة على الأقل عبر عدد محدد من المحاولات). وإذا كنت تُبلغ عن pass@k، فحدّد عدد المحاولات، لأن تقديم إجابة صحيحة واحدة من بين عدة إجابات لا يعني أن الوكيل يعرف أيها يختار.

ومع نمو تطبيقك، استخدم إطار عمل للاختبار مثل pytest لتنظيم الاختبارات وتشغيلها، وفكّر في تخزين مجموعات بيانات الاختبار الكبيرة ونتائجها في قاعدة بيانات.

الخطوة 4. اختر المقيّم المناسب لكل عملية تحقق

المقيّم (grader)، ويُسمى كثيرًا أيضًا أداة التقييم (evaluator)، هو آلية قد تكون جزءًا من التعليمات البرمجية، أو نموذجًا لغويًا كبيرًا يسترشد بـسُلّم تقييم، أو مراجِعًا بشريًا، تتحقق من مخرجات الوكيل أو إجراءاته وفق معيار محدد. ويُصدر المقيّم حكمًا بالنجاح أو الإخفاق مع شرح يحدد الأدلة ذات الصلة.

معلومة: سُلّم التقييم هو مجموعة من المعايير والتعليمات التي تحدد ما يُعد نتيجة صحيحة أو مقبولة.

يعتمد نوع المقيّم المناسب على ما تحاول التحقق منه. إليك مقارنة بين الأساليب الثلاثة:

قد تتطلب الجوانب المختلفة لعملية التشغيل نفسها أحيانًا أساليب تقييم مختلفة، لذا قد تحتاج إلى الجمع بين عدة مقيّمين.

كيف تجمع بين المقيّمين؟

اسأل نفسك: “هل يمكن التحقق من النتيجة وفق قاعدة معروفة أو قيمة متوقعة، أم أنها تتطلب حكمًا شبيهًا بالحكم البشري؟”

• إذا كان بإمكانك التحقق من النتيجة بدقة، فابدأ بـمقيّم قائم على التعليمات البرمجية. ويمكن للمقيّمين القائمين على التعليمات البرمجية أيضًا التحقق من المخرجات المنظَّمة، وقيم الحقول الصالحة، ووسيطات الأدوات، أو الحالة النهائية لقاعدة البيانات.
• إذا كانت عملية التحقق تتطلب تفسير السياق، فاستخدم النموذج اللغوي الكبير حَكَمًا (LLM-as-a-judge).
• استعن بـمراجعين بشريين للقرارات المتخصصة في المجال أو المتنازع عليها.

مهم! قد يُسيء المقيّم القائم على نموذج لغوي كبير تفسير الأدلة أو يطبّق سُلّم التقييم بشكل غير صحيح. ولذلك يحتاج إلى خطوة تقييم إضافية: المعايرة وفق الأحكام البشرية.

عايِر المقيّم القائم على النموذج اللغوي الكبير وفق الأحكام البشرية.

تتطلب المعايرة في جوهرها أن يقيّم خبير في المجال عمليات تشغيل فعلية للوكيل. ثم يقارن الخبير أحكامه بأحكام النموذج اللغوي الكبير، ويُحسّن سُلّم التقييم بناءً على أوجه الاختلاف.

إليك عملية معايرة المقيّم في خمس خطوات:

1. اجمع أمثلة على مدخلات الوكيل ومخرجاته وسجلات التتبّع ذات الصلة.
2. اطلب من خبير في المجال أن يقيّم بشكل مستقل ما إذا كان كل مثال يستوفي معيار التقييم.
3. شغّل المقيّم القائم على النموذج اللغوي الكبير على تلك الأمثلة.
4. قارن بين الأحكام البشرية وأحكام النموذج.
5. تحقّق من أوجه الاختلاف وحسّن سُلّم التقييم الخاص بالمقيّم قبل اختباره على أمثلة جديدة.

ويشدد خوموتوف أيضًا على أهمية اختبار اتساق المقيّم القائم على النموذج اللغوي الكبير بشكل منفصل:

“قدّم له عملية التشغيل المحفوظة نفسها والملفات نفسها عدة مرات، دون إعادة تشغيل الوكيل. يتيح لك ذلك الفصل بين التباين في عمل الوكيل والتباين في التقييم.”

إذا حصلت المخرجات نفسها على أحكام مختلفة، فلا تفترض أن كل تغيّر في الدرجة مصدره الوكيل. بدلًا من ذلك، افحص مصفوفة الالتباس التي تُظهر متى حدد المقيّم الأخطاء بشكل صحيح، ومتى أغفلها، ومتى صنّف مخرجات مقبولة على أنها خاطئة.

تظل المراجعة البشرية ضرورية لوضع أحكام مرجعية، وحسم الحالات المتنازع عليها، واكتشاف أنماط إخفاق جديدة لم يُصمَّم المقيّمون الحاليون لرصدها.

الخطوة 5. قارن الإصدارات وأجرِ اختبارات الانحدار

لنفترض أن تحليل الأخطاء كشف أن وكيل المخزون لديك يوصي كثيرًا بقطع غيار بديلة غير معتمدة. فتعدّل موجّه النظام الخاص به ليشترط إجراء تحقق صريح من التوافق. والآن تنجح حالة الاختبار التي كانت تُخفق في البداية. لكن كيف تعرف أن التغيير لم يؤثر في مهام أخرى؟

وهنا يأتي دور اختبار الانحدار.

اختبار الانحدار يعني إعادة تشغيل حالات الاختبار التي نجحت سابقًا بعد تغيير موجّه الوكيل أو نموذجه أو سير عمله، للتأكد من أن التغيير لم يتسبب في إخفاقات جديدة.

1. أعِد إنتاج الإخفاق الأصلي باستخدام مُدخل محفوظ من مجموعة الاختبار.
2. أجرِ تغييرًا مُستهدفًا على الموجّه أو النموذج أو سير العمل.
3. أعِد تشغيل الاختبار الذي أخفق للتحقق مما إذا كانت المشكلة قد حُلّت.
4. شغّل الاختبارات الأخرى للتحقق من أن التغيير لم يُخلّ بالسلوك الذي كان ناجحًا من قبل.
5. افحص النتائج وتحقّق من أي حالات إخفاق جديدة.

قارن بين الوكيل الأساسي والوكيل المحدَّث باستخدام حالات الاختبار ومعايير التقييم نفسها للحصول على نتائج دقيقة.

الخطوة 6: راقب أداء وكيل الذكاء الاصطناعي في بيئة الإنتاج

لا يتوقف تقييم الوكيل بمجرد نشر تطبيقك. فكما يوضح حسين وشانكار، يمكن أيضًا تشغيل أدوات التقييم نفسها التي تستخدمها أثناء التطوير على بيانات الإنتاج الحقيقية لقياس أداء وكيلك بمرور الوقت.

يُعرف هذا باسم التقييم المباشر، وهو جزء من عملية أشمل لمراقبة الإنتاج تساعد على كشف حالات الإخفاق المتكررة وتلك التي لم تكن معروفة من قبل.

هذه العملية تكرارية، وتتضمن أربعة أنشطة متكاملة:

• شغّل نماذج LLM المُحكِّمة المُعايَرة على سجلات تتبع الإنتاج. خذ عينات من تفاعلات الوكيل الحقيقية، وطبّق عليها أدوات التقييم التي سبق أن تحققت من صحتها مقارنةً بالأحكام البشرية.
• تتبّع معدلات الإخفاق بمرور الوقت. استخدم فئات الإخفاق التي حددتها أثناء تحليل الأخطاء لقياس المشكلات المتكررة كميًا.
• واصل مراجعة سجلات التتبع يدويًا. لا تكتشف أدوات التقييم الآلية إلا المشكلات التي صُممت لرصدها. افحص يدويًا عينات من تفاعلات الوكيل الحقيقية لكشف أخطاء جديدة أو طلبات غير معتادة من المستخدمين.
• استخدم اختبارات A/B لقياس نتائج الأعمال (عند الاقتضاء فقط). قارن بين مطالبات أو نماذج أو سير عمل مختلفة باستخدام مقاييس مثل إنجاز المهام ورضا المستخدمين والوقت اللازم للحل. تساعد هذه العملية على تحديد ما إذا كان التغيير يحسّن تجربة المنتج الفعلية، بما يتجاوز مجرد اجتياز الاختبارات الفردية.

ملاحظة مهمة: لا يلزم أن تكون التقييمات مثالية، بل يكفي أن تكون جيدة بالقدر الذي يسمح بتحسين منتجك.

مفاهيم خاطئة شائعة حول تقييم وكلاء الذكاء الاصطناعي

• التقييمات مجرد اختبارات وحدات. هذا غير صحيح؛ فاختبارات الوحدات فحوصات آلية صغيرة لا تمثل سوى جزء واحد من التقييم. وتشمل التقييمات أيضًا التحليل النوعي للأخطاء والأحكام البشرية ومراقبة الإنتاج والتجارب لقياس جودة التطبيق.
• يمكن لمنصة التقييم أن تتولى كل شيء نيابةً عنك. يمكن للأدوات الجاهزة أتمتة بعض الفحوصات، لكنها لا تستطيع تحديد أنماط الإخفاق (أنواع الأخطاء أو سلوكيات الوكيل غير المرغوب فيها) المهمة لمنتجك.
• يمكنك أن تترك لنموذج LLM تقييم كل شيء. هذه مغالطة كبيرة. يظل تحليل الأخطاء بقيادة البشر ومعايرة أدوات التقييم أمرين أساسيين، لأن نماذج LLM تفتقر إلى سياق الأعمال اللازم لاكتشاف كل مشكلة.
• اختبارات A/B أو مجرد استخدام الوكيل يغني عن التقييمات. هذا غير صحيح. يمكن لاختبارات A/B أن تُظهر أي إصدار يحقق أداءً أفضل وفق مقاييس محددة، لكنها لا تستطيع وحدها تفسير المشكلات الكامنة.

الأسئلة الشائعة حول تقييم وكلاء الذكاء الاصطناعي

1. ما الفرق بين تقييم وكلاء الذكاء الاصطناعي وتقييم نماذج LLM؟

يقيس تقييم نماذج LLM مدى جودة أداء النموذج اللغوي لمهمة معينة، مثل الإجابة عن سؤال أو تلخيص مستند أو استخراج معلومات. أما تقييم وكلاء الذكاء الاصطناعي فيقيّم نظامًا ينفّذ عدة خطوات بشكل مستقل لإنجاز مهمة ما.

على عكس تقييم نماذج LLM المعتاد، يفحص تقييم الوكلاء كلًا من النتيجة النهائية وتسلسل الإجراءات المتخذة لتحقيقها، بما في ذلك استدعاءات الأدوات والقرارات والالتزام بالقواعد المحددة مسبقًا.

2. المقاييس الرئيسية لتقييم وكلاء الذكاء الاصطناعي

تنقسم مقاييس تقييم وكلاء الذكاء الاصطناعي إلى فئتين رئيسيتين:

• مقاييس الأداء التقني: معدل نجاح المهام، وصحة الإجراءات، وجودة الإجابات، والموثوقية (pass@1 وpass@k)، وزمن الاستجابة، واستهلاك الرموز المميزة (tokens)، والتكلفة لكل مهمة ناجحة.
• مقاييس الأعمال وتجربة المستخدم: رضا العملاء (CSAT)، ومعدل حل المشكلات، ومعدل التصعيد، ومعدل التحويل، ووقت إنجاز المهام، وغيرها من النتائج الخاصة بدور الوكيل.

على سبيل المثال، قد يُقيَّم وكيل دعم العملاء بناءً على نجاحه في حل المشكلات ورضا العملاء، بينما يمكن قياس أداء وكيل المشتريات المعتمد على الذكاء الاصطناعي بدقة طلبات إعادة التزويد ومعدلات الموافقة ومدة دورة الشراء.

ينبغي أن تعكس المقاييس المناسبة مدى موثوقية أداء الوكيل وما إذا كان عمله يحسّن نتائج الأعمال على حد سواء.

3. ما أفضل الأدوات لتقييم وكلاء الذكاء الاصطناعي؟

تشمل الخيارات الشائعة ما يلي:

• أطر الاختبار: تفيد تأكيدات Python وpytest في تشغيل حالات اختبار قابلة للتكرار والتحقق من شروط محددة بدقة، مثل ما إذا كان الوكيل قد اختار الأداة الصحيحة أو أعاد معرّف قطعة صالحًا.
• أطر تقييم وكلاء الذكاء الاصطناعي: تدعم DeepEval ومجموعة أدوات agent-eval من Google عمليات تقييم أكثر تعقيدًا، بما في ذلك سجلات تتبع التنفيذ وأدوات التقييم المعتمدة على LLM واختبارات الانحدار الآلية.
• منصات التقييم وقابلية المراقبة: تساعد LangSmith وArize Phoenix وMLflow الفرق على فحص سلوك الوكلاء، وإدارة مجموعات بيانات التقييم، ومقارنة إصدارات الوكلاء، ومراقبة الأداء في بيئة الإنتاج.

4. كيف يمكن أتمتة تقييمات وكلاء الذكاء الاصطناعي؟

يمكنك أتمتة تقييمات وكلاء الذكاء الاصطناعي من خلال إنشاء اختبارات قابلة للتكرار، وتطبيق أدوات تقييم آلية، ودمج هذه الفحوصات في سير عمل التطوير والإنتاج:

1. أنشئ مجموعة بيانات للتقييم: اجمع مهام مستخدمين تمثيلية، والنتائج المتوقعة، وحالات الإخفاق المعروفة، وسجلات تتبع تنفيذ الوكيل. وأدرج الحالات الحدّية، مثل استدعاءات الأدوات الفاشلة والمعلومات الناقصة والإجراءات غير المصرّح بها.
2. أتمت تنفيذ الاختبارات وتقييمها: استخدم أطرًا مثل pytest أو DeepEval لتشغيل حالات الاختبار وتطبيق فحوصات قائمة على الكود أو أدوات تقييم معتمدة على LLM. وتحقّق من صحة أدوات التقييم المعتمدة على LLM مقارنةً بالأحكام البشرية قبل الاعتماد على درجاتها.
3. ادمج التقييمات في CI/CD: أعد تشغيل اختبارات الانحدار تلقائيًا عندما يحدّث المطورون مطالبات الوكيل أو نماذجه أو أدواته أو سير عمله. وقارن النتائج بخط أساس، وحدّد عتبات جودة تمنع الإصدارات عند فشل الفحوصات الحرجة.
4. طبّق أدوات التقييم المعايَرة على عينات من سجلات تتبع الإنتاج، وتتبّع معدلات الإخفاق ومقاييس الأداء الأخرى، وتحقّق من الأخطاء الجديدة عبر المراجعة اليدوية.