التعلم من التجربة الواقعية

تعتبر كيفية تفاعل المستخدمين مع منتجاتنا في العالم الحقيقي مصدراً قيماً لتدريب النماذج. البيانات وفيرة، وتتوارث التوزيع الفعلي لمهام المستخدم، وتلتقط تصحيحات المستخدمين وأخطاء الأدوات التي قد تفوتها البيئات الاصطناعية.

الطريقة الشائعة للتعلم من بيانات العالم الحقيقي هي ضبط أخذ عينات الرفض: الحكم على نتيجة كل جلسة، والاحتفاظ بالناجحة منها، وتدريب النموذج على تقليدها. لكن النتيجة الناجحة لا تعني أن كل خطوة كانت صحيحة، لذا فإن تقليد المسار بأكمله ينطوي على خطر تعزيز السلوكيات الوسيطة السيئة بالإضافة إلى السلوكيات الجيدة. يؤدي تجاهل الجلسات غير الناجحة أيضاً إلى فقدان أدلة حرجة حول المكان الذي يقصر فيه النموذج.

نجمع بين الضبط الدقيق لأخذ عينات الرفض والتقطير الذاتي الموجه بالتلميحات للتعلم من الجلسات الناجحة وغير الناجحة على حد سواء. التلميح هو تعليمة تصحيحية قصيرة تستند إلى معلومات كانت متوفرة أصلاً لدى النموذج عندما ارتكب الخطأ. تظل الخطوات المفيدة من الجلسات الناجحة أهدافاً للتقليد، بينما تحول التلميحات القائمة على معلومات الأخطاء القابلة للتجنب إلى أهداف للتصحيح.

تضيف تصحيحات المستخدمين وأخطاء الأدوات إشرافاً حول ما حدث خطأ على طول الطريق، علاوة على ما إذا كانت المهمة قد نجحت في النهاية. نطبق هذه المرحلة بعد التعلم المعزز في البيئات الاصطناعية للمساعدة في سد الفجوة بين تلك البيئات والاستخدام في العالم الحقيقي.

في الاستخدام الفعلي، أدت نقطة التحقق اللاحقة للتدريب GLM-5.2 إلى تقليل حالات فشل استدعاء الأدوات بنسبة 21.2% مقارنة بنقطة تحقق تم تدريبها سابقاً. وبالنسبة لـ GLM-5.3، أدى التدريب اللاحق إلى تقليل حالات فشل استدعاء الأدوات بنسبة 33.0%، ومتوسط الاحتمالية المقدرة لعدم رضا المستخدم بدرجة متوسطة أو عالية بنسبة 17.2% مقارنة بالنموذج الأساسي.

من البيانات الاصطناعية إلى بيانات العالم الحقيقي

تتيح لنا المهام الاصطناعية إنشاء مشكلات خاضعة للرقابة مع نتائج يسهل التحقق منها، لكنها تقتصر عادةً على مطالبة واحدة ويمكنها فقط تغطية السيناريوهات التي نصممها صراحةً.

في المقابل، يجلب المستخدمون في الجلسات الواقعية تعليمات وسياقات ومجموعات أدوات متنوعة إلى جلسات تتكشف عبر أدوار تفاعل متعددة. ينتج هذا الاستخدام الواقعي بشكل طبيعي إشارتين قيمتين للأخطاء: تكشف تصحيحات المستخدمين عن المكان الذي فشل فيه الوكيل في تقديم ما يريدون، وتظهر أخطاء الأدوات أين انهارت أفعاله في البيئات الحقيقية. يحترم خط أنابيب العينات الخاص بنا خصوصية المستخدمين وخيارات التدريب من خلال استبعاد الجلسات التي تحتوي على معلومات شخصية (PII) ومن المستخدمين الذين قاموا بإلغاء الاشتراك.

لذلك تمنحنا بيانات العالم الحقيقي حالات فشل قد لا تكشف عنها البيئة الاصطناعية وغالباً ما تأتي مع مكان حدوث الفشل مضمناً بالفعل.

قلد الخطوات الجيدة، وصحح السيئة

عند التدريب على بيانات العالم الحقيقي، يحدد ضبط أخذ عينات الرفض القياسي (RFT) الجلسات الناجحة بناءً على نتائجها النهائية، دون استخدام تعليقات المستخدم والأداة صراحة للتمييز بين الإجراءات الوسيطة الجيدة والسيئة. قد يتعافى الوكيل من استدعاء أداة سيء أو يصحح خطأ بعد تعليقات المستخدم ولا يزال يقدم الإخراج الصحيح في النهاية.

إن تجاهل الجلسات الفاشلة يقلل أيضاً من كفاءة العينات. الجلسة التي لا تصل أبداً إلى نتيجة جيدة لا تزال قادرة على كشف خطأ واضح ويمكن تجنبه كإشارات تدريب مفيدة.

نحن نعالج هذه القيود عن طريق فصل قرارين: الجلسات التي تحتوي على سلوك يستحق التقليد، والأدوار التي تحتوي على أخطاء تستحق التصحيح. يقوم خط أنابيب البيانات باتخاذ هذه القرارات بشكل منفصل، ثم يخصّص لأدوار النموذج واحداً من ثلاثة علاجات:

• تقليد: تتلقى أدوار غير الأخطاء في الجلسات الناجحة خسارة الانتروبيا المتقاطعة (CE loss) العادية، مما يرفع احتمال الرموز المسجلة.
• تصحيح: في كل من الجلسات الناجحة وغير الناجحة، تتلقى أدوار الأخطاء ذات التلميح الصالح خسارة تباعد كولباك-ليبلر (KL)، مما ينقل النموذج نحو تنبؤات الرمز التالي التي يقوم بها عندما يرى التلميح.
• الحفاظ عليه كـسياق: الدورات في الجلسات غير الناجحة التي تفتقر إلى تلميح مُتحقَّق منه، والدورات السيئة المُعلّمة بدون تلميح مُتحقَّق منه في أي من نوعي الجلسات، تعمل كسياق ولكنها لا تتلقى أي نوع من الفقدان.

نتيجة لذلك، يمكن للجلسات الناجحة توفير أهداف التقليد والتصحيح على حد سواء، بينما توفر الجلسات غير الناجحة أهداف التصحيح فقط. تبقى جميع الأدوار المتبقية، بما في ذلك إخراج النظام والمستخدم والأداة، كسياق.

تكبير

يستخدم جزء التقليد تقنية RFT القياسية. يستخدم الجزء التصحيحي التصفية الذاتية حسب السياسة (OPSD): يعمل نفس النموذج كمعلم وطالب، مع منح المعلم معلومات مميزة. هنا، هذه المعلومات المميزة هي تلميح قصير يشرح خطأ يمكن تجنبه. نحن ندرب الطالب على مطابقة تنبؤات الرمز التالي للمعلم دون تسليمه التلميح.

كلا الجزأين مهمان. يمكن أن يكشف التدريب المقتصر على التصحيح عن اختصار: يمكن للمعلم والطالب الاتفاق عن طريق تجاهل السياق بدلاً من تعلم التصحيح. يثبت مصطلح الانتروبيا المتقاطعة (CE) التدريب على السلوك المفيد، مما يساعد على تثبيط الاتفاق الناتج عن تجاهل السياق.

يصبح الطالب المًدرَّب لاحقاً خيار نموذج في Computer. تمر الجلسات الجديدة من الاستخدام المباشر عبر نفس مرشحات أهلية الخصوصية قبل دخول جولة أخرى من خط أنابيب التدريب.

مثال: يمكن لجلسة واحدة أن تعلّم كلا الدرسين

بعد ذلك، نستعرض مثالاً ملموساً يحتوي على كل من التقليد والتصحيح.

خذ بعين الاعتبار جلسة ناجحة محتملة حيث يطلب المستخدم مقارنة لتغييرات asyncio في Python 3.13 باستخدام الوثائق الرسمية. توثيق أداتنا ينص على أن search.web يُرجع قائمة بالنتائج، كل منها يحتوي على حقل url.

يشغل النموذج أولاً بحثاً صالحاً لإصدار واحد كجزء من جمع الأدلة للمقارنة، وهو سلوك جيد يجب تقليده.

مع ذلك، يتعامل استدعاء تنفيذ الكود التالي بشكل غير صحيح مع هذه القائمة كقاموس. تعود أداة الكود بـ TypeError: list indices must be integers or slices, not str. نظراً لأنه تم توثيق نوع الإرجاع قبل الاستدعاء، فهو خطأ كان يجب أن يكون النموذج قادراً على تجنبه. يمكن إنشاء تلميح الاستدعاء الصحيح لتصحيح هذا الإجراء.

تكبير

كيف يعمل التدريب

يحتوي خط أنابيب التدريب على أربع مراحل: تحديد الجلسات والحكم على نتائجها، وتحديد الأخطاء وإنشاء تلميحات من تعليقات المستخدمين وأخطاء الأدوات، وتوليد احتمالات الرمز التالي من كل من المعلم والطالب، وتدريب النموذج بفقدان مشترك للانتروبيا المتقاطعة (CE) وتباعد كولباك-ليبلر (KL).

حدد الجلسات، ثم احكم على النتيجة

تستمد سلسلة أخذ العينات من مجموعة فرعية مؤهلة للتدريب من جلسات Computer الواقعية التي يخدمها GLM 5.2. تُطبَّق حالات الاستبعاد من التدريب والاستبعادات المتعلقة بالبيانات الشخصية في السلسلة قبل اختيار الأمثلة لسير العمل هذا.

تحدد عملية الفرز الأولية المرشحين الحاصلين على تقييم 4 أو 5 على مقياس صعوبة المهام من خمس نقاط بواسطة مقيم LLM وتقسمهم إلى مجموعتين:

• تحتوي مجموعة تعليقات المستخدمين على جلسات بها متابعة حقيقية للمستخدم أو علامة عدم رضا متوسطة إلى عالية. نجد عمليات المتابعة ذات النية العالية مفيدة بشكل خاص للتعلم: يحاول المستخدمون جاهدين إكمال مهمة، وتحدد تصحيحاتهم ما فات النموذج.
• تحتوي مجموعة أخطاء الأدوات على جلسات ذات استدعاءات فاشلة محددة بواسطة عمليات تحقق قائمة على القواعد، مع استثناء إخفاقات البنية التحتية المعترف بها والتفويض المرفوض.

يقوم مقيما نموذج اللغات الكبير (LLM) بعد ذلك بتقييم التسليم النهائي مقابل طلب المستخدم؛ ويجب أن يعود كلا المقيمين بحكم إيجابي لوصف الجلسة بأنها "ناجحة". بالنسبة للحالات التي تقدم عناصر، يمكن لمرحلة النتيجة إعادة بناء التسليم وفحصه، والعودة إلى أحكامها النصية إذا فشلت تلك المرحلة. يتم استبعاد الجلسات المصنفة على أنها غير مكتملة، مثل العمل الذي ينتظر المستخدم.

تحدد هذه الخطوة المصادر المحتملة لإشارات التعلم؛ ومع ذلك, لا يمكن نسب كل خطأ إلى النموذج، حيث ينشأ بعضها من تعليمات غامضة أو أعطال في البنية التحتية. يحدد التعليق التوضيحي اللاحق الأخطاء المرشحة التي يمكن تجنبها حقاً والمناسبة للتدريب.

العثور على الأخطاء من تعليقات المستخدمين

ضع في اعتبارك جلسة عينة في مجموعة تعليقات المستخدمين، حيث يسأل المستخدم، "كيف أجد w3 الخاص بي على paychex". يتعامل النموذج مع "w3" كخطأ مطبعي لـ W-2، ويبحث عن تعليمات W-2، ويشرح كيفية العثور على هذا النموذج. إن متابعة المستخدم، "كنت أعني نموذج الإرسال W-3"، تحدد الخطأ، حتى لو نجحت الجلسة في النهاية.

تساعد الشكوى في تحديد موقع الخطأ، ولكن السبب الجذري هو القرار السابق بإعادة تفسير "w3" على أنه W-2. يجعل الطلب الأصلي الخطأ قابلاً للتجنب: كان يمكن للنموذج الحفاظ على W-3 أو طلب التوضيح. يتبين أن دور المساعد الأخير قبل الشكوى هو السبب الجذري حوالي نصف الوقت فقط.

يرسم خط أنابيب التعليقات التوضيحية لدينا السبب والنتيجة بشكل منهجي داخل كل جلسة تعليقات مستخدمين. يقوم المقيم أولاً بالفرز بحثاً عن متطلب مفقود أو نية مدعومة بسياق سابق. يحدد ثلاثة مقيمين من نموذج LLM (اللغات الكبير) الأدوار المسؤولة، مما يتطلب اتفاق اثنين على الأقل بشأن دور معين. في بعض الأحيان، يؤسس بيان سابق المتطلب صراحة. في حالات أخرى، لا يقوم أي بيان سابق منفرد بذلك، ولكن أجزاء متعددة من المحادثة السابقة تجعل السلوك المقصود قابلاً للاستنتاج بشكل مشترك. يتيح هذا التصميم لهم ربط الشكوى بخطأ جذري سابق بدلاً من نسبها فقط إلى الإجابة الأخيرة.

قبل قبول التلميح، يتحقق خط الأنابيب أيضاً من أن مطالباته التصحيحية تترتب على المعلومات المتاحة قبل الدور المُعلّم. تهدف عمليات التحقق هذه إلى تقليل انحياز الإدراك المتأخر، حيث يتم التعامل مع تفضيل جديد تم الكشف عنه في الشكوى على أنه شيء كان ينبغي للنموذج معرفته مسبقاً.

في هذا المثال، يخبر التلميح النموذج بالبحث عن نموذج الإرسال W-3 على Paychex بدلاً من W-2، أو السؤال عن النموذج الذي يعنيه المستخدم إذا كان الطلب غامضاً. يستهدف التصحيح التفسير السابق وقرار البحث، وليس فقط الإجابة النهائية. يبقى الدور الأصلي دون تغيير؛ وتضيف التعليقات التوضيحية is_bad_turn: true وhint غير فارغ.

تكبير

العثور على الأخطاء من أخطاء الأدوات

ضع في اعتبارك جلسة أخرى في مجموعة أخطاء الأدوات مع استدعاء بحث حيث يبحث الوكيل بـ recency_filter: "year", ولكن الأداة ترفضه لأن القيم المسموح بها هي "day" أو "week" أو "month". هذا انتهاك واضح للمخطط.

يستخدم مسار خطأ الأداة قواعد حتمية للأخطاء المعروفة وحكم النموذج للحالات الغامضة. رسالة الخطأ وحدها ليست كافية أيضاً لوم النموذج؛ يجب أن يشير التصحيح المحكوم إلى شيء كان يمكن للنموذج معرفته من مخطط الأداة أو تعليمات النظام أو المحادثة السابقة.

تكبير

هنا، يذكر التلميح الاستدعاء الفاشل، ويتضمن خطأ التحقق، ويوجه النموذج لاستخدام قيمة مسموح بها أو حذف الحقل إذا كان اختيارياً.

تمريرات أمامية اثنتان

بمجرد تحديد الدورة، يشغل المدرب نقطة التحقق نفسها مرتين: مرة كمعلم ومرة كطالب. يرى المعلم التلميح، بينما لا يراه الطالب.

يستخدم كلا المرورين فرض المعلم، حيث نغذي النموذج الجلسة المسجلة بدلاً من تركها تختار رموزاً جديدة. لا يزال التمرير الأمامي ينتج توزيعاً كاملاً للرمز التالي في كل خطوة، لكنه مشروط دائماً بالبادئة الثابتة من التسجيل، وليس على رموز طرح الخدمة.

بالنسبة لمثال البحث، يُخصِّص النموذج نفسه احتمالاً أعلى بكثير لكلمة "month" وأقل لـ "year" عند تقديم التلميح. يستخدم التدريب هذا التحول التوزيعي كهدف ناعم.

تكبير

تكون تنبؤات المعلم مفصولة، أو ذات تدرج متوقف: فهي توفر هدفاً ولكنها لا تتلقى تحديثاً من خلال تمرير المعلم. بعد تمرير الطالب، تقوم خطوة محسن واحدة بتحديث النموذج المشترك.

دالة الفقدان

خسارة الانتروبيا المتقاطعة (CE loss)

يعتبر فقدان الانتروبيا المتقاطعة (CE loss) الرموز المسجلة المحددة للتقليد أهدافاً حقيقية ويعاقب النموذج على تعيين احتمالات منخفضة لها. هذا يخلق هدف تقليد صارماً.

في موضع الرمز $i$، ليكن $p_i(v)$ هو احتمال الطالب للرمز $v$ في المفردات الكاملة $V$. الرمز التالي المسجل في الاستجابة أو استدعاء الأداة هو $y_i$، وتوزيع الهدف ثنائي الاتجاه (one-hot) هو $r_i$.

يقيس الانتروبيا المتقاطعة مدى نجاح الطالب في التنبؤ بهذا الرمز المسجل. مع هدف أحادي الاتجاه (one-hot)، يتم اختزاله إلى احتمال السجل السالب المخصص لـ $y_i$.

قناع الانتروبيا المتقاطعة (CE mask) $m_i^{\mathrm{CE}}$ هو $1$ حيث يجب تقليد الرمز و $0$ بخلاف ذلك. الجمع على المواضع المحددة يعطي خسارة التقليد.

خسارة تباعد كولباك-ليبلر (KL loss)

بدلاً من ذلك، يستخدم فقدان تباعد كولباك-ليبلر (KL loss) توزيع الاحتمالات الكامل للرمز التالي الخاص بالمعلم $q_i$ كهدف تصحيح ناعم. يتضمن سياق المعلم التلميح الحالي وأي تلميحات سابقة محتفظ بها في مقطع التدريب هذا؛ بينما يكون سياق الطالب خالياً دائماً من التلميحات.

قناع تباعد كولباك-ليبلر (KL mask) $m_i^{\mathrm{KL}}$ هو $1$ حيث يجب تصحيح الرمز و $0$ بخلاف ذلك؛ ولا يتداخل قناع الانتروبيا المتقاطعة (CE) وقناع تباعد كولباك-ليبلر (KL). في هذه المواضع، يعاقب تباعد كولباك-ليبلر الأمامي (forward KL) الاختلاف بين المعلم والطالب عبر المفردات الكاملة:

الفقدان المشترك

يتشارك كلا المصطلحين مقاماً واحداً بدلاً من تطبيعهما بشكل منفصل. يحصي هذا المقام إجمالي الرموز المحددة للتقليد عبر دفعة التدريب العالمية. يتحكم الوزن $\lambda$ في مساهمة التدريب التصحيحي بالنسبة إلى التقليد.

يناسب هذا التطبيع المشترك واجهة المقام الواحد لبنية التدريب الخاصة بنا ويستعيد خسارة SFT القياسية عندما يكون $\lambda=0$، مما يبسيط مقارنات خط الأساس. نظراً لأن رموز الانتروبيا المتقاطعة (CE) أفرزت بكثير من رموز تباعد كولباك-ليبلر (KL)، فإن استخدام مقام مشترك يتجنب أيضاً إعطاء رموز KL الفردية أوزاناً كبيرة بشكل غير متناسب في الدفعات ذات الرموز المعلمة القليلة.

تُطبّق على الأمثلة السابقة، تتلقى الأدوار التي تحتوي على خلط W-3/W-2 واستدعاء البحث غير الصالح تباعد كولباك-ليبلر (KL). يتلقى محتوى المساعد غير المعلم الآخر في جلسة ناجحة انتروبيا متقاطعة (CE) عادية. يتم الاحتفاظ بمحتوى المساعد الآخر في جلسة غير ناجحة كسياق ولكنه لا يتلقى CE ولا KL.

ما توضحه التقييمات

تجيب تقييماتنا على سؤالين منفصلين. أولاً، هل يساعد التلميح النموذج بالفعل في تصحيح خطأ عندما يكون التلميح موجوداً؟ ثانياً، هل يساعد التدريب النموذج على تجنب هذا الخطأ لاحقاً، بدون التلميح؟ الأول يختبر ما إذا كانت التلميحات توفر إشارات تدريب مفيدة. الثاني يختبر ما إذا كان النموذج يتعلم منها.

يمكن للتلميحات توجيه النموذج بعيداً عن الأخطاء

نحن نختبر السؤال الأول قبل تشغيل التدريب للتأكد من أن التلميحات يمكنها بالفعل توجيه النموذج بعيداً عن الأخطاء.

تعليقات المستخدمين

لقد قمنا بإعادة توليد أدوار تعليقات المستخدمين المعلمة مع وبدون تلميح، باستخدام نفس نموذج الأساس GLM-5.2 عند درجة حرارة صفر. يرى المقيم الأعمى الششكوى اللاحقة، ولكن لا يرى التلميح ولا الشرط الذي أنتج الإجابة.

في مثال W-3، يحول التلميح احتمال الرمز التالي نحو "3" وبعيداً عن "2" بعد البادئة "W-".

تكبير

في عينة أكبر محجوزة من 40 دوراً مدعومة بأدلة سابقة مذكورة صراحة، ترتفع النسبة التي يُحكم عليها بأنها ثابتة أو على المسار الصحيح من 40.0% بدون تلميح إلى 75.0% مع وجود تلميح. على 40 دوراً أخرى مدعومة بنية مستنتجة، ترتفع من 32.5% إلى 80.0%.

تكبير

أخطاء الأدوات

في مثال خطأ أداة البحث، ينقل التلميح بالفعل كتلة الاحتمال من رمز year إلى رمز month.

تكبير

في عينة أكبر محجوزة تضم 985 دوراً، قمنا بإعادة توليد كل دور أربع مرات مع وبدون تلميح باستخدام نفس نموذج الأساس. يقوم مقيم أعمى بتقييم ما إذا كانت كل عملية إعادة توليد تتجنب الفشل الأصلي. ترفع التلميحات تجنب الفشل من 75.1% إلى 93.7%، وهو مكسب زوجي قدره 18.6 نقطة مئوية، وتزيد النسبة التي تتخذ الإجراء المُصحَّح من 60.6% إلى 82.3%. تكون المكاسب أكبر في الأخطاء التي تعاني أخذ العينات المتكرر وحدها لإصلاحها.

تكبير

موثوقية الأداة وتعليقات المستخدمين بعد التدريب

بعد ذلك نختبر ما إذا كان النموذج المدرَّب يرتكب أخطاء أقل من دون تلقي تلميحات. نقيم النموذج القياسي ومختلف نقاط التحقق بعد التدريب على مهام المعيار المرجعي غير المتصلة وفي جلسات المستخدمين الحية، مع التحقق من انخفاض حالات فشل الأدوات وتراجع عدم رضا المستخدمين.

التقييم غير المتصل بالإنترنت

يستخدم التقييم غير المتصل بالإنترنت BrowseComp و Finch و WideSearch و DRACO و DSQA و SpreadsheetBench و HLE ومجموعة مهام Computer نموذجية، ويتحقق من تحميل المهارات ومراجعة المستندات والاستشهادات المضمنة. نقيس نسبة استدعاءات الأدوات التي يتم الإبلاغ عن نتائجها صراحة كأخطاء عبر مسارات التقييم.

في هذه التقييمات، كان معدل خطأ الأداة المسجل 2.79% لـ GLM 5.2 الأساسي، و1.35% لنقطة تحقق RFT فقط، و0.87% لنقطة تحقق RFT بالإضافة إلى OPSD. تم تدريب نقاط التحقق هذه على بيانات مختلفة، لذا فهذا ليس استئصالاً للبيانات المتطابقة لـ OPSD. كانت نتائج المعيار على مستوى المهام متباطة، لذا فإن أخطاء الأدوات الأقل وحدها لا تعني بالضرورة تحسناً واسع النطاق في نجاح المهمة.

تكبير

التقييم عبر الإنترنت: GLM-5.2

بالنسبة لـ GLM-5.2، أجرينا اختبارين منفصلين A/B مع حوالي مئة ألف مستخدم في كل شرط. في الاختبار الأول، سجلت نقطة تحقق مبكرة تعتمد على RFT مضافاً إليه OPSD معدل فشل أدوات أقل قليلاً مقارنة بـ GLM 5.2 الأساسي، حيث بلغ 2.82% مقابل 2.94%، لكن الفرق لم يكن ذا دلالة إحصائية.

في الاختبار اللاحق، قارنا بين نقطتي تحقق RFT-plus-OPSD: واحدة مبكرة (نقطة التحقق الأولى) وأخرى متأخرة (نقطة التحقق الثانية). انخفضت إخفاقات استدعاء الأدوات من 2.24% إلى 1.77% من المكالمات ذات الحالة المسجلة. وكان هذا انخفاضاً نسبياً ذا دلالة إحصائية بنسبة 21.2%. لم نقارن نقطة التحقق الثانية مباشرة مع نموذج GLM 5.2 الأساسي عبر الإنترنت.

كانت نتائج ملاحظات المستخدمين أقل حسمًا. في تجربة GLM-5.2 الثانية، بلغ متوسط احتمال عدم الرضا القوي (المتوسط أو العالي) 2.58% لنقطة التحقق الأولى و2.54% لنقطة التحقق الثانية، دون وجود فرق ذي دلالة إحصائية.

تكبير

التقييم عبر الإنترنت: GLM-5.3

بالنسبة لنموذج GLM-5.3، قمنا بمقارنة نقطة تحقق مدربة لاحقاً مباشرة مع نموذج GLM-5.3 الأساسي. انخفضت حالات فشل استدعاء الأدوات من 3.56% إلى 2.38% من الاستدعاءات ذات الحالة المسجلة، وهو ما يمثل انخفاضاً نسبياً بنسبة 33.04%. وانخفض معدل MID+، وهو متوسط الاحتمالية المقدرة لعدم الرضا بدرجة متوسطة أو عالية، من 4.12% إلى 3.41%، وهو انخفاض نسبى بنسبة 17.2%. وكان كلا الانخفاضين ذا دلالة إحصائية.

تكبير

الخاتمة

الفكرة المركزية هي التعلم على مستوى القرار، وليس فقط الجلسة.

يمكن للنتيجة الناجحة أن تخفي الأخطاء، ولا تزال الجلسة غير الناجحة قادرة على الكشف عن كيفية التحسين. نحتفظ بالسلوك المفيد من الجلسات الناجحة كمرساة، ونستخدم الشكاوى وأخطاء الأدوات لتحديد الإخفاقات التي يمكن تجنبها، وندرب النموذج نحو التنبؤات التي يصنعها عندما يتم جعل تلك الأخطاء والتصحيحات صريحة. يوفر النجاح سلوكاً للحفاظ عليه؛ ويوفر الفشل توجيهاً للتحسين.

يجعل الاستخدام في العالم الحقيقي هذا النهج مفيداً بشكل خاص. يجلب المستخدمون الحقيقيون أهدافاً وقيوداً وسير عمل يصعب توقعها في بيئة اصطناعية. تكشف تصحيحاتهم عن متطلبات فاتها النموذج، بينما تعرض أخطاء الأدوات الفجوات بين ما حاوله النموذج وما تسمح به البيئة. تكمل هذه الإشارات التدريب القائم على النتائج: بدلاً من السؤال فقط عما إذا كانت المهمة قد نجحت، يمكننا أن نسأل أين أخطأ النموذج وما هي المعلومات التي كان يمكن أن تساعده في اتخاذ قرار أفضل.

الحدود مهمة بالقدر نفسه. يمكن أن يكون الحكام مخطئين، وتصحيح دورة واحدة لا يضمن نجاح المهمة بالكامل. الهدف ليس مجرد وكيل يتعافى بعد التصحيح، بل وكيل يحتاج إلى التصحيح بدرجة أقل.

اقتباس

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}