المعلّم الجيد يلاقي الطالب عند مستواه

أسلوب جديد للتقطير الذاتي يدرّب المعلّم والطالب معًا لتحسين أداء النموذج وكفاءة التدريب في مهام الاستدلال المعقدة والمهام الوكيلية.

المؤلفونPerplexity Research & NVIDIA

مقدمة

يُستخدم التعلّم المعزّز (RL) على نطاق واسع في مرحلة ما بعد التدريب للنماذج اللغوية لتحسين قدراتها في مهام الاستدلال المعقدة والمهام الوكيلية طويلة الأمد.

في الإعداد المعتاد، يُجري النموذج محاولات متكررة لأداء مهمة ما، ويتلقى مكافأة نتيجة عن كل محاولة، ويتعلّم تفضيل الإجراءات المتخذة في المحاولات ذات المكافأة الأعلى. غير أن مكافأة النتيجة الواحدة توفر إشارة تعلّم متفرقة لا تميّز الإجراءات الوسيطة التي أسهمت في النتيجة أو أضرّت بها. ويحدّ هذا التفرّق من كفاءة العينات، لا سيما في المهام الوكيلية الصعبة، حيث تكون المحاولات طويلة والنجاحات نادرة.

من الأساليب الشائعة لمعالجة هذا التفرّق التقطيرُ على السياسة (OPD)، الذي يستخدم نموذج معلّم أقوى لتقديم توجيه رمزًا برمز لمحاولات الطالب نفسه، ما يوفر مكافآت أكثف بكثير. لكن التدريس مهارة قائمة بذاتها؛ فالنموذج البارع في حل مهمة ما ليس بالضرورة بارعًا في تدريسها، إذ قد تتجاوز ملاحظاته القدرات الحالية للطالب. وهذا ما يدفع إلى تدريب الطالب على محاكاة المعلّم، وكذلك تدريب المعلّم على تقديم توجيه أكثر توافقًا مع الطالب.

نقترح أحد هذه الأساليب، وهو التعلّم والتدريس المشتركان على السياسة (JOLT). وبالبناء على التقطير الذاتي على السياسة (OPSD)، نستخدم نموذجًا واحدًا في دورين: معلّم يمكنه الوصول إلى معلومات امتيازية، مثل الحلول المُتحقَّق منها، وطالب لا يملك هذا الوصول. وندرّب الدورين معًا؛ إذ يتبع الطالب هدف التقطير القياسي، بينما يدفع هدفُ المعلّم ملاحظاتِه إلى تحريك الطالب في الاتجاه نفسه الذي يحرّكه فيه التعلّم المعزّز بناءً على مكافأة الطالب نفسه. ومعًا، يدرّب هذان الهدفان المعلّم على ملاقاة الطالب عند مستواه، ويساعدان الطالب على التعلّم من توجيه في متناوله.

تُظهر تجاربنا تحسينات في كلٍّ من أداء النموذج وكفاءة التدريب عبر مجموعة من مهام الاستدلال الرياضي والبرمجة والمهام الوكيلية.

من المكافآت المتفرقة إلى الملاحظات الكثيفة

في أبسط صوره، يستخدم التعلّم المعزّز القائم على مكافأة النتيجة هدفَ العائد المتوقع:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

هنا، يمثّل τ\tau مسارًا يتبع سياسة πθ\pi_\theta، ويمثّل R(τ)R(\tau) العائد لذلك المسار. ويكون تدرّج السياسة المقابل:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

حيث يمثّل sts_t وata_t الحالة والإجراء، على الترتيب، عند الخطوة الزمنية tt. ولتقليل تباين التقديرات القائمة على العينات، يُعبَّر عن التدرّج غالبًا كما يلي:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

حيث تقيس الميزة Aπθ(st,at)A^{\pi_\theta}(s_t, a_t) العائد الإضافي المتوقع للإجراء ata_t مقارنةً بالسياسة الحالية عند الحالة sts_t. ومن الأساليب المتّبعة تحسين السياسة النسبي للمجموعة (GRPO)، الذي يقدّر الميزة بمقارنة عائد كل مسار بمتوسط عائد المجموعة التي أُخذت عيّناتها للموجّه نفسه.

ومع ذلك، حتى مع هذه التعديلات، يعاني التعلّم المعزّز القائم على مكافأة النتيجة من إشراف متفرق، لا سيما في المهام الصعبة طويلة الأمد. ويعالج عدد متزايد من الأبحاث هذه المشكلة بالاستعانة بمصادر إضافية للمعلومات لتوفير إشارة تعلّم أكثف.

التقطير على السياسة (OPD) هو أحد هذه الأساليب. فبدلًا من التعلّم من المكافأة النهائية فقط، يأخذ OPD عيّنات من مسارات الطالب ويقيّم كل إجراء مأخوذ منها في ظل معلّم أقوى. وبالنسبة إلى سياسة معلّم πT\pi_T ولقطة ثابتة θˉ\bar{\theta} من معاملات الطالب المستخدمة لتوليد المسارات، يكون التدرّج المحلي المقيَّم عند θ=θˉ\theta = \bar{\theta}:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

هنا، يمثّل JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) هدف التقطير القائم على سالب تباعد KL العكسي. وتُثبَّت سياسة المعلّم والبادئات المأخوذة عيّناتها أثناء الاشتقاق. وتوفّر نسبة الاحتمال اللوغاريتمي بين المعلّم والطالب إشارة تعلّم كثيفة عند كل حالة تتم زيارتها، لتحل محل الميزة بوصفها الوزن على مستوى الإجراء.

التقطير الذاتي على السياسة (OPSD) يُلغي كذلك الحاجة إلى نموذج معلّم منفصل؛ إذ تؤدي سياسة الطالب دور معلّمها الخاص عند تزويدها بمعلومات امتيازية، مثل حل مُتحقَّق منه أو ملاحظات أو أثر مرجعي. لكن OPSD يدرّب الطالب على محاكاة المعلّم فحسب، ولا توجد آلية تضمن أن يقدّم المعلّم إشارة مفيدة للطالب.

التعلّم والتدريس المشتركان على السياسة

يوسّع JOLT نطاق OPSD بتدريب نموذج مشترك ليكون في آنٍ واحد المعلّمَ الذي يقدّم توجيهًا أكثر توافقًا والطالبَ الذي يتعلّم منه. يتعلّم المعلّم الأوسع اطلاعًا من مكافآت النتائج مع تنظيم KL نحو الطالب، بينما يتعلّم الطالب الذي لا يملك امتيازًا من إشارة التقطير الكثيفة التي يقدّمها المعلّم. ويستخدم تحديث المعلّم محاولات يولّدها المعلّم، بينما يستخدم تحديث الطالب محاولات يولّدها الطالب ويقيّمها المعلّم. ويُكمل JOLT+ إشارة التقطير لدى الطالب بمكافآت النتائج.

سياسة واحدة تتعلّم بوصفها معلّمًا وطالبًا معًا.

تدريب المعلّم

تحديد ما ينبغي للمعلّم فعله

لا يُترجَم الأداء الأفضل للمعلّم بالضرورة إلى تحديثات مفيدة للطالب. فقد يستخدم المعلّم المعلومات الامتيازية لاستغلال طرق مختصرة غير متاحة للطالب، أو يُسند احتمالًا مرتفعًا إلى مسارات يُستبعد أن يسلكها الطالب، أو يقدّم توجيهًا غير موثوق بعد وقوع أخطاء في البادئات التي يولّدها الطالب. لذا ينبغي تحديد جودة المعلّم بناءً على إشارة التعلّم التي يقدّمها للطالب، لا بناءً على مكافأة المهمة الخاصة بالمعلّم نفسه.

نصف المعلّم بأنه متّسق المكافأة إذا كان تحديث التقطير الذي يُحدثه لدى الطالب يطابق تدرّج السياسة لمكافأة المهمة المتوقعة للطالب، مع اختلاف محتمل بعامل قياس موجب. وتحديدًا، ينبغي أن يحقق المعلّم متّسق المكافأة πT⋆\pi_T^\star ما يلي:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

حيث يمثّل βT\beta_T كمية قياسية موجبة. وكما في القسم السابق، يمثّل gOPDg_{\mathrm{OPD}} التدرّج المحلي لـ OPD، ويمثّل θˉ\bar\theta لقطة ثابتة من معاملات نموذج الطالب θ\theta، ويمثّل gRLg_{\mathrm{RL}} تدرّج السياسة لهدف العائد المتوقع.

من أمثلة المعلّم الذي يحقق هذا الشرط:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

هنا، يمثّل Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) مزايا استكمال الطالب، وZ(s)Z(s) ثابت تطبيع لضمان توزيع احتمالي سليم.

من الهدف المثالي إلى هدف المعلّم

يمكننا تدريب المعلّم نحو الهدف المثالي πT⋆\pi_T^\star بتقليل تباعد KL بينه وبين هذا الهدف. وبالنسبة إلى طالب ثابت وحالة ss، نحصل على:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

يؤدي التعويض بتعبير πT⋆\pi_T^\star إلى مسألة تعظيم مكافئة:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

يشجّع هذا الهدف المعلّم على اختيار إجراءات ذات ميزة أعلى للطالب مع البقاء قريبًا من توزيع إجراءات الطالب. ويتحكم المعامل βT\beta_T في شدة هذه العقوبة: فالقيم الأكبر تُبقي المعلّم أقرب إلى السلوك الحالي للطالب، بينما تسمح له القيم الأصغر بتفضيل الإجراءات عالية الميزة بجرأة أكبر.

هدف بديل عملي

يعتمد هذا الهدف على مدى جودة استكمال الطالب بعد كل إجراء، لكن مزايا استكمال الطالب هذه غير متاحة عمومًا. لذا نستخدم العوائد المُمركَزة من مسارات المعلّم نفسه بديلًا عمليًا. يشجّع حد المكافأة المعلّم على حل المهمة، بينما يثنيه حد KL عن الابتعاد عن توزيع إجراءات الطالب الحالي. ورغم أن حد KL يُبقي المعلّم قريبًا من الطالب، فإن هذا الاستبدال ليس دقيقًا، إذ لا يلزم أن تطابق عوائدُ المعلّم مزايا استكمال الطالب.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

هنا، يمثّل A^T(τ)\widehat{A}_T(\tau) عائد محاولة المعلّم مطروحًا منه متوسط عائد المحاولات التي يولّدها المعلّم في مجموعتها. ويرمز المؤثر sg⁡\operatorname{sg} إلى إيقاف التدرّج: إذ يُعامَل وسيطه على أنه ثابت أثناء الاشتقاق، وكذلك البادئات المأخوذة عيّناتها ومرجع الطالب.

تدريب الطالب

تحديث الطالب هو تحديث OPSD قياسي. يولّد الطالب مسارات انطلاقًا من المهمة، ثم يقيّم النموذج نفسه كل رمز مأخوذ مع وجود المعلومات الامتيازية في السياق. ويعاقب هدف الطالب تباعد KL العكسي بين الطالب وهذا المعلّم ذي الامتياز عند كل حالة يزورها الطالب:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

وبذلك، تُعزَّز الرموز التي يفضّلها المعلّم، بينما تُكبَح الرموز التي يراها المعلّم أقل احتمالًا مما يراها الطالب.

جمع الأجزاء معًا

يؤدي الجمع بين هدفَي المعلّم والطالب إلى هدف التدريب المشترك:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

يمثّل βS\beta_S كمية قياسية تحدد مقدار وزن خسارة تقطير الطالب في التحديث المُدمَج.

تصف نتيجة اتساق المكافأة تحديث التقطير لدى الطالب بالنسبة إلى معلّم معيّن. ويستخدم JOLT هذا المبدأ لتوجيه التدريب المشترك، إذ يجمع بين هدفَي المعلّم والطالب لتحديث معاملاتهما المشتركة.

ويضيف JOLT+ أيضًا مكافأة النتيجة الخاصة بالطالب إلى تحديثه؛ إذ يُضاف العائد المُمركَز لكل مسار من مسارات الطالب إلى إشارة التقطير، ما يجمع بين الإشراف الكثيف من المعلّم والملاحظات المباشرة على نتائج مسارات الطالب. ويبقى هدف المعلّم دون تغيير، لذا يمكننا كتابة:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

هنا، يمثّل A^S(τ)\widehat{A}_S(\tau) عائد مسار الطالب مطروحًا منه متوسط عائد مجموعته من المسارات التي يولّدها الطالب.

في كلتا الصيغتين، يتعلّم كل دور من المسارات المولَّدة ضمن سياقه الخاص، ويحدّث كلا الدورين السياسة المشتركة. وتظهر أدناه الشيفرة الزائفة لخطوة تدريب واحدة.

شيفرة زائفة لخطوة تدريب واحدة في JOLT.

التجارب

نقيّم JOLT وJOLT+ على معايير قياس تشمل الاستدلال الرياضي، وتوليد الشيفرة، واستخدام الأدوات، ومهام الطرفية طويلة الأمد، باستخدام نماذج أساسية مختلفة وأشكال مختلفة من المعلومات الامتيازية. وتحديدًا، نُجري تجارب باستخدام معايير القياس والنماذج الأساسية وإعدادات المعلومات الامتيازية التالية:

  • GSM8K: ندرّب DeepSeek-V2-Lite على GSM8K، وهي مجموعة بيانات لمسائل رياضيات المرحلة الابتدائية. ويتلقى المعلّم الإجابة المُتحقَّق منها لكل مسألة.
  • MATH: ندرّب Qwen3-0.6B على MATH. ويتلقى المعلّم حلولًا مرجعية مفصّلة.
  • LCBv6: ندرّب Qwen3-8B على 131 مسألة برمجية من LiveCodeBench-V6. ويتلقى المعلّم حلًا ولّده النموذج واجتاز جميع الاختبارات المرئية أثناء التدريب، أو ملاحظات التنفيذ عندما لا تجتازها أي محاولة.
  • AppWorld: ندرّب Qwen3-4B-Instruct على AppWorld. ويتلقى المعلّم ملخصات للمحاولات السابقة.
  • Terminal-Bench: ندرّب Qwen3-30B-A3B-Instruct على TMax، وهي مجموعة من مهام التدريب لوكلاء الطرفية، ونُجري التقييم على Terminal-Bench 2.1. ويتلقى المعلّم معلومات خاصة من أداة التحقق.

نُجري المقارنة مع GRPO وOPSD وπ-Distill، مع ضبط المعاملات الفائقة لكل أسلوب. وعلى غرار JOLT، يدرّب π-Distill دورَي المعلّم ذي الامتياز والطالب معًا ضمن نموذج مشترك؛ لكنه يستخدم هدفًا مختلفًا للمعلّم، ويظل تحديث الطالب فيه خارج السياسة، إذ يعتمد على مسارات يولّدها المعلّم بدلًا من مخرجات الطالب نفسه.

الدقة

يحقق JOLT+ أعلى متوسط درجات في كل إعداد قيّمناه. ومقارنةً بـ GRPO، وهو أقوى خط أساس اختبرناه، يحسّن دقة GSM8K بمقدار 1.5 نقطة مئوية، ودقة MATH بمقدار 4.2 نقطة مئوية، ودقة LCBv6 بمقدار 3.0 نقطة مئوية، ومعدل اجتياز اختبارات الحالة في AppWorld بمقدار 9.9 نقطة مئوية.

يحقق JOLT+ أعلى متوسط درجات على معايير القياس الأربعة كلها.

من دون أي مكافأة مباشرة للطالب، يتفوّق متوسط دقة JOLT على GRPO في GSM8K وMATH وLCBv6. لكنه يبقى في AppWorld دون كلٍّ من GRPO وπ-Distill.

يُعد Terminal-Bench 2.1 الإعداد ذا الأمد الأطول. ويحقق JOLT+ أعلى قيمة pass@k عند كل قيمة k مُبلَّغ عنها، من 10.96% عند pass@1 إلى 34.83% عند pass@32. ويتفوّق JOLT على النموذج الأساسي وعلى خطَّي أساس التقطير كليهما عند كل قيمة k، لكنه يبقى دون GRPO. أما OPSD فيسجّل درجات أقل من النموذج الأساسي عند كل قيمة k.

يتصدّر JOLT+ في Terminal-Bench عند كل ميزانية محاولات.

كفاءة الرموز والتوسّع

نهتم أيضًا بكيفية تطوّر الأداء مع زيادة ميزانية التدريب. لذا نقيّم GRPO وOPSD وJOLT عبر ميزانيات مختلفة من رموز التدريب على MATH، ونقارن دقة الطالب الناتجة.

يوضح الشكل كيف تتغيّر الدقة مع إنفاق رموز التدريب لكل أسلوب. ونقيس التكلفة بعدد رموز التدريب المعالَجة، ويشمل ذلك كل موجّه دون حشو، والسياق الامتيازي، وكل تمريرة تحسين، والتقييم المتبادل بين المعلّم والطالب.

يحتاج JOLT إلى رموز أقل لبلوغ دقة GRPO.

تُظهر النقاط عدد رموز التدريب المعالَجة والدقة عند نقاط تحقق مختلفة؛ وتمثّل الشعيرات ±1 انحراف معياري عبر عمليات التشغيل. ونُلائم علاقة سينية بين الدقة ولوغاريتم ميزانية رموز التدريب، اتباعًا لـأعمال سابقة حول توسيع موارد الحوسبة للتعلّم المعزّز.

يُظهر JOLT كفاءة مبكرة في استخدام العينات مع تحقيق أعلى دقة بين الأساليب الثلاثة، إذ يستقر قرب 72%. ويتحسّن OPSD بسرعة عند الميزانيات الصغيرة، لكنه يستقر عند دقة تقارب 62%. أما GRPO فيتعلّم ببطء أكبر في البداية، لكنه يواصل التحسّن لفترة أطول، ليصل إلى نحو 70%. وعند دقة متطابقة تبلغ 63.44%، تستخدم نقطة تحقق GRPO المرصودة 8.40 مليون رمز، بينما يعطي منحنى JOLT المُلاءَم 1.30 مليون رمز، أي أقل بمقدار 6.5 مرة.

نقيس التكلفة أيضًا باستخدام رموز الإكمال، التي تحتسب إكمالات الطالب في GRPO وOPSD، وإكمالات المعلّم والطالب كليهما في JOLT، لكنها تستثني الموجّهات والسياق الامتيازي وتمريرات التحسين الإضافية. وتؤدي المقارنة القائمة على رموز الإكمال بدلًا من رموز التدريب المعالَجة إلى اتساع فجوة الكفاءة لتبلغ نحو 13 مرة عند مستوى الدقة نفسه. وعبر نطاق من مستويات الدقة المستهدفة، يستخدم JOLT رموز إكمال أقل بمقدار 9.5–14.4 مرة، ورموز تدريب معالَجة أقل بمقدار 4.3–7.4 مرة.

تصمد أفضلية JOLT في استهلاك الرموز من دقة 55% إلى 65%.

الخلاصة

قد تجعل المعلومات الامتيازية المعلّم أفضل في حل مهمة ما، من دون أن تجعله أفضل في تعليم الطالب حل المهمة نفسها دون تلك المعلومات. ويعالج JOLT هذا الفارق بتدريب المعلّم نسبةً إلى السلوك الحالي للطالب.

يحسّن هذا التدريب المشترك الدقة والكفاءة معًا. فمع مكافآت نتائج الطالب، يحقق JOLT+ مكاسب مطلقة مقارنةً بـ GRPO تبلغ 1.5 نقطة مئوية على GSM8K، و4.2 نقطة مئوية على MATH، و3.0 نقطة مئوية على LCBv6، و9.9 نقطة مئوية على AppWorld، و2.7 نقطة مئوية على Terminal-Bench 2.1 وفق مقياس pass@1. وعلى MATH، يستخدم JOLT رموز إكمال أقل بمقدار 13 مرة، ورموز تدريب معالَجة أقل بمقدار 6.5 مرة مقارنةً بـ GRPO عند الدقة نفسها، ومن دون مكافأة مباشرة للطالب.

يتيح JOLT لتوجيه المعلّم أن يتطوّر جنبًا إلى جنب مع الطالب. وهذا يدفع إلى استكشاف ما إذا كان المعلّم قادرًا أيضًا على تعلّم توليد مهام تدريب مفيدة. ومن الاتجاهات المثيرة للاهتمام في الأعمال المستقبلية التدريب المشترك لمعلّم يولّد المهام وطالب يحل المسائل، باستخدام تقدّم الطالب في التعلّم لتحسين المهام المولَّدة ضمن منهج تدريبي متدرّج. وقد يجعل ذلك توليد المهام الاصطناعية مستجيبًا لما يكون الطالب مستعدًا لتعلّمه تاليًا.

اقرأ الورقة البحثية الكاملة لمزيد من التفاصيل. وسنجعل الشيفرة البرمجية مفتوحة المصدر قريبًا.

الاستشهاد

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}