מורה טוב פוגש את התלמיד היכן שהוא נמצא

שיטת זיקוק עצמי חדשה שמאמנת מורה ותלמיד במשותף כדי לשפר את ביצועי המודל ואת יעילות האימון במשימות הנמקה מורכבות ובמשימות סוכן.

מחבריםPerplexity Research & NVIDIA

מבוא

למידת חיזוק (Reinforcement Learning, RL) נמצאת בשימוש נרחב באימון-המשך (post-training) של מודלי שפה, כדי לשפר את יכולותיהם במשימות הנמקה מורכבות ובמשימות סוכן ארוכות טווח.

במערך טיפוסי, המודל מבצע ניסיונות חוזרים במשימה, מקבל תגמול תוצאה על כל אחד מהם ולומד להעדיף פעולות שננקטו בניסיונות שזכו לתגמול גבוה יותר. עם זאת, תגמול תוצאה יחיד מספק אות למידה דליל, שאינו מבחין אילו פעולות ביניים סייעו לתוצאה ואילו פגעו בה. הדלילות הזו מגבילה את יעילות הדגימה, במיוחד במשימות סוכן קשות, שבהן הניסיונות ארוכים וההצלחות נדירות.

גישה פופולרית אחת להתמודדות עם הדלילות הזו היא זיקוק On-Policy (On-Policy Distillation, OPD), שמשתמש במודל מורה חזק יותר כדי לספק הנחיה ברמת הטוקן לניסיונות של התלמיד עצמו, וכך מספק תגמולים צפופים הרבה יותר. עם זאת, הוראה היא מיומנות בפני עצמה. מודל שטוב בפתרון משימה אינו בהכרח טוב בהוראתה, שכן המשוב שלו עשוי לחרוג מהיכולות הנוכחיות של התלמיד. מכאן המוטיבציה לאמן לא רק את התלמיד לחקות את המורה, אלא גם את המורה לספק לתלמיד הנחיה מותאמת יותר.

אנו מציעים שיטה כזו: Joint On-policy Learning and Teaching (JOLT). בהתבסס על On-Policy Self-Distillation (OPSD), אנו משתמשים במודל יחיד בשני תפקידים: מורה עם גישה למידע מיוחס, כמו פתרונות מאומתים, ותלמיד ללא גישה כזו. אנו מאמנים את שני התפקידים במשותף. התלמיד פועל לפי פונקציית המטרה הסטנדרטית של זיקוק. פונקציית המטרה של המורה דוחפת את המשוב שלו להזיז את התלמיד באותו כיוון שבו היה מזיז אותו RL על התגמול של התלמיד עצמו. יחד, פונקציות המטרה האלה מאמנות את המורה לפגוש את התלמיד היכן שהוא נמצא, ועוזרות לתלמיד ללמוד מהנחיה שנמצאת בהישג ידו.

הניסויים שלנו מראים שיפורים הן בביצועי המודל והן ביעילות האימון במגוון משימות של הנמקה מתמטית, תכנות ומשימות סוכן.

מתגמולים דלילים למשוב צפוף

בצורתה הבסיסית ביותר, RL מבוסס תגמול תוצאה משתמש בפונקציית המטרה של התשואה הצפויה:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

כאן, τ\tau הוא מסלול שעוקב אחר מדיניות πθ\pi_\theta, ו-R(τ)R(\tau) היא התשואה של המסלול הזה. גרדיאנט המדיניות המתאים הוא:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

כאשר sts_t ו-ata_t מייצגים את המצב ואת הפעולה, בהתאמה, בצעד הזמן tt. כדי להפחית את השונות של אומדנים מבוססי דגימות, הגרדיאנט מבוטא לעיתים קרובות כך:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

כאשר היתרון Aπθ(st,at)A^{\pi_\theta}(s_t, a_t) מודד את עודף התשואה הצפוי של הפעולה ata_t ביחס למדיניות הנוכחית במצב sts_t. גישה אחת, Group Relative Policy Optimization (GRPO), אומדת את היתרון על ידי השוואת התשואה של כל מסלול לתשואה הממוצעת של הקבוצה שנדגמה עבור אותו פרומפט.

עם זאת, גם עם ההתאמות האלה, למידת חיזוק מבוססת תגמול תוצאה סובלת מפיקוח דליל, במיוחד במשימות קשות וארוכות טווח. גוף מחקר הולך וגדל מתמודד עם כך באמצעות מקורות מידע נוספים שמספקים אות למידה צפוף יותר.

On-Policy Distillation (OPD) היא גישה אחת כזו. במקום ללמוד רק מתגמול סופי, OPD דוגם מסלולים מהתלמיד ומעריך כל פעולה שנדגמה לפי מורה חזק יותר. עבור מדיניות מורה πT\pi_T ותמונת מצב קבועה θˉ\bar{\theta} של פרמטרי התלמיד ששימשו ליצירת המסלולים, הגרדיאנט המקומי המוערך ב-θ=θˉ\theta = \bar{\theta} הוא:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

כאן, JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) היא פונקציית המטרה של הזיקוק בצורת KL הפוך שלילי. מדיניות המורה והתחיליות שנדגמו מוחזקות קבועות במהלך הגזירה. יחס ההסתברויות הלוגריתמיות בין המורה לתלמיד מספק אות למידה צפוף בכל מצב שבו מבקרים, ומחליף את היתרון כמשקל ברמת הפעולה.

On-Policy Self-Distillation (OPSD) מבטל גם את הצורך במודל מורה נפרד. מדיניות התלמיד משמשת כמורה של עצמה כשהיא מקבלת מידע מיוחס, כמו פתרון מאומת, משוב או עקבת ייחוס. עם זאת, OPSD רק מאמן את התלמיד לחקות את המורה; אין מנגנון שמבטיח שהמורה יספק לתלמיד אות מועיל.

למידה והוראה משותפות On-Policy

JOLT מרחיב את OPSD על ידי אימון מודל משותף הן כמורה שמספק הנחיה מותאמת יותר והן כתלמיד שלומד ממנה. המורה, שיש לו מידע רב יותר, לומד מתגמולי תוצאה עם רגולריזציית KL לכיוון התלמיד, בעוד שהתלמיד, שאין לו גישה למידע המיוחס, לומד מאות הזיקוק הצפוף של המורה. עדכון המורה משתמש בניסיונות שהמורה יצר, ואילו עדכון התלמיד משתמש בניסיונות שהתלמיד יצר ושהמורה ניקד. JOLT+ משלים את אות הזיקוק של התלמיד גם בתגמולי תוצאה.

מדיניות אחת לומדת גם כמורה וגם כתלמיד.

אימון המורה

הגדרת תפקידו של המורה

ביצועים טובים יותר של המורה אינם מתורגמים בהכרח לעדכונים מועילים לתלמיד. מורה עשוי להשתמש במידע מיוחס כדי לנצל קיצורי דרך שאינם זמינים לתלמיד, להקצות הסתברות גבוהה למסלולים שאינם סבירים תחת התלמיד, או לספק הנחיה לא אמינה אחרי שגיאות בתחיליות שהתלמיד יצר. לכן יש לקבוע את איכות המורה לפי אות הלמידה שהוא מספק לתלמיד, ולא לפי תגמול המשימה של המורה עצמו.

אנו מכנים מורה עקבי-תגמול אם עדכון הזיקוק שהוא משרה אצל התלמיד תואם את גרדיאנט המדיניות של תגמול המשימה הצפוי של התלמיד, עד כדי הכפלה בקבוע חיובי. באופן ספציפי, מורה עקבי-תגמול πT⋆\pi_T^\star צריך לקיים:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

כאשר βT\beta_T הוא סקלר חיובי. כמו בסעיף הקודם, gOPDg_{\mathrm{OPD}} הוא הגרדיאנט המקומי של OPD, θˉ\bar\theta היא תמונת מצב קבועה של פרמטרי מודל התלמיד θ\theta, ו-gRLg_{\mathrm{RL}} הוא גרדיאנט המדיניות של פונקציית המטרה של התשואה הצפויה.

מורה אחד שמקיים תנאי זה הוא:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

כאן, Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) מייצגים את יתרונות ההמשך של התלמיד, ו-Z(s)Z(s) הוא קבוע נרמול שמבטיח התפלגות הסתברות תקינה.

מהיעד האידיאלי לפונקציית מטרה של המורה

אפשר לאמן מורה לכיוון היעד האידיאלי πT⋆\pi_T^\star על ידי מזעור סטיית ה-KL שלו ממנו. עבור תלמיד ומצב ss קבועים, מתקבל:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

הצבת הביטוי עבור πT⋆\pi_T^\star מניבה בעיית מקסימיזציה שקולה:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

פונקציית מטרה זו מעודדת את המורה לבחור פעולות עם יתרון תלמיד גבוה יותר, תוך שמירה על קרבה להתפלגות הפעולות של התלמיד. הפרמטר βT\beta_T שולט בעוצמת הקנס הזה: ערכים גדולים יותר משאירים את המורה קרוב יותר להתנהגות הנוכחית של התלמיד, בעוד שערכים קטנים יותר מאפשרים לו להעדיף פעולות בעלות יתרון גבוה בצורה אגרסיבית יותר.

פונקציית מטרה חלופית מעשית

פונקציית מטרה זו תלויה במידה שבה התלמיד היה ממשיך היטב אחרי כל פעולה, אבל יתרונות ההמשך האלה של התלמיד בדרך כלל אינם זמינים. לכן אנו משתמשים בתשואות ממורכזות מהמסלולים של המורה עצמו כתחליף מעשי. רכיב התגמול מעודד את המורה לפתור את המשימה, בעוד שרכיב ה-KL מרתיע סטיות מהתפלגות הפעולות הנוכחית של התלמיד. אף שרכיב ה-KL שומר על המורה קרוב לתלמיד, ההחלפה הזו אינה מדויקת, שכן התשואות של המורה אינן חייבות להתאים ליתרונות ההמשך של התלמיד.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

כאן, A^T(τ)\widehat{A}_T(\tau) היא התשואה של ניסיון המורה פחות התשואה הממוצעת של הניסיונות שהמורה יצר בקבוצה שלו. האופרטור sg⁡\operatorname{sg} מציין עצירת גרדיאנט (stop-gradient): הארגומנט שלו מטופל כקבוע במהלך הגזירה, וכך גם התחיליות שנדגמו והתלמיד המשמש כייחוס.

אימון התלמיד

עדכון התלמיד הוא עדכון OPSD סטנדרטי. התלמיד יוצר מסלולים מתוך המשימה. לאחר מכן אותו מודל מנקד כל טוקן שנדגם כשהמידע המיוחס נמצא בהקשר. פונקציית המטרה של התלמיד מענישה את סטיית ה-KL ההפוכה בין התלמיד לבין המורה המיוחס הזה בכל מצב שהתלמיד מבקר בו:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

לכן, טוקנים שהמורה מעדיף מחוזקים, ואילו טוקנים שהמורה מייחס להם סבירות נמוכה יותר מזו שמייחס להם התלמיד מדוכאים.

חיבור החלקים יחד

שילוב פונקציות המטרה של המורה ושל התלמיד מניב את פונקציית המטרה של האימון המשותף:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S הוא סקלר שקובע את משקל הפסד הזיקוק של התלמיד בעדכון המשולב.

תוצאת עקביות התגמול מאפיינת את עדכון הזיקוק של התלמיד עבור מורה נתון. JOLT משתמש בעיקרון זה כדי להנחות אימון משותף, ומשלב את פונקציות המטרה של המורה ושל התלמיד כדי לעדכן את הפרמטרים המשותפים שלהם.

JOLT+ מוסיף לעדכון של התלמיד גם את תגמול התוצאה שלו עצמו. התשואה הממורכזת של כל מסלול תלמיד מתווספת לאות הזיקוק, וכך משולב פיקוח צפוף מהמורה עם משוב תוצאה ישיר על מסלולי התלמיד. פונקציית המטרה של המורה אינה משתנה, ולכן אפשר לכתוב:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

כאן, A^S(τ)\widehat{A}_S(\tau) היא התשואה של מסלול התלמיד פחות התשואה הממוצעת בקבוצת המסלולים שלו שנוצרו על ידי התלמיד.

בשתי הגרסאות, כל תפקיד לומד ממסלולים שנוצרו בהקשר שלו עצמו, ושני התפקידים מעדכנים את המדיניות המשותפת. הפסאודו-קוד לצעד אימון מוצג להלן.

פסאודו-קוד לצעד אימון יחיד של JOLT.

ניסויים

אנו מעריכים את JOLT ואת JOLT+ במבחני ביצועים שמשתרעים על פני הנמקה מתמטית, יצירת קוד, שימוש בכלים ומשימות טרמינל ארוכות טווח, תוך שימוש במודלי בסיס שונים ובצורות שונות של מידע מיוחס. באופן ספציפי, אנו מריצים ניסויים עם מבחני הביצועים, מודלי הבסיס ותצורות המידע המיוחס הבאים:

  • GSM8K: אנו מאמנים את DeepSeek-V2-Lite על GSM8K, מערך נתונים של בעיות מתמטיקה ברמת בית ספר יסודי. המורה מקבל את התשובה המאומתת לכל בעיה.
  • MATH: אנו מאמנים את Qwen3-0.6B על MATH. המורה מקבל פתרונות ייחוס מפורטים.
  • LCBv6: אנו מאמנים את Qwen3-8B על 131 בעיות תכנות מתוך LiveCodeBench-V6. המורה מקבל פתרון שנוצר על ידי מודל ועבר את כל הבדיקות הגלויות באימון, או משוב הרצה כאשר אף ניסיון לא עבר אותן.
  • AppWorld: אנו מאמנים את Qwen3-4B-Instruct על AppWorld. המורה מקבל סיכומים של ניסיונות קודמים.
  • Terminal-Bench: אנו מאמנים את Qwen3-30B-A3B-Instruct על TMax, אוסף של משימות אימון לסוכני טרמינל, ומבצעים הערכה על Terminal-Bench 2.1. המורה מקבל מידע פרטי של המאמת.

אנו משווים מול GRPO, OPSD ו-π-Distill, תוך כוונון היפר-פרמטרים לכל שיטה. בדומה ל-JOLT, גם π-Distill מאמן במשותף תפקידי מורה מיוחס ותלמיד בתוך מודל משותף; עם זאת, הוא משתמש ביעד מורה שונה, ועדכון התלמיד שלו נשאר Off-Policy ומסתמך על מסלולים שהמורה יצר ולא על היצירות של התלמיד עצמו.

דיוק

ל-JOLT+ יש הציון הממוצע הגבוה ביותר בכל תצורה שהערכנו. בהשוואה ל-GRPO, שיטת הבסיס החזקה ביותר שנבדקה, הוא משפר את הדיוק ב-GSM8K ב-1.5 נקודות אחוז (pp), את הדיוק ב-MATH ב-4.2 נקודות אחוז, את הדיוק ב-LCBv6 ב-3.0 נקודות אחוז ואת שיעור המעבר בבדיקות המצב של AppWorld ב-9.9 נקודות אחוז.

ל-JOLT+ יש הציון הממוצע הגבוה ביותר בכל ארבעת מבחני הביצועים.

ללא כל תגמול ישיר לתלמיד, הדיוק הממוצע של JOLT גבוה מזה של GRPO ב-GSM8K, ב-MATH וב-LCBv6. עם זאת, ב-AppWorld הוא נשאר מתחת ל-GRPO ול-π-Distill.

Terminal-Bench 2.1 היא התצורה בעלת הטווח הארוך ביותר. ל-JOLT+ יש ה-pass@k הגבוה ביותר בכל k מדווח, מ-10.96% ב-pass@1 ועד 34.83% ב-pass@32. JOLT משתפר לעומת מודל הבסיס ולעומת שתי שיטות הבסיס מבוססות הזיקוק בכל k, אך נשאר מתחת ל-GRPO. הציון של OPSD נמוך מזה של מודל הבסיס בכל k.

JOLT+ מוביל ב-Terminal-Bench בכל תקציב ניסיונות.

יעילות טוקנים והרחבת קנה מידה

אנו מעוניינים גם לבדוק כיצד הביצועים משתנים בהתאם לתקציב האימון. אנו מעריכים את GRPO, את OPSD ואת JOLT בתקציבי טוקני אימון שונים ב-MATH ומשווים את הדיוק של התלמיד שמתקבל.

האיור מראה כיצד הדיוק משתנה בהתאם להוצאת טוקני האימון בכל שיטה. אנו מודדים עלות בטוקני אימון מעובדים. מדד זה כולל כל פרומפט ללא ריפוד, הקשר מיוחס, מעבר אופטימיזציה וניקוד צולב בין המורה לתלמיד.

JOLT צריך פחות טוקנים כדי להגיע לדיוק של GRPO.

הנקודות מציגות את מספר טוקני האימון המעובדים ואת הדיוק בנקודות ביקורת שונות; השפמים מייצגים סטיית תקן של ±1 בין הרצות. אנו מתאימים קשר סיגמואידי בין הדיוק לבין הלוגריתם של תקציב טוקני האימון, בעקבות עבודה קודמת על הרחבת קנה המידה של משאבי החישוב ל-RL.

JOLT מפגין יעילות דגימה מוקדמת ובמקביל משיג את הדיוק הגבוה ביותר מבין שלוש השיטות, ומתייצב סביב 72%. OPSD משתפר במהירות בתקציבים קטנים, אך מגיע לרמה קבועה של כ-62% דיוק. GRPO לומד לאט יותר בהתחלה, אך ממשיך להשתפר לאורך זמן רב יותר ומטפס לכ-70%. ברמת דיוק זהה של 63.44%, נקודת הביקורת שנצפתה של GRPO משתמשת ב-8.40 מיליון טוקנים, בעוד שהעקומה המותאמת של JOLT מניבה 1.30 מיליון – פי 6.5 פחות טוקנים.

אנו מודדים עלות גם באמצעות טוקני השלמה, שסופרים את ההשלמות של התלמיד ב-GRPO וב-OPSD, ואת ההשלמות של המורה ושל התלמיד ב-JOLT, אך אינם כוללים פרומפטים, הקשר מיוחס ומעברי אופטימיזציה נוספים. השוואה על בסיס טוקני השלמה במקום טוקני אימון מעובדים מרחיבה את פער היעילות לכדי פי 13 בערך באותה רמת דיוק. בטווח של רמות דיוק יעד, JOLT משתמש בפי 9.5–14.4 פחות טוקני השלמה ובפי 4.3–7.4 פחות טוקני אימון מעובדים.

יתרון הטוקנים של JOLT נשמר מ-55% ועד 65% דיוק.

סיכום

מידע מיוחס יכול לשפר את יכולתו של מורה לפתור משימה, בלי לשפר את יכולתו ללמד תלמיד לפתור את אותה משימה ללא המידע הזה. JOLT מתמודד עם ההבחנה הזו על ידי אימון המורה ביחס להתנהגות הנוכחית של התלמיד.

האימון המשותף הזה משפר גם את הדיוק וגם את היעילות. עם תגמולי תוצאה לתלמיד, JOLT+ משיג לעומת GRPO שיפורים מוחלטים של 1.5 נקודות אחוז ב-GSM8K, 4.2 נקודות אחוז ב-MATH, 3.0 נקודות אחוז ב-LCBv6, 9.9 נקודות אחוז ב-AppWorld ו-2.7 נקודות אחוז ב-pass@1 של Terminal-Bench 2.1. ב-MATH, JOLT משתמש בפי 13 פחות טוקני השלמה ובפי 6.5 פחות טוקני אימון מעובדים מ-GRPO ברמת דיוק זהה, ללא תגמול ישיר לתלמיד.

JOLT מאפשר להנחיה של המורה להתפתח יחד עם התלמיד. מכאן עולה השאלה אם המורה יכול ללמוד גם ליצור משימות אימון מועילות. כיוון מעניין למחקר עתידי הוא לאמן במשותף מורה שיוצר משימות ותלמיד שפותר בעיות, תוך שימוש בהתקדמות הלמידה של התלמיד כדי לשפר את המשימות שנוצרות במסגרת תוכנית לימודים מדורגת (curriculum). כך, יצירת משימות סינתטיות תוכל להגיב למה שהתלמיד מוכן ללמוד בשלב הבא.

לפרטים נוספים, קראו את המאמר המלא שלנו. בקרוב נפרסם את הקוד כקוד פתוח.

ציטוט

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}