En bra lärare möter eleven där den är

Förstärkningsinlärning (RL) används i stor utsträckning vid efterträning av språkmodeller för att förbättra deras förmåga att hantera komplexa resonemangsuppgifter och agentiska uppgifter med lång tidshorisont.

I en typisk uppställning gör modellen upprepade försök att lösa en uppgift, får en utfallsbelöning för varje försök och lär sig att föredra handlingar från försök med högre belöning. En enskild utfallsbelöning ger dock en gles inlärningssignal som inte skiljer ut vilka mellanliggande handlingar som hjälpte eller stjälpte utfallet. Denna gleshet begränsar sampeleffektiviteten, särskilt för svåra agentiska uppgifter där försöken är långa och lyckade försök är sällsynta.

Ett populärt sätt att hantera denna gleshet är On-Policy Distillation (OPD), där en starkare lärarmodell ger vägledning token för token för elevens egna försök, vilket ger betydligt tätare belöningar. Men att undervisa är en färdighet i sig. En modell som är bra på att lösa en uppgift är inte nödvändigtvis bra på att lära ut den, eftersom dess återkoppling kan ligga bortom elevens nuvarande förmåga. Därför är det motiverat att inte bara träna eleven att imitera läraren, utan också träna läraren att ge vägledning som är bättre anpassad till eleven.

Vi föreslår en sådan metod: Joint On-policy Learning and Teaching (JOLT). Med On-Policy Self-Distillation (OPSD) som grund använder vi en enda modell i två roller: en lärare med tillgång till privilegierad information, till exempel verifierade lösningar, och en elev utan sådan tillgång. Vi tränar de två rollerna gemensamt. Eleven följer den vanliga destillationsmålfunktionen. Lärarens målfunktion driver dess återkoppling att flytta eleven i samma riktning som RL på elevens egen belöning. Tillsammans tränar dessa målfunktioner läraren att möta eleven där den befinner sig och hjälper eleven att lära sig av vägledning inom räckhåll.

Våra experiment visar förbättringar av både modellprestanda och träningseffektivitet över en rad uppgifter inom matematiskt resonemang, kodning och agentiska tillämpningar.

I sin mest grundläggande form använder RL med utfallsbelöning målfunktionen för förväntad avkastning:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Här är $\tau$ en trajektoria som följer en policy $\pi_\theta$ , och $R(\tau)$ är avkastningen för den trajektorian. Motsvarande policygradient är:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

där $s_t$ och $a_t$ representerar tillståndet respektive handlingen vid tidssteg $t$ . För att minska variansen i stickprovsbaserade skattningar uttrycks gradienten ofta som:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

där fördelen $A^{\pi_\theta}(s_t, a_t)$ mäter den förväntade överskottsavkastningen för handlingen $a_t$ i förhållande till den aktuella policyn i tillståndet $s_t$ . En metod, Group Relative Policy Optimization (GRPO), skattar fördelen genom att jämföra varje trajektorias avkastning med medelavkastningen för den grupp som samplats för samma prompt.

Men även med dessa justeringar lider förstärkningsinlärning med utfallsbelöning av gles övervakning, särskilt för svåra uppgifter med lång tidshorisont. Allt fler arbeten hanterar detta genom att utnyttja ytterligare informationskällor för att ge en tätare inlärningssignal.

On-Policy Distillation (OPD) är ett sådant tillvägagångssätt. I stället för att enbart lära sig av en slutlig belöning samplar OPD trajektorier från eleven och utvärderar varje samplad handling med en starkare lärare. För en lärarpolicy $\pi_T$ och en fast ögonblicksbild $\bar{\theta}$ av de elevparametrar som används för att generera trajektorierna är den lokala gradienten, utvärderad vid $\theta = \bar{\theta}$ :

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Här är $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ den negativa destillationsmålfunktionen med omvänd KL. Lärarpolicyn och de samplade prefixen hålls fasta under deriveringen. Kvoten mellan lärarens och elevens log-sannolikheter ger en tät inlärningssignal i varje besökt tillstånd och ersätter fördelen som vikt på handlingsnivå.

On-Policy Self-Distillation (OPSD) tar dessutom bort behovet av en separat lärarmodell. Elevpolicyn fungerar som sin egen lärare när den får privilegierad information, till exempel en verifierad lösning, återkoppling eller ett referensspår. OPSD tränar dock bara eleven att imitera läraren; det finns ingen mekanism som säkerställer att läraren ger eleven en användbar signal.

JOLT utvidgar OPSD genom att träna en delad modell både som läraren, som ger bättre anpassad vägledning, och som eleven, som lär sig av den. Den bättre informerade läraren lär sig av utfallsbelöningar med KL-regularisering mot eleven, medan den icke-privilegierade eleven lär sig av lärarens täta destillationssignal. Läraruppdateringen använder försök som läraren har genererat, medan elevuppdateringen använder försök som eleven har genererat och som läraren har poängsatt. JOLT+ kompletterar dessutom elevens destillationssignal med utfallsbelöningar.

Diagram: En policy lär sig som både lärare och elev — En policy lär sig som både lärare och elev.

Bättre lärarprestanda leder inte nödvändigtvis till användbara uppdateringar av eleven. En lärare kan använda privilegierad information för att utnyttja genvägar som eleven inte har tillgång till, tilldela hög sannolikhet till trajektorier som är osannolika för eleven eller ge opålitlig vägledning efter fel i prefix som eleven har genererat. Lärarens kvalitet bör därför bedömas utifrån den inlärningssignal som eleven får, snarare än utifrån lärarens egen uppgiftsbelöning.

Vi kallar en lärare belöningskonsistent om den destillationsuppdatering den ger upphov till hos eleven motsvarar policygradienten för elevens förväntade uppgiftsbelöning, upp till en positiv skalning. Mer specifikt bör en belöningskonsistent lärare $\pi_T^\star$ uppfylla:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

där $\beta_T$ är en positiv skalär. Liksom i föregående avsnitt är $g_{\mathrm{OPD}}$ den lokala OPD-gradienten, $\bar\theta$ en fast ögonblicksbild av elevmodellens parametrar $\theta$ och $g_{\mathrm{RL}}$ policygradienten för målfunktionen för förväntad avkastning.

En lärare som uppfyller detta villkor är:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Här representerar $A^{\pi_{\bar{\theta}}}(s, a)$ elevens fortsättningsfördelar, och $Z(s)$ är en normaliseringskonstant som säkerställer en korrekt sannolikhetsfördelning.

Vi kan träna en lärare mot det ideala målet $\pi_T^\star$ genom att minimera dess KL-divergens till detta mål. För en fast elev och ett tillstånd $s$ ger detta:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Om vi sätter in uttrycket för $\pi_T^\star$ får vi ett ekvivalent maximeringsproblem:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Denna målfunktion uppmuntrar läraren att välja handlingar med högre elevfördel och samtidigt hålla sig nära elevens handlingsfördelning. Parametern $\beta_T$ styr hur stark denna bestraffning är: större värden håller läraren närmare elevens nuvarande beteende, medan mindre värden låter den gynna handlingar med hög fördel mer aggressivt.

Denna målfunktion beror på hur väl eleven skulle fortsätta efter varje handling, men elevens fortsättningsfördelar är i allmänhet inte tillgängliga. Vi använder därför centrerade avkastningar från lärarens egna trajektorier som ett praktiskt surrogat. Belöningstermen uppmuntrar läraren att lösa uppgiften, medan KL-termen motverkar avvikelser från elevens nuvarande handlingsfördelning. Även om KL-termen håller läraren nära eleven är denna ersättning inte exakt, eftersom lärarens avkastningar inte nödvändigtvis motsvarar elevens fortsättningsfördelar.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Här är $\widehat{A}_T(\tau)$ avkastningen för lärarens försök minus medelavkastningen för de lärargenererade försöken i dess grupp. Operatorn $\operatorname{sg}$ betecknar stop-gradient: dess argument behandlas som fast under deriveringen, liksom de samplade prefixen och elevreferensen.

Elevuppdateringen är en vanlig OPSD-uppdatering. Eleven genererar trajektorier utifrån uppgiften. Samma modell poängsätter sedan varje samplad token med den privilegierade informationen i kontexten. Elevens målfunktion bestraffar den omvända KL-divergensen mellan eleven och denna privilegierade lärare i varje tillstånd som eleven besöker:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Därför förstärks token som läraren föredrar, medan token som läraren bedömer som mindre sannolika än vad eleven gör undertrycks.

Om vi kombinerar lärarens och elevens målfunktioner får vi den gemensamma målfunktionen för träningen:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ är en skalär som anger hur mycket elevens destillationsförlust väger i den kombinerade uppdateringen.

Resultatet om belöningskonsistens beskriver elevens destillationsuppdatering för en given lärare. JOLT använder denna princip för att styra den gemensamma träningen och kombinerar lärarens och elevens målfunktioner för att uppdatera deras delade parametrar.

JOLT+ lägger också till elevens egen utfallsbelöning i dess uppdatering. Den centrerade avkastningen för varje elevtrajektoria läggs till destillationssignalen, vilket kombinerar tät lärarövervakning med direkt utfallsåterkoppling på elevens trajektorier. Lärarens målfunktion är oförändrad, så vi kan skriva:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Här är $\widehat{A}_S(\tau)$ avkastningen för elevens trajektoria minus medelavkastningen för dess grupp av elevgenererade trajektorier.

I båda varianterna lär sig varje roll av trajektorier som genererats i dess egen kontext, och båda rollerna uppdaterar den delade policyn. Pseudokoden för ett träningssteg visas nedan.

JOLT-pseudokod som visar lärarens generering med en ledtråd, elevens generering utan den, poängsättning över kontexter och en gemensam policyuppdatering. JOLT+ lägger till utfallsbelöningar för elevens försök. — Pseudokod för ett träningssteg i JOLT.

Vi utvärderar JOLT och JOLT+ på benchmarks inom matematiskt resonemang, kodgenerering, verktygsanvändning och terminaluppgifter med lång tidshorisont, med olika basmodeller och olika former av privilegierad information. Mer specifikt kör vi experiment med följande benchmarks, basmodeller och konfigurationer av privilegierad information:

GSM8K: Vi tränar DeepSeek-V2-Lite på GSM8K, en datamängd med matematikproblem på grundskolenivå. Läraren får det verifierade svaret på varje problem.
MATH: Vi tränar Qwen3-0.6B på MATH. Läraren får genomarbetade referenslösningar.
LCBv6: Vi tränar Qwen3-8B på 131 programmeringsproblem från LiveCodeBench-V6. Läraren får en modellgenererad lösning som klarade alla tester som var synliga under träningen, eller körningsåterkoppling när inget försök klarade dem.
AppWorld: Vi tränar Qwen3-4B-Instruct på AppWorld. Läraren får sammanfattningar av tidigare försök.
Terminal-Bench: Vi tränar Qwen3-30B-A3B-Instruct på TMax, en uppsättning träningsuppgifter för terminalagenter, och utvärderar på Terminal-Bench 2.1. Läraren får privat verifieringsinformation.

Vi jämför med GRPO, OPSD och π-Distill och justerar hyperparametrarna för varje metod. Liksom JOLT tränar π-Distill privilegierade lärar- och elevroller gemensamt i en delad modell, men den använder ett annat lärarmål och dess elevuppdatering förblir off-policy, eftersom den förlitar sig på lärargenererade trajektorier snarare än på elevens egna genereringar.

JOLT+ har det högsta medelvärdet i varje uppställning vi utvärderar. Jämfört med GRPO, den starkaste baslinjen i testerna, förbättrar den noggrannheten med 1,5 procentenheter på GSM8K, 4,2 procentenheter på MATH och 3,0 procentenheter på LCBv6, samt andelen godkända tillståndstester på AppWorld med 9,9 procentenheter.

Punktdiagram med felstaplar: JOLT+ har det högsta medelvärdet på alla fyra benchmarks — JOLT+ har det högsta medelvärdet på alla fyra benchmarks.

Utan någon direkt belöning för eleven har JOLT högre genomsnittlig noggrannhet än GRPO på GSM8K, MATH och LCBv6. På AppWorld ligger den dock under både GRPO och π-Distill.

Terminal-Bench 2.1 är den uppställning som har längst tidshorisont. JOLT+ har högst pass@k för varje rapporterat k, från 10,96 % vid pass@1 till 34,83 % vid pass@32. JOLT presterar bättre än basmodellen och båda destillationsbaslinjerna för varje k, men ligger under GRPO. OPSD får lägre resultat än basmodellen för varje k.

Linjediagram: JOLT+ leder på Terminal-Bench vid varje försöksbudget — JOLT+ leder på Terminal-Bench vid varje försöksbudget.

Vi är också intresserade av hur prestandan skalar med träningsbudgeten. Vi utvärderar GRPO, OPSD och JOLT med olika budgetar för träningstoken på MATH och jämför den noggrannhet som eleven uppnår.

Figuren visar hur noggrannheten skalar med förbrukningen av träningstoken för varje metod. Vi mäter kostnaden i bearbetade träningstoken. Detta omfattar varje prompt utan utfyllnad, all privilegierad kontext, varje optimeringspass och all korspoängsättning mellan lärare och elev.

Spridningsdiagram med anpassade kurvor: JOLT behöver färre token för att nå GRPO:s noggrannhet — JOLT behöver färre token för att nå GRPO:s noggrannhet.

Punkterna visar antalet bearbetade träningstoken och noggrannheten vid olika kontrollpunkter; felstaplarna motsvarar ±1 standardavvikelse mellan körningar. Vi anpassar ett sigmoidalt samband mellan noggrannhet och logaritmen för budgeten för träningstoken, i linje med tidigare forskning om skalning av beräkningsresurser för RL.

JOLT uppvisar tidig sampeleffektivitet och når samtidigt den högsta noggrannheten av de tre metoderna, där den planar ut kring 72 %. OPSD förbättras snabbt vid små budgetar men planar ut vid cirka 62 % noggrannhet. GRPO lär sig långsammare i början men fortsätter att förbättras längre och når cirka 70 %. Vid en matchad noggrannhet på 63,44 % använder GRPO:s observerade kontrollpunkt 8,40 miljoner token, medan JOLT:s anpassade kurva ger 1,30 miljoner, alltså 6,5× färre token.

Vi mäter också kostnaden i slutföringstoken, som räknar elevens slutföranden för GRPO och OPSD samt både lärarens och elevens slutföranden för JOLT, men utelämnar prompter, privilegierad kontext och de extra optimeringspassen. Om jämförelsen baseras på slutföringstoken i stället för bearbetade träningstoken ökar effektivitetsskillnaden till cirka 13× vid samma noggrannhetsnivå. Över ett intervall av målnoggrannheter använder JOLT 9,5–14,4× färre slutföringstoken och 4,3–7,4× färre bearbetade träningstoken.

Hanteldiagram: JOLT:s tokenfördel kvarstår mellan 55 % och 65 % noggrannhet — JOLT:s tokenfördel kvarstår mellan 55 % och 65 % noggrannhet.

Privilegierad information kan göra en lärare bättre på att lösa en uppgift utan att göra den bättre på att lära en elev att lösa samma uppgift utan den informationen. JOLT hanterar denna skillnad genom att träna läraren i förhållande till elevens nuvarande beteende.

Den gemensamma träningen förbättrar både noggrannhet och effektivitet. Med utfallsbelöningar för eleven uppnår JOLT+ absoluta förbättringar jämfört med GRPO om 1,5 procentenheter på GSM8K, 4,2 procentenheter på MATH, 3,0 procentenheter på LCBv6, 9,9 procentenheter på AppWorld och 2,7 procentenheter för pass@1 på Terminal-Bench 2.1. På MATH använder JOLT 13× färre slutföringstoken och 6,5× färre bearbetade träningstoken än GRPO vid samma noggrannhet, utan direkt belöning för eleven.

Med JOLT kan lärarens vägledning utvecklas i takt med eleven. Det väcker frågan om läraren också kan lära sig att generera användbara träningsuppgifter. En intressant riktning för framtida arbete är att gemensamt träna en lärare som genererar uppgifter och en elev som löser problem, och att använda elevens inlärningsframsteg för att förbättra de genererade uppgifterna i en läroplan. Det skulle kunna göra syntetisk uppgiftsgenerering lyhörd för vad eleven är redo att lära sig härnäst.

Läs vår fullständiga forskningsartikel för mer information. Vi kommer snart att släppa koden som öppen källkod.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Inledning

Från glesa belöningar till tät återkoppling

Gemensam on-policy-inlärning och undervisning

Att träna läraren

Definiera vad en lärare ska göra

Från det ideala målet till en målfunktion för läraren

En praktisk surrogatmålfunktion

Att träna eleven

Att sätta ihop delarna

Experiment

Noggrannhet

Tokeneffektivitet och skalning

Slutsats

Källhänvisning