En god lærer møder eleven, hvor eleven er

Forstærkningslæring (RL) bruges i vid udstrækning til eftertræning af sprogmodeller for at forbedre deres evner inden for kompleks ræsonnering og agentiske opgaver med lang horisont.

I en typisk opsætning foretager modellen gentagne forsøg på en opgave, modtager en udfaldsbelønning for hvert forsøg og lærer at foretrække de handlinger, der blev udført i forsøg med højere belønning. En enkelt udfaldsbelønning giver dog et sparsomt læringssignal, der ikke skelner mellem, hvilke mellemliggende handlinger der hjalp eller skadede resultatet. Denne sparsomhed begrænser sampleeffektiviteten, især på vanskelige agentiske opgaver, hvor forsøgene er lange, og succeserne er sjældne.

En populær tilgang til at afhjælpe denne sparsomhed er On-Policy Distillation (OPD), som bruger en stærkere lærermodel til at give token-for-token-vejledning til elevens egne forsøg og dermed giver langt tættere belønninger. Men undervisning er en færdighed i sig selv. En model, der er god til at løse en opgave, er ikke nødvendigvis god til at undervise i den, da dens feedback kan ligge ud over elevens nuværende evner. Det taler for ikke kun at træne eleven i at efterligne læreren, men også at træne læreren i at give vejledning, der er bedre afstemt efter eleven.

Vi foreslår en sådan metode, Joint On-policy Learning and Teaching (JOLT). Med udgangspunkt i On-Policy Self-Distillation (OPSD) bruger vi en enkelt model i to roller: en lærer med adgang til privilegeret information, såsom verificerede løsninger, og en elev uden en sådan adgang. Vi træner de to roller i fællesskab. Eleven følger standardmålfunktionen for destillation. Lærerens målfunktion presser dens feedback til at flytte eleven i samme retning, som RL på elevens egen belønning ville gøre. Tilsammen træner disse målfunktioner læreren i at møde eleven, hvor eleven er, og hjælper eleven med at lære af vejledning, der ligger inden for elevens rækkevidde.

Vores eksperimenter viser forbedringer i både modellens ydeevne og træningseffektiviteten på tværs af en række opgaver inden for matematisk ræsonnering og kodning samt agentiske opgaver.

I sin mest grundlæggende form bruger RL med udfaldsbelønninger målfunktionen for forventet afkast:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Her er $\tau$ en trajektorie, der følger en policy $\pi_\theta$ , og $R(\tau)$ er afkastet for den trajektorie. Den tilsvarende policygradient er:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

hvor $s_t$ og $a_t$ repræsenterer henholdsvis tilstanden og handlingen ved tidstrin $t$ . For at reducere variansen i stikprøvebaserede estimater udtrykkes gradienten ofte som:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

hvor fordelen $A^{\pi_\theta}(s_t, a_t)$ måler det forventede merafkast af handling $a_t$ i forhold til den nuværende policy i tilstand $s_t$ . Én tilgang, Group Relative Policy Optimization (GRPO), estimerer fordelen ved at sammenligne hver trajektories afkast med det gennemsnitlige afkast for den gruppe, der er samplet for samme prompt.

Selv med disse justeringer lider forstærkningslæring med udfaldsbelønninger dog under sparsom supervision, især på vanskelige opgaver med lang horisont. En voksende mængde forskning adresserer dette ved at trække på yderligere informationskilder for at give et tættere læringssignal.

On-Policy Distillation (OPD) er en sådan tilgang. I stedet for kun at lære af en endelig belønning sampler OPD trajektorier fra eleven og evaluerer hver samplet handling under en stærkere lærer. For en lærerpolicy $\pi_T$ og et fast øjebliksbillede $\bar{\theta}$ af de elevparametre, der bruges til at generere trajektorierne, er den lokale gradient evalueret i $\theta = \bar{\theta}$ :

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Her er $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ det negative omvendte KL-destillationsmål. Lærerpolicyen og de samplede præfikser holdes faste under differentieringen. Log-sandsynlighedsforholdet mellem lærer og elev giver et tæt læringssignal i hver besøgt tilstand og erstatter fordelen som vægt på handlingsniveau.

On-Policy Self-Distillation (OPSD) fjerner desuden behovet for en separat lærermodel. Elevpolicyen fungerer som sin egen lærer, når den får privilegeret information, såsom en verificeret løsning, feedback eller et referencespor. OPSD træner dog kun eleven i at efterligne læreren; der er ingen mekanisme, der sikrer, at læreren giver eleven et brugbart signal.

JOLT udvider OPSD ved at træne en delt model både som læreren, der giver bedre afstemt vejledning, og som eleven, der lærer af den. Den bedre informerede lærer lærer af udfaldsbelønninger med KL-regularisering mod eleven, mens den ikke-privilegerede elev lærer af lærerens tætte destillationssignal. Læreropdateringen bruger forsøg genereret af læreren, mens elevopdateringen bruger forsøg genereret af eleven og scoret af læreren. JOLT+ supplerer desuden elevens destillationssignal med udfaldsbelønninger.

Diagram: Én policy lærer både som lærer og elev — Én policy lærer både som lærer og elev.

Bedre lærerpræstationer omsættes ikke nødvendigvis til brugbare opdateringer af eleven. En lærer kan bruge privilegeret information til at udnytte genveje, som eleven ikke har adgang til, tildele høj sandsynlighed til trajektorier, der er usandsynlige under eleven, eller give upålidelig vejledning efter fejl i præfikser genereret af eleven. Lærerens kvalitet bør derfor bestemmes ud fra det læringssignal, den giver eleven, snarere end ud fra lærerens egen opgavebelønning.

Vi kalder en lærer belønningskonsistent, hvis den destillationsopdatering, den inducerer i eleven, svarer til policygradienten af en elevs forventede opgavebelønning på nær en positiv skalering. Konkret bør en belønningskonsistent lærer $\pi_T^\star$ opfylde:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

hvor $\beta_T$ er en positiv skalar. Som i det foregående afsnit er $g_{\mathrm{OPD}}$ den lokale OPD-gradient, $\bar\theta$ er et fast øjebliksbillede af elevmodellens parametre $\theta$ , og $g_{\mathrm{RL}}$ er policygradienten af målfunktionen for forventet afkast.

En lærer, der opfylder denne betingelse, er:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Her repræsenterer $A^{\pi_{\bar{\theta}}}(s, a)$ elevens fortsættelsesfordele, og $Z(s)$ er en normaliseringskonstant, der sikrer en korrekt sandsynlighedsfordeling.

Vi kan træne en lærer mod det ideelle mål $\pi_T^\star$ ved at minimere dens KL-divergens til det. For en fast elev og tilstand $s$ giver det:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Ved at indsætte udtrykket for $\pi_T^\star$ får vi et ækvivalent maksimeringsproblem:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Denne målfunktion tilskynder læreren til at vælge handlinger med højere elevfordel og samtidig holde sig tæt på elevens handlingsfordeling. Parameteren $\beta_T$ styrer styrken af denne straf: Større værdier holder læreren tættere på elevens nuværende adfærd, mens mindre værdier tillader den at favorisere handlinger med høj fordel mere aggressivt.

Denne målfunktion afhænger af, hvor godt eleven ville fortsætte efter hver handling, men disse fortsættelsesfordele for eleven er generelt ikke tilgængelige. Vi bruger derfor centrerede afkast fra lærerens egne trajektorier som et praktisk surrogat. Belønningsleddet tilskynder læreren til at løse opgaven, mens KL-leddet modvirker afvigelser fra elevens nuværende handlingsfordeling. Selvom KL-leddet holder læreren tæt på eleven, er denne substitution ikke eksakt, da lærerens afkast ikke nødvendigvis svarer til elevens fortsættelsesfordele.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Her er $\widehat{A}_T(\tau)$ lærerforsøgets afkast minus det gennemsnitlige afkast for de lærergenererede forsøg i dets gruppe. Operatoren $\operatorname{sg}$ betegner stop-gradient: Dens argument behandles som fast under differentieringen, ligesom de samplede præfikser og elevreferencen.

Elevopdateringen er en almindelig OPSD-opdatering. Eleven genererer trajektorier ud fra opgaven. Den samme model scorer derefter hvert samplet token med den privilegerede information i konteksten. Elevens målfunktion straffer den omvendte KL-divergens mellem eleven og denne privilegerede lærer i hver tilstand, eleven besøger:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Derfor forstærkes tokens, som læreren foretrækker, mens tokens, som læreren anser for mindre sandsynlige, end eleven gør, undertrykkes.

Ved at kombinere lærerens og elevens målfunktioner får vi den fælles træningsmålfunktion:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ er en skalar, der bestemmer, hvor meget elevens destillationstab vægter i den samlede opdatering.

Resultatet om belønningskonsistens karakteriserer elevens destillationsopdatering for en given lærer. JOLT bruger dette princip til at styre den fælles træning ved at kombinere lærerens og elevens målfunktioner til at opdatere deres delte parametre.

JOLT+ tilføjer også elevens egen udfaldsbelønning til elevopdateringen. Det centrerede afkast for hver elevtrajektorie lægges til destillationssignalet, hvilket kombinerer tæt lærersupervision med direkte udfaldsfeedback på elevens trajektorier. Lærerens målfunktion er uændret, så vi kan skrive:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Her er $\widehat{A}_S(\tau)$ elevtrajektoriens afkast minus det gennemsnitlige afkast for dens gruppe af elevgenererede trajektorier.

I begge varianter lærer hver rolle af trajektorier genereret i dens egen kontekst, og begge roller opdaterer den delte policy. Pseudokoden for et træningstrin er vist nedenfor.

JOLT-pseudokode, der viser lærerens generering med et hint, elevens generering uden det, krydskontekstuel scoring og en fælles policyopdatering. JOLT+ tilføjer udfaldsbelønninger for elevens forsøg. — Pseudokode for ét JOLT-træningstrin.

Vi evaluerer JOLT og JOLT+ på benchmarks, der spænder over matematisk ræsonnering, kodegenerering, værktøjsbrug og terminalopgaver med lang horisont, med forskellige basismodeller og forskellige former for privilegeret information. Konkret kører vi eksperimenter med følgende benchmarks, basismodeller og konfigurationer af privilegeret information:

GSM8K: Vi træner DeepSeek-V2-Lite på GSM8K, et datasæt med matematikopgaver på grundskoleniveau. Læreren modtager det verificerede svar på hver opgave.
MATH: Vi træner Qwen3-0.6B på MATH. Læreren modtager gennemregnede referenceløsninger.
LCBv6: Vi træner Qwen3-8B på 131 programmeringsopgaver fra LiveCodeBench-V6. Læreren modtager en modelgenereret løsning, der bestod alle træningssynlige tests, eller eksekveringsfeedback, når intet forsøg bestod dem.
AppWorld: Vi træner Qwen3-4B-Instruct på AppWorld. Læreren modtager resuméer af tidligere forsøg.
Terminal-Bench: Vi træner Qwen3-30B-A3B-Instruct på TMax, et sæt træningsopgaver for terminalagenter, og evaluerer på Terminal-Bench 2.1. Læreren modtager privat verifikatorinformation.

Vi sammenligner med GRPO, OPSD og π-Distill og justerer hyperparametrene for hver metode. Ligesom JOLT træner π-Distill privilegerede lærer- og elevroller i fællesskab i en delt model; den bruger dog et andet lærermål, og dens elevopdatering forbliver off-policy, idet den baserer sig på lærergenererede trajektorier i stedet for elevens egne genereringer.

JOLT+ har den højeste gennemsnitlige score i alle de opsætninger, vi evaluerer. Sammenlignet med GRPO, den stærkeste testede baseline, forbedrer den nøjagtigheden på GSM8K med 1,5 procentpoint (pp), nøjagtigheden på MATH med 4,2 pp, nøjagtigheden på LCBv6 med 3,0 pp og beståelsesraten for AppWorld-tilstandstests med 9,9 pp.

Punkt- og fejllinjediagram: JOLT+ har den højeste gennemsnitlige score på alle fire benchmarks — JOLT+ har den højeste gennemsnitlige score på alle fire benchmarks.

Uden nogen direkte elevbelønning er JOLT's gennemsnitlige nøjagtighed højere end GRPO's på GSM8K, MATH og LCBv6. På AppWorld ligger den dog under både GRPO og π-Distill.

Terminal-Bench 2.1 er opsætningen med den længste horisont. JOLT+ har den højeste pass@k ved hvert rapporteret k, fra 10,96 % ved pass@1 til 34,83 % ved pass@32. JOLT klarer sig bedre end basismodellen og begge destillationsbaselines ved hvert k, men ligger under GRPO. OPSD scorer lavere end basismodellen ved hvert k.

Linjediagram: JOLT+ fører på Terminal-Bench ved ethvert forsøgsbudget — JOLT+ fører på Terminal-Bench ved ethvert forsøgsbudget.

Vi er også interesserede i, hvordan ydeevnen skalerer med træningsbudgettet. Vi evaluerer GRPO, OPSD og JOLT på tværs af forskellige budgetter for træningstokens på MATH og sammenligner den resulterende elevnøjagtighed.

Figuren viser, hvordan nøjagtigheden skalerer med forbruget af træningstokens for hver metode. Vi måler omkostningen i behandlede træningstokens. Det omfatter hver prompt uden padding, privilegeret kontekst, hvert optimeringsgennemløb og al krydsscoring mellem lærer og elev.

Punktdiagram med tilpassede kurver: JOLT kræver færre tokens for at nå GRPO's nøjagtighed — JOLT kræver færre tokens for at nå GRPO's nøjagtighed.

Punkterne viser antallet af behandlede træningstokens og nøjagtigheden ved forskellige checkpoints; fejllinjerne repræsenterer ±1 standardafvigelse på tværs af kørsler. Vi tilpasser en sigmoid sammenhæng mellem nøjagtighed og logaritmen af træningstokenbudgettet i tråd med tidligere arbejde om skalering af beregningsressourcer til RL.

JOLT udviser tidlig sampleeffektivitet og opnår samtidig den højeste nøjagtighed af de tre metoder, idet den flader ud nær 72 %. OPSD forbedres hurtigt ved små budgetter, men når et plateau ved omkring 62 % nøjagtighed. GRPO lærer langsommere i starten, men bliver ved med at forbedres i længere tid og stiger til omkring 70 %. Ved samme nøjagtighed på 63,44 % bruger GRPO's observerede checkpoint 8,40 millioner tokens, mens JOLT's tilpassede kurve giver 1,30 millioner – 6,5× færre tokens.

Vi måler også omkostningen i completion-tokens, som tæller elevens genererede svar for GRPO og OPSD og både lærerens og elevens genererede svar for JOLT, men udelader prompts, privilegeret kontekst og de ekstra optimeringsgennemløb. En sammenligning baseret på completion-tokens i stedet for behandlede træningstokens øger effektivitetsforskellen til omkring 13× ved samme nøjagtighedsniveau. På tværs af en række målnøjagtigheder bruger JOLT 9,5–14,4× færre completion-tokens og 4,3–7,4× færre behandlede træningstokens.

Håndvægtsdiagram: JOLT's tokenfordel holder fra 55 % til 65 % nøjagtighed — JOLT's tokenfordel holder fra 55 % til 65 % nøjagtighed.

Privilegeret information kan gøre en lærer bedre til at løse en opgave uden at gøre den bedre til at lære en elev at løse den samme opgave uden den information. JOLT håndterer denne forskel ved at træne læreren i forhold til elevens nuværende adfærd.

Denne fælles træning forbedrer både nøjagtighed og effektivitet. Med udfaldsbelønninger for eleven opnår JOLT+ absolutte forbedringer i forhold til GRPO på 1,5 pp på GSM8K, 4,2 pp på MATH, 3,0 pp på LCBv6, 9,9 pp på AppWorld og 2,7 pp i pass@1 på Terminal-Bench 2.1. På MATH bruger JOLT 13× færre completion-tokens og 6,5× færre behandlede træningstokens end GRPO ved samme nøjagtighed – uden direkte elevbelønning.

JOLT gør det muligt for lærerens vejledning at udvikle sig sammen med eleven. Det giver anledning til at undersøge, om læreren også kan lære at generere nyttige træningsopgaver. En interessant retning for fremtidigt arbejde er at træne en opgavegenererende lærer og en problemløsende elev i fællesskab og bruge elevens læringsfremskridt til at forbedre de genererede opgaver i et curriculum. Det kunne gøre syntetisk opgavegenerering lydhør over for, hvad eleven er klar til at lære som det næste.

Læs vores fulde artikel for at få flere detaljer. Vi frigiver snart koden som open source.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Introduktion

Fra sparsomme belønninger til tæt feedback

Fælles on-policy-læring og -undervisning

Træning af læreren

Definér, hvad en lærer skal gøre

Fra det ideelle mål til en målfunktion for læreren

En praktisk surrogatmålfunktion

Træning af eleven

Det hele samlet

Eksperimenter

Nøjagtighed

Tokeneffektivitet og skalering

Konklusion

Kildehenvisning