Een goede leraar sluit aan bij waar de leerling staat

Reinforcement learning (RL) wordt veel gebruikt bij het post-trainen van taalmodellen om hun vaardigheden te verbeteren bij complexe redeneertaken en agentische taken met een lange horizon.

In een typische opzet doet het model herhaaldelijk pogingen om een taak uit te voeren, ontvangt het voor elke poging een uitkomstbeloning en leert het de voorkeur te geven aan acties uit pogingen met een hogere beloning. Eén enkele uitkomstbeloning levert echter een schaars leersignaal op dat geen onderscheid maakt tussen tussenliggende acties die de uitkomst hebben geholpen of geschaad. Deze schaarste beperkt de steekproefefficiëntie, vooral bij moeilijke agentische taken, waar pogingen lang zijn en successen zeldzaam.

Een populaire aanpak om deze schaarste te verhelpen is On-Policy Distillation (OPD), waarbij een sterker leraarmodel token voor token begeleiding geeft bij de eigen pogingen van de leerling, wat veel dichtere beloningen oplevert. Lesgeven is echter een vaardigheid op zich. Een model dat goed is in het oplossen van een taak, is niet per se goed in het aanleren ervan, omdat zijn feedback de huidige capaciteiten van de leerling kan overstijgen. Daarom willen we niet alleen de leerling trainen om de leraar te imiteren, maar ook de leraar trainen om begeleiding te geven die beter aansluit bij de leerling.

We stellen zo’n methode voor: Joint On-policy Learning and Teaching (JOLT). Voortbouwend op On-Policy Self-Distillation (OPSD) gebruiken we één model in twee rollen: een leraar met toegang tot geprivilegieerde informatie, zoals geverifieerde oplossingen, en een leerling zonder die toegang. We trainen de twee rollen gezamenlijk. De leerling volgt de standaarddoelfunctie voor distillatie. De doelfunctie van de leraar zorgt ervoor dat zijn feedback de leerling in dezelfde richting stuurt als RL op de eigen beloning van de leerling. Samen trainen deze doelfuncties de leraar om aan te sluiten bij waar de leerling staat, en helpen ze de leerling te leren van begeleiding die binnen zijn bereik ligt.

Onze experimenten laten verbeteringen zien in zowel modelprestaties als trainingsefficiëntie bij een reeks taken op het gebied van wiskundig redeneren, programmeren en agentisch handelen.

In zijn eenvoudigste vorm gebruikt RL met uitkomstbeloningen de doelfunctie van de verwachte opbrengst:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Hier is $\tau$ een traject dat een policy $\pi_\theta$ volgt, en is $R(\tau)$ de opbrengst van dat traject. De bijbehorende policy-gradiënt is:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

waarbij $s_t$ en $a_t$ respectievelijk de toestand en de actie op tijdstap $t$ weergeven. Om de variantie van steekproefgebaseerde schattingen te verminderen, wordt de gradiënt vaak uitgedrukt als:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

waarbij het voordeel (advantage) $A^{\pi_\theta}(s_t, a_t)$ de verwachte extra opbrengst van actie $a_t$ meet ten opzichte van de huidige policy in toestand $s_t$ . Eén aanpak, Group Relative Policy Optimization (GRPO), schat het voordeel door de opbrengst van elk traject te vergelijken met de gemiddelde opbrengst van de groep die voor dezelfde prompt is gesampled.

Maar zelfs met deze aanpassingen kampt reinforcement learning met uitkomstbeloningen met schaarse supervisie, vooral bij moeilijke taken met een lange horizon. Steeds meer onderzoek pakt dit aan door aanvullende informatiebronnen te benutten voor een dichter leersignaal.

On-Policy Distillation (OPD) is zo’n aanpak. In plaats van alleen van een eindbeloning te leren, samplet OPD trajecten van de leerling en evalueert het elke gesamplede actie onder een sterkere leraar. Voor een leraar-policy $\pi_T$ en een vaste momentopname $\bar{\theta}$ van de leerlingparameters waarmee de trajecten zijn gegenereerd, is de lokale gradiënt, geëvalueerd in $\theta = \bar{\theta}$ :

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Hier is $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ de negatieve reverse-KL-distillatiedoelfunctie. De leraar-policy en de gesamplede prefixen worden tijdens het differentiëren vastgehouden. De verhouding tussen de log-waarschijnlijkheden van leraar en leerling levert in elke bezochte toestand een dicht leersignaal op en vervangt het voordeel als gewicht op actieniveau.

On-Policy Self-Distillation (OPSD) maakt een apart leraarmodel bovendien overbodig. De leerling-policy fungeert als zijn eigen leraar wanneer hij geprivilegieerde informatie krijgt, zoals een geverifieerde oplossing, feedback of een referentietrace. OPSD traint de leerling echter alleen om de leraar te imiteren; er is geen mechanisme dat ervoor zorgt dat de leraar een nuttig signaal aan de leerling geeft.

JOLT breidt OPSD uit door een gedeeld model te trainen als zowel de leraar die beter afgestemde begeleiding geeft als de leerling die daarvan leert. De beter geïnformeerde leraar leert van uitkomstbeloningen met KL-regularisatie richting de leerling, terwijl de niet-geprivilegieerde leerling leert van het dichte distillatiesignaal van de leraar. De update van de leraar gebruikt door de leraar gegenereerde pogingen, terwijl de update van de leerling door de leerling gegenereerde pogingen gebruikt die door de leraar worden gescoord. JOLT+ vult het distillatiesignaal van de leerling daarnaast aan met uitkomstbeloningen.

Diagram: één policy leert als zowel leraar als leerling — Eén policy leert als zowel leraar als leerling.

Betere prestaties van de leraar leiden niet per se tot nuttige updates voor de leerling. Een leraar kan geprivilegieerde informatie gebruiken om binnenwegen te benutten die voor de leerling niet beschikbaar zijn, een hoge waarschijnlijkheid toekennen aan trajecten die onder de leerling onwaarschijnlijk zijn, of onbetrouwbare begeleiding geven na fouten in door de leerling gegenereerde prefixen. De kwaliteit van de leraar moet daarom worden bepaald door het leersignaal dat de leerling krijgt, en niet door de eigen taakbeloning van de leraar.

We noemen een leraar beloningsconsistent als de distillatie-update die hij bij de leerling teweegbrengt, overeenkomt met de policy-gradiënt van de verwachte taakbeloning van een leerling, op een positieve schaalfactor na. Concreet moet een beloningsconsistente leraar $\pi_T^\star$ voldoen aan:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

waarbij $\beta_T$ een positieve scalair is. Net als in de vorige sectie is $g_{\mathrm{OPD}}$ de lokale OPD-gradiënt, is $\bar\theta$ een vaste momentopname van de leerlingmodelparameters $\theta$ en is $g_{\mathrm{RL}}$ de policy-gradiënt van de doelfunctie van de verwachte opbrengst.

Eén leraar die aan deze voorwaarde voldoet, is:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Hier vertegenwoordigen $A^{\pi_{\bar{\theta}}}(s, a)$ de vervolgvoordelen van de leerling en is $Z(s)$ een normalisatieconstante die zorgt voor een geldige kansverdeling.

We kunnen een leraar trainen richting het ideale doel $\pi_T^\star$ door de KL-divergentie ten opzichte van dat doel te minimaliseren. Voor een vaste leerling en toestand $s$ levert dit op:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Door de uitdrukking voor $\pi_T^\star$ in te vullen, ontstaat een equivalent maximalisatieprobleem:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Deze doelfunctie stimuleert de leraar om acties te kiezen met een hoger voordeel voor de leerling, terwijl hij dicht bij de actieverdeling van de leerling blijft. De parameter $\beta_T$ bepaalt de sterkte van deze straf: grotere waarden houden de leraar dichter bij het huidige gedrag van de leerling, terwijl kleinere waarden hem toestaan nadrukkelijker de voorkeur te geven aan acties met een hoog voordeel.

Deze doelfunctie hangt af van hoe goed de leerling na elke actie zou verdergaan, maar die vervolgvoordelen van de leerling zijn doorgaans niet beschikbaar. Daarom gebruiken we gecentreerde opbrengsten uit de eigen trajecten van de leraar als praktisch surrogaat. De beloningsterm stimuleert de leraar om de taak op te lossen, terwijl de KL-term afwijkingen van de huidige actieverdeling van de leerling ontmoedigt. Hoewel de KL-term de leraar dicht bij de leerling houdt, is deze vervanging niet exact, omdat de opbrengsten van de leraar niet per se overeenkomen met de vervolgvoordelen van de leerling.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Hier is $\widehat{A}_T(\tau)$ de opbrengst van de poging van de leraar min de gemiddelde opbrengst van de door de leraar gegenereerde pogingen in zijn groep. De operator $\operatorname{sg}$ staat voor stop-gradient: het argument ervan wordt tijdens het differentiëren als vast beschouwd, net als de gesamplede prefixen en de leerlingreferentie.

De update van de leerling is een standaard OPSD-update. De leerling genereert trajecten op basis van de taak. Vervolgens scoort hetzelfde model elk gesampled token met de geprivilegieerde informatie in de context. De doelfunctie van de leerling bestraft de reverse KL-divergentie tussen de leerling en deze geprivilegieerde leraar in elke toestand die de leerling bezoekt:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Tokens waaraan de leraar de voorkeur geeft, worden daardoor versterkt, terwijl tokens die de leraar minder waarschijnlijk acht dan de leerling, worden onderdrukt.

Door de doelfuncties van leraar en leerling te combineren, ontstaat de gezamenlijke trainingsdoelfunctie:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ is een scalair die bepaalt hoe zwaar het distillatieverlies van de leerling meeweegt in de gecombineerde update.

Het resultaat over beloningsconsistentie beschrijft de distillatie-update van de leerling voor een gegeven leraar. JOLT gebruikt dit principe als leidraad voor gezamenlijke training en combineert de doelfuncties van leraar en leerling om hun gedeelde parameters bij te werken.

JOLT+ voegt daarnaast de eigen uitkomstbeloning van de leerling toe aan de update. De gecentreerde opbrengst van elk leerlingtraject wordt opgeteld bij het distillatiesignaal, waardoor dichte supervisie door de leraar wordt gecombineerd met directe uitkomstfeedback op de trajecten van de leerling. De doelfunctie van de leraar blijft ongewijzigd, dus we kunnen schrijven:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Hier is $\widehat{A}_S(\tau)$ de opbrengst van het leerlingtraject min de gemiddelde opbrengst van zijn groep met door de leerling gegenereerde trajecten.

In beide varianten leert elke rol van trajecten die in zijn eigen context zijn gegenereerd, en werken beide rollen de gedeelde policy bij. Hieronder staat de pseudocode voor een trainingsstap.

JOLT-pseudocode met generatie door de leraar met een hint, generatie door de leerling zonder hint, contextoverschrijdende scoring en een gedeelde policy-update. JOLT+ voegt uitkomstbeloningen toe voor pogingen van de leerling. — Pseudocode voor één JOLT-trainingsstap.

We evalueren JOLT en JOLT+ op benchmarks voor wiskundig redeneren, codegeneratie, toolgebruik en terminaltaken met een lange horizon, met verschillende basismodellen en verschillende vormen van geprivilegieerde informatie. Concreet voeren we experimenten uit met de volgende benchmarks, basismodellen en configuraties van geprivilegieerde informatie:

GSM8K: We trainen DeepSeek-V2-Lite op GSM8K, een dataset met rekenopgaven op basisschoolniveau. De leraar krijgt het geverifieerde antwoord op elke opgave.
MATH: We trainen Qwen3-0.6B op MATH. De leraar krijgt uitgewerkte referentieoplossingen.
LCBv6: We trainen Qwen3-8B op 131 programmeeropgaven uit LiveCodeBench-V6. De leraar krijgt een door het model gegenereerde oplossing die alle tijdens de training zichtbare tests heeft doorstaan, of uitvoeringsfeedback als geen enkele poging daarin slaagde.
AppWorld: We trainen Qwen3-4B-Instruct op AppWorld. De leraar krijgt samenvattingen van eerdere pogingen.
Terminal-Bench: We trainen Qwen3-30B-A3B-Instruct op TMax, een set trainingstaken voor terminalagents, en evalueren op Terminal-Bench 2.1. De leraar krijgt privé-informatie van de verifier.

We vergelijken met GRPO, OPSD en π-Distill, waarbij we voor elke methode de hyperparameters afstemmen. Net als JOLT traint π-Distill geprivilegieerde leraar- en leerlingrollen gezamenlijk binnen een gedeeld model; het gebruikt echter een ander doel voor de leraar en de update van de leerling blijft off-policy, omdat die steunt op door de leraar gegenereerde trajecten in plaats van op de eigen generaties van de leerling.

JOLT+ behaalt in elke geëvalueerde setting de hoogste gemiddelde score. Vergeleken met GRPO, de sterkste geteste baseline, verbetert het de nauwkeurigheid op GSM8K met 1,5 procentpunt (pp), op MATH met 4,2 pp en op LCBv6 met 3,0 pp, en het slagingspercentage voor de state-tests van AppWorld met 9,9 pp.

Punt-en-foutbalkdiagram: JOLT+ heeft de hoogste gemiddelde score op alle vier de benchmarks — JOLT+ heeft de hoogste gemiddelde score op alle vier de benchmarks.

Zonder directe beloning voor de leerling ligt de gemiddelde nauwkeurigheid van JOLT hoger dan die van GRPO op GSM8K, MATH en LCBv6. Op AppWorld blijft het echter achter bij zowel GRPO als π-Distill.

Terminal-Bench 2.1 is de setting met de langste horizon. JOLT+ heeft bij elke gerapporteerde k de hoogste pass@k, van 10,96% bij pass@1 tot 34,83% bij pass@32. JOLT verbetert bij elke k ten opzichte van het basismodel en beide distillatiebaselines, maar blijft achter bij GRPO. OPSD scoort bij elke k lager dan het basismodel.

Lijndiagram: JOLT+ scoort het best op Terminal-Bench bij elk pogingsbudget — JOLT+ scoort het best op Terminal-Bench bij elk pogingsbudget.

We willen ook weten hoe de prestaties schalen met het trainingsbudget. We evalueren GRPO, OPSD en JOLT bij verschillende budgetten aan trainingstokens op MATH en vergelijken de resulterende nauwkeurigheid van de leerling.

De figuur laat zien hoe de nauwkeurigheid voor elke methode schaalt met het aantal bestede trainingstokens. We meten de kosten in verwerkte trainingstokens. Dit omvat elke prompt zonder padding, alle geprivilegieerde context, elke optimalisatiepass en de kruisscoring tussen leraar en leerling.

Spreidingsdiagram met gefitte curves: JOLT heeft minder tokens nodig om de nauwkeurigheid van GRPO te bereiken — JOLT heeft minder tokens nodig om de nauwkeurigheid van GRPO te bereiken.

De punten tonen het aantal verwerkte trainingstokens en de nauwkeurigheid bij verschillende checkpoints; de foutbalken geven ±1 standaardafwijking over de runs weer. In navolging van eerder werk over het schalen van RL-rekenkracht fitten we een sigmoïde relatie tussen de nauwkeurigheid en het logaritme van het trainingstokenbudget.

JOLT vertoont al vroeg een hoge steekproefefficiëntie en behaalt tegelijk de hoogste nauwkeurigheid van de drie methoden, met een plateau rond 72%. OPSD verbetert snel bij kleine budgetten, maar stagneert op ongeveer 62% nauwkeurigheid. GRPO leert aanvankelijk langzamer, maar blijft langer verbeteren en klimt tot ongeveer 70%. Bij een gelijke nauwkeurigheid van 63,44% gebruikt het waargenomen checkpoint van GRPO 8,40 miljoen tokens, terwijl de gefitte curve van JOLT uitkomt op 1,30 miljoen: 6,5× minder tokens.

We meten de kosten ook in completietokens. Daarbij tellen voor GRPO en OPSD de completies van de leerling mee en voor JOLT die van zowel leraar als leerling, maar blijven prompts, geprivilegieerde context en de extra optimalisatiepasses buiten beschouwing. Een vergelijking op basis van completietokens in plaats van verwerkte trainingstokens vergroot het efficiëntieverschil tot ongeveer 13× bij hetzelfde nauwkeurigheidsniveau. Over een reeks doelnauwkeurigheden gebruikt JOLT 9,5–14,4× minder completietokens en 4,3–7,4× minder verwerkte trainingstokens.

Halterdiagram: het tokenvoordeel van JOLT houdt stand van 55% tot 65% nauwkeurigheid — Het tokenvoordeel van JOLT houdt stand van 55% tot 65% nauwkeurigheid.

Geprivilegieerde informatie kan een leraar beter maken in het oplossen van een taak, zonder dat hij daardoor beter wordt in het aanleren van diezelfde taak aan een leerling die niet over die informatie beschikt. JOLT speelt in op dit onderscheid door de leraar te trainen in relatie tot het huidige gedrag van de leerling.

Deze gezamenlijke training verbetert zowel de nauwkeurigheid als de efficiëntie. Met uitkomstbeloningen voor de leerling behaalt JOLT+ ten opzichte van GRPO absolute verbeteringen van 1,5 pp op GSM8K, 4,2 pp op MATH, 3,0 pp op LCBv6, 9,9 pp op AppWorld en 2,7 pp op Terminal-Bench 2.1 pass@1. Op MATH gebruikt JOLT bij gelijke nauwkeurigheid 13× minder completietokens en 6,5× minder verwerkte trainingstokens dan GRPO, zonder directe beloning voor de leerling.

Met JOLT kan de begeleiding door de leraar meegroeien met de leerling. Dat roept de vraag op of de leraar ook kan leren nuttige trainingstaken te genereren. Een interessante richting voor toekomstig onderzoek is om een taakgenererende leraar en een probleemoplossende leerling gezamenlijk te trainen, waarbij de leervoortgang van de leerling wordt gebruikt om de gegenereerde taken in een curriculum te verbeteren. Zo zou het genereren van synthetische taken kunnen inspelen op wat de leerling als volgende klaar is om te leren.

Lees onze volledige paper voor meer details. We maken de code binnenkort open source.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Inleiding

Van schaarse beloningen naar dichte feedback

Gezamenlijk on-policy leren en lesgeven

De leraar trainen

Bepalen wat een leraar moet doen

Van het ideale doel naar een doelfunctie voor de leraar

Een praktische surrogaatdoelfunctie

De leerling trainen

Alles bij elkaar

Experimenten

Nauwkeurigheid

Tokenefficiëntie en schaalgedrag

Conclusie

Bronvermelding