En god lærer møter eleven der eleven er

Innledning

Forsterkende læring (RL) er mye brukt i ettertrening av språkmodeller for å forbedre evnene deres på komplekse resonneringsoppgaver og agentiske oppgaver med lang horisont.

I et typisk oppsett gjør modellen gjentatte forsøk på en oppgave, mottar en utfallsbelønning for hvert forsøk og lærer å foretrekke handlinger fra forsøk med høyere belønning. En enkelt utfallsbelønning gir imidlertid et sparsomt læringssignal som ikke skiller mellom hvilke mellomliggende handlinger som hjalp eller skadet utfallet. Denne sparsomheten begrenser prøveeffektiviteten, særlig på vanskelige agentiske oppgaver, der forsøkene er lange og suksessene sjeldne.

En populær tilnærming for å håndtere denne sparsomheten er On-Policy Distillation (OPD), som bruker en sterkere lærermodell til å gi veiledning token for token på elevens egne forsøk og dermed gir langt tettere belønninger. Men det å undervise er en ferdighet i seg selv. En modell som er god til å løse en oppgave, er ikke nødvendigvis god til å lære den bort, ettersom tilbakemeldingene kan ligge utenfor det eleven foreløpig mestrer. Dette er motivasjonen for å trene ikke bare eleven til å imitere læreren, men også læreren til å gi veiledning som er bedre tilpasset eleven.

Vi foreslår én slik metode, Joint On-policy Learning and Teaching (JOLT). Med utgangspunkt i On-Policy Self-Distillation (OPSD) bruker vi én enkelt modell i to roller: en lærer med tilgang til privilegert informasjon, for eksempel verifiserte løsninger, og en elev uten slik tilgang. Vi trener de to rollene sammen. Eleven følger den vanlige destillasjonsmålfunksjonen. Lærerens målfunksjon presser tilbakemeldingene fra læreren til å flytte eleven i samme retning som RL på elevens egen belønning ville gjort. Til sammen trener disse målfunksjonene læreren til å møte eleven der eleven er, og hjelper eleven med å lære av veiledning innenfor egen rekkevidde.

Eksperimentene våre viser forbedringer i både modellytelse og treningseffektivitet på tvers av en rekke oppgaver innen matematisk resonnering, koding og agentisk arbeid.

Fra sparsomme belønninger til tett tilbakemelding

I sin mest grunnleggende form bruker RL med utfallsbelønning målfunksjonen for forventet avkastning:

Her er $\tau$ en trajektorie som følger en policy $\pi_\theta$, og $R(\tau)$ er avkastningen for denne trajektorien. Den tilhørende policygradienten er:

der $s_t$ og $a_t$ representerer henholdsvis tilstanden og handlingen ved tidssteg $t$. For å redusere variansen i utvalgsbaserte estimater uttrykkes gradienten ofte som:

der fordelen $A^{\pi_\theta}(s_t, a_t)$ måler den forventede meravkastningen ved handling $a_t$ relativt til gjeldende policy i tilstand $s_t$. Én tilnærming, Group Relative Policy Optimization (GRPO), estimerer fordelen ved å sammenligne avkastningen for hver trajektorie med gjennomsnittsavkastningen for gruppen som er samplet for samme prompt.

Selv med disse justeringene lider imidlertid forsterkende læring med utfallsbelønning av sparsom veiledning, særlig på vanskelige oppgaver med lang horisont. En voksende mengde forskning tar tak i dette ved å hente inn flere informasjonskilder for å gi et tettere læringssignal.

On-Policy Distillation (OPD) er en slik tilnærming. I stedet for å lære bare av en endelig belønning sampler OPD trajektorier fra eleven og evaluerer hver samplet handling under en sterkere lærer. For en lærerpolicy $\pi_T$ og et fast øyeblikksbilde $\bar{\theta}$ av elevparameterne som brukes til å generere trajektoriene, er den lokale gradienten evaluert i $\theta = \bar{\theta}$:

Her er $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ den negative revers-KL-destillasjonsmålfunksjonen. Lærerpolicyen og de samplede prefiksene holdes faste under derivasjonen. Log-sannsynlighetsforholdet mellom lærer og elev gir et tett læringssignal i hver besøkt tilstand og erstatter fordelen som vekt på handlingsnivå.

On-Policy Self-Distillation (OPSD) fjerner i tillegg behovet for en separat lærermodell. Elevpolicyen fungerer som sin egen lærer når den får privilegert informasjon, for eksempel en verifisert løsning, tilbakemelding eller et referansespor. OPSD trener imidlertid bare eleven til å imitere læreren; det finnes ingen mekanisme som sikrer at læreren gir eleven et nyttig signal.

Felles on-policy-læring og -undervisning

JOLT utvider OPSD ved å trene en delt modell både som læreren som gir bedre tilpasset veiledning, og som eleven som lærer av den. Den bedre informerte læreren lærer av utfallsbelønninger med KL-regularisering mot eleven, mens den ikke-privilegerte eleven lærer av lærerens tette destillasjonssignal. Læreroppdateringen bruker forsøk generert av læreren, mens elevoppdateringen bruker forsøk generert av eleven og skåret av læreren. JOLT+ supplerer i tillegg elevens destillasjonssignal med utfallsbelønninger.

Forstørr

Trening av læreren

Definer hva en lærer skal gjøre

Bedre lærerprestasjoner gir ikke nødvendigvis nyttige oppdateringer for eleven. En lærer kan bruke privilegert informasjon til å utnytte snarveier som eleven ikke har tilgang til, gi høy sannsynlighet til trajektorier som er usannsynlige under eleven, eller gi upålitelig veiledning etter feil i elevgenererte prefikser. Lærerkvaliteten bør derfor avgjøres av læringssignalet eleven får, ikke av lærerens egen oppgavebelønning.

Vi kaller en lærer belønningskonsistent hvis destillasjonsoppdateringen den induserer hos eleven, samsvarer med policygradienten til elevens forventede oppgavebelønning, opp til positiv skalering. Nærmere bestemt bør en belønningskonsistent lærer $\pi_T^\star$ oppfylle:

der $\beta_T$ er en positiv skalar. Som i forrige avsnitt er $g_{\mathrm{OPD}}$ den lokale OPD-gradienten, $\bar\theta$ er et fast øyeblikksbilde av elevmodellens parametere $\theta$, og $g_{\mathrm{RL}}$ er policygradienten til målfunksjonen for forventet avkastning.

Én lærer som oppfyller denne betingelsen, er:

Her representerer $A^{\pi_{\bar{\theta}}}(s, a)$ elevens fortsettelsesfordeler, og $Z(s)$ er en normaliseringskonstant som sikrer en gyldig sannsynlighetsfordeling.

Fra det ideelle målet til en målfunksjon for læreren

Vi kan trene en lærer mot det ideelle målet $\pi_T^\star$ ved å minimere KL-divergensen til det. For en fast elev og tilstand $s$ gir dette:

Ved å sette inn uttrykket for $\pi_T^\star$ får vi et ekvivalent maksimeringsproblem:

Denne målfunksjonen oppmuntrer læreren til å velge handlinger med høyere elevfordel, samtidig som den holder seg nær elevens handlingsfordeling. Parameteren $\beta_T$ styrer hvor sterk denne straffen er: større verdier holder læreren nærmere elevens nåværende atferd, mens mindre verdier lar den favorisere handlinger med høy fordel mer aggressivt.

En praktisk surrogatmålfunksjon

Denne målfunksjonen avhenger av hvor godt eleven ville fortsatt etter hver handling, men slike fortsettelsesfordeler for eleven er vanligvis ikke tilgjengelige. Vi bruker derfor sentrerte avkastninger fra lærerens egne trajektorier som et praktisk surrogat. Belønningsleddet oppmuntrer læreren til å løse oppgaven, mens KL-leddet motvirker avvik fra elevens nåværende handlingsfordeling. Selv om KL-leddet holder læreren nær eleven, er ikke denne substitusjonen eksakt, siden lærerens avkastninger ikke nødvendigvis samsvarer med elevens fortsettelsesfordeler.

Her er $\widehat{A}_T(\tau)$ avkastningen for lærerforsøket minus gjennomsnittsavkastningen for de lærergenererte forsøkene i gruppen. Operatoren $\operatorname{sg}$ betegner stop-gradient: argumentet behandles som fast under derivasjonen, på samme måte som de samplede prefiksene og elevreferansen.

Trening av eleven

Elevoppdateringen er en standard OPSD-oppdatering. Eleven genererer trajektorier fra oppgaven. Den samme modellen skårer deretter hvert samplet token med den privilegerte informasjonen i konteksten. Elevens målfunksjon straffer revers-KL-divergensen mellom eleven og denne privilegerte læreren i hver tilstand eleven besøker:

Dermed forsterkes tokener som læreren foretrekker, mens tokener som læreren anser som mindre sannsynlige enn eleven gjør, undertrykkes.

Slik henger det sammen

Ved å kombinere målfunksjonene for læreren og eleven får vi den felles målfunksjonen for treningen:

$\beta_S$ er en skalar som angir hvor mye elevens destillasjonstap teller i den kombinerte oppdateringen.

Resultatet om belønningskonsistens karakteriserer elevens destillasjonsoppdatering for en gitt lærer. JOLT bruker dette prinsippet til å styre felles trening, der målfunksjonene for læreren og eleven kombineres for å oppdatere de delte parameterne.

JOLT+ legger også elevens egen utfallsbelønning til oppdateringen. Den sentrerte avkastningen for hver elevtrajektorie legges til destillasjonssignalet, slik at tett lærerveiledning kombineres med direkte utfallstilbakemelding på elevens trajektorier. Lærerens målfunksjon er uendret, så vi kan skrive:

Her er $\widehat{A}_S(\tau)$ avkastningen for elevtrajektorien minus gjennomsnittsavkastningen for gruppen av elevgenererte trajektorier.

I begge variantene lærer hver rolle av trajektorier generert i sin egen kontekst, og begge rollene oppdaterer den delte policyen. Pseudokoden for et treningssteg vises nedenfor.

Forstørr

Eksperimenter

Vi evaluerer JOLT og JOLT+ på benchmarker innen matematisk resonnering, kodegenerering, verktøybruk og terminaloppgaver med lang horisont, med ulike basismodeller og ulike former for privilegert informasjon. Konkret kjører vi eksperimenter med følgende benchmarker, basismodeller og konfigurasjoner av privilegert informasjon:

• GSM8K: Vi trener DeepSeek-V2-Lite på GSM8K, et datasett med matteoppgaver på barneskolenivå. Læreren får det verifiserte svaret på hver oppgave.
• MATH: Vi trener Qwen3-0.6B på MATH. Læreren får gjennomarbeidede referanseløsninger.
• LCBv6: Vi trener Qwen3-8B på 131 kodeoppgaver fra LiveCodeBench-V6. Læreren får en modellgenerert løsning som besto alle treningssynlige tester, eller kjøringstilbakemelding når ingen forsøk besto dem.
• AppWorld: Vi trener Qwen3-4B-Instruct på AppWorld. Læreren får sammendrag av tidligere forsøk.
• Terminal-Bench: Vi trener Qwen3-30B-A3B-Instruct på TMax, et sett med treningsoppgaver for terminalagenter, og evaluerer på Terminal-Bench 2.1. Læreren får privat verifikatorinformasjon.

Vi sammenligner med GRPO, OPSD og π-Distill og justerer hyperparametrene for hver metode. I likhet med JOLT trener π-Distill privilegerte lærer- og elevroller sammen i en delt modell; den bruker imidlertid et annet lærermål, og elevoppdateringen er fortsatt off-policy og baserer seg på lærergenererte trajektorier i stedet for elevens egne genereringer.

Nøyaktighet

JOLT+ har den høyeste gjennomsnittsskåren i alle oppsettene vi evaluerer. Sammenlignet med GRPO, den sterkeste referansemetoden som ble testet, forbedrer den nøyaktigheten på GSM8K med 1,5 prosentpoeng (pp), nøyaktigheten på MATH med 4,2 pp, nøyaktigheten på LCBv6 med 3,0 pp og beståttraten for tilstandstester i AppWorld med 9,9 pp.

Forstørr

Uten noen direkte elevbelønning har JOLT høyere gjennomsnittlig nøyaktighet enn GRPO på GSM8K, MATH og LCBv6. På AppWorld ligger den imidlertid under både GRPO og π-Distill.

Terminal-Bench 2.1 er oppsettet med lengst horisont. JOLT+ har høyest pass@k for alle rapporterte k, fra 10,96 % ved pass@1 til 34,83 % ved pass@32. JOLT slår basismodellen og begge referansemetodene for destillasjon for alle k, men ligger under GRPO. OPSD skårer lavere enn basismodellen for alle k.

Forstørr

Tokeneffektivitet og skalering

Vi er også interessert i hvordan ytelsen skalerer med treningsbudsjettet. Vi evaluerer GRPO, OPSD og JOLT med ulike tokenbudsjetter for trening på MATH og sammenligner den resulterende nøyaktigheten for eleven.

Figuren viser hvordan nøyaktigheten skalerer med tokenforbruket under trening for hver metode. Vi måler kostnaden i prosesserte treningstokener. Dette omfatter hver prompt uten padding, privilegert kontekst, optimeringspass og kryssskåring mellom læreren og eleven.

Forstørr

Punktene viser antall prosesserte treningstokener og nøyaktighet ved ulike sjekkpunkter; feilstolpene representerer ±1 standardavvik på tvers av kjøringer. Vi tilpasser en sigmoid sammenheng mellom nøyaktighet og logaritmen av tokenbudsjettet for trening, i tråd med tidligere arbeid om skalering av RL-beregningskraft.

JOLT viser tidlig prøveeffektivitet og oppnår samtidig den høyeste nøyaktigheten av de tre metodene, med en utflating nær 72 %. OPSD forbedres raskt ved små budsjetter, men flater ut på rundt 62 % nøyaktighet. GRPO lærer saktere i starten, men fortsetter å forbedre seg lenger og klatrer til rundt 70 %. Ved en matchet nøyaktighet på 63,44 % bruker GRPOs observerte sjekkpunkt 8,40 millioner tokener, mens JOLTs tilpassede kurve gir 1,30 millioner, altså 6,5× færre tokener.

Vi måler også kostnaden i fullføringstokener, som teller elevens fullføringer for GRPO og OPSD og både lærerens og elevens fullføringer for JOLT, men utelater prompter, privilegert kontekst og de ekstra optimeringspassene. Når sammenligningen baseres på fullføringstokener i stedet for prosesserte treningstokener, øker effektivitetsgapet til rundt 13× ved samme nøyaktighetsnivå. Over et spenn av målnøyaktigheter bruker JOLT 9,5–14,4× færre fullføringstokener og 4,3–7,4× færre prosesserte treningstokener.

Forstørr

Konklusjon

Privilegert informasjon kan gjøre en lærer bedre til å løse en oppgave uten å gjøre den bedre til å lære en elev å løse den samme oppgaven uten denne informasjonen. JOLT tar tak i dette skillet ved å trene læreren relativt til elevens nåværende atferd.

Denne felles treningen forbedrer både nøyaktighet og effektivitet. Med utfallsbelønninger for eleven oppnår JOLT+ absolutte forbedringer over GRPO på 1,5 prosentpoeng for GSM8K, 4,2 prosentpoeng for MATH, 3,0 prosentpoeng for LCBv6, 9,9 prosentpoeng for AppWorld og 2,7 prosentpoeng for pass@1 på Terminal-Bench 2.1. På MATH bruker JOLT 13× færre fullføringstokener og 6,5× færre prosesserte treningstokener enn GRPO ved samme nøyaktighet, uten direkte elevbelønning.

JOLT lar lærerens veiledning utvikle seg i takt med eleven. Dette gir grunn til å undersøke om læreren også kan lære å generere nyttige treningsoppgaver. En interessant retning for fremtidig arbeid er å trene en oppgavegenererende lærer og en problemløsende elev sammen, og bruke elevens læringsfremgang til å forbedre de genererte oppgavene i en læreplan. Dermed kan syntetisk oppgavegenerering tilpasses det eleven er klar til å lære videre.

Les hele forskningsartikkelen vår for flere detaljer. Vi kommer snart til å gjøre koden tilgjengelig som åpen kildekode.

Sitering

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}