Un bon professor va a trobar l’estudiant allà on és

L’aprenentatge per reforç (RL) s’utilitza àmpliament en el postentrenament de models de llenguatge per millorar-ne les capacitats en tasques complexes de raonament i en tasques agèntiques d’horitzó llarg.

En una configuració típica, el model fa intents repetits d’una tasca, rep una recompensa de resultat per a cadascun i aprèn a afavorir les accions dels intents amb més recompensa. Tanmateix, una única recompensa de resultat proporciona un senyal d’aprenentatge escàs que no distingeix quines accions intermèdies han ajudat o perjudicat el resultat. Aquesta escassetat limita l’eficiència de mostreig, especialment en tasques agèntiques difícils, on els intents són llargs i els èxits, rars.

Un enfocament popular per abordar aquesta escassetat és la destil·lació on-policy (On-Policy Distillation, OPD), que fa servir un model professor més potent per guiar token a token els intents del mateix estudiant i proporciona així recompenses molt més denses. Tanmateix, ensenyar és una habilitat en si mateixa. Un model que resol bé una tasca no necessàriament sap ensenyar-la bé, ja que la seva retroalimentació pot quedar fora de l’abast de les capacitats actuals de l’estudiant. Això motiva entrenar no només l’estudiant perquè imiti el professor, sinó també el professor perquè proporcioni a l’estudiant una guia més ben alineada.

Proposem un d’aquests mètodes, Joint On-policy Learning and Teaching (JOLT, aprenentatge i ensenyament conjunts on-policy). A partir de l’autodestil·lació on-policy (On-Policy Self-Distillation, OPSD), fem servir un sol model en dos rols: un professor amb accés a informació privilegiada, com ara solucions verificades, i un estudiant sense aquest accés. Entrenem els dos rols conjuntament. L’estudiant segueix l’objectiu de destil·lació estàndard. L’objectiu del professor fa que la seva retroalimentació mogui l’estudiant en la mateixa direcció que l’RL sobre la recompensa pròpia de l’estudiant. Junts, aquests objectius entrenen el professor perquè vagi a trobar l’estudiant allà on és i ajudi l’estudiant a aprendre d’una guia que tingui al seu abast.

Els nostres experiments demostren millores tant en el rendiment del model com en l’eficiència de l’entrenament en un ventall de tasques de raonament matemàtic, de programació i agèntiques.

En la seva forma més bàsica, l’RL amb recompensa de resultat fa servir l’objectiu de retorn esperat:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Aquí, $\tau$ és una trajectòria que segueix una política $\pi_\theta$ , i $R(\tau)$ és el retorn d’aquesta trajectòria. El gradient de política corresponent és:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

on $s_t$ i $a_t$ representen, respectivament, l’estat i l’acció en el pas de temps $t$ . Per reduir la variància de les estimacions basades en mostres, el gradient sovint s’expressa així:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

on l’avantatge $A^{\pi_\theta}(s_t, a_t)$ mesura el retorn excedent esperat de l’acció $a_t$ respecte de la política actual a l’estat $s_t$ . Un enfocament, Group Relative Policy Optimization (GRPO), estima l’avantatge comparant el retorn de cada trajectòria amb el retorn mitjà del grup mostrejat per al mateix prompt.

Tanmateix, fins i tot amb aquests ajustos, l’aprenentatge per reforç amb recompensa de resultat pateix una supervisió escassa, sobretot en tasques difícils i d’horitzó llarg. Un nombre creixent de treballs ho aborda recorrent a fonts d’informació addicionals per proporcionar un senyal d’aprenentatge més dens.

La destil·lació on-policy (OPD) és un d’aquests enfocaments. En lloc d’aprendre només d’una recompensa final, l’OPD mostreja trajectòries de l’estudiant i avalua cada acció mostrejada amb un professor més potent. Per a una política del professor $\pi_T$ i una instantània fixa $\bar{\theta}$ dels paràmetres de l’estudiant que s’han fet servir per generar les trajectòries, el gradient local avaluat a $\theta = \bar{\theta}$ és:

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Aquí, $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ és l’objectiu de destil·lació de KL inversa negativa. La política del professor i els prefixos mostrejats es mantenen fixos durant la diferenciació. La ràtio de log-probabilitat entre professor i estudiant proporciona un senyal d’aprenentatge dens a cada estat visitat i substitueix l’avantatge com a pes a nivell d’acció.

L’autodestil·lació on-policy (OPSD) elimina, a més, la necessitat d’un model professor separat. La política de l’estudiant actua com a professor de si mateixa quan disposa d’informació privilegiada, com ara una solució verificada, retroalimentació o una traça de referència. Tanmateix, l’OPSD només entrena l’estudiant perquè imiti el professor; no hi ha cap mecanisme que garanteixi que el professor proporcioni un senyal útil a l’estudiant.

JOLT amplia l’OPSD entrenant un model compartit alhora com a professor, que proporciona una guia més ben alineada, i com a estudiant, que n’aprèn. El professor, més ben informat, aprèn de recompenses de resultat amb regularització KL cap a l’estudiant, mentre que l’estudiant sense privilegis aprèn del senyal de destil·lació dens del professor. L’actualització del professor fa servir intents generats pel professor, mentre que l’actualització de l’estudiant fa servir intents generats per l’estudiant i puntuats pel professor. A més, JOLT+ complementa el senyal de destil·lació de l’estudiant amb recompenses de resultat.

Diagrama: una sola política aprèn alhora com a professor i com a estudiant — Una sola política aprèn alhora com a professor i com a estudiant.

Un millor rendiment del professor no es tradueix necessàriament en actualitzacions útils per a l’estudiant. Un professor pot fer servir informació privilegiada per aprofitar dreceres que l’estudiant no té al seu abast, assignar una probabilitat alta a trajectòries que són poc probables per a l’estudiant o proporcionar una guia poc fiable després d’errors en prefixos generats per l’estudiant. Per tant, la qualitat del professor s’hauria de determinar pel senyal d’aprenentatge que proporciona a l’estudiant, i no per la recompensa que el mateix professor obté en la tasca.

Diem que un professor és consistent amb la recompensa si l’actualització de destil·lació que indueix en l’estudiant coincideix amb el gradient de política de la recompensa esperada de l’estudiant en la tasca, llevat d’un factor d’escala positiu. En concret, un professor consistent amb la recompensa $\pi_T^\star$ ha de complir:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

on $\beta_T$ és un escalar positiu. Com a la secció anterior, $g_{\mathrm{OPD}}$ és el gradient local de l’OPD, $\bar\theta$ és una instantània fixa dels paràmetres del model estudiant $\theta$ i $g_{\mathrm{RL}}$ és el gradient de política de l’objectiu de retorn esperat.

Un professor que compleix aquesta condició és:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Aquí, $A^{\pi_{\bar{\theta}}}(s, a)$ representen els avantatges de continuació de l’estudiant i $Z(s)$ és una constant de normalització que garanteix una distribució de probabilitat vàlida.

Podem entrenar un professor cap a l’objectiu ideal $\pi_T^\star$ minimitzant la seva divergència KL respecte d’aquest objectiu. Per a un estudiant i un estat $s$ fixos, això dona:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Substituint l’expressió de $\pi_T^\star$ s’obté un problema de maximització equivalent:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Aquest objectiu anima el professor a triar accions amb un avantatge més alt per a l’estudiant sense allunyar-se de la distribució d’accions de l’estudiant. El paràmetre $\beta_T$ controla la intensitat d’aquesta penalització: els valors més grans mantenen el professor més a prop del comportament actual de l’estudiant, mentre que els més petits li permeten afavorir de manera més agressiva les accions amb un avantatge alt.

Aquest objectiu depèn de com continuaria l’estudiant després de cada acció, però aquests avantatges de continuació de l’estudiant generalment no estan disponibles. Per això, fem servir com a substitut pràctic els retorns centrats de les trajectòries del mateix professor. El terme de recompensa anima el professor a resoldre la tasca, mentre que el terme KL desincentiva que s’allunyi de la distribució d’accions actual de l’estudiant. Tot i que el terme KL manté el professor a prop de l’estudiant, aquesta substitució no és exacta, ja que els retorns del professor no tenen per què coincidir amb els avantatges de continuació de l’estudiant.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Aquí, $\widehat{A}_T(\tau)$ és el retorn de l’intent del professor menys el retorn mitjà dels intents generats pel professor dins del seu grup. L’operador $\operatorname{sg}$ denota stop-gradient: el seu argument es tracta com a fix durant la diferenciació, igual que els prefixos mostrejats i la referència de l’estudiant.

L’actualització de l’estudiant és una actualització OPSD estàndard. L’estudiant genera trajectòries a partir de la tasca. A continuació, el mateix model puntua cada token mostrejat amb la informació privilegiada en context. L’objectiu de l’estudiant penalitza la divergència KL inversa entre l’estudiant i aquest professor privilegiat a cada estat que visita l’estudiant:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Per tant, es reforcen els tokens que el professor prefereix i se suprimeixen els que el professor considera menys probables que l’estudiant.

Combinant els objectius del professor i de l’estudiant s’obté l’objectiu d’entrenament conjunt:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ és un escalar que determina quant pesa la pèrdua de destil·lació de l’estudiant en l’actualització combinada.

El resultat de consistència amb la recompensa caracteritza l’actualització de destil·lació de l’estudiant per a un professor donat. JOLT fa servir aquest principi per guiar l’entrenament conjunt i combina els objectius del professor i de l’estudiant per actualitzar-ne els paràmetres compartits.

JOLT+ també afegeix a l’actualització de l’estudiant la seva pròpia recompensa de resultat. El retorn centrat de cada trajectòria de l’estudiant s’afegeix al senyal de destil·lació, cosa que combina la supervisió densa del professor amb retroalimentació directa de resultat sobre les trajectòries de l’estudiant. L’objectiu del professor no canvia, de manera que podem escriure:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Aquí, $\widehat{A}_S(\tau)$ és el retorn de la trajectòria de l’estudiant menys el retorn mitjà del seu grup de trajectòries generades per l’estudiant.

En totes dues variants, cada rol aprèn de trajectòries generades en el seu propi context, i tots dos rols actualitzen la política compartida. A continuació es mostra el pseudocodi d’un pas d’entrenament.

Pseudocodi de JOLT que mostra la generació del professor amb una pista, la generació de l’estudiant sense pista, la puntuació entre contextos i una actualització compartida de la política. JOLT+ afegeix recompenses de resultat per als intents de l’estudiant. — Pseudocodi d’un pas d’entrenament de JOLT.

Avaluem JOLT i JOLT+ en benchmarks que abasten raonament matemàtic, generació de codi, ús d’eines i tasques de terminal d’horitzó llarg, amb diferents models base i diferents formes d’informació privilegiada. En concret, fem experiments amb els benchmarks, els models base i les configuracions d’informació privilegiada següents:

GSM8K: entrenem DeepSeek-V2-Lite amb GSM8K, un conjunt de dades de problemes de matemàtiques de primària. El professor rep la resposta verificada de cada problema.
MATH: entrenem Qwen3-0.6B amb MATH. El professor rep solucions de referència desenvolupades.
LCBv6: entrenem Qwen3-8B amb 131 problemes de programació de LiveCodeBench-V6. El professor rep una solució generada pel model que ha superat totes les proves visibles durant l’entrenament o bé retroalimentació d’execució quan cap intent no les ha superat.
AppWorld: entrenem Qwen3-4B-Instruct amb AppWorld. El professor rep resums dels intents anteriors.
Terminal-Bench: entrenem Qwen3-30B-A3B-Instruct amb TMax, un conjunt de tasques d’entrenament per a agents de terminal, i l’avaluem amb Terminal-Bench 2.1. El professor rep informació privada del verificador.

Comparem JOLT amb GRPO, OPSD i π-Distill, i ajustem els hiperparàmetres de cada mètode. Com JOLT, π-Distill entrena conjuntament els rols de professor privilegiat i d’estudiant dins d’un model compartit; tanmateix, fa servir un objectiu de professor diferent i la seva actualització de l’estudiant continua sent off-policy, ja que es basa en trajectòries generades pel professor en lloc de basar-se en les generacions pròpies de l’estudiant.

JOLT+ obté la puntuació mitjana més alta en tots els escenaris que avaluem. En comparació amb GRPO, la referència més sòlida que hem provat, millora la precisió a GSM8K en 1,5 punts percentuals (pp), la precisió a MATH en 4,2 pp, la precisió a LCBv6 en 3,0 pp i la taxa d’èxit en les proves d’estat d’AppWorld en 9,9 pp.

Gràfic de punts i bigotis: JOLT+ obté la puntuació mitjana més alta en els quatre benchmarks — JOLT+ obté la puntuació mitjana més alta en els quatre benchmarks.

Sense cap recompensa directa per a l’estudiant, la precisió mitjana de JOLT és superior a la de GRPO a GSM8K, MATH i LCBv6. Tanmateix, a AppWorld queda per sota tant de GRPO com de π-Distill.

Terminal-Bench 2.1 és l’escenari amb l’horitzó més llarg. JOLT+ obté el pass@k més alt per a cada valor de k presentat, des del 10,96 % en pass@1 fins al 34,83 % en pass@32. JOLT millora respecte del model base i de les dues referències de destil·lació per a cada k, però queda per sota de GRPO. OPSD puntua per sota del model base per a cada k.

Gràfic de línies: JOLT+ lidera Terminal-Bench amb qualsevol pressupost d’intents — JOLT+ lidera Terminal-Bench amb qualsevol pressupost d’intents.

També ens interessa com escala el rendiment segons el pressupost d’entrenament. Avaluem GRPO, OPSD i JOLT amb diferents pressupostos de tokens d’entrenament a MATH i comparem la precisió resultant de l’estudiant.

La figura mostra com escala la precisió segons la despesa de tokens d’entrenament de cada mètode. Mesurem el cost en tokens d’entrenament processats. Això inclou cada prompt sense farciment, el context privilegiat, cada passada d’optimització i la puntuació creuada entre el professor i l’estudiant.

Diagrama de dispersió amb corbes ajustades: JOLT necessita menys tokens per assolir la precisió de GRPO — JOLT necessita menys tokens per assolir la precisió de GRPO.

Els punts mostren el nombre de tokens d’entrenament processats i la precisió en diversos punts de control; els bigotis representen ±1 desviació estàndard entre execucions. Ajustem una relació sigmoidal entre la precisió i el logaritme del pressupost de tokens d’entrenament, seguint treballs previs sobre l’escalat del còmput d’RL.

JOLT mostra una eficiència de mostreig elevada des del principi i alhora assoleix la precisió més alta dels tres mètodes: s’estabilitza a prop del 72 %. OPSD millora ràpidament amb pressupostos petits, però s’estanca al voltant del 62 % de precisió. GRPO aprèn més lentament al principi, però continua millorant durant més temps i arriba al voltant del 70 %. Amb una precisió equivalent del 63,44 %, el punt de control observat de GRPO fa servir 8,40 milions de tokens, mentre que la corba ajustada de JOLT en dona 1,30 milions: 6,5× menys tokens.

També mesurem el cost amb tokens de compleció, que compten les complecions de l’estudiant en el cas de GRPO i OPSD, i les complecions tant del professor com de l’estudiant en el cas de JOLT, però ometen els prompts, el context privilegiat i les passades d’optimització addicionals. La comparació basada en tokens de compleció en lloc de tokens d’entrenament processats amplia la diferència d’eficiència fins a aproximadament 13× amb el mateix nivell de precisió. En un rang de precisions objectiu, JOLT fa servir entre 9,5 i 14,4× menys tokens de compleció i entre 4,3 i 7,4× menys tokens d’entrenament processats.

Gràfic de punts connectats: l’avantatge de JOLT en tokens es manté entre el 55 % i el 65 % de precisió — L’avantatge de JOLT en tokens es manté entre el 55 % i el 65 % de precisió.

La informació privilegiada pot fer que un professor resolgui millor una tasca sense que per això ensenyi millor un estudiant a resoldre la mateixa tasca sense aquesta informació. JOLT aborda aquesta distinció entrenant el professor en funció del comportament actual de l’estudiant.

Aquest entrenament conjunt millora tant la precisió com l’eficiència. Amb recompenses de resultat per a l’estudiant, JOLT+ aconsegueix guanys absoluts respecte de GRPO d’1,5 pp a GSM8K, 4,2 pp a MATH, 3,0 pp a LCBv6, 9,9 pp a AppWorld i 2,7 pp en pass@1 a Terminal-Bench 2.1. A MATH, amb la mateixa precisió, JOLT fa servir 13× menys tokens de compleció i 6,5× menys tokens d’entrenament processats que GRPO, sense recompensa directa per a l’estudiant.

JOLT permet que la guia del professor evolucioni al mateix ritme que l’estudiant. Això motiva explorar si el professor també pot aprendre a generar tasques d’entrenament útils. Una línia interessant per a treballs futurs és entrenar conjuntament un professor que generi tasques i un estudiant que resolgui problemes, fent servir el progrés d’aprenentatge de l’estudiant per millorar les tasques generades dins d’un currículum. Això podria fer que la generació de tasques sintètiques s’adaptés a allò que l’estudiant està preparat per aprendre a continuació.

Llegiu el nostre article complet per obtenir-ne més detalls. Aviat alliberarem el codi.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Introducció

De recompenses escasses a retroalimentació densa

Aprenentatge i ensenyament conjunts on-policy

Entrenament del professor

Definir què ha de fer un professor

De l’objectiu ideal a un objectiu per al professor

Un objectiu substitut pràctic

Entrenament de l’estudiant

Combinant-ho tot

Experiments

Precisió

Eficiència de tokens i escalat

Conclusió

Citació