Un bo mestre vai ao encontro do alumno alí onde está

A aprendizaxe por reforzo (RL) úsase amplamente no postadestramento de modelos de linguaxe para mellorar as súas capacidades en tarefas complexas de razoamento e en tarefas axénticas de horizonte longo.

Nunha configuración típica, o modelo fai intentos repetidos nunha tarefa, recibe unha recompensa de resultado por cada un e aprende a favorecer as accións realizadas nos intentos con maior recompensa. Porén, unha única recompensa de resultado ofrece un sinal de aprendizaxe escaso que non distingue que accións intermedias axudaron ou prexudicaron o resultado. Esta escaseza limita a eficiencia de mostraxe, especialmente en tarefas axénticas difíciles, nas que os intentos son longos e os éxitos, pouco frecuentes.

Un enfoque popular para abordar esta escaseza é On-Policy Distillation (OPD), que emprega un modelo mestre máis potente para guiar token a token os propios intentos do alumno e proporciona así recompensas moito máis densas. Porén, ensinar é unha habilidade en si mesma. Un modelo que resolve ben unha tarefa non ten por que ser bo ensinándoa, xa que a súa retroalimentación pode estar fóra do alcance das capacidades actuais do alumno. Isto lévanos a adestrar non só o alumno para que imite o mestre, senón tamén o mestre para que ofreza ao alumno unha orientación mellor axustada.

Propoñemos un método deste tipo, Joint On-policy Learning and Teaching (JOLT). Partindo de On-Policy Self-Distillation (OPSD), usamos un único modelo en dous papeis: un mestre con acceso a información privilexiada, como solucións verificadas, e un alumno sen ese acceso. Adestramos os dous papeis de forma conxunta. O alumno segue o obxectivo de destilación estándar. O obxectivo do mestre impulsa a súa retroalimentación para que mova o alumno na mesma dirección que a RL sobre a propia recompensa do alumno. Xuntos, estes obxectivos adestran o mestre para ir ao encontro do alumno alí onde está e axudan o alumno a aprender dunha orientación ao seu alcance.

Os nosos experimentos demostran melloras tanto no rendemento do modelo como na eficiencia do adestramento nunha variedade de tarefas de razoamento matemático, programación e tarefas axénticas.

Na súa forma máis básica, a RL con recompensa de resultado usa o obxectivo de retorno esperado:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Aquí, $\tau$ é unha traxectoria que segue unha política $\pi_\theta$ , e $R(\tau)$ é o retorno desa traxectoria. O gradiente de política correspondente é:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

onde $s_t$ e $a_t$ representan o estado e a acción, respectivamente, no paso temporal $t$ . Para reducir a varianza das estimacións baseadas en mostras, o gradiente adoita expresarse como:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

onde a vantaxe $A^{\pi_\theta}(s_t, a_t)$ mide o retorno excedente esperado da acción $a_t$ en relación coa política actual no estado $s_t$ . Un enfoque, Group Relative Policy Optimization (GRPO), estima a vantaxe comparando o retorno de cada traxectoria co retorno medio do grupo de mostras xerado para o mesmo prompt.

Con todo, mesmo con estes axustes, a aprendizaxe por reforzo con recompensa de resultado sofre dunha supervisión escasa, especialmente en tarefas difíciles de horizonte longo. Un número crecente de traballos aborda este problema recorrendo a fontes adicionais de información para proporcionar un sinal de aprendizaxe máis denso.

On-Policy Distillation (OPD) é un destes enfoques. En lugar de aprender só dunha recompensa final, OPD extrae mostras de traxectorias do alumno e avalía cada acción extraída segundo un mestre máis potente. Para unha política mestra $\pi_T$ e unha instantánea fixa $\bar{\theta}$ dos parámetros do alumno usados para xerar as traxectorias, o gradiente local avaliado en $\theta = \bar{\theta}$ é:

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Aquí, $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ é o obxectivo de destilación baseado na KL inversa negativa. A política mestra e os prefixos extraídos por mostraxe mantéñense fixos durante a diferenciación. A razón de log-probabilidades entre mestre e alumno proporciona un sinal de aprendizaxe denso en cada estado visitado e substitúe a vantaxe como peso a nivel de acción.

On-Policy Self-Distillation (OPSD) elimina ademais a necesidade dun modelo mestre separado. A política do alumno actúa como o seu propio mestre cando recibe información privilexiada, como unha solución verificada, retroalimentación ou unha traza de referencia. Porén, OPSD só adestra o alumno para imitar o mestre; non hai ningún mecanismo que garanta que o mestre proporcione un sinal útil ao alumno.

JOLT amplía OPSD adestrando un modelo compartido tanto como o mestre que ofrece unha orientación mellor axustada como o alumno que aprende dela. O mestre, mellor informado, aprende das recompensas de resultado cunha regularización KL cara ao alumno, mentres que o alumno sen privilexios aprende do sinal de destilación denso do mestre. A actualización do mestre usa intentos xerados polo mestre, mentres que a do alumno usa intentos xerados polo alumno e puntuados polo mestre. JOLT+ complementa ademais o sinal de destilación do alumno con recompensas de resultado.

Diagrama: unha soa política aprende como mestre e como alumno — Unha soa política aprende como mestre e como alumno.

Un mellor rendemento do mestre non se traduce necesariamente en actualizacións útiles para o alumno. Un mestre pode usar información privilexiada para aproveitar atallos que o alumno non ten ao seu alcance, asignar unha probabilidade alta a traxectorias improbables para o alumno ou ofrecer unha orientación pouco fiable despois de erros nos prefixos xerados polo alumno. Por tanto, a calidade do mestre debería determinarse polo sinal de aprendizaxe que proporciona ao alumno, e non pola súa propia recompensa na tarefa.

Dicimos que un mestre é consistente coa recompensa se a actualización de destilación que induce no alumno coincide co gradiente de política da recompensa esperada do alumno na tarefa, salvo un escalado positivo. En concreto, un mestre consistente coa recompensa $\pi_T^\star$ debería cumprir:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

onde $\beta_T$ é un escalar positivo. Como na sección anterior, $g_{\mathrm{OPD}}$ é o gradiente local de OPD, $\bar\theta$ é unha instantánea fixa dos parámetros do modelo alumno $\theta$ e $g_{\mathrm{RL}}$ é o gradiente de política do obxectivo de retorno esperado.

Un mestre que cumpre esta condición é:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Aquí, $A^{\pi_{\bar{\theta}}}(s, a)$ representa as vantaxes de continuación do alumno e $Z(s)$ é unha constante de normalización que garante unha distribución de probabilidade correcta.

Podemos adestrar un mestre cara á meta ideal $\pi_T^\star$ minimizando a súa diverxencia KL respecto dela. Para un alumno e un estado $s$ fixos, isto dá:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Ao substituír a expresión de $\pi_T^\star$ , obtense un problema de maximización equivalente:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Este obxectivo anima o mestre a escoller accións cunha maior vantaxe para o alumno sen afastarse da distribución de accións do alumno. O parámetro $\beta_T$ controla a forza desta penalización: valores máis grandes manteñen o mestre máis preto do comportamento actual do alumno, mentres que valores máis pequenos permítenlle favorecer de forma máis agresiva as accións de alta vantaxe.

Este obxectivo depende de como continuaría o alumno despois de cada acción, pero esas vantaxes de continuación do alumno xeralmente non están dispoñibles. Por iso, usamos como substituto práctico os retornos centrados das propias traxectorias do mestre. O termo de recompensa anima o mestre a resolver a tarefa, mentres que o termo KL desincentiva as desviacións respecto da distribución de accións actual do alumno. Aínda que o termo KL mantén o mestre preto do alumno, esta substitución non é exacta, xa que os retornos do mestre non teñen por que coincidir coas vantaxes de continuación do alumno.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Aquí, $\widehat{A}_T(\tau)$ é o retorno do intento do mestre menos o retorno medio dos intentos xerados polo mestre no seu grupo. O operador $\operatorname{sg}$ denota stop-gradient (detención do gradiente): o seu argumento trátase como fixo durante a diferenciación, igual que os prefixos extraídos por mostraxe e a referencia do alumno.

A actualización do alumno é unha actualización estándar de OPSD. O alumno xera traxectorias a partir da tarefa. Despois, o mesmo modelo puntúa cada token extraído coa información privilexiada no contexto. O obxectivo do alumno penaliza a diverxencia KL inversa entre o alumno e este mestre privilexiado en cada estado que visita o alumno:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Deste xeito, refórzanse os tokens que o mestre prefire, mentres que se suprimen aqueles que o mestre considera menos probables que o alumno.

Ao combinar os obxectivos do mestre e do alumno, obtense o obxectivo de adestramento conxunto:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ é un escalar que determina canto pesa a perda de destilación do alumno na actualización combinada.

O resultado de consistencia coa recompensa caracteriza a actualización de destilación do alumno para un mestre dado. JOLT usa este principio para guiar o adestramento conxunto, combinando os obxectivos do mestre e do alumno para actualizar os seus parámetros compartidos.

JOLT+ engade tamén á súa actualización a propia recompensa de resultado do alumno. O retorno centrado de cada traxectoria do alumno súmase ao sinal de destilación, o que combina a supervisión densa do mestre coa retroalimentación directa de resultado sobre as traxectorias do alumno. O obxectivo do mestre non cambia, así que podemos escribir:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Aquí, $\widehat{A}_S(\tau)$ é o retorno da traxectoria do alumno menos o retorno medio do seu grupo de traxectorias xeradas polo alumno.

En ambas as variantes, cada papel aprende de traxectorias xeradas no seu propio contexto, e os dous papeis actualizan a política compartida. Abaixo móstrase o pseudocódigo dun paso de adestramento.

Pseudocódigo de JOLT que mostra a xeración do mestre cunha pista, a xeración do alumno sen ela, a puntuación entre contextos e unha actualización da política compartida. JOLT+ engade recompensas de resultado para os intentos do alumno. — Pseudocódigo dun paso de adestramento de JOLT.

Avaliamos JOLT e JOLT+ en bancos de probas que abarcan razoamento matemático, xeración de código, uso de ferramentas e tarefas de terminal de horizonte longo, con distintos modelos base e distintas formas de información privilexiada. En concreto, realizamos experimentos coas seguintes configuracións de bancos de probas, modelos base e información privilexiada:

GSM8K: adestramos DeepSeek-V2-Lite en GSM8K, un conxunto de datos de problemas de matemáticas de primaria. O mestre recibe a resposta verificada de cada problema.
MATH: adestramos Qwen3-0.6B en MATH. O mestre recibe solucións de referencia desenvolvidas paso a paso.
LCBv6: adestramos Qwen3-8B en 131 problemas de programación de LiveCodeBench-V6. O mestre recibe unha solución xerada polo modelo que superou todas as probas visibles no adestramento ou, se ningún intento as superou, a retroalimentación da execución.
AppWorld: adestramos Qwen3-4B-Instruct en AppWorld. O mestre recibe resumos dos intentos anteriores.
Terminal-Bench: adestramos Qwen3-30B-A3B-Instruct en TMax, un conxunto de tarefas de adestramento para axentes de terminal, e avaliamos en Terminal-Bench 2.1. O mestre recibe información privada do verificador.

Comparamos con GRPO, OPSD e π-Distill, axustando os hiperparámetros de cada método. Do mesmo xeito que JOLT, π-Distill adestra conxuntamente os papeis de mestre privilexiado e de alumno nun modelo compartido; con todo, usa unha meta do mestre diferente e a súa actualización do alumno segue sendo off-policy, xa que se basea en traxectorias xeradas polo mestre en lugar das propias xeracións do alumno.

JOLT+ obtén a puntuación media máis alta en todas as configuracións que avaliamos. En comparación con GRPO, a referencia máis sólida das probadas, mellora a precisión en GSM8K en 1,5 puntos porcentuais (pp), a precisión en MATH en 4,2 pp, a precisión en LCBv6 en 3,0 pp e a taxa de superación das probas de estado de AppWorld en 9,9 pp.

Gráfico de puntos e bigotes: JOLT+ obtén a puntuación media máis alta nos catro bancos de probas — JOLT+ obtén a puntuación media máis alta nos catro bancos de probas.

Sen ningunha recompensa directa para o alumno, a precisión media de JOLT é superior á de GRPO en GSM8K, MATH e LCBv6. Porén, en AppWorld queda por debaixo tanto de GRPO como de π-Distill.

Terminal-Bench 2.1 é a configuración de horizonte máis longo. JOLT+ ten o pass@k máis alto en todos os valores de k indicados, desde o 10,96 % en pass@1 ata o 34,83 % en pass@32. JOLT mellora o modelo base e as dúas referencias de destilación en todos os valores de k, pero queda por debaixo de GRPO. OPSD puntúa por debaixo do modelo base en todos os valores de k.

Gráfico de liñas: JOLT+ lidera Terminal-Bench con calquera orzamento de intentos — JOLT+ lidera Terminal-Bench con calquera orzamento de intentos.

Tamén nos interesa saber como escala o rendemento co orzamento de adestramento. Avaliamos GRPO, OPSD e JOLT con distintos orzamentos de tokens de adestramento en MATH e comparamos a precisión resultante do alumno.

A figura mostra como escala a precisión co gasto de tokens de adestramento en cada método. Medimos o custo en tokens de adestramento procesados. Isto inclúe cada prompt sen recheo, o contexto privilexiado, cada pase de optimización e a puntuación cruzada entre o mestre e o alumno.

Gráfico de dispersión con curvas axustadas: JOLT necesita menos tokens para alcanzar a precisión de GRPO — JOLT necesita menos tokens para alcanzar a precisión de GRPO.

Os puntos mostran o número de tokens de adestramento procesados e a precisión en varios puntos de control; os bigotes representan ±1 desviación típica entre execucións. Axustamos unha relación sigmoide entre a precisión e o logaritmo do orzamento de tokens de adestramento, seguindo traballos previos sobre o escalado da computación de RL.

JOLT mostra unha eficiencia de mostraxe temperá e, ao mesmo tempo, alcanza a maior precisión dos tres métodos: estabilízase preto do 72 %. OPSD mellora rapidamente con orzamentos pequenos, pero estáncase arredor do 62 % de precisión. GRPO aprende máis lentamente ao principio, pero segue mellorando durante máis tempo e chega a preto do 70 %. Cunha precisión equiparada do 63,44 %, o punto de control observado de GRPO usa 8,40 millóns de tokens, mentres que a curva axustada de JOLT dá 1,30 millóns, é dicir, 6,5 veces menos tokens.

Tamén medimos o custo mediante tokens de completado, que contabilizan as respostas xeradas polo alumno en GRPO e OPSD, e as do mestre e do alumno en JOLT, pero omiten os prompts, o contexto privilexiado e os pases de optimización adicionais. A comparación baseada en tokens de completado, en lugar de tokens de adestramento procesados, amplía a diferenza de eficiencia a unhas 13 veces co mesmo nivel de precisión. Nun intervalo de precisións obxectivo, JOLT usa entre 9,5 e 14,4 veces menos tokens de completado e entre 4,3 e 7,4 veces menos tokens de adestramento procesados.

Gráfico de pesas: a vantaxe de JOLT en tokens mantense entre o 55 % e o 65 % de precisión — A vantaxe de JOLT en tokens mantense entre o 55 % e o 65 % de precisión.

A información privilexiada pode facer que un mestre resolva mellor unha tarefa sen que por iso ensine mellor a un alumno a resolver esa mesma tarefa sen esa información. JOLT aborda esta distinción adestrando o mestre en relación co comportamento actual do alumno.

Este adestramento conxunto mellora tanto a precisión como a eficiencia. Con recompensas de resultado para o alumno, JOLT+ logra melloras absolutas fronte a GRPO de 1,5 pp en GSM8K, 4,2 pp en MATH, 3,0 pp en LCBv6, 9,9 pp en AppWorld e 2,7 pp en pass@1 de Terminal-Bench 2.1. En MATH, cunha precisión equiparada, JOLT usa 13 veces menos tokens de completado e 6,5 veces menos tokens de adestramento procesados que GRPO, sen recompensa directa para o alumno.

JOLT permite que a orientación do mestre evolucione xunto co alumno. Isto invita a explorar se o mestre tamén pode aprender a xerar tarefas de adestramento útiles. Unha liña interesante para traballos futuros é adestrar conxuntamente un mestre que xere tarefas e un alumno que resolva problemas, usando o progreso na aprendizaxe do alumno para mellorar as tarefas xeradas nun currículo. Isto podería facer que a xeración de tarefas sintéticas responda ao que o alumno está preparado para aprender a continuación.

Le o noso artigo completo para máis detalles. Proximamente publicaremos o código como código aberto.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Introdución

De recompensas escasas a retroalimentación densa

Aprendizaxe e ensino on-policy conxuntos

Adestramento do mestre

Definir que debe facer un mestre

Da meta ideal a un obxectivo para o mestre

Un obxectivo substituto práctico

Adestramento do alumno

Xuntando as pezas

Experimentos

Precisión

Eficiencia de tokens e escalado

Conclusión

Cita