Un buen maestro parte de donde está el estudiante

El aprendizaje por refuerzo (RL) se usa ampliamente en el posentrenamiento de modelos de lenguaje para mejorar sus capacidades en tareas complejas de razonamiento y en tareas agénticas de horizonte largo.

En una configuración típica, el modelo hace intentos repetidos de una tarea, recibe una recompensa por resultado por cada uno y aprende a favorecer las acciones tomadas en los intentos con mayor recompensa. Sin embargo, una sola recompensa por resultado proporciona una señal de aprendizaje dispersa que no distingue qué acciones intermedias ayudaron o perjudicaron al resultado. Esta dispersión limita la eficiencia de muestreo, sobre todo en tareas agénticas difíciles, donde los intentos son largos y los éxitos, escasos.

Un enfoque popular para abordar esta dispersión es On-Policy Distillation (OPD), que usa un modelo maestro más potente para guiar token por token los propios intentos del estudiante, lo que proporciona recompensas mucho más densas. Sin embargo, enseñar es una habilidad en sí misma. Un modelo que es bueno resolviendo una tarea no necesariamente es bueno enseñándola, ya que su retroalimentación puede quedar fuera del alcance de las capacidades actuales del estudiante. Esto motiva entrenar no solo al estudiante para que imite al maestro, sino también al maestro para que brinde una guía mejor alineada con el estudiante.

Proponemos uno de estos métodos: Joint On-policy Learning and Teaching (JOLT). Partiendo de On-Policy Self-Distillation (OPSD), usamos un solo modelo en dos roles: un maestro con acceso a información privilegiada, como soluciones verificadas, y un estudiante sin ese acceso. Entrenamos ambos roles de forma conjunta. El estudiante sigue el objetivo de destilación estándar. El objetivo del maestro impulsa su retroalimentación para que mueva al estudiante en la misma dirección en que lo haría el RL sobre la propia recompensa del estudiante. Juntos, estos objetivos entrenan al maestro para partir de donde está el estudiante y ayudan al estudiante a aprender de una guía a su alcance.

Nuestros experimentos demuestran mejoras tanto en el rendimiento del modelo como en la eficiencia del entrenamiento en diversas tareas de razonamiento matemático, programación y agénticas.

En su forma más básica, el RL con recompensa por resultado usa el objetivo de retorno esperado:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Aquí, $\tau$ es una trayectoria que sigue una política $\pi_\theta$ , y $R(\tau)$ es el retorno de esa trayectoria. El gradiente de política correspondiente es:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

donde $s_t$ y $a_t$ representan el estado y la acción, respectivamente, en el paso de tiempo $t$ . Para reducir la varianza de las estimaciones basadas en muestras, el gradiente suele expresarse como:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

donde la ventaja $A^{\pi_\theta}(s_t, a_t)$ mide el retorno excedente esperado de la acción $a_t$ en relación con la política actual en el estado $s_t$ . Un enfoque, Group Relative Policy Optimization (GRPO), estima la ventaja comparando el retorno de cada trayectoria con el retorno medio del grupo muestreado para el mismo prompt.

Sin embargo, incluso con estos ajustes, el aprendizaje por refuerzo con recompensa por resultado sufre de supervisión dispersa, sobre todo en tareas difíciles de horizonte largo. Un creciente conjunto de trabajos aborda este problema recurriendo a fuentes de información adicionales para proporcionar una señal de aprendizaje más densa.

On-Policy Distillation (OPD) es uno de estos enfoques. En lugar de aprender solo de una recompensa final, OPD muestrea trayectorias del estudiante y evalúa cada acción muestreada con un maestro más potente. Para una política maestra $\pi_T$ y una instantánea fija $\bar{\theta}$ de los parámetros del estudiante usada para generar las trayectorias, el gradiente local evaluado en $\theta = \bar{\theta}$ es:

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Aquí, $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ es el objetivo de destilación de KL inversa negativa. La política maestra y los prefijos muestreados se mantienen fijos durante la diferenciación. La razón de log-probabilidades entre maestro y estudiante proporciona una señal de aprendizaje densa en cada estado visitado y reemplaza a la ventaja como ponderación a nivel de acción.

On-Policy Self-Distillation (OPSD) elimina además la necesidad de un modelo maestro independiente. La política del estudiante actúa como su propio maestro cuando recibe información privilegiada, como una solución verificada, retroalimentación o una traza de referencia. Sin embargo, OPSD solo entrena al estudiante para imitar al maestro; no hay ningún mecanismo que garantice que el maestro proporcione una señal útil al estudiante.

JOLT amplía OPSD al entrenar un modelo compartido para que actúe a la vez como el maestro que proporciona una guía mejor alineada y como el estudiante que aprende de ella. El maestro, mejor informado, aprende de las recompensas por resultado con regularización KL hacia el estudiante, mientras que el estudiante sin privilegios aprende de la señal densa de destilación del maestro. La actualización del maestro usa intentos generados por el maestro, mientras que la del estudiante usa intentos generados por el estudiante y puntuados por el maestro. JOLT+ complementa además la señal de destilación del estudiante con recompensas por resultado.

Diagrama: una sola política aprende como maestro y como estudiante — Una sola política aprende como maestro y como estudiante.

Un mejor rendimiento del maestro no se traduce necesariamente en actualizaciones útiles para el estudiante. Un maestro puede usar información privilegiada para aprovechar atajos que el estudiante no tiene a su alcance, asignar una probabilidad alta a trayectorias poco probables para el estudiante o dar una guía poco confiable después de errores en prefijos generados por el estudiante. Por lo tanto, la calidad del maestro debe determinarse por la señal de aprendizaje que le proporciona al estudiante, y no por la recompensa que el propio maestro obtiene en la tarea.

Decimos que un maestro es consistente con la recompensa si la actualización de destilación que induce en el estudiante coincide con el gradiente de política de la recompensa esperada del estudiante en la tarea, salvo por un escalamiento positivo. En concreto, un maestro consistente con la recompensa $\pi_T^\star$ debe cumplir:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

donde $\beta_T$ es un escalar positivo. Como en la sección anterior, $g_{\mathrm{OPD}}$ es el gradiente local de OPD, $\bar\theta$ es una instantánea fija de los parámetros del modelo estudiante $\theta$ y $g_{\mathrm{RL}}$ es el gradiente de política del objetivo de retorno esperado.

Un maestro que cumple esta condición es:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Aquí, $A^{\pi_{\bar{\theta}}}(s, a)$ representan las ventajas de continuación del estudiante y $Z(s)$ es una constante de normalización que garantiza una distribución de probabilidad válida.

Podemos entrenar a un maestro hacia el objetivo ideal $\pi_T^\star$ minimizando su divergencia KL respecto a él. Para un estudiante fijo y un estado $s$ fijo, esto da:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Al sustituir la expresión de $\pi_T^\star$ , se obtiene un problema de maximización equivalente:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Este objetivo anima al maestro a elegir acciones con mayor ventaja para el estudiante sin alejarse de la distribución de acciones del estudiante. El parámetro $\beta_T$ controla la intensidad de esta penalización: los valores más grandes mantienen al maestro más cerca del comportamiento actual del estudiante, mientras que los más pequeños le permiten favorecer de forma más agresiva las acciones de alta ventaja.

Este objetivo depende de qué tan bien continuaría el estudiante después de cada acción, pero esas ventajas de continuación del estudiante generalmente no están disponibles. Por ello, usamos como sustituto práctico los retornos centrados de las propias trayectorias del maestro. El término de recompensa anima al maestro a resolver la tarea, mientras que el término KL desalienta que se aparte de la distribución de acciones actual del estudiante. Aunque el término KL mantiene al maestro cerca del estudiante, esta sustitución no es exacta, ya que los retornos del maestro no tienen por qué coincidir con las ventajas de continuación del estudiante.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Aquí, $\widehat{A}_T(\tau)$ es el retorno del intento del maestro menos el retorno medio de los intentos generados por el maestro en su grupo. El operador $\operatorname{sg}$ denota stop-gradient (detención del gradiente): su argumento se trata como fijo durante la diferenciación, al igual que los prefijos muestreados y la referencia del estudiante.

La actualización del estudiante es una actualización estándar de OPSD. El estudiante genera trayectorias a partir de la tarea. Luego, el mismo modelo puntúa cada token muestreado con la información privilegiada en el contexto. El objetivo del estudiante penaliza la divergencia KL inversa entre el estudiante y este maestro privilegiado en cada estado que visita el estudiante:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Así, se refuerzan los tokens que el maestro prefiere, mientras que se suprimen los que el maestro considera menos probables de lo que los considera el estudiante.

Al combinar los objetivos del maestro y del estudiante se obtiene el objetivo de entrenamiento conjunto:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ es un escalar que determina cuánto pesa la pérdida de destilación del estudiante en la actualización combinada.

El resultado de consistencia con la recompensa caracteriza la actualización de destilación del estudiante para un maestro dado. JOLT usa este principio para guiar el entrenamiento conjunto y combina los objetivos del maestro y del estudiante para actualizar sus parámetros compartidos.

JOLT+ también agrega a la actualización del estudiante su propia recompensa por resultado. El retorno centrado de cada trayectoria del estudiante se suma a la señal de destilación, lo que combina la supervisión densa del maestro con la retroalimentación directa del resultado sobre las trayectorias del estudiante. El objetivo del maestro no cambia, así que podemos escribir:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Aquí, $\widehat{A}_S(\tau)$ es el retorno de la trayectoria del estudiante menos el retorno medio de su grupo de trayectorias generadas por el estudiante.

En ambas variantes, cada rol aprende de trayectorias generadas en su propio contexto, y ambos roles actualizan la política compartida. A continuación se muestra el pseudocódigo de un paso de entrenamiento.

Pseudocódigo de JOLT que muestra la generación del maestro con una pista, la generación del estudiante sin ella, la puntuación entre contextos y una actualización de la política compartida. JOLT+ agrega recompensas por resultado para los intentos del estudiante. — Pseudocódigo de un paso de entrenamiento de JOLT.

Evaluamos JOLT y JOLT+ en benchmarks que abarcan razonamiento matemático, generación de código, uso de herramientas y tareas de terminal de horizonte largo, con distintos modelos base y distintas formas de información privilegiada. En concreto, realizamos experimentos con los siguientes benchmarks, modelos base y configuraciones de información privilegiada:

GSM8K: entrenamos DeepSeek-V2-Lite con GSM8K, un conjunto de datos de problemas de matemáticas de nivel primaria. El maestro recibe la respuesta verificada de cada problema.
MATH: entrenamos Qwen3-0.6B con MATH. El maestro recibe soluciones de referencia desarrolladas paso a paso.
LCBv6: entrenamos Qwen3-8B con 131 problemas de programación de LiveCodeBench-V6. El maestro recibe una solución generada por el modelo que pasó todas las pruebas visibles durante el entrenamiento o, si ningún intento las pasó, retroalimentación de la ejecución.
AppWorld: entrenamos Qwen3-4B-Instruct con AppWorld. El maestro recibe resúmenes de intentos anteriores.
Terminal-Bench: entrenamos Qwen3-30B-A3B-Instruct con TMax, un conjunto de tareas de entrenamiento para agentes de terminal, y evaluamos en Terminal-Bench 2.1. El maestro recibe información privada del verificador.

Comparamos con GRPO, OPSD y π-Distill, y ajustamos los hiperparámetros de cada método. Al igual que JOLT, π-Distill entrena de forma conjunta los roles de maestro privilegiado y estudiante dentro de un modelo compartido; sin embargo, usa un objetivo distinto para el maestro y su actualización del estudiante sigue siendo off-policy, ya que se basa en trayectorias generadas por el maestro en lugar de en las propias generaciones del estudiante.

JOLT+ obtiene la puntuación media más alta en todas las configuraciones que evaluamos. En comparación con GRPO, la línea base más sólida que probamos, mejora la precisión en GSM8K en 1.5 puntos porcentuales (pp), la precisión en MATH en 4.2 pp, la precisión en LCBv6 en 3.0 pp y la tasa de aprobación de las pruebas de estado de AppWorld en 9.9 pp.

Gráfico de puntos y bigotes: JOLT+ obtiene la puntuación media más alta en los cuatro benchmarks — JOLT+ obtiene la puntuación media más alta en los cuatro benchmarks.

Sin ninguna recompensa directa para el estudiante, la precisión media de JOLT es superior a la de GRPO en GSM8K, MATH y LCBv6. Sin embargo, en AppWorld se mantiene por debajo de GRPO y de π-Distill.

Terminal-Bench 2.1 es la configuración de horizonte más largo. JOLT+ obtiene el pass@k más alto en todos los valores de k reportados, desde 10.96% en pass@1 hasta 34.83% en pass@32. JOLT mejora respecto al modelo base y a ambas líneas base de destilación en todos los valores de k, pero se mantiene por debajo de GRPO. OPSD obtiene puntuaciones inferiores a las del modelo base en todos los valores de k.

Gráfico de líneas: JOLT+ lidera Terminal-Bench con cualquier presupuesto de intentos — JOLT+ lidera Terminal-Bench con cualquier presupuesto de intentos.

También nos interesa cómo escala el rendimiento con el presupuesto de entrenamiento. Evaluamos GRPO, OPSD y JOLT con distintos presupuestos de tokens de entrenamiento en MATH y comparamos la precisión resultante del estudiante.

La figura muestra cómo escala la precisión con el gasto en tokens de entrenamiento de cada método. Medimos el costo en tokens de entrenamiento procesados. Esto incluye cada prompt sin relleno, el contexto privilegiado, cada pasada de optimización y la puntuación cruzada entre el maestro y el estudiante.

Gráfico de dispersión con curvas ajustadas: JOLT necesita menos tokens para alcanzar la precisión de GRPO — JOLT necesita menos tokens para alcanzar la precisión de GRPO.

Los puntos muestran la cantidad de tokens de entrenamiento procesados y la precisión en varios puntos de control; los bigotes representan ±1 desviación estándar entre ejecuciones. Ajustamos una relación sigmoidal entre la precisión y el logaritmo del presupuesto de tokens de entrenamiento, siguiendo trabajos previos sobre el escalamiento del cómputo de RL.

JOLT muestra eficiencia de muestreo desde el inicio y alcanza la mayor precisión de los tres métodos, estabilizándose cerca del 72%. OPSD mejora rápido con presupuestos pequeños, pero se estanca en torno al 62% de precisión. GRPO aprende más despacio al principio, pero sigue mejorando durante más tiempo y sube hasta cerca del 70%. Con una precisión equivalente de 63.44%, el punto de control observado de GRPO usa 8.40 millones de tokens, mientras que la curva ajustada de JOLT da 1.30 millones, es decir, 6.5× menos tokens.

También medimos el costo con tokens de completado, que cuentan las respuestas generadas por el estudiante en GRPO y OPSD, y tanto las del maestro como las del estudiante en JOLT, pero omiten los prompts, el contexto privilegiado y las pasadas de optimización adicionales. Al comparar con tokens de completado en lugar de tokens de entrenamiento procesados, la brecha de eficiencia se amplía a unas 13 veces con el mismo nivel de precisión. En un rango de precisiones objetivo, JOLT usa entre 9.5 y 14.4× menos tokens de completado y entre 4.3 y 7.4× menos tokens de entrenamiento procesados.

Gráfico de mancuernas: la ventaja de JOLT en tokens se mantiene entre el 55% y el 65% de precisión — La ventaja de JOLT en tokens se mantiene entre el 55% y el 65% de precisión.

La información privilegiada puede hacer que un maestro sea mejor para resolver una tarea sin hacerlo mejor para enseñarle a un estudiante a resolver esa misma tarea sin esa información. JOLT aborda esta distinción entrenando al maestro en función del comportamiento actual del estudiante.

Este entrenamiento conjunto mejora tanto la precisión como la eficiencia. Con recompensas por resultado para el estudiante, JOLT+ logra ganancias absolutas sobre GRPO de 1.5 pp en GSM8K, 4.2 pp en MATH, 3.0 pp en LCBv6, 9.9 pp en AppWorld y 2.7 pp en pass@1 de Terminal-Bench 2.1. En MATH, con la misma precisión, JOLT usa 13× menos tokens de completado y 6.5× menos tokens de entrenamiento procesados que GRPO, sin recompensa directa para el estudiante.

JOLT permite que la guía del maestro evolucione junto con el estudiante. Esto invita a explorar si el maestro también puede aprender a generar tareas de entrenamiento útiles. Una dirección interesante para trabajos futuros es entrenar de forma conjunta a un maestro que genere tareas y a un estudiante que resuelva problemas, usando el progreso de aprendizaje del estudiante para mejorar las tareas generadas dentro de un currículo. Esto podría hacer que la generación de tareas sintéticas responda a lo que el estudiante está listo para aprender a continuación.

Lee nuestro artículo completo para obtener más detalles. Pronto liberaremos el código bajo una licencia de código abierto.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Introducción

De recompensas dispersas a retroalimentación densa

Aprendizaje y enseñanza on-policy conjuntos

Entrenamiento del maestro

Definir lo que debe hacer un maestro

Del objetivo ideal a la función objetivo del maestro

Un objetivo sustituto práctico

Entrenamiento del estudiante

Cómo encaja todo

Experimentos

Precisión

Eficiencia de tokens y escalamiento

Conclusión

Cita