Un buen profesor se pone al nivel del estudiante

El aprendizaje por refuerzo (RL) se utiliza ampliamente en el posentrenamiento de modelos de lenguaje para mejorar sus capacidades en tareas complejas de razonamiento y en tareas agénticas de horizonte largo.

En una configuración típica, el modelo hace intentos repetidos de resolver una tarea, recibe una recompensa de resultado por cada uno y aprende a favorecer las acciones tomadas en los intentos con mayor recompensa. Sin embargo, una única recompensa de resultado proporciona una señal de aprendizaje dispersa que no distingue qué acciones intermedias favorecieron o perjudicaron el resultado. Esta dispersión limita la eficiencia muestral, especialmente en tareas agénticas difíciles, en las que los intentos son largos y los éxitos, escasos.

Un enfoque popular para abordar esta dispersión es la destilación on-policy (On-Policy Distillation, OPD), que usa un modelo profesor más potente para guiar token a token los propios intentos del estudiante, lo que proporciona recompensas mucho más densas. Sin embargo, enseñar es una habilidad en sí misma. Un modelo que resuelve bien una tarea no tiene por qué ser bueno enseñándola, ya que su retroalimentación puede superar las capacidades actuales del estudiante. Esto motiva entrenar no solo al estudiante para que imite al profesor, sino también al profesor para que ofrezca una orientación mejor ajustada al estudiante.

Proponemos uno de esos métodos: Joint On-policy Learning and Teaching (JOLT), es decir, aprendizaje y enseñanza on-policy conjuntos. Partiendo de la autodestilación on-policy (On-Policy Self-Distillation, OPSD), usamos un único modelo en dos roles: un profesor con acceso a información privilegiada, como soluciones verificadas, y un estudiante sin dicho acceso. Entrenamos ambos roles de forma conjunta. El estudiante sigue el objetivo de destilación estándar. El objetivo del profesor hace que su retroalimentación mueva al estudiante en la misma dirección en que lo haría el RL aplicado a la propia recompensa del estudiante. En conjunto, estos objetivos entrenan al profesor para ponerse al nivel del estudiante y ayudan al estudiante a aprender de una orientación que está a su alcance.

Nuestros experimentos demuestran mejoras tanto en el rendimiento del modelo como en la eficiencia del entrenamiento en diversas tareas de razonamiento matemático, programación y tareas agénticas.

En su forma más básica, el RL con recompensa de resultado utiliza el objetivo de retorno esperado:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Aquí, $\tau$ es una trayectoria que sigue una política $\pi_\theta$ , y $R(\tau)$ es el retorno de esa trayectoria. El gradiente de política correspondiente es:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

donde $s_t$ y $a_t$ representan el estado y la acción, respectivamente, en el paso temporal $t$ . Para reducir la varianza de las estimaciones basadas en muestras, el gradiente suele expresarse como:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

donde la ventaja $A^{\pi_\theta}(s_t, a_t)$ mide el retorno esperado adicional de la acción $a_t$ respecto a la política actual en el estado $s_t$ . Un enfoque, Group Relative Policy Optimization (GRPO), estima la ventaja comparando el retorno de cada trayectoria con el retorno medio del grupo muestreado para el mismo prompt.

Sin embargo, incluso con estos ajustes, el aprendizaje por refuerzo con recompensa de resultado adolece de una supervisión dispersa, sobre todo en tareas difíciles de horizonte largo. Un número creciente de trabajos aborda este problema recurriendo a fuentes de información adicionales para proporcionar una señal de aprendizaje más densa.

La destilación on-policy (OPD) es uno de estos enfoques. En lugar de aprender solo de una recompensa final, OPD muestrea trayectorias del estudiante y evalúa cada acción muestreada con un profesor más potente. Para una política del profesor $\pi_T$ y una instantánea fija $\bar{\theta}$ de los parámetros del estudiante utilizada para generar las trayectorias, el gradiente local evaluado en $\theta = \bar{\theta}$ es:

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Aquí, $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ es el objetivo de destilación basado en la KL inversa negativa. La política del profesor y los prefijos muestreados se mantienen fijos durante la diferenciación. El cociente de log-probabilidades entre profesor y estudiante proporciona una señal de aprendizaje densa en cada estado visitado y sustituye a la ventaja como ponderación a nivel de acción.

La autodestilación on-policy (OPSD) elimina además la necesidad de un modelo profesor independiente. La política del estudiante actúa como su propio profesor cuando recibe información privilegiada, como una solución verificada, retroalimentación o una traza de referencia. Sin embargo, OPSD solo entrena al estudiante para imitar al profesor; no existe ningún mecanismo que garantice que el profesor proporcione una señal útil al estudiante.

JOLT amplía OPSD entrenando un modelo compartido como profesor, que proporciona una orientación mejor ajustada, y como estudiante, que aprende de ella. El profesor, mejor informado, aprende de las recompensas de resultado con regularización KL hacia el estudiante, mientras que el estudiante, sin información privilegiada, aprende de la señal de destilación densa del profesor. La actualización del profesor usa intentos generados por el profesor, mientras que la del estudiante usa intentos generados por el estudiante y puntuados por el profesor. JOLT+ complementa además la señal de destilación del estudiante con recompensas de resultado.

Diagrama: una sola política aprende como profesor y como estudiante — Una sola política aprende como profesor y como estudiante.

Un mejor rendimiento del profesor no se traduce necesariamente en actualizaciones útiles para el estudiante. Un profesor puede usar información privilegiada para aprovechar atajos que no están al alcance del estudiante, asignar una probabilidad alta a trayectorias poco probables para el estudiante o proporcionar una orientación poco fiable tras errores en prefijos generados por el estudiante. Por tanto, la calidad del profesor debe determinarse por la señal de aprendizaje que proporciona al estudiante, y no por la recompensa que obtiene el propio profesor en la tarea.

Decimos que un profesor es consistente con la recompensa si la actualización de destilación que induce en el estudiante coincide con el gradiente de política de la recompensa esperada del estudiante en la tarea, salvo un escalado positivo. En concreto, un profesor consistente con la recompensa $\pi_T^\star$ debe cumplir:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

donde $\beta_T$ es un escalar positivo. Como en la sección anterior, $g_{\mathrm{OPD}}$ es el gradiente local de OPD, $\bar\theta$ es una instantánea fija de los parámetros del modelo estudiante $\theta$ y $g_{\mathrm{RL}}$ es el gradiente de política del objetivo de retorno esperado.

Un profesor que cumple esta condición es:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Aquí, $A^{\pi_{\bar{\theta}}}(s, a)$ representan las ventajas de continuación del estudiante y $Z(s)$ es una constante de normalización que garantiza una distribución de probabilidad válida.

Podemos entrenar a un profesor hacia el objetivo ideal $\pi_T^\star$ minimizando su divergencia KL respecto a él. Para un estudiante y un estado $s$ fijos, esto da:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Al sustituir la expresión de $\pi_T^\star$ se obtiene un problema de maximización equivalente:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Este objetivo anima al profesor a elegir acciones con mayor ventaja para el estudiante sin alejarse de la distribución de acciones del estudiante. El parámetro $\beta_T$ controla la intensidad de esta penalización: los valores más altos mantienen al profesor más cerca del comportamiento actual del estudiante, mientras que los más bajos le permiten favorecer de forma más agresiva las acciones de alta ventaja.

Este objetivo depende de lo bien que continuaría el estudiante después de cada acción, pero esas ventajas de continuación del estudiante no suelen estar disponibles. Por ello, usamos como sustituto práctico los retornos centrados de las propias trayectorias del profesor. El término de recompensa anima al profesor a resolver la tarea, mientras que el término KL desincentiva que se aleje de la distribución de acciones actual del estudiante. Aunque el término KL mantiene al profesor cerca del estudiante, esta sustitución no es exacta, ya que los retornos del profesor no tienen por qué coincidir con las ventajas de continuación del estudiante.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Aquí, $\widehat{A}_T(\tau)$ es el retorno del intento del profesor menos el retorno medio de los intentos generados por el profesor en su grupo. El operador $\operatorname{sg}$ denota stop-gradient: su argumento se trata como fijo durante la diferenciación, al igual que los prefijos muestreados y la referencia del estudiante.

La actualización del estudiante es una actualización estándar de OPSD. El estudiante genera trayectorias a partir de la tarea. A continuación, el mismo modelo puntúa cada token muestreado con la información privilegiada en el contexto. El objetivo del estudiante penaliza la divergencia KL inversa entre el estudiante y este profesor privilegiado en cada estado que visita el estudiante:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Por tanto, se refuerzan los tokens que el profesor prefiere, mientras que se suprimen aquellos a los que el profesor asigna menos probabilidad que el estudiante.

Al combinar los objetivos del profesor y del estudiante se obtiene el objetivo de entrenamiento conjunto:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ es un escalar que determina cuánto pesa la pérdida de destilación del estudiante en la actualización combinada.

El resultado de consistencia con la recompensa caracteriza la actualización de destilación del estudiante para un profesor dado. JOLT usa este principio para guiar el entrenamiento conjunto, combinando los objetivos del profesor y del estudiante para actualizar sus parámetros compartidos.

JOLT+ también añade a su actualización la propia recompensa de resultado del estudiante. El retorno centrado de cada trayectoria del estudiante se suma a la señal de destilación, lo que combina la supervisión densa del profesor con la retroalimentación directa sobre el resultado de las trayectorias del estudiante. El objetivo del profesor no cambia, así que podemos escribir:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Aquí, $\widehat{A}_S(\tau)$ es el retorno de la trayectoria del estudiante menos el retorno medio de su grupo de trayectorias generadas por el estudiante.

En ambas variantes, cada rol aprende de trayectorias generadas en su propio contexto, y ambos roles actualizan la política compartida. A continuación se muestra el pseudocódigo de un paso de entrenamiento.

Pseudocódigo de JOLT que muestra la generación del profesor con una pista, la generación del estudiante sin ella, la puntuación entre contextos y una actualización de la política compartida. JOLT+ añade recompensas de resultado para los intentos del estudiante. — Pseudocódigo de un paso de entrenamiento de JOLT.

Evaluamos JOLT y JOLT+ en benchmarks que abarcan razonamiento matemático, generación de código, uso de herramientas y tareas de terminal de horizonte largo, con distintos modelos base y distintas formas de información privilegiada. En concreto, realizamos experimentos con los siguientes benchmarks, modelos base y configuraciones de información privilegiada:

GSM8K: entrenamos DeepSeek-V2-Lite con GSM8K, un conjunto de datos de problemas de matemáticas de primaria. El profesor recibe la respuesta verificada de cada problema.
MATH: entrenamos Qwen3-0.6B con MATH. El profesor recibe soluciones de referencia desarrolladas.
LCBv6: entrenamos Qwen3-8B con 131 problemas de programación de LiveCodeBench-V6. El profesor recibe una solución generada por un modelo que superó todas las pruebas visibles durante el entrenamiento o, si ningún intento las superó, retroalimentación de ejecución.
AppWorld: entrenamos Qwen3-4B-Instruct con AppWorld. El profesor recibe resúmenes de intentos anteriores.
Terminal-Bench: entrenamos Qwen3-30B-A3B-Instruct con TMax, un conjunto de tareas de entrenamiento para agentes de terminal, y evaluamos en Terminal-Bench 2.1. El profesor recibe información privada del verificador.

Comparamos con GRPO, OPSD y π-Distill, ajustando los hiperparámetros de cada método. Al igual que JOLT, π-Distill entrena conjuntamente los roles de profesor privilegiado y de estudiante dentro de un modelo compartido; sin embargo, utiliza un objetivo distinto para el profesor y su actualización del estudiante sigue siendo off-policy, ya que se basa en trayectorias generadas por el profesor en lugar de en las propias generaciones del estudiante.

JOLT+ obtiene la puntuación media más alta en todos los escenarios que evaluamos. En comparación con GRPO, el método de referencia más sólido de los probados, mejora la precisión en GSM8K en 1,5 puntos porcentuales (p. p.), la precisión en MATH en 4,2 p. p., la precisión en LCBv6 en 3,0 p. p. y la tasa de superación de las pruebas de estado de AppWorld en 9,9 p. p.

Gráfico de puntos y bigotes: JOLT+ obtiene la puntuación media más alta en los cuatro benchmarks — JOLT+ obtiene la puntuación media más alta en los cuatro benchmarks.

Sin ninguna recompensa directa para el estudiante, la precisión media de JOLT es superior a la de GRPO en GSM8K, MATH y LCBv6. Sin embargo, en AppWorld se queda por debajo tanto de GRPO como de π-Distill.

Terminal-Bench 2.1 es el escenario de horizonte más largo. JOLT+ obtiene el pass@k más alto en todos los valores de k indicados, desde un 10,96 % en pass@1 hasta un 34,83 % en pass@32. JOLT mejora respecto al modelo base y a los dos métodos de referencia de destilación en todos los valores de k, pero se queda por debajo de GRPO. OPSD obtiene puntuaciones inferiores a las del modelo base en todos los valores de k.

Gráfico de líneas: JOLT+ lidera Terminal-Bench con cualquier presupuesto de intentos — JOLT+ lidera Terminal-Bench con cualquier presupuesto de intentos.

También nos interesa cómo escala el rendimiento con el presupuesto de entrenamiento. Evaluamos GRPO, OPSD y JOLT con distintos presupuestos de tokens de entrenamiento en MATH y comparamos la precisión resultante del estudiante.

La figura muestra cómo escala la precisión con el gasto de tokens de entrenamiento de cada método. Medimos el coste en tokens de entrenamiento procesados. Esto incluye cada prompt sin relleno, el contexto privilegiado, cada pasada de optimización y la puntuación cruzada entre profesor y estudiante.

Diagrama de dispersión con curvas ajustadas: JOLT necesita menos tokens para alcanzar la precisión de GRPO — JOLT necesita menos tokens para alcanzar la precisión de GRPO.

Los puntos muestran el número de tokens de entrenamiento procesados y la precisión en varios puntos de control; los bigotes representan ±1 desviación estándar entre ejecuciones. Ajustamos una relación sigmoidal entre la precisión y el logaritmo del presupuesto de tokens de entrenamiento, siguiendo trabajos previos sobre el escalado del cómputo de RL.

JOLT muestra una eficiencia muestral temprana y, a la vez, alcanza la mayor precisión de los tres métodos, estabilizándose cerca del 72 %. OPSD mejora rápidamente con presupuestos pequeños, pero se estanca en torno al 62 % de precisión. GRPO aprende más despacio al principio, pero sigue mejorando durante más tiempo hasta llegar a cerca del 70 %. Con una precisión equivalente del 63,44 %, el punto de control observado de GRPO usa 8,40 millones de tokens, mientras que la curva ajustada de JOLT da 1,30 millones, 6,5 veces menos tokens.

También medimos el coste con los tokens de completado, que cuentan las respuestas generadas por el estudiante en GRPO y OPSD, y las del profesor y del estudiante en JOLT, pero omiten los prompts, el contexto privilegiado y las pasadas de optimización adicionales. Si la comparación se basa en tokens de completado en lugar de tokens de entrenamiento procesados, la diferencia de eficiencia se amplía a unas 13 veces con el mismo nivel de precisión. En un rango de precisiones objetivo, JOLT usa entre 9,5 y 14,4 veces menos tokens de completado y entre 4,3 y 7,4 veces menos tokens de entrenamiento procesados.

Gráfico de mancuernas: la ventaja de JOLT en tokens se mantiene entre el 55 % y el 65 % de precisión — La ventaja de JOLT en tokens se mantiene entre el 55 % y el 65 % de precisión.

La información privilegiada puede hacer que un profesor resuelva mejor una tarea sin que por ello enseñe mejor a un estudiante a resolver esa misma tarea sin dicha información. JOLT aborda esta distinción entrenando al profesor en función del comportamiento actual del estudiante.

Este entrenamiento conjunto mejora tanto la precisión como la eficiencia. Con recompensas de resultado para el estudiante, JOLT+ logra mejoras absolutas sobre GRPO de 1,5 p. p. en GSM8K, 4,2 p. p. en MATH, 3,0 p. p. en LCBv6, 9,9 p. p. en AppWorld y 2,7 p. p. en pass@1 de Terminal-Bench 2.1. En MATH, con la misma precisión, JOLT usa 13 veces menos tokens de completado y 6,5 veces menos tokens de entrenamiento procesados que GRPO, sin recompensa directa para el estudiante.

JOLT permite que la orientación del profesor evolucione junto con el estudiante. Esto invita a explorar si el profesor también puede aprender a generar tareas de entrenamiento útiles. Una dirección interesante para trabajos futuros es entrenar conjuntamente a un profesor que genere tareas y a un estudiante que resuelva problemas, utilizando el progreso de aprendizaje del estudiante para mejorar las tareas generadas dentro de un currículo. Esto podría hacer que la generación de tareas sintéticas se adapte a lo que el estudiante está preparado para aprender a continuación.

Lee nuestro artículo completo para obtener más información. Pronto liberaremos el código.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Introducción

De recompensas dispersas a retroalimentación densa

Aprendizaje y enseñanza on-policy conjuntos

Entrenamiento del profesor

Definir qué debe hacer un profesor

Del objetivo ideal a un objetivo para el profesor

Un objetivo sustituto práctico

Entrenamiento del estudiante

Visión de conjunto

Experimentos

Precisión

Eficiencia de tokens y escalado

Conclusión

Cita