Um bom professor parte do ponto em que o aluno está

Introdução

O aprendizado por reforço (RL) é amplamente usado no pós-treinamento de modelos de linguagem para aprimorar suas capacidades em tarefas complexas de raciocínio e em tarefas agênticas de longo horizonte.

Em uma configuração típica, o modelo faz tentativas repetidas em uma tarefa, recebe uma recompensa de resultado para cada uma e aprende a favorecer as ações tomadas nas tentativas com recompensa mais alta. No entanto, uma única recompensa de resultado fornece um sinal de aprendizado esparso, que não distingue quais ações intermediárias ajudaram ou prejudicaram o resultado. Essa esparsidade limita a eficiência amostral, especialmente em tarefas agênticas difíceis, em que as tentativas são longas e os sucessos são raros.

Uma abordagem popular para lidar com essa esparsidade é a On-Policy Distillation (OPD), que usa um modelo professor mais forte para orientar, token por token, as próprias tentativas do aluno, fornecendo recompensas muito mais densas. No entanto, ensinar é uma habilidade por si só. Um modelo que é bom em resolver uma tarefa não é necessariamente bom em ensiná-la, já que seu feedback pode estar além das capacidades atuais do aluno. Isso justifica treinar não apenas o aluno a imitar o professor, mas também o professor a fornecer ao aluno orientações mais bem alinhadas.

Propomos um desses métodos, o Joint On-policy Learning and Teaching (JOLT). Partindo da On-Policy Self-Distillation (OPSD), usamos um único modelo em dois papéis: um professor com acesso a informações privilegiadas, como soluções verificadas, e um aluno sem esse acesso. Treinamos os dois papéis em conjunto. O aluno segue o objetivo de destilação padrão. O objetivo do professor leva seu feedback a mover o aluno na mesma direção que o RL com base na própria recompensa do aluno. Juntos, esses objetivos treinam o professor para partir do ponto em que o aluno está e ajudam o aluno a aprender com orientações ao seu alcance.

Nossos experimentos demonstram melhorias tanto no desempenho do modelo quanto na eficiência do treinamento em diversas tarefas de raciocínio matemático, de programação e agênticas.

De recompensas esparsas a feedback denso

Em sua forma mais básica, o RL com recompensa de resultado usa o objetivo de retorno esperado:

Aqui, $\tau$ é uma trajetória que segue uma política $\pi_\theta$, e $R(\tau)$ é o retorno dessa trajetória. O gradiente de política correspondente é:

em que $s_t$ e $a_t$ representam o estado e a ação, respectivamente, no passo de tempo $t$. Para reduzir a variância das estimativas baseadas em amostras, o gradiente costuma ser expresso como:

em que a vantagem $A^{\pi_\theta}(s_t, a_t)$ mede o retorno excedente esperado da ação $a_t$ em relação à política atual no estado $s_t$. Uma abordagem, a Group Relative Policy Optimization (GRPO), estima a vantagem comparando o retorno de cada trajetória com o retorno médio do grupo amostrado para o mesmo prompt.

No entanto, mesmo com esses ajustes, o aprendizado por reforço com recompensa de resultado sofre com a supervisão esparsa, principalmente em tarefas difíceis e de longo horizonte. Um conjunto crescente de trabalhos aborda esse problema recorrendo a fontes adicionais de informação para fornecer um sinal de aprendizado mais denso.

A On-Policy Distillation (OPD) é uma dessas abordagens. Em vez de aprender apenas com uma recompensa final, a OPD amostra trajetórias do aluno e avalia cada ação amostrada sob um professor mais forte. Para uma política do professor $\pi_T$ e um snapshot fixo $\bar{\theta}$ dos parâmetros do aluno usados para gerar as trajetórias, o gradiente local avaliado em $\theta = \bar{\theta}$ é:

Aqui, $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ é o objetivo de destilação com KL reversa negativa. A política do professor e os prefixos amostrados são mantidos fixos durante a diferenciação. A razão entre as log-probabilidades do professor e do aluno fornece um sinal de aprendizado denso em cada estado visitado, substituindo a vantagem como peso no nível da ação.

A On-Policy Self-Distillation (OPSD) vai além e elimina a necessidade de um modelo professor separado. A política do aluno atua como seu próprio professor quando recebe informações privilegiadas, como uma solução verificada, feedback ou um rastro de referência. No entanto, a OPSD apenas treina o aluno para imitar o professor; não há nenhum mecanismo que garanta que o professor forneça um sinal útil ao aluno.

Aprendizado e ensino on-policy conjuntos

O JOLT estende a OPSD treinando um modelo compartilhado tanto como o professor, que fornece orientações mais bem alinhadas, quanto como o aluno, que aprende com elas. O professor, mais bem informado, aprende com recompensas de resultado com regularização KL em direção ao aluno, enquanto o aluno sem acesso privilegiado aprende com o sinal de destilação denso do professor. A atualização do professor usa tentativas geradas pelo professor, enquanto a atualização do aluno usa tentativas geradas pelo aluno e pontuadas pelo professor. Além disso, o JOLT+ complementa o sinal de destilação do aluno com recompensas de resultado.

Expandir

Treinamento do professor

Definir o que um professor deve fazer

Um desempenho melhor do professor não se traduz necessariamente em atualizações úteis para o aluno. Um professor pode usar informações privilegiadas para explorar atalhos indisponíveis para o aluno, atribuir alta probabilidade a trajetórias improváveis sob o aluno ou fornecer orientações pouco confiáveis após erros em prefixos gerados pelo aluno. Portanto, a qualidade do professor deve ser determinada pelo sinal de aprendizado fornecido ao aluno, e não pela recompensa do próprio professor na tarefa.

Dizemos que um professor é consistente com a recompensa se a atualização de destilação que ele induz no aluno corresponde ao gradiente de política da recompensa esperada do aluno na tarefa, a menos de um fator de escala positivo. Especificamente, um professor consistente com a recompensa $\pi_T^\star$ deve satisfazer:

em que $\beta_T$ é um escalar positivo. Assim como na seção anterior, $g_{\mathrm{OPD}}$ é o gradiente local da OPD, $\bar\theta$ é um snapshot fixo dos parâmetros do modelo do aluno $\theta$ e $g_{\mathrm{RL}}$ é o gradiente de política do objetivo de retorno esperado.

Um professor que satisfaz essa condição é:

Aqui, $A^{\pi_{\bar{\theta}}}(s, a)$ representa as vantagens de continuação do aluno e $Z(s)$ é uma constante de normalização que garante uma distribuição de probabilidade válida.

Do alvo ideal a um objetivo para o professor

Podemos treinar um professor em direção ao alvo ideal $\pi_T^\star$ minimizando sua divergência KL em relação a ele. Para um aluno e um estado $s$ fixos, isso resulta em:

Substituindo a expressão de $\pi_T^\star$, obtemos um problema de maximização equivalente:

Esse objetivo incentiva o professor a escolher ações com maior vantagem para o aluno, sem se afastar da distribuição de ações do aluno. O parâmetro $\beta_T$ controla a intensidade dessa penalidade: valores maiores mantêm o professor mais próximo do comportamento atual do aluno, enquanto valores menores permitem que ele favoreça ações de alta vantagem de forma mais agressiva.

Um objetivo substituto prático

Esse objetivo depende de quão bem o aluno continuaria após cada ação, mas essas vantagens de continuação do aluno geralmente não estão disponíveis. Por isso, usamos como substituto prático os retornos centralizados das próprias trajetórias do professor. O termo de recompensa incentiva o professor a resolver a tarefa, enquanto o termo KL desencoraja desvios em relação à distribuição de ações atual do aluno. Embora o termo KL mantenha o professor próximo do aluno, essa substituição não é exata, já que os retornos do professor não precisam coincidir com as vantagens de continuação do aluno.

Aqui, $\widehat{A}_T(\tau)$ é o retorno da tentativa do professor menos o retorno médio das tentativas geradas pelo professor em seu grupo. O operador $\operatorname{sg}$ denota stop-gradient: seu argumento é tratado como fixo durante a diferenciação, assim como os prefixos amostrados e a referência do aluno.

Treinamento do aluno

A atualização do aluno é uma atualização padrão da OPSD. O aluno gera trajetórias a partir da tarefa. Em seguida, o mesmo modelo pontua cada token amostrado com as informações privilegiadas no contexto. O objetivo do aluno penaliza a divergência KL reversa entre o aluno e esse professor privilegiado em cada estado que o aluno visita:

Assim, os tokens que o professor prefere são reforçados, enquanto os tokens aos quais o professor atribui menor probabilidade do que o aluno são suprimidos.

Juntando tudo

Combinando os objetivos do professor e do aluno, obtemos o objetivo de treinamento conjunto:

$\beta_S$ é um escalar que define quanto a perda de destilação do aluno pesa na atualização combinada.

O resultado de consistência com a recompensa caracteriza a atualização de destilação do aluno para um determinado professor. O JOLT usa esse princípio para orientar o treinamento conjunto, combinando os objetivos do professor e do aluno para atualizar seus parâmetros compartilhados.

O JOLT+ também adiciona à atualização do aluno a recompensa de resultado do próprio aluno. O retorno centralizado de cada trajetória do aluno é somado ao sinal de destilação, combinando a supervisão densa do professor com feedback direto de resultado sobre as trajetórias do aluno. O objetivo do professor não muda, então podemos escrever:

Aqui, $\widehat{A}_S(\tau)$ é o retorno da trajetória do aluno menos o retorno médio de seu grupo de trajetórias geradas pelo aluno.

Em ambas as variantes, cada papel aprende com trajetórias geradas em seu próprio contexto, e ambos os papéis atualizam a política compartilhada. O pseudocódigo de uma etapa de treinamento é mostrado abaixo.

Expandir

Experimentos

Avaliamos o JOLT e o JOLT+ em benchmarks que abrangem raciocínio matemático, geração de código, uso de ferramentas e tarefas de terminal de longo horizonte, usando diferentes modelos base e diferentes formas de informação privilegiada. Especificamente, realizamos experimentos com as seguintes configurações de benchmarks, modelos base e informações privilegiadas:

• GSM8K: treinamos o DeepSeek-V2-Lite no GSM8K, um conjunto de dados de problemas de matemática do ensino fundamental. O professor recebe a resposta verificada de cada problema.
• MATH: treinamos o Qwen3-0.6B no MATH. O professor recebe soluções de referência resolvidas passo a passo.
• LCBv6: treinamos o Qwen3-8B em 131 problemas de programação do LiveCodeBench-V6. O professor recebe uma solução gerada pelo modelo que passou em todos os testes visíveis no treinamento ou, quando nenhuma tentativa passou neles, feedback de execução.
• AppWorld: treinamos o Qwen3-4B-Instruct no AppWorld. O professor recebe resumos das tentativas anteriores.
• Terminal-Bench: treinamos o Qwen3-30B-A3B-Instruct no TMax, um conjunto de tarefas de treinamento para agentes de terminal, e avaliamos no Terminal-Bench 2.1. O professor recebe informações privadas do verificador.

Comparamos com o GRPO, a OPSD e o π-Distill, ajustando os hiperparâmetros de cada método. Assim como o JOLT, o π-Distill treina em conjunto os papéis de professor privilegiado e de aluno em um modelo compartilhado; no entanto, ele usa um alvo diferente para o professor, e sua atualização do aluno continua off-policy, baseando-se em trajetórias geradas pelo professor em vez das gerações do próprio aluno.

Acurácia

O JOLT+ tem a maior pontuação média em todas as configurações que avaliamos. Em comparação com o GRPO, a linha de base mais forte testada, ele melhora a acurácia no GSM8K em 1,5 ponto percentual (p.p.), a acurácia no MATH em 4,2 p.p., a acurácia no LCBv6 em 3,0 p.p. e a taxa de aprovação nos testes de estado do AppWorld em 9,9 p.p.

Expandir

Sem nenhuma recompensa direta para o aluno, a acurácia média do JOLT é superior à do GRPO no GSM8K, no MATH e no LCBv6. No entanto, no AppWorld, ele fica abaixo tanto do GRPO quanto do π-Distill.

O Terminal-Bench 2.1 é a configuração de horizonte mais longo. O JOLT+ tem o maior pass@k em todos os valores de k reportados, de 10,96% em pass@1 a 34,83% em pass@32. O JOLT supera o modelo base e as duas linhas de base de destilação em todos os valores de k, mas fica abaixo do GRPO. A OPSD tem pontuação inferior à do modelo base em todos os valores de k.

Expandir

Eficiência de tokens e escalabilidade

Também queremos entender como o desempenho escala com o orçamento de treinamento. Avaliamos o GRPO, a OPSD e o JOLT com diferentes orçamentos de tokens de treinamento no MATH e comparamos a acurácia resultante do aluno.

A figura mostra como a acurácia escala com o gasto de tokens de treinamento em cada método. Medimos o custo em tokens de treinamento processados. Isso inclui cada prompt sem padding, contexto privilegiado, passagem de otimização e pontuação cruzada entre o professor e o aluno.

Expandir

Os pontos mostram o número de tokens de treinamento processados e a acurácia em vários checkpoints; as barras de erro representam ±1 desvio padrão entre as execuções. Ajustamos uma relação sigmoidal entre a acurácia e o logaritmo do orçamento de tokens de treinamento, seguindo trabalhos anteriores sobre a escalabilidade da computação em RL.

O JOLT apresenta eficiência amostral desde o início e alcança a maior acurácia dos três métodos, estabilizando-se perto de 72%. A OPSD melhora rapidamente com orçamentos pequenos, mas atinge um platô em cerca de 62% de acurácia. O GRPO aprende mais devagar no início, mas continua melhorando por mais tempo, chegando a cerca de 70%. Com uma acurácia equivalente de 63,44%, o checkpoint observado do GRPO usa 8,40 milhões de tokens, enquanto a curva ajustada do JOLT indica 1,30 milhão, ou seja, 6,5× menos tokens.

Também medimos o custo usando tokens de conclusão, que contabilizam as conclusões do aluno no GRPO e na OPSD, e as conclusões do professor e do aluno no JOLT, mas omitem prompts, contexto privilegiado e as passagens extras de otimização. A comparação com base em tokens de conclusão, em vez de tokens de treinamento processados, amplia a diferença de eficiência para cerca de 13× no mesmo nível de acurácia. Em uma faixa de acurácias-alvo, o JOLT usa de 9,5× a 14,4× menos tokens de conclusão e de 4,3× a 7,4× menos tokens de treinamento processados.

Expandir

Conclusão

Informações privilegiadas podem tornar um professor melhor em resolver uma tarefa sem torná-lo melhor em ensinar um aluno a resolver a mesma tarefa sem essas informações. O JOLT trata dessa distinção treinando o professor em relação ao comportamento atual do aluno.

Esse treinamento conjunto melhora tanto a acurácia quanto a eficiência. Com recompensas de resultado para o aluno, o JOLT+ obtém ganhos absolutos em relação ao GRPO de 1,5 p.p. no GSM8K, 4,2 p.p. no MATH, 3,0 p.p. no LCBv6, 9,9 p.p. no AppWorld e 2,7 p.p. no pass@1 do Terminal-Bench 2.1. No MATH, com acurácia equivalente, o JOLT usa 13× menos tokens de conclusão e 6,5× menos tokens de treinamento processados do que o GRPO, sem recompensa direta para o aluno.

O JOLT permite que a orientação do professor evolua junto com o aluno. Isso nos leva a investigar se o professor também pode aprender a gerar tarefas de treinamento úteis. Uma direção interessante para trabalhos futuros é treinar em conjunto um professor que gera tarefas e um aluno que resolve problemas, usando o progresso de aprendizado do aluno para aprimorar as tarefas geradas em um currículo. Isso poderia tornar a geração de tarefas sintéticas sensível ao que o aluno está pronto para aprender em seguida.

Leia nosso artigo completo para mais detalhes. Em breve, disponibilizaremos o código como open source.

Citação

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}