Um bom professor vai ao encontro do aluno onde ele está

Introdução

A aprendizagem por reforço (RL) é amplamente utilizada no pós-treino de modelos de linguagem para melhorar as suas capacidades em tarefas complexas de raciocínio e em tarefas agênticas de longo horizonte.

Numa configuração típica, o modelo faz tentativas repetidas numa tarefa, recebe uma recompensa de resultado por cada uma e aprende a favorecer as ações realizadas nas tentativas com maior recompensa. No entanto, uma única recompensa de resultado fornece um sinal de aprendizagem esparso, que não distingue quais as ações intermédias que ajudaram ou prejudicaram o resultado. Esta esparsidade limita a eficiência amostral, sobretudo em tarefas agênticas difíceis, em que as tentativas são longas e os êxitos são raros.

Uma abordagem popular para lidar com esta esparsidade é a On-Policy Distillation (OPD), que utiliza um modelo professor mais forte para orientar, token a token, as próprias tentativas do aluno, fornecendo recompensas muito mais densas. No entanto, ensinar é, por si só, uma competência. Um modelo que é bom a resolver uma tarefa não é necessariamente bom a ensiná-la, já que o seu feedback pode estar além das capacidades atuais do aluno. Daí a motivação para treinar não só o aluno a imitar o professor, mas também o professor a fornecer ao aluno orientações mais bem alinhadas.

Propomos um desses métodos, o Joint On-policy Learning and Teaching (JOLT). Partindo da On-Policy Self-Distillation (OPSD), utilizamos um único modelo em dois papéis: um professor com acesso a informação privilegiada, como soluções verificadas, e um aluno sem esse acesso. Treinamos os dois papéis em conjunto. O aluno segue o objetivo de destilação padrão. O objetivo do professor leva o seu feedback a mover o aluno na mesma direção que a RL aplicada à recompensa do próprio aluno. Em conjunto, estes objetivos treinam o professor para ir ao encontro do aluno onde ele está e ajudam o aluno a aprender com orientações ao seu alcance.

As nossas experiências demonstram melhorias tanto no desempenho do modelo como na eficiência do treino num conjunto variado de tarefas de raciocínio matemático, de programação e agênticas.

De recompensas esparsas a feedback denso

Na sua forma mais básica, a RL com recompensa de resultado utiliza o objetivo de retorno esperado:

Aqui, $\tau$ é uma trajetória que segue uma política $\pi_\theta$, e $R(\tau)$ é o retorno dessa trajetória. O gradiente de política correspondente é:

em que $s_t$ e $a_t$ representam o estado e a ação, respetivamente, no passo temporal $t$. Para reduzir a variância das estimativas baseadas em amostras, o gradiente é frequentemente expresso como:

em que a vantagem $A^{\pi_\theta}(s_t, a_t)$ mede o retorno excedente esperado da ação $a_t$ relativamente à política atual no estado $s_t$. Uma abordagem, o Group Relative Policy Optimization (GRPO), estima a vantagem comparando o retorno de cada trajetória com o retorno médio do grupo amostrado para o mesmo prompt.

No entanto, mesmo com estes ajustes, a aprendizagem por reforço com recompensa de resultado sofre de supervisão esparsa, sobretudo em tarefas difíceis e de longo horizonte. Um conjunto crescente de trabalhos aborda este problema recorrendo a fontes de informação adicionais para fornecer um sinal de aprendizagem mais denso.

A On-Policy Distillation (OPD) é uma dessas abordagens. Em vez de aprender apenas a partir de uma recompensa final, a OPD amostra trajetórias do aluno e avalia cada ação amostrada sob um professor mais forte. Para uma política do professor $\pi_T$ e um instantâneo fixo $\bar{\theta}$ dos parâmetros do aluno, utilizado para gerar as trajetórias, o gradiente local avaliado em $\theta = \bar{\theta}$ é:

Aqui, $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ é o objetivo de destilação de KL inversa negativa. A política do professor e os prefixos amostrados mantêm-se fixos durante a diferenciação. A razão de log-probabilidades entre professor e aluno fornece um sinal de aprendizagem denso em cada estado visitado, substituindo a vantagem como peso ao nível da ação.

A On-Policy Self-Distillation (OPSD) elimina ainda a necessidade de um modelo professor separado. A política do aluno serve de professor a si própria quando lhe é dada informação privilegiada, como uma solução verificada, feedback ou um registo de execução de referência. No entanto, a OPSD apenas treina o aluno para imitar o professor; não existe nenhum mecanismo que garanta que o professor fornece um sinal útil ao aluno.

Aprendizagem e ensino on-policy conjuntos

O JOLT estende a OPSD ao treinar um modelo partilhado tanto como professor, que fornece orientações mais bem alinhadas, como aluno, que aprende com elas. O professor, mais bem informado, aprende com recompensas de resultado, com regularização KL em direção ao aluno, enquanto o aluno sem informação privilegiada aprende com o sinal de destilação denso do professor. A atualização do professor utiliza tentativas geradas pelo professor, enquanto a atualização do aluno utiliza tentativas geradas pelo aluno e pontuadas pelo professor. O JOLT+ complementa ainda o sinal de destilação do aluno com recompensas de resultado.

Expandir

Treinar o professor

Definir o que um professor deve fazer

Um melhor desempenho do professor não se traduz necessariamente em atualizações úteis para o aluno. Um professor pode usar informação privilegiada para explorar atalhos indisponíveis para o aluno, atribuir probabilidade elevada a trajetórias improváveis sob o aluno ou fornecer orientações pouco fiáveis após erros em prefixos gerados pelo aluno. Por isso, a qualidade do professor deve ser determinada pelo sinal de aprendizagem que fornece ao aluno, e não pela recompensa que o próprio professor obtém na tarefa.

Dizemos que um professor é consistente com a recompensa se a atualização de destilação que induz no aluno coincidir com o gradiente de política da recompensa esperada do aluno na tarefa, a menos de um fator de escala positivo. Especificamente, um professor consistente com a recompensa $\pi_T^\star$ deve satisfazer:

em que $\beta_T$ é um escalar positivo. Tal como na secção anterior, $g_{\mathrm{OPD}}$ é o gradiente local da OPD, $\bar\theta$ é um instantâneo fixo dos parâmetros do modelo aluno $\theta$ e $g_{\mathrm{RL}}$ é o gradiente de política do objetivo de retorno esperado.

Um professor que satisfaz esta condição é:

Aqui, $A^{\pi_{\bar{\theta}}}(s, a)$ representa as vantagens de continuação do aluno e $Z(s)$ é uma constante de normalização que garante uma distribuição de probabilidade válida.

Do alvo ideal a um objetivo do professor

Podemos treinar um professor em direção ao alvo ideal $\pi_T^\star$ minimizando a sua divergência KL em relação a esse alvo. Para um aluno e um estado $s$ fixos, obtém-se:

Substituindo a expressão de $\pi_T^\star$, obtém-se um problema de maximização equivalente:

Este objetivo incentiva o professor a escolher ações com maior vantagem para o aluno, mantendo-se próximo da distribuição de ações do aluno. O parâmetro $\beta_T$ controla a intensidade desta penalização: valores maiores mantêm o professor mais próximo do comportamento atual do aluno, enquanto valores menores lhe permitem favorecer de forma mais agressiva as ações de elevada vantagem.

Um objetivo substituto prático

Este objetivo depende de quão bem o aluno continuaria após cada ação, mas essas vantagens de continuação do aluno geralmente não estão disponíveis. Por isso, utilizamos como substituto prático os retornos centrados das próprias trajetórias do professor. O termo de recompensa incentiva o professor a resolver a tarefa, enquanto o termo KL desincentiva desvios em relação à distribuição de ações atual do aluno. Embora o termo KL mantenha o professor próximo do aluno, esta substituição não é exata, já que os retornos do professor não têm de coincidir com as vantagens de continuação do aluno.

Aqui, $\widehat{A}_T(\tau)$ é o retorno da tentativa do professor menos o retorno médio das tentativas geradas pelo professor no seu grupo. O operador $\operatorname{sg}$ denota stop-gradient: o seu argumento é tratado como fixo durante a diferenciação, tal como os prefixos amostrados e a referência do aluno.

Treinar o aluno

A atualização do aluno é uma atualização OPSD padrão. O aluno gera trajetórias a partir da tarefa. Em seguida, o mesmo modelo pontua cada token amostrado com a informação privilegiada no contexto. O objetivo do aluno penaliza a divergência KL inversa entre o aluno e este professor privilegiado em cada estado que o aluno visita:

Assim, os tokens que o professor prefere são reforçados, enquanto os tokens que o professor considera menos prováveis do que o aluno considera são suprimidos.

Juntar tudo

Combinando os objetivos do professor e do aluno, obtém-se o objetivo de treino conjunto:

$\beta_S$ é um escalar que define o peso da perda de destilação do aluno na atualização combinada.

O resultado de consistência com a recompensa caracteriza a atualização de destilação do aluno para um dado professor. O JOLT usa este princípio para orientar o treino conjunto, combinando os objetivos do professor e do aluno para atualizar os seus parâmetros partilhados.

O JOLT+ acrescenta também à sua atualização a recompensa de resultado do próprio aluno. O retorno centrado de cada trajetória do aluno é adicionado ao sinal de destilação, combinando a supervisão densa do professor com feedback direto sobre o resultado das trajetórias do aluno. O objetivo do professor mantém-se inalterado, pelo que podemos escrever:

Aqui, $\widehat{A}_S(\tau)$ é o retorno da trajetória do aluno menos o retorno médio do seu grupo de trajetórias geradas pelo aluno.

Em ambas as variantes, cada papel aprende com trajetórias geradas no seu próprio contexto, e ambos os papéis atualizam a política partilhada. O pseudocódigo de um passo de treino é apresentado abaixo.

Expandir

Experiências

Avaliamos o JOLT e o JOLT+ em benchmarks que abrangem raciocínio matemático, geração de código, utilização de ferramentas e tarefas de terminal de longo horizonte, usando diferentes modelos de base e diferentes formas de informação privilegiada. Concretamente, realizamos experiências com os seguintes benchmarks, modelos de base e configurações de informação privilegiada:

• GSM8K: treinamos o DeepSeek-V2-Lite no GSM8K, um conjunto de dados de problemas de matemática do ensino básico. O professor recebe a resposta verificada de cada problema.
• MATH: treinamos o Qwen3-0.6B no MATH. O professor recebe soluções de referência resolvidas passo a passo.
• LCBv6: treinamos o Qwen3-8B em 131 problemas de programação do LiveCodeBench-V6. O professor recebe uma solução gerada pelo modelo que passou em todos os testes visíveis no treino ou, quando nenhuma tentativa passou nesses testes, feedback de execução.
• AppWorld: treinamos o Qwen3-4B-Instruct no AppWorld. O professor recebe resumos das tentativas anteriores.
• Terminal-Bench: treinamos o Qwen3-30B-A3B-Instruct no TMax, um conjunto de tarefas de treino para agentes de terminal, e avaliamos no Terminal-Bench 2.1. O professor recebe informação privada do verificador.

Comparamos com o GRPO, a OPSD e o π-Distill, ajustando os hiperparâmetros de cada método. Tal como o JOLT, o π-Distill treina conjuntamente os papéis de professor privilegiado e de aluno num modelo partilhado; no entanto, utiliza um alvo do professor diferente e a sua atualização do aluno continua a ser off-policy, baseando-se em trajetórias geradas pelo professor em vez das gerações do próprio aluno.

Exatidão

O JOLT+ tem a pontuação média mais elevada em todas as configurações que avaliamos. Em comparação com o GRPO, o método de referência mais forte testado, melhora a exatidão no GSM8K em 1,5 pontos percentuais (p.p.), a exatidão no MATH em 4,2 p.p., a exatidão no LCBv6 em 3,0 p.p. e a taxa de aprovação nos testes de estado do AppWorld em 9,9 p.p.

Expandir

Sem qualquer recompensa direta para o aluno, a exatidão média do JOLT é superior à do GRPO no GSM8K, no MATH e no LCBv6. No entanto, no AppWorld, fica abaixo tanto do GRPO como do π-Distill.

O Terminal-Bench 2.1 é a configuração de horizonte mais longo. O JOLT+ tem o pass@k mais elevado em todos os valores de k reportados, desde 10,96% no pass@1 até 34,83% no pass@32. O JOLT supera o modelo de base e ambos os métodos de referência de destilação em todos os valores de k, mas fica abaixo do GRPO. A OPSD obtém pontuações inferiores às do modelo de base em todos os valores de k.

Expandir

Eficiência de tokens e escalamento

Interessa-nos também perceber como o desempenho evolui com o orçamento de treino. Avaliamos o GRPO, a OPSD e o JOLT com diferentes orçamentos de tokens de treino no MATH e comparamos a exatidão resultante do aluno.

A figura mostra como a exatidão evolui com o gasto de tokens de treino em cada método. Medimos o custo em tokens de treino processados. Isto inclui cada prompt sem preenchimento, contexto privilegiado, passagem de otimização e pontuação cruzada entre o professor e o aluno.

Expandir

Os pontos mostram o número de tokens de treino processados e a exatidão em vários checkpoints; as barras de erro representam ±1 desvio padrão entre execuções. Ajustamos uma relação sigmoidal entre a exatidão e o logaritmo do orçamento de tokens de treino, seguindo trabalhos anteriores sobre o escalamento da computação de RL.

O JOLT apresenta eficiência amostral desde cedo e atinge a exatidão mais elevada dos três métodos, estabilizando perto dos 72%. A OPSD melhora rapidamente com orçamentos pequenos, mas estagna em cerca de 62% de exatidão. O GRPO aprende mais lentamente no início, mas continua a melhorar durante mais tempo, subindo até cerca de 70%. Para uma exatidão equivalente de 63,44%, o checkpoint observado do GRPO utiliza 8,40 milhões de tokens, enquanto a curva ajustada do JOLT indica 1,30 milhões, ou seja, 6,5× menos tokens.

Medimos também o custo em tokens de conclusão, que contabilizam as conclusões do aluno no GRPO e na OPSD, e as conclusões do professor e do aluno no JOLT, mas omitem os prompts, o contexto privilegiado e as passagens de otimização adicionais. A comparação com base em tokens de conclusão, em vez de tokens de treino processados, alarga a diferença de eficiência para cerca de 13× com o mesmo nível de exatidão. Num intervalo de exatidões-alvo, o JOLT utiliza entre 9,5 e 14,4× menos tokens de conclusão e entre 4,3 e 7,4× menos tokens de treino processados.

Expandir

Conclusão

A informação privilegiada pode tornar um professor melhor a resolver uma tarefa sem o tornar melhor a ensinar um aluno a resolver a mesma tarefa sem essa informação. O JOLT aborda esta distinção ao treinar o professor em função do comportamento atual do aluno.

Este treino conjunto melhora tanto a exatidão como a eficiência. Com recompensas de resultado para o aluno, o JOLT+ obtém ganhos absolutos face ao GRPO de 1,5 p.p. no GSM8K, 4,2 p.p. no MATH, 3,0 p.p. no LCBv6, 9,9 p.p. no AppWorld e 2,7 p.p. no pass@1 do Terminal-Bench 2.1. No MATH, com exatidão equivalente, o JOLT usa 13× menos tokens de conclusão e 6,5× menos tokens de treino processados do que o GRPO, sem recompensa direta para o aluno.

O JOLT permite que as orientações do professor evoluam a par do aluno. Isto leva-nos a explorar se o professor também consegue aprender a gerar tarefas de treino úteis. Uma direção interessante para trabalho futuro é treinar conjuntamente um professor que gera tarefas e um aluno que resolve problemas, usando o progresso de aprendizagem do aluno para melhorar as tarefas geradas ao longo de um currículo. Isto poderia tornar a geração de tarefas sintéticas sensível àquilo que o aluno está pronto para aprender a seguir.

Leia o nosso artigo completo para mais detalhes. Em breve, disponibilizaremos o código como open source.

Citação

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}