Un buon insegnante va incontro allo studente là dove si trova

L’apprendimento per rinforzo (Reinforcement Learning, RL) è ampiamente utilizzato nel post-training dei modelli linguistici per migliorarne le capacità in attività complesse di ragionamento e in attività agentiche a lungo orizzonte.

In una configurazione tipica, il modello compie ripetuti tentativi su un’attività, riceve una ricompensa di esito per ciascuno e impara a privilegiare le azioni compiute nei tentativi con ricompensa più alta. Tuttavia, una singola ricompensa di esito fornisce un segnale di apprendimento sparso, che non distingue quali azioni intermedie abbiano favorito o compromesso il risultato. Questa sparsità limita l’efficienza campionaria, soprattutto nelle attività agentiche difficili, in cui i tentativi sono lunghi e i successi rari.

Un approccio diffuso per affrontare questa sparsità è l’On-Policy Distillation (OPD), che usa un modello insegnante più potente per fornire una guida token per token sui tentativi dello studente stesso, offrendo ricompense molto più dense. Tuttavia, insegnare è di per sé un’abilità. Un modello bravo a risolvere un’attività non è necessariamente bravo a insegnarla, perché il suo feedback potrebbe andare oltre le capacità attuali dello studente. Da qui nasce l’idea di addestrare non solo lo studente a imitare l’insegnante, ma anche l’insegnante a fornire allo studente una guida meglio allineata.

Proponiamo uno di questi metodi, Joint On-policy Learning and Teaching (JOLT). Partendo dall’On-Policy Self-Distillation (OPSD), usiamo un unico modello in due ruoli: un insegnante con accesso a informazioni privilegiate, come soluzioni verificate, e uno studente privo di tale accesso. Addestriamo i due ruoli congiuntamente. Lo studente segue l’obiettivo di distillazione standard. L’obiettivo dell’insegnante spinge il suo feedback a muovere lo studente nella stessa direzione in cui lo muoverebbe l’RL sulla ricompensa propria dello studente. Insieme, questi obiettivi addestrano l’insegnante ad andare incontro allo studente là dove si trova e aiutano lo studente a imparare da una guida alla sua portata.

I nostri esperimenti dimostrano miglioramenti sia nelle prestazioni del modello sia nell’efficienza dell’addestramento in un’ampia gamma di attività di ragionamento matematico, di programmazione e agentiche.

Nella sua forma più semplice, l’RL basato su ricompense di esito usa l’obiettivo del ritorno atteso:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Qui, $\tau$ è una traiettoria che segue una policy $\pi_\theta$ , e $R(\tau)$ è il ritorno di tale traiettoria. Il corrispondente gradiente della policy è:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

dove $s_t$ e $a_t$ rappresentano rispettivamente lo stato e l’azione al passo temporale $t$ . Per ridurre la varianza delle stime basate su campioni, il gradiente viene spesso espresso come:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

dove il vantaggio $A^{\pi_\theta}(s_t, a_t)$ misura il ritorno atteso in eccesso dell’azione $a_t$ rispetto alla policy corrente nello stato $s_t$ . Un approccio, Group Relative Policy Optimization (GRPO), stima il vantaggio confrontando il ritorno di ciascuna traiettoria con il ritorno medio del gruppo campionato per lo stesso prompt.

Tuttavia, anche con questi accorgimenti, l’apprendimento per rinforzo basato su ricompense di esito soffre di una supervisione sparsa, in particolare nelle attività difficili e a lungo orizzonte. Un numero crescente di lavori affronta questo problema attingendo a ulteriori fonti di informazione per fornire un segnale di apprendimento più denso.

L’On-Policy Distillation (OPD) è uno di questi approcci. Invece di apprendere solo da una ricompensa finale, l’OPD campiona traiettorie dallo studente e valuta ogni azione campionata secondo un insegnante più potente. Per una policy dell’insegnante $\pi_T$ e un’istantanea fissa $\bar{\theta}$ dei parametri dello studente usata per generare le traiettorie, il gradiente locale valutato in $\theta = \bar{\theta}$ è:

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Qui, $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ è l’obiettivo di distillazione pari alla KL inversa con segno negativo. La policy dell’insegnante e i prefissi campionati restano fissi durante la differenziazione. Il rapporto tra le log-probabilità dell’insegnante e dello studente fornisce un segnale di apprendimento denso in ogni stato visitato, sostituendo il vantaggio come peso a livello di azione.

L’On-Policy Self-Distillation (OPSD) elimina inoltre la necessità di un modello insegnante separato. La policy dello studente funge da insegnante di sé stessa quando riceve informazioni privilegiate, come una soluzione verificata, un feedback o una traccia di riferimento. Tuttavia, l’OPSD addestra lo studente solo a imitare l’insegnante; non esiste alcun meccanismo che garantisca che l’insegnante fornisca allo studente un segnale utile.

JOLT estende l’OPSD addestrando un modello condiviso sia come insegnante, che fornisce una guida meglio allineata, sia come studente, che impara da tale guida. L’insegnante, meglio informato, apprende dalle ricompense di esito con una regolarizzazione KL verso lo studente, mentre lo studente, privo di informazioni privilegiate, apprende dal segnale di distillazione denso dell’insegnante. L’aggiornamento dell’insegnante usa tentativi generati dall’insegnante, mentre l’aggiornamento dello studente usa tentativi generati dallo studente e valutati dall’insegnante. JOLT+ integra inoltre il segnale di distillazione dello studente con le ricompense di esito.

Diagramma: un’unica policy apprende sia come insegnante sia come studente — Un’unica policy apprende sia come insegnante sia come studente.

Prestazioni migliori dell’insegnante non si traducono necessariamente in aggiornamenti utili per lo studente. Un insegnante può usare informazioni privilegiate per sfruttare scorciatoie non disponibili allo studente, assegnare un’alta probabilità a traiettorie improbabili per lo studente o fornire una guida inaffidabile dopo errori nei prefissi generati dallo studente. La qualità dell’insegnante dovrebbe quindi essere determinata dal segnale di apprendimento fornito allo studente, anziché dalla ricompensa che l’insegnante stesso ottiene sull’attività.

Diciamo che un insegnante è coerente con la ricompensa se l’aggiornamento per distillazione che induce nello studente corrisponde al gradiente della policy della ricompensa attesa dello studente sull’attività, a meno di un fattore di scala positivo. Nello specifico, un insegnante coerente con la ricompensa $\pi_T^\star$ dovrebbe soddisfare:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

dove $\beta_T$ è uno scalare positivo. Come nella sezione precedente, $g_{\mathrm{OPD}}$ è il gradiente locale dell’OPD, $\bar\theta$ è un’istantanea fissa dei parametri del modello studente $\theta$ e $g_{\mathrm{RL}}$ è il gradiente della policy dell’obiettivo del ritorno atteso.

Un insegnante che soddisfa questa condizione è:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Qui, $A^{\pi_{\bar{\theta}}}(s, a)$ rappresentano i vantaggi di continuazione dello studente e $Z(s)$ è una costante di normalizzazione che garantisce una distribuzione di probabilità valida.

Possiamo addestrare un insegnante verso il target ideale $\pi_T^\star$ minimizzando la sua divergenza KL da esso. Per uno studente e uno stato $s$ fissati, si ottiene:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Sostituendo l’espressione di $\pi_T^\star$ si ottiene un problema di massimizzazione equivalente:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Questo obiettivo incoraggia l’insegnante a scegliere azioni con un vantaggio più alto per lo studente, restando vicino alla distribuzione delle azioni dello studente. Il parametro $\beta_T$ controlla l’intensità di questa penalità: valori più alti mantengono l’insegnante più vicino al comportamento attuale dello studente, mentre valori più bassi gli consentono di privilegiare in modo più aggressivo le azioni ad alto vantaggio.

Questo obiettivo dipende da quanto bene lo studente proseguirebbe dopo ciascuna azione, ma questi vantaggi di continuazione dello studente in genere non sono disponibili. Usiamo quindi come surrogato pratico i ritorni centrati delle traiettorie dell’insegnante stesso. Il termine di ricompensa incoraggia l’insegnante a risolvere l’attività, mentre il termine KL scoraggia gli scostamenti dalla distribuzione attuale delle azioni dello studente. Sebbene il termine KL mantenga l’insegnante vicino allo studente, questa sostituzione non è esatta, poiché i ritorni dell’insegnante non coincidono necessariamente con i vantaggi di continuazione dello studente.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Qui, $\widehat{A}_T(\tau)$ è il ritorno del tentativo dell’insegnante meno il ritorno medio dei tentativi generati dall’insegnante nel suo gruppo. L’operatore $\operatorname{sg}$ indica lo stop-gradient: il suo argomento viene trattato come fisso durante la differenziazione, così come i prefissi campionati e il riferimento dello studente.

L’aggiornamento dello studente è un aggiornamento OPSD standard. Lo studente genera traiettorie a partire dall’attività. Lo stesso modello assegna poi un punteggio a ciascun token campionato con le informazioni privilegiate nel contesto. L’obiettivo dello studente penalizza la divergenza KL inversa tra lo studente e questo insegnante privilegiato in ogni stato visitato dallo studente:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Di conseguenza, i token preferiti dall’insegnante vengono rafforzati, mentre quelli che l’insegnante considera meno probabili rispetto allo studente vengono soppressi.

Combinando gli obiettivi dell’insegnante e dello studente si ottiene l’obiettivo di addestramento congiunto:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ è uno scalare che stabilisce quanto pesa la perdita di distillazione dello studente nell’aggiornamento combinato.

Il risultato di coerenza con la ricompensa caratterizza l’aggiornamento per distillazione dello studente per un determinato insegnante. JOLT usa questo principio per guidare l’addestramento congiunto, combinando gli obiettivi dell’insegnante e dello studente per aggiornarne i parametri condivisi.

JOLT+ aggiunge inoltre al suo aggiornamento la ricompensa di esito propria dello studente. Il ritorno centrato di ogni traiettoria dello studente viene aggiunto al segnale di distillazione, combinando la supervisione densa dell’insegnante con un feedback diretto sull’esito delle traiettorie dello studente. L’obiettivo dell’insegnante resta invariato, quindi possiamo scrivere:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Qui, $\widehat{A}_S(\tau)$ è il ritorno della traiettoria dello studente meno il ritorno medio del suo gruppo di traiettorie generate dallo studente.

In entrambe le varianti, ciascun ruolo apprende dalle traiettorie generate nel proprio contesto ed entrambi i ruoli aggiornano la policy condivisa. Lo pseudocodice di un passo di addestramento è riportato di seguito.

Pseudocodice di JOLT che mostra la generazione dell’insegnante con un suggerimento, la generazione dello studente senza suggerimento, il punteggio incrociato tra contesti e un aggiornamento condiviso della policy. JOLT+ aggiunge ricompense di esito per i tentativi dello studente. — Pseudocodice di un singolo passo di addestramento di JOLT.

Valutiamo JOLT e JOLT+ su benchmark che spaziano dal ragionamento matematico alla generazione di codice, dall’uso di strumenti alle attività da terminale a lungo orizzonte, usando modelli di base diversi e diverse forme di informazioni privilegiate. Nello specifico, conduciamo esperimenti con i seguenti benchmark, modelli di base e configurazioni di informazioni privilegiate:

GSM8K: addestriamo DeepSeek-V2-Lite su GSM8K, un dataset di problemi di matematica di livello scolastico elementare. L’insegnante riceve la risposta verificata a ciascun problema.
MATH: addestriamo Qwen3-0.6B su MATH. L’insegnante riceve soluzioni di riferimento svolte.
LCBv6: addestriamo Qwen3-8B su 131 problemi di programmazione tratti da LiveCodeBench-V6. L’insegnante riceve una soluzione generata dal modello che ha superato tutti i test visibili in addestramento oppure, se nessun tentativo li ha superati, il feedback dell’esecuzione.
AppWorld: addestriamo Qwen3-4B-Instruct su AppWorld. L’insegnante riceve i riepiloghi dei tentativi precedenti.
Terminal-Bench: addestriamo Qwen3-30B-A3B-Instruct su TMax, un insieme di attività di addestramento per agenti da terminale, e valutiamo su Terminal-Bench 2.1. L’insegnante riceve informazioni private del verificatore.

Confrontiamo JOLT con GRPO, OPSD e π-Distill, ottimizzando gli iperparametri di ciascun metodo. Come JOLT, π-Distill addestra congiuntamente i ruoli di insegnante privilegiato e di studente all’interno di un modello condiviso; tuttavia, usa un target diverso per l’insegnante e il suo aggiornamento dello studente resta off-policy, basandosi su traiettorie generate dall’insegnante anziché sulle generazioni dello studente stesso.

JOLT+ ottiene il punteggio medio più alto in tutte le configurazioni che valutiamo. Rispetto a GRPO, la baseline più forte tra quelle testate, migliora l’accuratezza su GSM8K di 1,5 punti percentuali (pp), quella su MATH di 4,2 pp, quella su LCBv6 di 3,0 pp e il tasso di superamento dei test di stato di AppWorld di 9,9 pp.

Grafico a punti e baffi: JOLT+ ottiene il punteggio medio più alto in tutti e quattro i benchmark — JOLT+ ottiene il punteggio medio più alto in tutti e quattro i benchmark.

Senza alcuna ricompensa diretta per lo studente, l’accuratezza media di JOLT è superiore a quella di GRPO su GSM8K, MATH e LCBv6. Su AppWorld, invece, resta al di sotto sia di GRPO sia di π-Distill.

Terminal-Bench 2.1 è la configurazione con l’orizzonte più lungo. JOLT+ ottiene il pass@k più alto per ogni k riportato, dal 10,96% a pass@1 al 34,83% a pass@32. JOLT migliora rispetto al modello di base e a entrambe le baseline di distillazione per ogni k, ma resta al di sotto di GRPO. L’OPSD ottiene punteggi inferiori al modello di base per ogni k.

Grafico a linee: JOLT+ è in testa su Terminal-Bench con qualsiasi budget di tentativi — JOLT+ è in testa su Terminal-Bench con qualsiasi budget di tentativi.

Ci interessa anche capire come le prestazioni scalano con il budget di addestramento. Valutiamo GRPO, OPSD e JOLT con diversi budget di token di addestramento su MATH e confrontiamo l’accuratezza risultante dello studente.

La figura mostra come l’accuratezza scala con la spesa in token di addestramento per ciascun metodo. Misuriamo il costo in token di addestramento elaborati. Questi includono ogni prompt senza padding, il contesto privilegiato, ogni passaggio di ottimizzazione e il punteggio incrociato tra insegnante e studente.

Grafico a dispersione con curve interpolate: JOLT richiede meno token per raggiungere l’accuratezza di GRPO — JOLT richiede meno token per raggiungere l’accuratezza di GRPO.

I punti mostrano il numero di token di addestramento elaborati e l’accuratezza in vari checkpoint; i baffi rappresentano ±1 deviazione standard tra le esecuzioni. Interpoliamo una relazione sigmoidale tra l’accuratezza e il logaritmo del budget di token di addestramento, seguendo lavori precedenti sulla scalabilità del calcolo per l’RL.

JOLT mostra un’elevata efficienza campionaria già nelle prime fasi e raggiunge l’accuratezza più alta dei tre metodi, stabilizzandosi intorno al 72%. L’OPSD migliora rapidamente con budget ridotti, ma si assesta su un’accuratezza di circa il 62%. GRPO apprende più lentamente all’inizio, ma continua a migliorare più a lungo, salendo fino a circa il 70%. A parità di accuratezza, pari al 63,44%, il checkpoint osservato di GRPO usa 8,40 milioni di token, mentre la curva interpolata di JOLT indica 1,30 milioni, ovvero 6,5× meno token.

Misuriamo il costo anche in token di completamento, che contano i completamenti dello studente per GRPO e OPSD e sia quelli dell’insegnante sia quelli dello studente per JOLT, ma escludono i prompt, il contesto privilegiato e i passaggi di ottimizzazione aggiuntivi. Un confronto basato sui token di completamento anziché sui token di addestramento elaborati amplia il divario di efficienza a circa 13× a parità di accuratezza. Su un intervallo di accuratezze target, JOLT usa 9,5–14,4× meno token di completamento e 4,3–7,4× meno token di addestramento elaborati.

Grafico a manubrio: il vantaggio di JOLT in termini di token si mantiene dal 55% al 65% di accuratezza — Il vantaggio di JOLT in termini di token si mantiene dal 55% al 65% di accuratezza.

Le informazioni privilegiate possono rendere un insegnante più bravo a risolvere un’attività senza renderlo più bravo a insegnare a uno studente come risolvere la stessa attività senza quelle informazioni. JOLT affronta questa distinzione addestrando l’insegnante in relazione al comportamento attuale dello studente.

Questo addestramento congiunto migliora sia l’accuratezza sia l’efficienza. Con le ricompense di esito dello studente, JOLT+ ottiene guadagni assoluti rispetto a GRPO di 1,5 pp su GSM8K, 4,2 pp su MATH, 3,0 pp su LCBv6, 9,9 pp su AppWorld e 2,7 pp nel pass@1 su Terminal-Bench 2.1. Su MATH, a parità di accuratezza, JOLT usa 13× meno token di completamento e 6,5× meno token di addestramento elaborati rispetto a GRPO, senza alcuna ricompensa diretta per lo studente.

JOLT permette alla guida dell’insegnante di evolversi insieme allo studente. Questo spinge a esplorare se l’insegnante possa anche imparare a generare attività di addestramento utili. Un’interessante direzione per lavori futuri consiste nell’addestrare congiuntamente un insegnante che genera attività e uno studente che risolve problemi, usando i progressi di apprendimento dello studente per migliorare le attività generate all’interno di un curriculum. In questo modo, la generazione di attività sintetiche potrebbe adattarsi a ciò che lo studente è pronto a imparare subito dopo.

Leggi il nostro articolo completo per maggiori dettagli. Presto renderemo open source il codice.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Introduzione

Dalle ricompense sparse al feedback denso

Apprendimento e insegnamento congiunti on-policy

Addestrare l’insegnante

Definire che cosa deve fare un insegnante

Dal target ideale a un obiettivo per l’insegnante

Un obiettivo surrogato pratico

Addestrare lo studente

Mettere insieme i pezzi

Esperimenti

Accuratezza

Efficienza dei token e scalabilità

Conclusione

Citazione