Un profesor bun pornește de la nivelul la care se află studentul

Învățarea prin întărire (Reinforcement Learning, RL) este utilizată pe scară largă în post-antrenarea modelelor de limbaj, pentru a le îmbunătăți capacitățile în sarcini complexe de raționament și în sarcini agentice cu orizont lung.

Într-o configurație tipică, modelul face încercări repetate de a rezolva o sarcină, primește o recompensă de rezultat pentru fiecare și învață să favorizeze acțiunile efectuate în încercările cu recompensă mai mare. Totuși, o singură recompensă de rezultat oferă un semnal de învățare rarefiat, care nu distinge ce acțiuni intermediare au contribuit la rezultat sau l-au afectat. Această rarefiere limitează eficiența în utilizarea eșantioanelor, mai ales în sarcinile agentice dificile, în care încercările sunt lungi, iar reușitele sunt rare.

O abordare populară pentru a remedia această rarefiere este distilarea on-policy (On-Policy Distillation, OPD), care folosește un model profesor mai puternic pentru a oferi îndrumare token cu token asupra propriilor încercări ale studentului, furnizând recompense mult mai dense. Totuși, predarea este o abilitate în sine. Un model care se pricepe să rezolve o sarcină nu se pricepe neapărat să o predea, deoarece feedbackul său poate depăși capacitățile actuale ale studentului. Acest lucru motivează antrenarea nu doar a studentului, pentru a-l imita pe profesor, ci și a profesorului, pentru a oferi studentului o îndrumare mai bine adaptată.

Propunem o astfel de metodă, Joint On-policy Learning and Teaching (JOLT). Pornind de la autodistilarea on-policy (On-Policy Self-Distillation, OPSD), folosim un singur model în două roluri: un profesor cu acces la informații privilegiate, cum ar fi soluții verificate, și un student fără un astfel de acces. Antrenăm cele două roluri împreună. Studentul urmează obiectivul standard de distilare. Obiectivul profesorului îi orientează feedbackul astfel încât acesta să-l deplaseze pe student în aceeași direcție ca RL aplicat pe propria recompensă a studentului. Împreună, aceste obiective îl antrenează pe profesor să pornească de la nivelul la care se află studentul și îl ajută pe student să învețe din îndrumări aflate la îndemâna sa.

Experimentele noastre demonstrează îmbunătățiri atât ale performanței modelului, cât și ale eficienței antrenării, într-o gamă largă de sarcini de raționament matematic, de programare și agentice.

În forma sa cea mai simplă, RL cu recompensă de rezultat folosește obiectivul randamentului așteptat:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Aici, $\tau$ este o traiectorie care urmează o politică $\pi_\theta$ , iar $R(\tau)$ este randamentul acelei traiectorii. Gradientul de politică corespunzător este:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

unde $s_t$ și $a_t$ reprezintă starea și, respectiv, acțiunea la pasul de timp $t$ . Pentru a reduce varianța estimărilor bazate pe eșantioane, gradientul este adesea exprimat astfel:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

unde avantajul $A^{\pi_\theta}(s_t, a_t)$ măsoară randamentul suplimentar așteptat al acțiunii $a_t$ în raport cu politica curentă în starea $s_t$ . O abordare, Group Relative Policy Optimization (GRPO), estimează avantajul comparând randamentul fiecărei traiectorii cu randamentul mediu al grupului eșantionat pentru același prompt.

Totuși, chiar și cu aceste ajustări, învățarea prin întărire cu recompensă de rezultat suferă de o supervizare rarefiată, în special în sarcinile dificile, cu orizont lung. Un număr tot mai mare de lucrări abordează această problemă apelând la surse suplimentare de informații pentru a oferi un semnal de învățare mai dens.

On-Policy Distillation (OPD) este o astfel de abordare. În loc să învețe doar dintr-o recompensă finală, OPD eșantionează traiectorii de la student și evaluează fiecare acțiune eșantionată cu ajutorul unui profesor mai puternic. Pentru o politică a profesorului $\pi_T$ și un instantaneu fix $\bar{\theta}$ al parametrilor studentului, folosit pentru a genera traiectoriile, gradientul local evaluat în $\theta = \bar{\theta}$ este:

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Aici, $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ este obiectivul de distilare definit ca KL invers cu semn negativ. Politica profesorului și prefixele eșantionate sunt menținute fixe în timpul diferențierii. Raportul dintre log-probabilitățile profesorului și ale studentului oferă un semnal de învățare dens în fiecare stare vizitată, înlocuind avantajul ca pondere la nivel de acțiune.

On-Policy Self-Distillation (OPSD) elimină în plus nevoia unui model profesor separat. Politica studentului joacă rolul propriului profesor atunci când primește informații privilegiate, cum ar fi o soluție verificată, feedback sau o urmă de referință. Totuși, OPSD doar îl antrenează pe student să-l imite pe profesor; nu există niciun mecanism care să asigure că profesorul oferă studentului un semnal util.

JOLT extinde OPSD prin antrenarea unui model partajat atât ca profesor, care oferă îndrumare mai bine adaptată, cât și ca student, care învață din aceasta. Profesorul, mai bine informat, învață din recompensele de rezultat cu regularizare KL față de student, în timp ce studentul, fără informații privilegiate, învață din semnalul dens de distilare al profesorului. Actualizarea profesorului folosește încercări generate de profesor, în timp ce actualizarea studentului folosește încercări generate de student și evaluate de profesor. JOLT+ completează în plus semnalul de distilare al studentului cu recompense de rezultat.

Diagramă: o singură politică învață atât ca profesor, cât și ca student — O singură politică învață atât ca profesor, cât și ca student.

Performanța mai bună a profesorului nu se traduce neapărat în actualizări utile pentru student. Un profesor poate folosi informațiile privilegiate pentru a exploata scurtături indisponibile studentului, poate atribui probabilități mari unor traiectorii improbabile pentru student sau poate oferi îndrumări nesigure după erori în prefixele generate de student. Prin urmare, calitatea profesorului ar trebui determinată de semnalul de învățare oferit studentului, nu de propria recompensă a profesorului pentru sarcină.

Numim un profesor consistent cu recompensa dacă actualizarea de distilare pe care o induce în student corespunde gradientului de politică al recompensei așteptate a studentului pentru sarcină, până la un factor de scalare pozitiv. Mai exact, un profesor consistent cu recompensa $\pi_T^\star$ ar trebui să satisfacă:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

unde $\beta_T$ este un scalar pozitiv. Ca în secțiunea anterioară, $g_{\mathrm{OPD}}$ este gradientul local OPD, $\bar\theta$ este un instantaneu fix al parametrilor modelului student $\theta$ , iar $g_{\mathrm{RL}}$ este gradientul de politică al obiectivului randamentului așteptat.

Un profesor care satisface această condiție este:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Aici, $A^{\pi_{\bar{\theta}}}(s, a)$ reprezintă avantajele de continuare ale studentului, iar $Z(s)$ este o constantă de normalizare care asigură o distribuție de probabilitate validă.

Putem antrena un profesor spre ținta ideală $\pi_T^\star$ minimizând divergența KL a acestuia față de ea. Pentru un student și o stare $s$ fixe, obținem:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Înlocuind expresia pentru $\pi_T^\star$ , obținem o problemă de maximizare echivalentă:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Acest obiectiv îl încurajează pe profesor să aleagă acțiuni cu un avantaj mai mare pentru student, rămânând totodată aproape de distribuția acțiunilor studentului. Parametrul $\beta_T$ controlează intensitatea acestei penalizări: valorile mai mari îl mențin pe profesor mai aproape de comportamentul actual al studentului, în timp ce valorile mai mici îi permit să favorizeze mai agresiv acțiunile cu avantaj mare.

Acest obiectiv depinde de cât de bine ar continua studentul după fiecare acțiune, dar aceste avantaje de continuare ale studentului nu sunt, în general, disponibile. Prin urmare, folosim drept surogat practic randamentele centrate din propriile traiectorii ale profesorului. Termenul de recompensă îl încurajează pe profesor să rezolve sarcina, în timp ce termenul KL descurajează abaterile de la distribuția actuală a acțiunilor studentului. Deși termenul KL îl menține pe profesor aproape de student, această substituție nu este exactă, deoarece randamentele profesorului nu coincid neapărat cu avantajele de continuare ale studentului.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Aici, $\widehat{A}_T(\tau)$ este randamentul încercării profesorului minus randamentul mediu al încercărilor generate de profesor din grupul său. Operatorul $\operatorname{sg}$ denotă stop-gradient: argumentul său este tratat ca fix în timpul diferențierii, la fel ca prefixele eșantionate și referința studentului.

Actualizarea studentului este o actualizare OPSD standard. Studentul generează traiectorii pornind de la sarcină. Același model evaluează apoi fiecare token eșantionat având în context informațiile privilegiate. Obiectivul studentului penalizează divergența KL inversă dintre student și acest profesor privilegiat în fiecare stare vizitată de student:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Prin urmare, tokenurile preferate de profesor sunt întărite, în timp ce tokenurile pe care profesorul le consideră mai puțin probabile decât studentul sunt suprimate.

Combinând obiectivele profesorului și ale studentului, obținem obiectivul de antrenare comună:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ este un scalar care stabilește ponderea pierderii de distilare a studentului în actualizarea combinată.

Rezultatul privind consistența recompensei caracterizează actualizarea de distilare a studentului pentru un profesor dat. JOLT folosește acest principiu pentru a ghida antrenarea comună, combinând obiectivele profesorului și ale studentului pentru a actualiza parametrii lor partajați.

JOLT+ adaugă, de asemenea, propria recompensă de rezultat a studentului la actualizarea acestuia. Randamentul centrat al fiecărei traiectorii a studentului este adăugat la semnalul de distilare, combinând supervizarea densă din partea profesorului cu feedbackul direct privind rezultatul traiectoriilor studentului. Obiectivul profesorului rămâne neschimbat, așa că putem scrie:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Aici, $\widehat{A}_S(\tau)$ este randamentul traiectoriei studentului minus randamentul mediu al grupului său de traiectorii generate de student.

În ambele variante, fiecare rol învață din traiectorii generate în propriul context, iar ambele roluri actualizează politica partajată. Pseudocodul pentru un pas de antrenare este prezentat mai jos.

Pseudocod JOLT care arată generarea profesorului cu un indiciu, generarea studentului fără acesta, evaluarea încrucișată între contexte și o actualizare comună a politicii. JOLT+ adaugă recompense de rezultat pentru încercările studentului. — Pseudocod pentru un pas de antrenare JOLT.

Evaluăm JOLT și JOLT+ pe benchmarkuri care acoperă raționamentul matematic, generarea de cod, utilizarea instrumentelor și sarcini în terminal cu orizont lung, folosind diferite modele de bază și diferite forme de informații privilegiate. Mai exact, efectuăm experimente cu următoarele benchmarkuri, modele de bază și configurații de informații privilegiate:

GSM8K: antrenăm DeepSeek-V2-Lite pe GSM8K, un set de date cu probleme de matematică de nivel școlar elementar. Profesorul primește răspunsul verificat pentru fiecare problemă.
MATH: antrenăm Qwen3-0.6B pe MATH. Profesorul primește soluții de referință rezolvate pas cu pas.
LCBv6: antrenăm Qwen3-8B pe 131 de probleme de programare din LiveCodeBench-V6. Profesorul primește o soluție generată de model care a trecut toate testele vizibile în timpul antrenării sau feedback de execuție atunci când nicio încercare nu le-a trecut.
AppWorld: antrenăm Qwen3-4B-Instruct pe AppWorld. Profesorul primește rezumate ale încercărilor anterioare.
Terminal-Bench: antrenăm Qwen3-30B-A3B-Instruct pe TMax, un set de sarcini de antrenare pentru agenți de terminal, și evaluăm pe Terminal-Bench 2.1. Profesorul primește informații private ale verificatorului.

Comparăm cu GRPO, OPSD și π-Distill, ajustând hiperparametrii pentru fiecare metodă. La fel ca JOLT, π-Distill antrenează în comun rolurile de profesor privilegiat și de student într-un model partajat; totuși, folosește o țintă diferită pentru profesor, iar actualizarea studentului rămâne off-policy, bazându-se pe traiectorii generate de profesor, nu pe generările proprii ale studentului.

JOLT+ are cel mai mare scor mediu în fiecare configurație evaluată. Comparativ cu GRPO, cea mai puternică metodă de referință testată, îmbunătățește acuratețea pe GSM8K cu 1,5 puncte procentuale (pp), acuratețea pe MATH cu 4,2 pp, acuratețea pe LCBv6 cu 3,0 pp și rata de trecere a testelor de stare AppWorld cu 9,9 pp.

Grafic cu puncte și mustăți: JOLT+ are cel mai mare scor mediu pe toate cele patru benchmarkuri — JOLT+ are cel mai mare scor mediu pe toate cele patru benchmarkuri.

Fără nicio recompensă directă pentru student, acuratețea medie a JOLT este mai mare decât cea a GRPO pe GSM8K, MATH și LCBv6. Totuși, pe AppWorld, rămâne sub GRPO și π-Distill.

Terminal-Bench 2.1 este configurația cu cel mai lung orizont. JOLT+ are cel mai mare pass@k pentru fiecare k raportat, de la 10,96% la pass@1 la 34,83% la pass@32. JOLT depășește modelul de bază și ambele metode de referință bazate pe distilare la fiecare k, dar rămâne sub GRPO. OPSD obține scoruri sub modelul de bază la fiecare k.

Grafic liniar: JOLT+ se situează pe primul loc pe Terminal-Bench la fiecare buget de încercări — JOLT+ se situează pe primul loc pe Terminal-Bench la fiecare buget de încercări.

Ne interesează, de asemenea, cum evoluează performanța în funcție de bugetul de antrenare. Evaluăm GRPO, OPSD și JOLT pentru diferite bugete de tokenuri de antrenare pe MATH și comparăm acuratețea rezultată a studentului.

Figura arată cum evoluează acuratețea fiecărei metode în funcție de tokenurile de antrenare consumate. Măsurăm costul în tokenuri de antrenare procesate. Acestea includ fiecare prompt fără padding, contextul privilegiat, fiecare trecere de optimizare și evaluarea încrucișată dintre profesor și student.

Grafic de dispersie cu curbe ajustate: JOLT are nevoie de mai puține tokenuri pentru a atinge acuratețea GRPO — JOLT are nevoie de mai puține tokenuri pentru a atinge acuratețea GRPO.

Punctele arată numărul de tokenuri de antrenare procesate și acuratețea la diverse puncte de control; mustățile reprezintă ±1 abatere standard între rulări. Ajustăm o relație sigmoidală între acuratețe și logaritmul bugetului de tokenuri de antrenare, urmând lucrări anterioare privind scalarea resurselor de calcul pentru RL.

JOLT prezintă o eficiență timpurie în utilizarea eșantioanelor, obținând totodată cea mai mare acuratețe dintre cele trei metode și stabilizându-se în jurul valorii de 72%. OPSD se îmbunătățește rapid la bugete mici, dar atinge un platou la aproximativ 62% acuratețe. GRPO învață mai lent la început, dar continuă să se îmbunătățească mai mult timp, urcând la aproximativ 70%. La o acuratețe egală de 63,44%, punctul de control observat al GRPO folosește 8,40 milioane de tokenuri, în timp ce curba ajustată a JOLT indică 1,30 milioane, adică de 6,5 ori mai puține tokenuri.

Măsurăm costul și prin tokenurile de completare, care numără completările studentului pentru GRPO și OPSD, respectiv completările profesorului și ale studentului pentru JOLT, dar omit prompturile, contextul privilegiat și trecerile suplimentare de optimizare. Comparația bazată pe tokenuri de completare, în loc de tokenuri de antrenare procesate, mărește diferența de eficiență la un factor de aproximativ 13 la același nivel de acuratețe. Pentru o serie de valori țintă ale acurateței, JOLT folosește de 9,5–14,4 ori mai puține tokenuri de completare și de 4,3–7,4 ori mai puține tokenuri de antrenare procesate.

Grafic de tip haltere: avantajul JOLT în privința tokenurilor se menține între 55% și 65% acuratețe — Avantajul JOLT în privința tokenurilor se menține între 55% și 65% acuratețe.

Informațiile privilegiate pot face un profesor mai bun la rezolvarea unei sarcini fără a-l face mai bun la a-l învăța pe un student să rezolve aceeași sarcină fără acele informații. JOLT abordează această distincție antrenând profesorul în raport cu comportamentul actual al studentului.

Această antrenare comună îmbunătățește atât acuratețea, cât și eficiența. Cu recompense de rezultat pentru student, JOLT+ obține câștiguri absolute față de GRPO de 1,5 pp pe GSM8K, 4,2 pp pe MATH, 3,0 pp pe LCBv6, 9,9 pp pe AppWorld și 2,7 pp la pass@1 pe Terminal-Bench 2.1. Pe MATH, la acuratețe egală, JOLT folosește de 13 ori mai puține tokenuri de completare și de 6,5 ori mai puține tokenuri de antrenare procesate decât GRPO, fără recompensă directă pentru student.

JOLT permite îndrumării profesorului să evolueze odată cu studentul. Acest lucru motivează explorarea posibilității ca profesorul să învețe să genereze și sarcini de antrenare utile. O direcție interesantă pentru lucrările viitoare este antrenarea comună a unui profesor care generează sarcini și a unui student care rezolvă probleme, folosind progresul în învățare al studentului pentru a îmbunătăți sarcinile generate în cadrul unui curriculum. Astfel, generarea de sarcini sintetice ar putea ține cont de ceea ce studentul este pregătit să învețe în continuare.

Citiți lucrarea completă pentru mai multe detalii. În curând vom publica codul ca open source.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Introducere

De la recompense rarefiate la feedback dens

Învățare și predare comune on-policy

Antrenarea profesorului

Să definim ce ar trebui să facă un profesor

De la ținta ideală la un obiectiv pentru profesor

Un obiectiv surogat practic

Antrenarea studentului

Totul la un loc

Experimente

Acuratețe

Eficiența utilizării tokenurilor și scalarea

Concluzie

Citare