Dobar učitelj se prilagođava trenutnom nivou učenika

Učenje potkrepljivanjem (RL) široko se koristi u naknadnom treniranju jezičkih modela kako bi se poboljšale njihove sposobnosti na složenim zadacima rezonovanja i agentskim zadacima dugog horizonta.

U tipičnoj postavci model više puta pokušava da reši zadatak, za svaki pokušaj dobija nagradu za ishod i uči da daje prednost akcijama preduzetim u pokušajima sa višom nagradom. Međutim, jedna nagrada za ishod pruža redak signal učenja koji ne razlikuje koje su posredne akcije pomogle ishodu, a koje su mu odmogle. Ova retkost ograničava efikasnost korišćenja uzoraka, naročito na teškim agentskim zadacima, gde su pokušaji dugi, a uspesi retki.

Jedan popularan pristup rešavanju ovog problema retkosti jeste On-Policy Distillation (OPD), koji koristi jači model učitelja da token po token usmerava sopstvene pokušaje učenika, pružajući mnogo gušće nagrade. Međutim, podučavanje je veština samo po sebi. Model koji dobro rešava zadatak ne mora nužno dobro i da ga podučava, jer njegove povratne informacije mogu prevazilaziti trenutne sposobnosti učenika. Zato ima smisla trenirati ne samo učenika da oponaša učitelja, već i učitelja da pruža smernice bolje usklađene sa učenikom.

Predlažemo jednu takvu metodu, Joint On-policy Learning and Teaching (JOLT). Nadovezujući se na On-Policy Self-Distillation (OPSD), koristimo jedan model u dve uloge: kao učitelja koji ima pristup privilegovanim informacijama, kao što su verifikovana rešenja, i kao učenika koji takav pristup nema. Te dve uloge treniramo zajedno. Učenik prati standardnu funkciju cilja destilacije. Funkcija cilja učitelja usmerava njegove povratne informacije tako da pomeraju učenika u istom smeru kao RL na osnovu sopstvene nagrade učenika. Zajedno, ove funkcije cilja uče učitelja da se prilagodi trenutnom nivou učenika i pomažu učeniku da uči iz smernica koje su u njegovom domašaju.

Naši eksperimenti pokazuju poboljšanja i u performansama modela i u efikasnosti treniranja na nizu zadataka iz matematičkog rezonovanja, programiranja i agentskih zadataka.

U svom najosnovnijem obliku, RL sa nagradom za ishod koristi funkciju cilja očekivanog povrata:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Ovde je $\tau$ putanja koja sledi politiku $\pi_\theta$ , a $R(\tau)$ je povrat za tu putanju. Odgovarajući gradijent politike je:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

gde $s_t$ i $a_t$ predstavljaju stanje, odnosno akciju, u vremenskom koraku $t$ . Da bi se smanjila varijansa procena zasnovanih na uzorcima, gradijent se često izražava kao:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

gde prednost $A^{\pi_\theta}(s_t, a_t)$ meri očekivani višak povrata akcije $a_t$ u odnosu na trenutnu politiku u stanju $s_t$ . Jedan pristup, Group Relative Policy Optimization (GRPO), procenjuje prednost poređenjem povrata svake putanje sa srednjim povratom grupe uzorkovane za isti prompt.

Međutim, čak i uz ova prilagođavanja, učenje potkrepljivanjem sa nagradom za ishod pati od retkog nadzora, naročito na teškim zadacima dugog horizonta. Sve veći broj radova rešava ovaj problem oslanjajući se na dodatne izvore informacija kako bi se obezbedio gušći signal učenja.

On-Policy Distillation (OPD) je jedan takav pristup. Umesto da uči samo iz konačne nagrade, OPD uzorkuje putanje od učenika i svaku uzorkovanu akciju vrednuje pomoću jačeg učitelja. Za politiku učitelja $\pi_T$ i fiksni snimak $\bar{\theta}$ parametara učenika koji se koristi za generisanje putanja, lokalni gradijent izračunat u $\theta = \bar{\theta}$ je:

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Ovde je $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ negativna funkcija cilja destilacije zasnovana na obrnutoj KL divergenciji. Politika učitelja i uzorkovani prefiksi drže se fiksnim tokom diferenciranja. Odnos log-verovatnoća učitelja i učenika pruža gust signal učenja u svakom posećenom stanju i zamenjuje prednost kao težinu na nivou akcije.

On-Policy Self-Distillation (OPSD) dodatno uklanja potrebu za posebnim modelom učitelja. Politika učenika služi kao sopstveni učitelj kada dobije privilegovane informacije, kao što su verifikovano rešenje, povratne informacije ili referentni trag. Međutim, OPSD samo trenira učenika da oponaša učitelja; ne postoji mehanizam koji bi osigurao da učitelj učeniku pruža koristan signal.

JOLT proširuje OPSD tako što trenira zajednički model i kao učitelja koji pruža bolje usklađene smernice i kao učenika koji iz njih uči. Bolje informisani učitelj uči iz nagrada za ishod uz KL regularizaciju prema učeniku, dok učenik bez privilegija uči iz gustog signala destilacije koji pruža učitelj. Ažuriranje učitelja koristi pokušaje koje je generisao učitelj, dok ažuriranje učenika koristi pokušaje koje je generisao učenik, a ocenio učitelj. JOLT+ dodatno dopunjuje signal destilacije učenika nagradama za ishod.

Dijagram: jedna politika uči i kao učitelj i kao učenik — Jedna politika uči i kao učitelj i kao učenik.

Bolje performanse učitelja ne znače nužno i korisnija ažuriranja za učenika. Učitelj može koristiti privilegovane informacije za prečice nedostupne učeniku, dodeljivati visoku verovatnoću putanjama koje su za učenika malo verovatne ili pružati nepouzdane smernice nakon grešaka u prefiksima koje je generisao učenik. Kvalitet učitelja stoga treba određivati prema signalu učenja koji pruža učeniku, a ne prema sopstvenoj nagradi učitelja za zadatak.

Učitelja nazivamo konzistentnim sa nagradom ako ažuriranje destilacije koje on izaziva kod učenika odgovara gradijentu politike očekivane nagrade učenika za zadatak, do na pozitivno skaliranje. Konkretno, učitelj $\pi_T^\star$ konzistentan sa nagradom treba da zadovolji:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

gde je $\beta_T$ pozitivan skalar. Kao i u prethodnom odeljku, $g_{\mathrm{OPD}}$ je lokalni gradijent OPD-a, $\bar\theta$ je fiksni snimak parametara modela učenika $\theta$ , a $g_{\mathrm{RL}}$ je gradijent politike funkcije cilja očekivanog povrata.

Jedan učitelj koji zadovoljava ovaj uslov je:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Ovde $A^{\pi_{\bar{\theta}}}(s, a)$ predstavljaju prednosti nastavka učenika, a $Z(s)$ je normalizaciona konstanta koja obezbeđuje ispravnu raspodelu verovatnoće.

Učitelja možemo trenirati ka idealnom cilju $\pi_T^\star$ minimizovanjem njegove KL divergencije u odnosu na taj cilj. Za fiksnog učenika i stanje $s$ , to daje:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Zamenom izraza za $\pi_T^\star$ dobija se ekvivalentan problem maksimizacije:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Ova funkcija cilja podstiče učitelja da bira akcije sa većom prednošću za učenika, a da pritom ostane blizu raspodele akcija učenika. Parametar $\beta_T$ kontroliše jačinu ove kazne: veće vrednosti drže učitelja bliže trenutnom ponašanju učenika, dok mu manje vrednosti omogućavaju da agresivnije favorizuje akcije sa visokom prednošću.

Ova funkcija cilja zavisi od toga koliko bi dobro učenik nastavio nakon svake akcije, ali te prednosti nastavka učenika uglavnom nisu dostupne. Zato kao praktičnu zamenu koristimo centrirane povrate iz sopstvenih putanja učitelja. Član nagrade podstiče učitelja da reši zadatak, dok KL član obeshrabruje odstupanja od trenutne raspodele akcija učenika. Iako KL član drži učitelja blizu učenika, ova zamena nije egzaktna, jer povrati učitelja ne moraju da se poklapaju sa prednostima nastavka učenika.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Ovde je $\widehat{A}_T(\tau)$ povrat pokušaja učitelja umanjen za srednji povrat pokušaja koje je generisao učitelj u njegovoj grupi. Operator $\operatorname{sg}$ označava stop-gradient: njegov argument se tretira kao fiksan tokom diferenciranja, kao i uzorkovani prefiksi i referentna politika učenika.

Ažuriranje učenika je standardno OPSD ažuriranje. Učenik generiše putanje na osnovu zadatka. Isti model zatim ocenjuje svaki uzorkovani token sa privilegovanim informacijama u kontekstu. Funkcija cilja učenika kažnjava obrnutu KL divergenciju između učenika i ovog privilegovanog učitelja u svakom stanju koje učenik poseti:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Stoga se tokeni kojima učitelj daje prednost pojačavaju, dok se potiskuju tokeni koje učitelj smatra manje verovatnim nego učenik.

Kombinovanjem funkcija cilja učitelja i učenika dobija se zajednička funkcija cilja treniranja:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ je skalar koji određuje koliko gubitak destilacije učenika učestvuje u kombinovanom ažuriranju.

Rezultat o konzistentnosti sa nagradom opisuje ažuriranje destilacije učenika za datog učitelja. JOLT koristi ovaj princip kao vodilju za zajedničko treniranje, kombinujući funkcije cilja učitelja i učenika radi ažuriranja njihovih zajedničkih parametara.

JOLT+ u svoje ažuriranje dodaje i sopstvenu nagradu za ishod učenika. Centrirani povrat svake putanje učenika dodaje se signalu destilacije, čime se gust nadzor učitelja kombinuje sa direktnim povratnim informacijama o ishodu putanja učenika. Funkcija cilja učitelja ostaje nepromenjena, pa možemo napisati:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Ovde je $\widehat{A}_S(\tau)$ povrat putanje učenika umanjen za srednji povrat njene grupe putanja koje je generisao učenik.

U obe varijante svaka uloga uči iz putanja generisanih u sopstvenom kontekstu, a obe uloge ažuriraju zajedničku politiku. Pseudokod za jedan korak treniranja prikazan je u nastavku.

Pseudokod za JOLT koji prikazuje kako učitelj generiše pokušaje uz nagoveštaj, a učenik bez njega, zatim unakrsno ocenjivanje između konteksta i ažuriranje zajedničke politike. JOLT+ dodaje nagrade za ishod pokušaja učenika. — Pseudokod za jedan korak treniranja JOLT-a.

JOLT i JOLT+ evaluiramo na benčmarkovima koji obuhvataju matematičko rezonovanje, generisanje koda, korišćenje alata i terminalske zadatke dugog horizonta, koristeći različite osnovne modele i različite oblike privilegovanih informacija. Konkretno, eksperimente sprovodimo sa sledećim benčmarkovima, osnovnim modelima i konfiguracijama privilegovanih informacija:

GSM8K: treniramo DeepSeek-V2-Lite na GSM8K, skupu podataka sa matematičkim zadacima za osnovnu školu. Učitelj dobija verifikovan odgovor za svaki zadatak.
MATH: treniramo Qwen3-0.6B na MATH. Učitelj dobija razrađena referentna rešenja.
LCBv6: treniramo Qwen3-8B na 131 programerskom zadatku iz LiveCodeBench-V6. Učitelj dobija rešenje koje je generisao model i koje je prošlo sve testove vidljive tokom treniranja, ili povratne informacije o izvršavanju kada nijedan pokušaj nije prošao te testove.
AppWorld: treniramo Qwen3-4B-Instruct na AppWorld. Učitelj dobija sažetke prethodnih pokušaja.
Terminal-Bench: treniramo Qwen3-30B-A3B-Instruct na TMax, skupu zadataka za treniranje terminalskih agenata, i evaluiramo na Terminal-Bench 2.1. Učitelj dobija privatne informacije verifikatora.

Poredimo se sa metodama GRPO, OPSD i π-Distill, uz podešavanje hiperparametara za svaku metodu. Kao i JOLT, π-Distill zajednički trenira privilegovanu ulogu učitelja i ulogu učenika unutar zajedničkog modela; međutim, koristi drugačiji cilj učitelja, a ažuriranje učenika ostaje off-policy, oslanjajući se na putanje koje je generisao učitelj umesto na sopstvene generacije učenika.

JOLT+ ima najviši prosečni rezultat u svakoj postavci koju evaluiramo. U poređenju sa GRPO-om, najjačom testiranom referentnom metodom, poboljšava tačnost na GSM8K za 1,5 procentnih poena (p.p.), tačnost na MATH za 4,2 p.p., tačnost na LCBv6 za 3,0 p.p. i stopu prolaznosti testova stanja na AppWorld za 9,9 p.p.

Grafikon tačaka sa intervalima: JOLT+ ima najviši prosečni rezultat na sva četiri benčmarka — JOLT+ ima najviši prosečni rezultat na sva četiri benčmarka.

Bez ikakve direktne nagrade za učenika, prosečna tačnost JOLT-a viša je od tačnosti GRPO-a na GSM8K, MATH i LCBv6. Međutim, na AppWorld ostaje ispod i GRPO-a i π-Distill-a.

Terminal-Bench 2.1 je postavka sa najdužim horizontom. JOLT+ ima najviši pass@k za svako prikazano k, od 10,96% za pass@1 do 34,83% za pass@32. JOLT nadmašuje osnovni model i obe referentne metode destilacije za svako k, ali ostaje ispod GRPO-a. OPSD postiže rezultat niži od osnovnog modela za svako k.

Linijski grafikon: JOLT+ prednjači na Terminal-Bench za svaki budžet pokušaja — JOLT+ prednjači na Terminal-Bench za svaki budžet pokušaja.

Zanima nas i kako se performanse skaliraju sa budžetom za treniranje. GRPO, OPSD i JOLT evaluiramo pri različitim budžetima tokena za treniranje na MATH i poredimo dobijenu tačnost učenika.

Grafikon pokazuje kako se tačnost skalira sa utroškom tokena za treniranje za svaku metodu. Trošak merimo u obrađenim tokenima za treniranje. To obuhvata svaki prompt bez dopune (padding), privilegovani kontekst, prolaz optimizacije i unakrsno ocenjivanje između učitelja i učenika.

Dijagram rasipanja sa prilagođenim krivama: JOLT-u je potrebno manje tokena da dostigne tačnost GRPO-a — JOLT-u je potrebno manje tokena da dostigne tačnost GRPO-a.

Tačke na grafikonu prikazuju broj obrađenih tokena za treniranje i tačnost u različitim kontrolnim tačkama; brkovi predstavljaju ±1 standardnu devijaciju između pokretanja. Prilagođavamo sigmoidnu zavisnost između tačnosti i logaritma budžeta tokena za treniranje, u skladu sa prethodnim radom o skaliranju računarskih resursa za RL.

JOLT pokazuje ranu efikasnost korišćenja uzoraka i pritom postiže najveću tačnost među tri metode, ustaljujući se blizu 72%. OPSD brzo napreduje pri malim budžetima, ali dostiže plato na oko 62% tačnosti. GRPO u početku uči sporije, ali nastavlja da napreduje duže, dostižući oko 70%. Pri istoj tačnosti od 63,44%, uočena kontrolna tačka GRPO-a koristi 8,40 miliona tokena, dok prilagođena kriva JOLT-a daje 1,30 miliona, odnosno 6,5× manje tokena.

Trošak merimo i pomoću izlaznih tokena, koji kod GRPO-a i OPSD-a obuhvataju izlaze učenika, a kod JOLT-a izlaze i učitelja i učenika, ali ne uključuju promptove, privilegovani kontekst ni dodatne prolaze optimizacije. Poređenje na osnovu izlaznih tokena umesto obrađenih tokena za treniranje povećava razliku u efikasnosti na oko 13× pri istom nivou tačnosti. U opsegu ciljnih tačnosti, JOLT koristi 9,5–14,4× manje izlaznih tokena i 4,3–7,4× manje obrađenih tokena za treniranje.

Dijagram u obliku bučice: prednost JOLT-a u broju tokena održava se od 55% do 65% tačnosti — Prednost JOLT-a u broju tokena održava se od 55% do 65% tačnosti.

Privilegovane informacije mogu učitelja učiniti boljim u rešavanju zadatka, a da ga pritom ne učine boljim u podučavanju učenika da isti zadatak reši bez tih informacija. JOLT uzima u obzir ovu razliku tako što trenira učitelja u odnosu na trenutno ponašanje učenika.

Ovo zajedničko treniranje poboljšava i tačnost i efikasnost. Uz nagrade za ishod učenika, JOLT+ u odnosu na GRPO postiže apsolutna poboljšanja od 1,5 p.p. na GSM8K, 4,2 p.p. na MATH, 3,0 p.p. na LCBv6, 9,9 p.p. na AppWorld i 2,7 p.p. u metrici pass@1 na Terminal-Bench 2.1. Na MATH, JOLT pri istoj tačnosti koristi 13× manje izlaznih tokena i 6,5× manje obrađenih tokena za treniranje od GRPO-a, bez direktne nagrade za učenika.

JOLT omogućava da se smernice učitelja razvijaju zajedno sa učenikom. To otvara pitanje da li učitelj može da nauči i da generiše korisne zadatke za treniranje. Zanimljiv pravac za budući rad jeste zajedničko treniranje učitelja koji generiše zadatke i učenika koji rešava probleme, pri čemu bi se napredak učenika u učenju koristio za poboljšanje generisanih zadataka u okviru kurikuluma. Time bi generisanje sintetičkih zadataka moglo da se prilagođava onome što je učenik spreman da sledeće nauči.

Za više detalja pročitajte naš kompletan rad. Kod ćemo uskoro objaviti kao softver otvorenog koda.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Uvod

Od retkih nagrada do gustih povratnih informacija

Zajedničko on-policy učenje i podučavanje

Treniranje učitelja

Definisanje uloge učitelja

Od idealnog cilja do funkcije cilja učitelja

Praktična zamenska funkcija cilja

Treniranje učenika

Sve zajedno

Eksperimenti

Tačnost

Efikasnost tokena i skaliranje

Zaključak

Citiranje