Dobar učitelj polazi od toga gdje se učenik nalazi

Učenje potkrepljenjem (RL) široko se koristi u naknadnom treniranju jezičnih modela kako bi se poboljšale njihove sposobnosti u složenim zadacima rasuđivanja i agentnim zadacima dugog horizonta.

U tipičnoj postavci model opetovano pokušava riješiti zadatak, za svaki pokušaj dobiva nagradu za ishod i uči davati prednost radnjama poduzetima u pokušajima s višom nagradom. Međutim, jedna nagrada za ishod pruža rijedak signal učenja koji ne razlikuje koje su međuradnje pridonijele ishodu, a koje su mu naštetile. Ta rijetkost ograničava učinkovitost uzoraka, osobito u zahtjevnim agentnim zadacima, gdje su pokušaji dugi, a uspjesi rijetki.

Jedan popularan pristup rješavanju te rijetkosti jest destilacija na temelju vlastite politike (engl. On-Policy Distillation, OPD), koja koristi jači model učitelja kako bi token po token usmjeravala učenikove vlastite pokušaje i tako pružila znatno gušće nagrade. No poučavanje je samo po sebi vještina. Model koji dobro rješava zadatak nije nužno dobar u poučavanju tog zadatka jer njegove povratne informacije mogu nadilaziti trenutačne sposobnosti učenika. Zato je smisleno trenirati ne samo učenika da oponaša učitelja nego i učitelja da učeniku pruža bolje usklađeno usmjeravanje.

Predlažemo jednu takvu metodu, zajedničko učenje i poučavanje na temelju vlastite politike (engl. Joint On-policy Learning and Teaching, JOLT). Nadovezujući se na samodestilaciju na temelju vlastite politike (engl. On-Policy Self-Distillation, OPSD), koristimo jedan model u dvije uloge: kao učitelja s pristupom povlaštenim informacijama, poput provjerenih rješenja, i kao učenika bez takvog pristupa. Dvije uloge treniramo zajednički. Učenik slijedi standardni cilj destilacije. Cilj učitelja usmjerava njegove povratne informacije tako da pomiču učenika u istom smjeru kao RL na temelju učenikove vlastite nagrade. Zajedno ti ciljevi treniraju učitelja da polazi od toga gdje se učenik nalazi i pomažu učeniku da uči iz usmjeravanja koje mu je na dohvat.

Naši eksperimenti pokazuju poboljšanja i u performansama modela i u učinkovitosti treniranja u nizu zadataka matematičkog rasuđivanja, programiranja i agentnih zadataka.

U svojem najosnovnijem obliku RL s nagradom za ishod koristi cilj očekivanog povrata:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Ovdje je $\tau$ putanja koja slijedi politiku $\pi_\theta$ , a $R(\tau)$ je povrat za tu putanju. Odgovarajući gradijent politike glasi:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

gdje $s_t$ i $a_t$ predstavljaju stanje odnosno radnju u vremenskom koraku $t$ . Kako bi se smanjila varijanca procjena temeljenih na uzorcima, gradijent se često izražava kao:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

gdje prednost $A^{\pi_\theta}(s_t, a_t)$ mjeri očekivani višak povrata radnje $a_t$ u odnosu na trenutačnu politiku u stanju $s_t$ . Jedan pristup, grupna relativna optimizacija politike (engl. Group Relative Policy Optimization, GRPO), procjenjuje prednost uspoređujući povrat svake putanje sa srednjim povratom skupine uzorkovane za isti upit.

Međutim, čak i uz te prilagodbe, učenje potkrepljenjem s nagradom za ishod pati od rijetkog nadzora, osobito u zahtjevnim zadacima dugog horizonta. Sve veći broj radova rješava taj problem oslanjajući se na dodatne izvore informacija kako bi se pružio gušći signal učenja.

Destilacija na temelju vlastite politike (OPD) jedan je takav pristup. Umjesto da uči samo iz konačne nagrade, OPD uzorkuje putanje učenika i svaku uzorkovanu radnju vrednuje pomoću jačeg učitelja. Za politiku učitelja $\pi_T$ i fiksnu snimku $\bar{\theta}$ parametara učenika korištenih za generiranje putanja lokalni gradijent vrednovan u $\theta = \bar{\theta}$ glasi:

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Ovdje je $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ negativni cilj destilacije temeljen na obrnutoj KL divergenciji. Politika učitelja i uzorkovani prefiksi drže se fiksnima tijekom diferenciranja. Omjer log-vjerojatnosti učitelja i učenika pruža gust signal učenja u svakom posjećenom stanju te zamjenjuje prednost kao težinu na razini radnje.

Samodestilacija na temelju vlastite politike (OPSD) dodatno uklanja potrebu za zasebnim modelom učitelja. Politika učenika služi kao vlastiti učitelj kada dobije povlaštene informacije, poput provjerenog rješenja, povratnih informacija ili referentnog traga. Međutim, OPSD samo trenira učenika da oponaša učitelja; ne postoji mehanizam koji osigurava da učitelj učeniku pruža koristan signal.

JOLT proširuje OPSD treniranjem dijeljenog modela i kao učitelja koji pruža bolje usklađeno usmjeravanje i kao učenika koji iz njega uči. Bolje informirani učitelj uči iz nagrada za ishod uz KL regularizaciju prema učeniku, dok učenik bez povlaštenih informacija uči iz gustog destilacijskog signala učitelja. Ažuriranje učitelja koristi pokušaje koje generira učitelj, dok ažuriranje učenika koristi pokušaje koje generira učenik, a boduje ih učitelj. JOLT+ dodatno nadopunjuje destilacijski signal učenika nagradama za ishod.

Dijagram: jedna politika uči i kao učitelj i kao učenik — Jedna politika uči i kao učitelj i kao učenik.

Bolja izvedba učitelja ne znači nužno i korisnija ažuriranja učenika. Učitelj se može poslužiti povlaštenim informacijama kako bi iskoristio prečace nedostupne učeniku, dodijelio visoku vjerojatnost putanjama koje su za učenika malo vjerojatne ili pružao nepouzdano usmjeravanje nakon pogrešaka u prefiksima koje je generirao učenik. Kvalitetu učitelja stoga treba određivati prema signalu učenja koji pruža učeniku, a ne prema vlastitoj nagradi učitelja za zadatak.

Učitelja nazivamo konzistentnim s nagradom ako destilacijsko ažuriranje koje izaziva kod učenika odgovara gradijentu politike očekivane nagrade učenika za zadatak, do na pozitivno skaliranje. Konkretno, učitelj $\pi_T^\star$ konzistentan s nagradom trebao bi zadovoljavati:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

gdje je $\beta_T$ pozitivan skalar. Kao i u prethodnom odjeljku, $g_{\mathrm{OPD}}$ je lokalni gradijent OPD-a, $\bar\theta$ je fiksna snimka parametara modela učenika $\theta$ , a $g_{\mathrm{RL}}$ je gradijent politike cilja očekivanog povrata.

Jedan učitelj koji zadovoljava ovaj uvjet jest:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Ovdje $A^{\pi_{\bar{\theta}}}(s, a)$ predstavljaju prednosti nastavka učenika, a $Z(s)$ je normalizacijska konstanta koja osigurava ispravnu distribuciju vjerojatnosti.

Učitelja možemo trenirati prema idealnoj ciljnoj politici $\pi_T^\star$ minimiziranjem njegove KL divergencije prema njoj. Za fiksnog učenika i stanje $s$ to daje:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Zamjenom izraza za $\pi_T^\star$ dobivamo ekvivalentan problem maksimizacije:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Ovaj cilj potiče učitelja da bira radnje s većom prednošću učenika, a da pritom ostane blizu učenikove distribucije radnji. Parametar $\beta_T$ kontrolira jačinu te penalizacije: veće vrijednosti drže učitelja bliže trenutačnom ponašanju učenika, dok mu manje vrijednosti dopuštaju da odlučnije favorizira radnje s visokom prednošću.

Ovaj cilj ovisi o tome koliko bi dobro učenik nastavio nakon svake radnje, ali te prednosti nastavka učenika općenito nisu dostupne. Stoga kao praktičnu zamjenu koristimo centrirane povrate iz učiteljevih vlastitih putanja. Član nagrade potiče učitelja da riješi zadatak, dok KL član obeshrabruje odstupanja od trenutačne distribucije radnji učenika. Iako KL član drži učitelja blizu učenika, ta zamjena nije egzaktna jer se povrati učitelja ne moraju podudarati s prednostima nastavka učenika.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Ovdje je $\widehat{A}_T(\tau)$ povrat učiteljeva pokušaja umanjen za srednji povrat pokušaja koje je generirao učitelj u njegovoj skupini. Operator $\operatorname{sg}$ označava zaustavljanje gradijenta (stop-gradient): njegov se argument tijekom diferenciranja tretira kao fiksan, kao i uzorkovani prefiksi i referenca učenika.

Ažuriranje učenika standardno je ažuriranje OPSD-a. Učenik generira putanje iz zadatka. Isti model zatim boduje svaki uzorkovani token s povlaštenim informacijama u kontekstu. Cilj učenika penalizira obrnutu KL divergenciju između učenika i tog povlaštenog učitelja u svakom stanju koje učenik posjeti:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Stoga se tokeni kojima učitelj daje prednost pojačavaju, dok se potiskuju tokeni koje učitelj smatra manje vjerojatnima nego učenik.

Kombiniranjem ciljeva učitelja i učenika dobivamo zajednički cilj treniranja:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ je skalar koji određuje koliko se gubitak destilacije učenika uračunava u kombinirano ažuriranje.

Rezultat o konzistentnosti nagrade opisuje destilacijsko ažuriranje učenika za zadanog učitelja. JOLT koristi to načelo za usmjeravanje zajedničkog treniranja, kombinirajući ciljeve učitelja i učenika kako bi ažurirao njihove dijeljene parametre.

JOLT+ u ažuriranje učenika dodaje i njegovu vlastitu nagradu za ishod. Centrirani povrat svake putanje učenika dodaje se destilacijskom signalu, čime se gusti nadzor učitelja kombinira s izravnim povratnim informacijama o ishodu na putanjama učenika. Cilj učitelja ostaje nepromijenjen, pa možemo zapisati:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Ovdje je $\widehat{A}_S(\tau)$ povrat putanje učenika umanjen za srednji povrat njezine skupine putanja koje je generirao učenik.

U obje varijante svaka uloga uči iz putanja generiranih u vlastitom kontekstu, a obje uloge ažuriraju dijeljenu politiku. Pseudokod za jedan korak treniranja prikazan je u nastavku.

Pseudokod JOLT-a koji prikazuje kako učitelj generira s nagovještajem, a učenik bez njega, zatim unakrsno bodovanje između konteksta i zajedničko ažuriranje politike. JOLT+ dodaje nagrade za ishod pokušaja učenika. — Pseudokod za jedan korak treniranja JOLT-a.

JOLT i JOLT+ vrednujemo na referentnim testovima koji obuhvaćaju matematičko rasuđivanje, generiranje koda, korištenje alata i terminalske zadatke dugog horizonta, koristeći različite osnovne modele i različite oblike povlaštenih informacija. Konkretno, eksperimente provodimo sa sljedećim referentnim testovima, osnovnim modelima i konfiguracijama povlaštenih informacija:

GSM8K: treniramo model DeepSeek-V2-Lite na GSM8K, skupu podataka s matematičkim zadacima za osnovnu školu. Učitelj dobiva provjereni odgovor na svaki zadatak.
MATH: treniramo model Qwen3-0.6B na skupu MATH. Učitelj dobiva razrađena referentna rješenja.
LCBv6: treniramo model Qwen3-8B na 131 programerskom zadatku iz skupa LiveCodeBench-V6. Učitelj dobiva rješenje koje je generirao model i koje je prošlo sve testove vidljive tijekom treniranja ili, ako nijedan pokušaj nije prošao te testove, povratne informacije o izvršavanju.
AppWorld: treniramo model Qwen3-4B-Instruct u okruženju AppWorld. Učitelj dobiva sažetke prethodnih pokušaja.
Terminal-Bench: treniramo model Qwen3-30B-A3B-Instruct na TMax, skupu zadataka za treniranje terminalskih agenata, i vrednujemo ga na testu Terminal-Bench 2.1. Učitelj dobiva privatne informacije verifikatora.

Uspoređujemo JOLT s metodama GRPO, OPSD i π-Distill, pri čemu za svaku metodu podešavamo hiperparametre. Kao i JOLT, π-Distill zajednički trenira povlaštenu ulogu učitelja i ulogu učenika unutar dijeljenog modela; međutim, koristi drugačiju ciljnu politiku učitelja, a njegovo ažuriranje učenika ostaje izvan vlastite politike (off-policy) jer se oslanja na putanje koje generira učitelj umjesto na ono što učenik sam generira.

JOLT+ ima najviši srednji rezultat u svakoj postavci koju vrednujemo. U usporedbi s GRPO-om, najjačom testiranom polaznom metodom, poboljšava točnost na GSM8K-u za 1,5 postotnih bodova (p. b.), točnost na MATH-u za 4,2 p. b., točnost na LCBv6-u za 3,0 p. b. i stopu prolaznosti testova stanja na AppWorldu za 9,9 p. b.

Grafikon s točkama i brkovima: JOLT+ ima najviši srednji rezultat na sva četiri referentna testa — JOLT+ ima najviši srednji rezultat na sva četiri referentna testa.

Bez ikakve izravne nagrade za učenika srednja točnost JOLT-a viša je od srednje točnosti GRPO-a na GSM8K-u, MATH-u i LCBv6-u. Međutim, na AppWorldu ostaje ispod i GRPO-a i π-Distilla.

Terminal-Bench 2.1 postavka je s najdužim horizontom. JOLT+ ima najviši pass@k za svaki navedeni k, od 10,96 % pri pass@1 do 34,83 % pri pass@32. JOLT nadmašuje osnovni model i obje polazne metode destilacije za svaki k, ali ostaje ispod GRPO-a. OPSD za svaki k postiže niže rezultate od osnovnog modela.

Linijski grafikon: JOLT+ prednjači na Terminal-Benchu uz svaki proračun pokušaja — JOLT+ prednjači na Terminal-Benchu uz svaki proračun pokušaja.

Zanima nas i kako se performanse skaliraju s proračunom za treniranje. Vrednujemo GRPO, OPSD i JOLT uz različite proračune tokena za treniranje na MATH-u i uspoređujemo dobivenu točnost učenika.

Grafikon prikazuje kako se točnost svake metode skalira s utroškom tokena za treniranje. Trošak mjerimo u obrađenim tokenima za treniranje. To uključuje svaki upit bez popunjavanja (padding), povlašteni kontekst, prolaz optimizacije i unakrsno bodovanje između učitelja i učenika.

Dijagram raspršenosti s prilagođenim krivuljama: JOLT-u je potrebno manje tokena da dosegne točnost GRPO-a — JOLT-u je potrebno manje tokena da dosegne točnost GRPO-a.

Točke prikazuju broj obrađenih tokena za treniranje i točnost na različitim kontrolnim točkama; brkovi predstavljaju ±1 standardnu devijaciju između pokretanja. Na podatke prilagođavamo sigmoidalnu ovisnost točnosti o logaritmu proračuna tokena za treniranje, slijedeći prethodne radove o skaliranju računalnih resursa za RL.

JOLT pokazuje ranu učinkovitost uzoraka i pritom postiže najvišu točnost od svih triju metoda, stabilizirajući se blizu 72 %. OPSD brzo napreduje pri malim proračunima, ali stagnira na oko 62 % točnosti. GRPO isprva uči sporije, ali nastavlja napredovati dulje te se penje na oko 70 %. Pri jednakoj točnosti od 63,44 % opažena kontrolna točka GRPO-a koristi 8,40 milijuna tokena, dok prilagođena krivulja JOLT-a daje 1,30 milijuna, odnosno 6,5× manje tokena.

Trošak mjerimo i pomoću tokena dovršetka, koji obuhvaćaju dovršetke učenika za GRPO i OPSD te dovršetke i učitelja i učenika za JOLT, ali izostavljaju upite, povlašteni kontekst i dodatne prolaze optimizacije. Usporedba na temelju tokena dovršetka umjesto obrađenih tokena za treniranje povećava razliku u učinkovitosti na oko 13× pri istoj razini točnosti. U rasponu ciljnih točnosti JOLT koristi 9,5–14,4× manje tokena dovršetka i 4,3–7,4× manje obrađenih tokena za treniranje.

Grafikon u obliku bučice: prednost JOLT-a u tokenima održava se od 55 % do 65 % točnosti — Prednost JOLT-a u tokenima održava se od 55 % do 65 % točnosti.

Povlaštene informacije mogu učitelja učiniti boljim u rješavanju zadatka, a da ga pritom ne učine boljim u poučavanju učenika da isti zadatak riješi bez tih informacija. JOLT tu razliku rješava treniranjem učitelja u odnosu na trenutačno ponašanje učenika.

Ovo zajedničko treniranje poboljšava i točnost i učinkovitost. Uz nagrade za ishod učenika JOLT+ postiže apsolutna poboljšanja u odnosu na GRPO od 1,5 p. b. na GSM8K-u, 4,2 p. b. na MATH-u, 3,0 p. b. na LCBv6-u, 9,9 p. b. na AppWorldu i 2,7 p. b. na Terminal-Benchu 2.1 prema metrici pass@1. Na MATH-u JOLT pri jednakoj točnosti koristi 13× manje tokena dovršetka i 6,5× manje obrađenih tokena za treniranje od GRPO-a, bez izravne nagrade za učenika.

JOLT omogućuje da se usmjeravanje učitelja razvija usporedno s učenikom. To otvara pitanje može li učitelj naučiti i generirati korisne zadatke za treniranje. Zanimljiv smjer budućeg rada jest zajedničko treniranje učitelja koji generira zadatke i učenika koji rješava probleme, pri čemu bi se napredak učenika u učenju koristio za poboljšanje generiranih zadataka unutar kurikuluma. Time bi generiranje sintetičkih zadataka moglo odgovarati na ono što je učenik spreman sljedeće naučiti.

Za više pojedinosti pročitajte naš cjeloviti rad. Uskoro ćemo objaviti izvorni kod pod otvorenom licencom.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Uvod

Od rijetkih nagrada do gustih povratnih informacija

Zajedničko učenje i poučavanje na temelju vlastite politike

Treniranje učitelja

Što učitelj treba činiti

Od idealne ciljne politike do cilja učitelja

Praktični zamjenski cilj

Treniranje učenika

Sve zajedno

Eksperimenti

Točnost

Učinkovitost tokena i skaliranje

Zaključak

Citiranje