A jó tanár ott kezdi, ahol a diák tart

Új öndesztillációs módszer, amely a tanárt és a diákot közösen tanítja, hogy javítsa a modell teljesítményét és a tanítás hatékonyságát az összetett érvelési és ügynöki feladatokon.

SzerzőkPerplexity Research & NVIDIA

Bevezetés

A megerősítéses tanulást (RL) széles körben alkalmazzák a nyelvi modellek utótanítása során, hogy javítsák a képességeiket az összetett érvelési és a hosszú távú ügynöki feladatokban.

Egy tipikus felállásban a modell ismételten megpróbálkozik egy feladattal, minden próbálkozásért eredményjutalmat kap, és megtanulja előnyben részesíteni a magasabb jutalmú próbálkozásokban végrehajtott cselekvéseket. Egyetlen eredményjutalom azonban ritka tanulási jelet ad, amely nem különbözteti meg, mely köztes cselekvések segítették vagy rontották az eredményt. Ez a ritkaság korlátozza a mintahatékonyságot, különösen a nehéz ügynöki feladatoknál, ahol a próbálkozások hosszúak, a sikerek pedig ritkák.

A ritkaság kezelésének egyik népszerű megközelítése az on-policy desztilláció (OPD), amely egy erősebb tanármodell segítségével tokenről tokenre ad útmutatást a diák saját próbálkozásaihoz, így jóval sűrűbb jutalmakat biztosít. A tanítás azonban önmagában is készség. Ha egy modell jól megold egy feladatot, attól még nem feltétlenül tudja jól tanítani is, mivel a visszajelzése meghaladhatja a diák aktuális képességeit. Ezért érdemes nemcsak a diákot arra tanítani, hogy utánozza a tanárt, hanem a tanárt is arra, hogy a diákhoz jobban igazodó útmutatást adjon.

Egy ilyen módszert javaslunk: a Joint On-policy Learning and Teaching (JOLT, közös on-policy tanulás és tanítás) módszert. Az On-Policy Self-Distillation (OPSD) módszerre építve egyetlen modellt használunk két szerepben: tanárként, amely hozzáfér privilegizált információkhoz, például ellenőrzött megoldásokhoz, és diákként, amely nem fér hozzá ezekhez. A két szerepet közösen tanítjuk. A diák a szokásos desztillációs célfüggvényt követi. A tanár célfüggvénye arra ösztönzi a tanárt, hogy a visszajelzései ugyanabba az irányba mozdítsák a diákot, mint a diák saját jutalmán végzett RL. Ezek a célfüggvények együtt arra tanítják a tanárt, hogy a diák aktuális szintjéhez igazodjon, a diákot pedig arra, hogy a számára elérhető útmutatásból tanuljon.

Kísérleteink a modell teljesítményének és a tanítás hatékonyságának javulását egyaránt igazolják számos matematikai érvelési, programozási és ügynöki feladatban.

A ritka jutalmaktól a sűrű visszajelzésig

Legalapvetőbb formájában az eredményjutalmas RL a várható hozam célfüggvényét használja:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Itt τ\tau egy πθ\pi_\theta stratégiát követő trajektória, R(τ)R(\tau) pedig az adott trajektória hozama. A megfelelő stratégiagradiens:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

ahol sts_t és ata_t az állapotot, illetve a cselekvést jelöli a tt időlépésben. A mintaalapú becslések varianciájának csökkentése érdekében a gradienst gyakran a következőképpen írják fel:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

ahol az Aπθ(st,at)A^{\pi_\theta}(s_t, a_t) előny azt méri, hogy az ata_t cselekvés mekkora várható többlethozamot ad az aktuális stratégiához képest az sts_t állapotban. Az egyik megközelítés, a Group Relative Policy Optimization (GRPO), úgy becsüli az előnyt, hogy minden trajektória hozamát összeveti az ugyanarra a promptra mintavételezett csoport átlagos hozamával.

Az eredményjutalmas megerősítéses tanulás azonban még ezekkel a módosításokkal is ritka felügyelettől szenved, különösen a nehéz, hosszú távú feladatokon. Egyre több kutatás kezeli ezt a problémát további információforrások bevonásával, hogy sűrűbb tanulási jelet biztosítson.

Az On-Policy Distillation (OPD) is egy ilyen megközelítés. Ahelyett, hogy csak a végső jutalomból tanulna, az OPD trajektóriákat mintavételez a diákból, és minden mintavételezett cselekvést egy erősebb tanár alapján értékel. Egy πT\pi_T tanárstratégia és a trajektóriák generálásához használt diákparaméterek egy rögzített θˉ\bar{\theta} pillanatképe esetén a lokális gradiens θ=θˉ\theta = \bar{\theta} helyen kiértékelve a következő:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Itt JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) a negatív fordított KL-desztillációs célfüggvény. A tanárstratégia és a mintavételezett prefixek a deriválás során rögzítettek. A tanár és a diák log-valószínűségeinek aránya minden meglátogatott állapotban sűrű tanulási jelet biztosít, és az előny helyett ez szolgál cselekvésszintű súlyként.

Az On-Policy Self-Distillation (OPSD) még a különálló tanármodell szükségességét is kiküszöböli. A diákstratégia saját maga tanáraként szolgál, ha privilegizált információt kap, például ellenőrzött megoldást, visszajelzést vagy referencia-nyomvonalat. Az OPSD azonban csak arra tanítja a diákot, hogy utánozza a tanárt; nincs olyan mechanizmus, amely biztosítaná, hogy a tanár hasznos jelet adjon a diáknak.

Közös on-policy tanulás és tanítás

A JOLT úgy bővíti ki az OPSD-t, hogy egy közös modellt egyszerre tanít tanárként, amely jobban igazodó útmutatást ad, és diákként, amely ebből az útmutatásból tanul. A jobban informált tanár eredményjutalmakból tanul, a diák felé húzó KL-regularizációval, míg a privilegizált információ nélküli diák a tanár sűrű desztillációs jeléből tanul. A tanár frissítése a tanár által generált próbálkozásokat használja, a diák frissítése pedig a diák által generált, a tanár által pontozott próbálkozásokat. A JOLT+ emellett eredményjutalmakkal egészíti ki a diák desztillációs jelét.

Egyetlen stratégia tanul tanárként és diákként is.

A tanár tanítása

A tanár feladatának meghatározása

A tanár jobb teljesítménye nem feltétlenül jelent hasznos frissítéseket a diák számára. A tanár a privilegizált információ révén kihasználhat olyan rövidítéseket, amelyek a diák számára nem elérhetők, nagy valószínűséget rendelhet olyan trajektóriákhoz, amelyek a diák esetében valószínűtlenek, vagy megbízhatatlan útmutatást adhat a diák által generált prefixekben elkövetett hibák után. A tanár minőségét ezért a diáknak nyújtott tanulási jel alapján kell meghatározni, nem pedig a tanár saját feladatjutalma alapján.

Egy tanárt akkor nevezünk jutalomkonzisztensnek, ha a diákban kiváltott desztillációs frissítése pozitív skálázástól eltekintve megegyezik a diák várható feladatjutalmának stratégiagradiensével. Pontosabban, egy jutalomkonzisztens πT⋆\pi_T^\star tanárnak a következő feltételt kell teljesítenie:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

ahol βT\beta_T egy pozitív skalár. Az előző szakaszhoz hasonlóan gOPDg_{\mathrm{OPD}} az OPD lokális gradiense, θˉ\bar\theta a diákmodell θ\theta paramétereinek rögzített pillanatképe, gRLg_{\mathrm{RL}} pedig a várható hozam célfüggvényének stratégiagradiense.

Ezt a feltételt például a következő tanár teljesíti:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Itt Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) a diák folytatási előnyeit jelöli, Z(s)Z(s) pedig egy normalizáló állandó, amely biztosítja, hogy érvényes valószínűségi eloszlást kapjunk.

Az ideális céltól a tanár célfüggvényéig

A tanárt úgy taníthatjuk az ideális πT⋆\pi_T^\star cél felé, hogy minimalizáljuk a tőle mért KL-divergenciáját. Rögzített diák és ss állapot esetén ez a következőt adja:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

πT⋆\pi_T^\star kifejezését behelyettesítve ekvivalens maximalizálási feladatot kapunk:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Ez a célfüggvény arra ösztönzi a tanárt, hogy nagyobb diákelőnnyel járó cselekvéseket válasszon, miközben közel marad a diák cselekvéseloszlásához. A βT\beta_T paraméter szabályozza ennek a büntetőtagnak az erősségét: nagyobb értékek mellett a tanár közelebb marad a diák jelenlegi viselkedéséhez, kisebb értékek mellett pedig agresszívabban részesítheti előnyben a nagy előnnyel járó cselekvéseket.

Egy gyakorlati helyettesítő célfüggvény

Ez a célfüggvény attól függ, hogy a diák milyen jól folytatná a feladatot az egyes cselekvések után, a diák ezen folytatási előnyei azonban általában nem állnak rendelkezésre. Ezért gyakorlati helyettesítőként a tanár saját trajektóriáinak centrált hozamait használjuk. A jutalomtag a feladat megoldására ösztönzi a tanárt, míg a KL-tag visszatartja attól, hogy eltávolodjon a diák jelenlegi cselekvéseloszlásától. Bár a KL-tag a tanárt a diák közelében tartja, ez a helyettesítés nem pontos, mivel a tanár hozamai nem feltétlenül egyeznek meg a diák folytatási előnyeivel.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Itt A^T(τ)\widehat{A}_T(\tau) a tanári próbálkozás hozama, csökkentve a csoportjába tartozó, tanár által generált próbálkozások átlagos hozamával. Az sg⁡\operatorname{sg} operátor a gradiensleállítást (stop-gradient) jelöli: az argumentuma a deriválás során rögzítettnek tekintendő, akárcsak a mintavételezett prefixek és a diákreferencia.

A diák tanítása

A diák frissítése egy szokásos OPSD-frissítés. A diák a feladat alapján trajektóriákat generál. Ezután ugyanaz a modell a kontextusban lévő privilegizált információ birtokában pontoz minden mintavételezett tokent. A diák célfüggvénye a diák és e privilegizált tanár közötti fordított KL-divergenciát bünteti minden olyan állapotban, amelyet a diák meglátogat:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Így a tanár által preferált tokenek megerősödnek, míg azok a tokenek, amelyeket a tanár kevésbé tart valószínűnek, mint a diák, elnyomódnak.

A részek összeillesztése

A tanár és a diák célfüggvényeit kombinálva megkapjuk a közös tanítási célfüggvényt:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S egy skalár, amely meghatározza, hogy a diák desztillációs vesztesége mekkora súllyal számít a kombinált frissítésben.

A jutalomkonzisztenciára vonatkozó eredmény egy adott tanár esetén jellemzi a diák desztillációs frissítését. A JOLT ezt az elvet használja a közös tanítás irányítására: a tanár és a diák célfüggvényeit kombinálva frissíti a közös paramétereiket.

A JOLT+ emellett a diák saját eredményjutalmát is hozzáadja a frissítéshez. Minden diáktrajektória centrált hozama hozzáadódik a desztillációs jelhez, így a sűrű tanári felügyelet a diáktrajektóriákra vonatkozó közvetlen eredményvisszajelzéssel párosul. A tanár célfüggvénye változatlan, így a következőt írhatjuk fel:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Itt A^S(τ)\widehat{A}_S(\tau) a diáktrajektória hozama, csökkentve a diák által generált trajektóriák csoportjának átlagos hozamával.

Mindkét változatban minden szerep a saját kontextusában generált trajektóriákból tanul, és mindkét szerep a közös stratégiát frissíti. Egy tanítási lépés pszeudokódja alább látható.

Egy JOLT-tanítási lépés pszeudokódja.

Kísérletek

A JOLT és a JOLT+ módszert matematikai érvelést, kódgenerálást, eszközhasználatot és hosszú távú terminálfeladatokat lefedő benchmarkokon értékeljük, különböző alapmodellekkel és a privilegizált információ különböző formáival. Pontosabban a következő benchmarkokon, alapmodellekkel és a privilegizált információ alábbi formáival végzünk kísérleteket:

  • GSM8K: a DeepSeek-V2-Lite modellt a GSM8K adatkészleten tanítjuk, amely általános iskolai matematikai feladatokat tartalmaz. A tanár megkapja az egyes feladatok ellenőrzött válaszát.
  • MATH: a Qwen3-0.6B modellt a MATH adatkészleten tanítjuk. A tanár kidolgozott referenciamegoldásokat kap.
  • LCBv6: a Qwen3-8B modellt a LiveCodeBench-V6 131 programozási feladatán tanítjuk. A tanár egy olyan, modell által generált megoldást kap, amely a tanítás során látható összes tesztet teljesítette, vagy végrehajtási visszajelzést, ha egyetlen próbálkozás sem teljesítette ezeket.
  • AppWorld: a Qwen3-4B-Instruct modellt az AppWorld környezeten tanítjuk. A tanár összefoglalókat kap a korábbi próbálkozásokról.
  • Terminal-Bench: a Qwen3-30B-A3B-Instruct modellt a TMax nevű, terminálügynököknek szánt tanítási feladatkészleten tanítjuk, és a Terminal-Bench 2.1 benchmarkon értékeljük. A tanár privát ellenőrzői információkat kap.

A JOLT-ot a GRPO-val, az OPSD-vel és a π-Distill módszerrel hasonlítjuk össze, mindegyik módszer hiperparamétereit külön hangolva. A JOLT-hoz hasonlóan a π-Distill is közösen tanítja a privilegizált tanár- és a diákszerepet egy közös modellen belül; azonban más tanárcélt használ, és a diák frissítése off-policy marad, mivel a diák saját generálásai helyett a tanár által generált trajektóriákra támaszkodik.

Pontosság

A JOLT+ éri el a legmagasabb átlagos pontszámot minden általunk vizsgált beállításban. A legerősebb tesztelt viszonyítási módszerhez, a GRPO-hoz képest 1,5 százalékponttal javítja a GSM8K-pontosságot, 4,2 százalékponttal a MATH-pontosságot, 3,0 százalékponttal az LCBv6-pontosságot, és 9,9 százalékponttal az AppWorld állapottesztjeinek sikerességi arányát.

A JOLT+ éri el a legmagasabb átlagos pontszámot mind a négy benchmarkon.

Közvetlen diákjutalom nélkül a JOLT átlagos pontossága a GSM8K-n, a MATH-on és az LCBv6-on magasabb, mint a GRPO-é. Az AppWorldön azonban elmarad mind a GRPO-tól, mind a π-Distilltől.

A Terminal-Bench 2.1 a leghosszabb távú beállítás. A JOLT+ éri el a legmagasabb pass@k értéket minden közölt k mellett, a pass@1-nél mért 10,96%-tól a pass@32-nél mért 34,83%-ig. A JOLT minden k mellett felülmúlja az alapmodellt és mindkét desztillációs viszonyítási módszert, de elmarad a GRPO-tól. Az OPSD minden k mellett az alapmodell alatt teljesít.

A JOLT+ vezet a Terminal-Benchen minden próbálkozási keret mellett.

Tokenhatékonyság és skálázás

Arra is kíváncsiak vagyunk, hogyan skálázódik a teljesítmény a tanítási kerettel. A GRPO-t, az OPSD-t és a JOLT-ot különböző tanítási tokenkeretek mellett értékeljük a MATH-on, és összehasonlítjuk a diák így kapott pontosságát.

Az ábra azt mutatja, hogyan skálázódik a pontosság az egyes módszereknél a tanításra fordított tokenek mennyiségével. A költséget feldolgozott tanítási tokenekben mérjük. Ebbe beletartozik minden kitöltés nélküli prompt, privilegizált kontextus és optimalizálási menet, valamint a tanár és a diák közötti keresztpontozás.

A JOLT-nak kevesebb tokenre van szüksége a GRPO pontosságának eléréséhez.

A pontok a feldolgozott tanítási tokenek számát és a pontosságot mutatják különböző ellenőrzőpontokon; a hibasávok a futtatások közötti ±1 szórást jelölik. Az RL-számítási kapacitás skálázásáról szóló korábbi kutatást követve szigmoid összefüggést illesztünk a pontosság és a tanítási tokenkeret logaritmusa közé.

A JOLT már korán jó mintahatékonyságot mutat, miközben a három módszer közül a legmagasabb pontosságot éri el, és 72% körül stabilizálódik. Az OPSD kis keretek mellett gyorsan javul, de nagyjából 62%-os pontosságnál megreked. A GRPO eleinte lassabban tanul, de tovább javul, és nagyjából 70%-ig emelkedik. 63,44%-os azonos pontosság mellett a GRPO megfigyelt ellenőrzőpontja 8,40 millió tokent használ, míg a JOLT illesztett görbéje szerint 1,30 millió is elegendő, ami 6,5-ször kevesebb token.

A költséget generált tokenekben is mérjük: ezek a GRPO és az OPSD esetében a diák generálásait, a JOLT esetében pedig a tanár és a diák generálásait is számolják, de nem tartalmazzák a promptokat, a privilegizált kontextust és a további optimalizálási meneteket. Ha a feldolgozott tanítási tokenek helyett a generált tokenek alapján hasonlítunk össze, a hatékonyságbeli különbség azonos pontossági szinten nagyjából 13-szorosra nő. A célpontosságok egy tartományában a JOLT 9,5–14,4-szer kevesebb generált tokent és 4,3–7,4-szer kevesebb feldolgozott tanítási tokent használ.

A JOLT tokenelőnye 55% és 65% közötti pontosság mellett is megmarad.

Összegzés

A privilegizált információ jobbá teheti a tanárt egy feladat megoldásában anélkül, hogy abban is jobbá tenné, hogy megtanítsa a diákot ugyanennek a feladatnak az információ nélküli megoldására. A JOLT ezt a különbséget úgy kezeli, hogy a tanárt a diák aktuális viselkedéséhez viszonyítva tanítja.

Ez a közös tanítás a pontosságot és a hatékonyságot is javítja. A diák eredményjutalmaival a JOLT+ a GRPO-hoz képest abszolút értékben 1,5 százalékpontos javulást ér el a GSM8K-n, 4,2 százalékpontosat a MATH-on, 3,0 százalékpontosat az LCBv6-on, 9,9 százalékpontosat az AppWorldön és 2,7 százalékpontosat a Terminal-Bench 2.1 pass@1 mutatóján. A MATH-on azonos pontosság mellett a JOLT 13-szor kevesebb generált tokent és 6,5-ször kevesebb feldolgozott tanítási tokent használ, mint a GRPO, közvetlen diákjutalom nélkül.

A JOLT lehetővé teszi, hogy a tanár útmutatása a diákkal együtt fejlődjön. Ez felveti a kérdést, hogy a tanár meg tud-e tanulni hasznos tanítási feladatokat is generálni. A jövőbeli kutatás érdekes iránya lehet egy feladatgeneráló tanár és egy problémamegoldó diák közös tanítása, amelyben a diák tanulási előrehaladása alapján fejlesztjük a generált feladatokat egy tanmenet keretében. Így a szintetikus feladatgenerálás ahhoz igazodhatna, amit a diák soron következőként képes elsajátítani.

További részletek teljes tanulmányunkban olvashatók. A kódot hamarosan nyílt forráskódúvá tesszük.

Hivatkozás

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}