Geras mokytojas prisitaiko prie mokinio

Naujas savidistiliacijos metodas, kuris kartu moko mokytoją ir mokinį, kad pagerintų modelio našumą ir mokymo efektyvumą sudėtingose protavimo ir agentinėse užduotyse.

AutoriaiPerplexity Research & NVIDIA

Įvadas

Skatinamasis mokymasis (angl. Reinforcement Learning, RL) plačiai taikomas papildomajame kalbos modelių mokyme (angl. post-training), siekiant pagerinti jų gebėjimus sudėtingo protavimo ir ilgo horizonto agentinėse užduotyse.

Įprastoje sąrankoje modelis kelis kartus bando atlikti užduotį, už kiekvieną bandymą gauna rezultato atlygį ir išmoksta teikti pirmenybę veiksmams, atliktiems didesnį atlygį pelniusiuose bandymuose. Tačiau vienas rezultato atlygis suteikia retą mokymosi signalą, iš kurio neaišku, kurie tarpiniai veiksmai rezultatui padėjo, o kurie pakenkė. Šis retumas riboja imčių efektyvumą, ypač sudėtingose agentinėse užduotyse, kuriose bandymai ilgi, o sėkmingi bandymai reti.

Vienas populiarių būdų spręsti šią retumo problemą – distiliacija pagal politiką (angl. On-Policy Distillation, OPD), kai stipresnis mokytojo modelis kiekvieno žetono lygmeniu teikia nurodymus paties mokinio bandymams ir taip suteikia kur kas tankesnius atlygius. Tačiau mokymas pats savaime yra įgūdis. Modelis, kuris gerai sprendžia užduotį, nebūtinai gerai moko ją spręsti, nes jo grįžtamasis ryšys gali viršyti dabartinius mokinio gebėjimus. Todėl verta mokyti ne tik mokinį mėgdžioti mokytoją, bet ir mokytoją teikti mokiniui geriau pritaikytus nurodymus.

Siūlome vieną tokių metodų – bendrą mokymąsi ir mokymą pagal politiką (angl. Joint On-policy Learning and Teaching, JOLT). Remdamiesi savidistiliacija pagal politiką (angl. On-Policy Self-Distillation, OPSD), naudojame vieną modelį dviem vaidmenimis: kaip mokytoją, turintį prieigą prie privilegijuotos informacijos, pvz., patikrintų sprendimų, ir kaip mokinį, tokios prieigos neturintį. Abu vaidmenis mokome kartu. Mokinys mokomas pagal standartinę distiliacijos tikslo funkciją. Mokytojo tikslo funkcija verčia jo grįžtamąjį ryšį keisti mokinį ta pačia kryptimi, kaip tai darytų RL pagal paties mokinio atlygį. Kartu šios tikslo funkcijos moko mokytoją prisitaikyti prie esamo mokinio lygio ir padeda mokiniui mokytis iš jam pasiekiamų nurodymų.

Mūsų eksperimentai rodo, kad įvairiose matematinio protavimo, programavimo ir agentinėse užduotyse pagerėja tiek modelio našumas, tiek mokymo efektyvumas.

Nuo retų atlygių prie tankaus grįžtamojo ryšio

Paprasčiausia forma rezultato atlygiu grindžiamas RL naudoja tikėtinos grąžos tikslo funkciją:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Čia τ\tau yra trajektorija, gauta vadovaujantis politika πθ\pi_\theta, o R(τ)R(\tau) – tos trajektorijos grąža. Atitinkamas politikos gradientas yra:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

čia sts_t ir ata_t atitinkamai žymi būseną ir veiksmą laiko žingsnyje tt. Siekiant sumažinti imtimis grindžiamų įverčių dispersiją, gradientas dažnai išreiškiamas taip:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

čia pranašumas Aπθ(st,at)A^{\pi_\theta}(s_t, a_t) matuoja tikėtiną veiksmo ata_t perteklinę grąžą, palyginti su dabartine politika būsenoje sts_t. Vienas iš būdų – grupinė santykinė politikos optimizacija (angl. Group Relative Policy Optimization, GRPO) – pranašumą įvertina lygindamas kiekvienos trajektorijos grąžą su tai pačiai užklausai atrinktos grupės vidutine grąža.

Tačiau net ir su šiais patobulinimais rezultato atlygiu grindžiamam skatinamajam mokymuisi trūksta tankios priežiūros, ypač sudėtingose, ilgo horizonto užduotyse. Vis daugiau darbų šią problemą sprendžia pasitelkdami papildomus informacijos šaltinius, kad mokymosi signalas būtų tankesnis.

Distiliacija pagal politiką (OPD) yra vienas iš tokių būdų. Užuot naudojusi tik galutinį atlygį, OPD atrenka mokinio trajektorijas ir kiekvieną atrinktą veiksmą įvertina pagal stipresnį mokytoją. Turint mokytojo politiką πT\pi_T ir fiksuotą mokinio parametrų momentinę kopiją θˉ\bar{\theta}, naudojamą trajektorijoms generuoti, lokalusis gradientas, įvertintas taške θ=θˉ\theta = \bar{\theta}, yra:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Čia JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) yra neigiama atvirkštinio KL distiliacijos tikslo funkcija. Diferencijuojant mokytojo politika ir atrinkti prefiksai laikomi fiksuotais. Mokytojo ir mokinio logaritminių tikimybių santykis suteikia tankų mokymosi signalą kiekvienoje aplankytoje būsenoje ir pakeičia pranašumą kaip veiksmo lygmens svorį.

Savidistiliacija pagal politiką (OPSD), be to, pašalina atskiro mokytojo modelio poreikį. Mokinio politika pati tampa savo mokytoja, kai gauna privilegijuotą informaciją, pvz., patikrintą sprendimą, grįžtamąjį ryšį arba etaloninę sprendimo eigą. Tačiau OPSD moko mokinį tik mėgdžioti mokytoją; nėra jokio mechanizmo, užtikrinančio, kad mokytojas teiktų mokiniui naudingą signalą.

Bendras mokymasis ir mokymas pagal politiką

JOLT išplečia OPSD: bendras modelis mokomas būti ir mokytoju, teikiančiu geriau pritaikytus nurodymus, ir mokiniu, kuris iš jų mokosi. Daugiau informacijos turintis mokytojas mokosi iš rezultato atlygių taikant KL reguliarizaciją mokinio link, o privilegijuotos informacijos neturintis mokinys mokosi iš tankaus mokytojo distiliacijos signalo. Mokytojo atnaujinimui naudojami mokytojo sugeneruoti bandymai, o mokinio atnaujinimui – mokinio sugeneruoti bandymai, kuriuos įvertina mokytojas. JOLT+ dar papildo mokinio distiliacijos signalą rezultato atlygiais.

Viena politika mokosi būdama ir mokytoju, ir mokiniu.

Mokytojo mokymas

Ką turėtų daryti mokytojas

Geresni mokytojo rezultatai nebūtinai virsta naudingais mokinio atnaujinimais. Pasitelkęs privilegijuotą informaciją, mokytojas gali rinktis mokiniui neprieinamus trumpesnius kelius, priskirti didelę tikimybę trajektorijoms, kurios mokiniui mažai tikėtinos, arba teikti nepatikimus nurodymus po klaidų mokinio sugeneruotuose prefiksuose. Todėl mokytojo kokybę turėtų lemti mokiniui teikiamas mokymosi signalas, o ne paties mokytojo užduoties atlygis.

Mokytoją vadiname suderintu su atlygiu, jei jo mokiniui sukeliamas distiliacijos atnaujinimas sutampa su mokinio tikėtino užduoties atlygio politikos gradientu tikslumu iki teigiamo mastelio daugiklio. Tiksliau tariant, su atlygiu suderintas mokytojas πT⋆\pi_T^\star turėtų tenkinti sąlygą:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

čia βT\beta_T yra teigiamas skaliaras. Kaip ir ankstesniame skyriuje, gOPDg_{\mathrm{OPD}} yra OPD lokalusis gradientas, θˉ\bar\theta – fiksuota mokinio modelio parametrų θ\theta momentinė kopija, o gRLg_{\mathrm{RL}} – tikėtinos grąžos tikslo funkcijos politikos gradientas.

Vienas šią sąlygą tenkinantis mokytojas yra:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Čia Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) žymi mokinio tęsinio pranašumus, o Z(s)Z(s) yra normavimo konstanta, užtikrinanti, kad gautume tinkamą tikimybių skirstinį.

Nuo idealaus tikslo prie mokytojo tikslo funkcijos

Mokytoją galime mokyti artėti prie idealaus tikslo πT⋆\pi_T^\star, minimizuodami jo KL divergenciją nuo šio tikslo. Fiksuotam mokiniui ir būsenai ss gauname:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Įstatę πT⋆\pi_T^\star išraišką, gauname ekvivalentų maksimizavimo uždavinį:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Ši tikslo funkcija skatina mokytoją rinktis veiksmus, kurių mokinio pranašumas didesnis, ir kartu likti arti mokinio veiksmų skirstinio. Parametras βT\beta_T valdo šios baudos stiprumą: didesnės reikšmės išlaiko mokytoją arčiau dabartinio mokinio elgesio, o mažesnės leidžia jam agresyviau teikti pirmenybę didelio pranašumo veiksmams.

Praktinė pakaitinė tikslo funkcija

Ši tikslo funkcija priklauso nuo to, kaip gerai mokinys tęstų po kiekvieno veiksmo, tačiau tokie mokinio tęsinio pranašumai paprastai nežinomi. Todėl kaip praktinį pakaitalą naudojame centruotas grąžas iš paties mokytojo trajektorijų. Atlygio narys skatina mokytoją išspręsti užduotį, o KL narys atgraso nuo nukrypimų nuo dabartinio mokinio veiksmų skirstinio. Nors KL narys išlaiko mokytoją arti mokinio, šis pakeitimas nėra tikslus, nes mokytojo grąžos nebūtinai sutampa su mokinio tęsinio pranašumais.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Čia A^T(τ)\widehat{A}_T(\tau) yra mokytojo bandymo grąža, atėmus jo grupės mokytojo sugeneruotų bandymų vidutinę grąžą. Operatorius sg⁡\operatorname{sg} žymi gradiento sustabdymą (stop-gradient): jo argumentas diferencijuojant laikomas fiksuotu, kaip ir atrinkti prefiksai bei mokinio etalonas.

Mokinio mokymas

Mokinio atnaujinimas yra standartinis OPSD atnaujinimas. Mokinys generuoja trajektorijas pagal užduotį. Tada tas pats modelis, turėdamas kontekste privilegijuotą informaciją, įvertina kiekvieną atrinktą žetoną. Mokinio tikslo funkcija baudžia už atvirkštinę KL divergenciją tarp mokinio ir šio privilegijuoto mokytojo kiekvienoje mokinio aplankytoje būsenoje:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Todėl mokytojo labiau vertinami žetonai sustiprinami, o žetonai, kuriuos mokytojas laiko mažiau tikėtinais nei mokinys, slopinami.

Viską sujungus

Sujungus mokytojo ir mokinio tikslo funkcijas, gaunama bendro mokymo tikslo funkcija:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S yra skaliaras, nustatantis, kokią įtaką bendram atnaujinimui turi mokinio distiliacijos nuostolis.

Atlygio suderinamumo rezultatas apibūdina mokinio distiliacijos atnaujinimą esant konkrečiam mokytojui. JOLT šiuo principu vadovaujasi bendrame mokyme: sujungia mokytojo ir mokinio tikslo funkcijas ir taip atnaujina bendrus jų parametrus.

JOLT+ į mokinio atnaujinimą taip pat įtraukia paties mokinio rezultato atlygį. Kiekvienos mokinio trajektorijos centruota grąža pridedama prie distiliacijos signalo, taip sujungiant tankią mokytojo priežiūrą su tiesioginiu rezultato grįžtamuoju ryšiu apie mokinio trajektorijas. Mokytojo tikslo funkcija nesikeičia, todėl galime užrašyti:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Čia A^S(τ)\widehat{A}_S(\tau) yra mokinio trajektorijos grąža, atėmus jos mokinio sugeneruotų trajektorijų grupės vidutinę grąžą.

Abiejuose variantuose kiekvienas vaidmuo mokosi iš trajektorijų, sugeneruotų jo paties kontekste, ir abu vaidmenys atnaujina bendrą politiką. Toliau pateikiamas vieno mokymo žingsnio pseudokodas.

Vieno JOLT mokymo žingsnio pseudokodas.

Eksperimentai

JOLT ir JOLT+ vertiname lyginamuosiuose testuose, apimančiuose matematinį protavimą, kodo generavimą, įrankių naudojimą ir ilgo horizonto terminalo užduotis, naudodami skirtingus bazinius modelius ir skirtingas privilegijuotos informacijos formas. Konkrečiai, eksperimentus atliekame su šiais lyginamaisiais testais, baziniais modeliais ir privilegijuotos informacijos konfigūracijomis:

  • GSM8K: DeepSeek-V2-Lite mokome naudodami GSM8K – pradinės mokyklos matematikos uždavinių duomenų rinkinį. Mokytojas gauna patikrintą kiekvieno uždavinio atsakymą.
  • MATH: Qwen3-0.6B mokome naudodami MATH. Mokytojas gauna išsamius etaloninius sprendimus.
  • LCBv6: Qwen3-8B mokome naudodami 131 programavimo uždavinį iš LiveCodeBench-V6. Mokytojas gauna modelio sugeneruotą sprendimą, kuris išlaikė visus mokymo metu matomus testus, arba vykdymo grįžtamąjį ryšį, jei nė vienas bandymas jų neišlaikė.
  • AppWorld: Qwen3-4B-Instruct mokome naudodami AppWorld. Mokytojas gauna ankstesnių bandymų santraukas.
  • Terminal-Bench: Qwen3-30B-A3B-Instruct mokome naudodami TMax – terminalo agentams skirtų mokymo užduočių rinkinį, o vertiname Terminal-Bench 2.1 teste. Mokytojas gauna privačią tikrintuvo informaciją.

Lyginame su GRPO, OPSD ir π-Distill, kiekvienam metodui derindami hiperparametrus. Kaip ir JOLT, π-Distill kartu moko privilegijuotą mokytojo ir mokinio vaidmenis bendrame modelyje; tačiau jis naudoja kitokį mokytojo tikslą, o jo mokinio atnaujinimas lieka ne pagal politiką (angl. off-policy), nes remiasi mokytojo sugeneruotomis trajektorijomis, o ne paties mokinio sugeneruotais rezultatais.

Tikslumas

JOLT+ pasiekia didžiausią vidutinį rezultatą kiekvienoje mūsų vertintoje sąrankoje. Palyginti su GRPO, stipriausiu išbandytu lyginamuoju metodu, jis pagerina GSM8K tikslumą 1,5 procentinio punkto (p. p.), MATH tikslumą – 4,2 p. p., LCBv6 tikslumą – 3,0 p. p., o AppWorld būsenos testų išlaikymo rodiklį – 9,9 p. p.

JOLT+ pasiekia didžiausią vidutinį rezultatą visuose keturiuose lyginamuosiuose testuose.

Be jokio tiesioginio mokinio atlygio JOLT vidutinis tikslumas GSM8K, MATH ir LCBv6 testuose yra didesnis nei GRPO. Tačiau AppWorld teste jis atsilieka ir nuo GRPO, ir nuo π-Distill.

Terminal-Bench 2.1 – ilgiausio horizonto sąranka. JOLT+ pasiekia didžiausią pass@k kiekvienai pateiktai k reikšmei: nuo 10,96 % ties pass@1 iki 34,83 % ties pass@32. JOLT kiekvienai k reikšmei pranoksta bazinį modelį ir abu distiliacijos lyginamuosius metodus, tačiau atsilieka nuo GRPO. OPSD rezultatai kiekvienai k reikšmei yra žemesni nei bazinio modelio.

JOLT+ pirmauja Terminal-Bench teste esant bet kokiam bandymų biudžetui.

Žetonų efektyvumas ir mastelio didinimas

Mus taip pat domina, kaip našumas kinta priklausomai nuo mokymo biudžeto. Vertiname GRPO, OPSD ir JOLT su skirtingais mokymo žetonų biudžetais MATH užduotyse ir lyginame gautą mokinio tikslumą.

Diagramoje parodyta, kaip kiekvieno metodo tikslumas kinta priklausomai nuo mokymui sunaudotų žetonų. Sąnaudas matuojame apdorotais mokymo žetonais. Į juos įeina kiekviena užklausa be užpildo žetonų, privilegijuotas kontekstas, optimizavimo perėjimas ir kryžminis mokytojo bei mokinio vertinimas.

JOLT reikia mažiau žetonų GRPO tikslumui pasiekti.

Taškai rodo apdorotų mokymo žetonų skaičių ir tikslumą įvairiuose kontroliniuose taškuose; ūsai žymi ±1 standartinį nuokrypį tarp paleidimų. Remdamiesi ankstesniais darbais apie RL skaičiavimų mastelio didinimą, tikslumo ir mokymo žetonų biudžeto logaritmo sąryšį aproksimuojame sigmoidine funkcija.

JOLT pasižymi ankstyvu imčių efektyvumu ir kartu pasiekia didžiausią tikslumą iš trijų metodų – jo tikslumas nusistovi ties maždaug 72 %. OPSD sparčiai gerėja esant mažiems biudžetams, tačiau jo tikslumas nusistovi ties maždaug 62 %. GRPO iš pradžių mokosi lėčiau, bet gerėja ilgiau ir pasiekia apie 70 %. Esant vienodam 63,44 % tikslumui, GRPO stebėtame kontroliniame taške sunaudojama 8,40 mln. žetonų, o pagal JOLT pritaikytą kreivę – 1,30 mln., t. y. 6,5 karto mažiau žetonų.

Sąnaudas taip pat matuojame užbaigimo žetonais: GRPO ir OPSD atveju skaičiuojami mokinio užbaigimai, o JOLT atveju – ir mokytojo, ir mokinio užbaigimai, tačiau neįtraukiamos užklausos, privilegijuotas kontekstas ir papildomi optimizavimo perėjimai. Lyginant pagal užbaigimo žetonus, o ne apdorotus mokymo žetonus, efektyvumo skirtumas esant tam pačiam tikslumui padidėja iki maždaug 13 kartų. Įvairiems tiksliniams tikslumams JOLT sunaudoja 9,5–14,4 karto mažiau užbaigimo žetonų ir 4,3–7,4 karto mažiau apdorotų mokymo žetonų.

JOLT žetonų pranašumas išlieka nuo 55 % iki 65 % tikslumo.

Išvados

Privilegijuota informacija gali padėti mokytojui geriau išspręsti užduotį, tačiau nebūtinai padaro jį geresniu mokant mokinį išspręsti tą pačią užduotį be tos informacijos. JOLT šią problemą sprendžia mokydamas mokytoją atsižvelgiant į dabartinį mokinio elgesį.

Šis bendras mokymas pagerina ir tikslumą, ir efektyvumą. Naudodamas mokinio rezultato atlygius, JOLT+, palyginti su GRPO, pasiekia tokį absoliutų pagerėjimą: GSM8K – 1,5 p. p., MATH – 4,2 p. p., LCBv6 – 3,0 p. p., AppWorld – 9,9 p. p., o Terminal-Bench 2.1 pass@1 rodiklio – 2,7 p. p. MATH užduotyse, esant vienodam tikslumui, JOLT sunaudoja 13 kartų mažiau užbaigimo žetonų ir 6,5 karto mažiau apdorotų mokymo žetonų nei GRPO, netaikydamas tiesioginio mokinio atlygio.

JOLT leidžia mokytojo nurodymams tobulėti kartu su mokiniu. Tai skatina tirti, ar mokytojas taip pat gali išmokti generuoti naudingas mokymo užduotis. Įdomi ateities darbų kryptis – kartu mokyti užduotis generuojantį mokytoją ir uždavinius sprendžiantį mokinį, pagal mokinio mokymosi pažangą tobulinant sugeneruotas užduotis kaip nuoseklią mokymo programą. Taip sintetinių užduočių generavimas galėtų prisitaikyti prie to, ką mokinys yra pasirengęs išmokti toliau.

Daugiau informacijos rasite visame mūsų moksliniame straipsnyje. Netrukus paskelbsime atvirąjį kodą.

Citavimas

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}