Góður kennari mætir nemandanum þar sem hann er staddur

Styrkingarnám (e. Reinforcement Learning, RL) er mikið notað við eftirþjálfun mállíkana til að efla getu þeirra í flókinni rökhugsun og langtímaverkefnum gervigreindarfulltrúa.

Í dæmigerðri uppsetningu reynir líkanið ítrekað við verkefni, fær útkomuumbun fyrir hverja tilraun og lærir að velja frekar þær aðgerðir sem gripið var til í tilraunum með hærri umbun. Ein útkomuumbun veitir þó strjált námsmerki sem greinir ekki á milli þess hvaða millistigsaðgerðir hjálpuðu eða spilltu fyrir útkomunni. Þessi strjálleiki takmarkar úrtaksnýtni, einkum í erfiðum verkefnum gervigreindarfulltrúa þar sem tilraunir eru langar og árangur sjaldgæfur.

Ein vinsæl leið til að bregðast við þessum strjálleika er On-Policy Distillation (OPD), sem notar sterkara kennaralíkan til að leiðbeina nemandanum tóka fyrir tóka í hans eigin tilraunum og veitir þannig mun þéttari umbun. Kennsla er þó færni út af fyrir sig. Líkan sem er gott í að leysa verkefni er ekki endilega gott í að kenna það, því endurgjöf þess getur verið umfram núverandi getu nemandans. Þetta er hvatinn að því að þjálfa ekki aðeins nemandann í að líkja eftir kennaranum heldur einnig kennarann í að veita leiðsögn sem hæfir nemandanum betur.

Við leggjum til eina slíka aðferð, Joint On-policy Learning and Teaching (JOLT). Með On-Policy Self-Distillation (OPSD) sem grunn notum við eitt líkan í tveimur hlutverkum: kennara sem hefur aðgang að forréttindaupplýsingum, svo sem staðfestum lausnum, og nemanda sem hefur ekki slíkan aðgang. Við þjálfum hlutverkin tvö saman. Nemandinn fylgir hefðbundnu eimingarmarkfalli. Markfall kennarans beinir endurgjöf hans að því að færa nemandann í sömu átt og styrkingarnám á eigin umbun nemandans myndi gera. Saman þjálfa þessi markföll kennarann í að mæta nemandanum þar sem hann er staddur og hjálpa nemandanum að læra af leiðsögn sem er innan seilingar.

Tilraunir okkar sýna framfarir bæði í frammistöðu líkansins og skilvirkni þjálfunar í fjölbreyttum verkefnum á sviði stærðfræðilegrar rökhugsunar, forritunar og gervigreindarfulltrúa.

Í sinni einföldustu mynd notar styrkingarnám með útkomuumbun markfall væntrar ávöxtunar:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Hér er $\tau$ ferill sem fylgir stefnu $\pi_\theta$ og $R(\tau)$ er ávöxtun þess ferils. Samsvarandi stefnustigull er:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

þar sem $s_t$ og $a_t$ tákna stöðu og aðgerð, hvort um sig, á tímaskrefi $t$ . Til að draga úr dreifni mata sem byggja á úrtökum er stigullinn oft settur fram sem:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

þar sem forskotið $A^{\pi_\theta}(s_t, a_t)$ mælir vænta umframávöxtun aðgerðar $a_t$ miðað við núverandi stefnu í stöðu $s_t$ . Ein aðferð, Group Relative Policy Optimization (GRPO), metur forskotið með því að bera ávöxtun hvers ferils saman við meðalávöxtun hópsins sem tekinn var í úrtak fyrir sömu kvaðningu.

Jafnvel með þessum lagfæringum glímir styrkingarnám með útkomuumbun þó við strjála leiðsögn, einkum í erfiðum langtímaverkefnum. Sífellt fleiri rannsóknir taka á þessu með því að nýta viðbótarupplýsingar til að veita þéttara námsmerki.

On-Policy Distillation (OPD) er ein slík aðferð. Í stað þess að læra einungis af lokaumbun tekur OPD úrtak ferla frá nemandanum og metur hverja aðgerð í úrtakinu út frá sterkari kennara. Fyrir kennarastefnu $\pi_T$ og fasta skyndimynd $\bar{\theta}$ af færibreytum nemandans sem notaðar eru til að mynda ferlana er staðbundni stigullinn, metinn við $\theta = \bar{\theta}$ , eftirfarandi:

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Hér er $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ neikvætt eimingarmarkfall byggt á öfugu KL-fráviki. Kennarastefnunni og forskeytunum í úrtakinu er haldið föstum við diffrun. Hlutfall log-líkinda kennara og nemanda veitir þétt námsmerki í hverri stöðu sem heimsótt er og kemur í stað forskotsins sem vægi á aðgerðastigi.

On-Policy Self-Distillation (OPSD) gengur skrefinu lengra og útilokar þörfina á sérstöku kennaralíkani. Stefna nemandans þjónar sem eigin kennari þegar hún fær forréttindaupplýsingar, svo sem staðfesta lausn, endurgjöf eða viðmiðunarferil. OPSD þjálfar þó aðeins nemandann í að líkja eftir kennaranum; ekkert kerfi tryggir að kennarinn veiti nemandanum gagnlegt merki.

JOLT útvíkkar OPSD með því að þjálfa sameiginlegt líkan bæði sem kennara sem veitir betur sniðna leiðsögn og sem nemanda sem lærir af henni. Kennarinn, sem býr yfir meiri upplýsingum, lærir af útkomuumbun með KL-reglun í átt að nemandanum, en nemandinn, sem hefur engar forréttindaupplýsingar, lærir af þéttu eimingarmerki kennarans. Uppfærsla kennarans byggir á tilraunum sem kennarinn myndar, en uppfærsla nemandans byggir á tilraunum nemandans sem kennarinn metur. JOLT+ bætir síðan útkomuumbun við eimingarmerki nemandans.

Skýringarmynd: Ein stefna lærir bæði sem kennari og nemandi — Ein stefna lærir bæði sem kennari og nemandi.

Betri frammistaða kennara skilar sér ekki endilega í gagnlegum uppfærslum fyrir nemandann. Kennari getur notað forréttindaupplýsingar til að nýta sér flýtileiðir sem nemandanum standa ekki til boða, gefið ferlum sem eru ólíklegir hjá nemandanum háar líkur eða veitt óáreiðanlega leiðsögn eftir villur í forskeytum sem nemandinn myndaði. Gæði kennara ættu því að ráðast af námsmerkinu sem hann veitir nemandanum fremur en af hans eigin umbun fyrir verkefnið.

Við köllum kennara umbunarsamkvæman ef eimingaruppfærslan sem hann veldur hjá nemandanum samsvarar stefnustigli væntrar verkefnaumbunar nemandans, að frátalinni jákvæðri skölun. Nánar tiltekið ætti umbunarsamkvæmur kennari $\pi_T^\star$ að uppfylla:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

þar sem $\beta_T$ er jákvæð stigstærð. Eins og í kaflanum á undan er $g_{\mathrm{OPD}}$ staðbundni OPD-stigullinn, $\bar\theta$ er föst skyndimynd af færibreytum nemandalíkansins $\theta$ og $g_{\mathrm{RL}}$ er stefnustigull markfalls væntrar ávöxtunar.

Einn kennari sem uppfyllir þetta skilyrði er:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Hér tákna $A^{\pi_{\bar{\theta}}}(s, a)$ framhaldsforskot nemandans og $Z(s)$ er stöðlunarfasti sem tryggir að útkoman sé gild líkindadreifing.

Við getum þjálfað kennara í átt að kjörmarkmiðinu $\pi_T^\star$ með því að lágmarka KL-frávik hans frá því. Fyrir fastan nemanda og stöðu $s$ fæst:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Þegar segðin fyrir $\pi_T^\star$ er sett inn fæst jafngilt hámörkunarverkefni:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Þetta markfall hvetur kennarann til að velja aðgerðir sem veita nemandanum meira forskot en halda sig þó nálægt aðgerðadreifingu nemandans. Færibreytan $\beta_T$ stjórnar styrk þessarar refsingar: hærri gildi halda kennaranum nær núverandi hegðun nemandans, en lægri gildi leyfa honum að hygla aðgerðum með mikið forskot af meiri ákefð.

Þetta markfall veltur á því hversu vel nemandanum tækist að halda áfram eftir hverja aðgerð, en framhaldsforskot nemandans eru almennt ekki tiltæk. Við notum því miðjaða ávöxtun úr eigin ferlum kennarans sem hagnýtan staðgengil. Umbunarliðurinn hvetur kennarann til að leysa verkefnið, en KL-liðurinn dregur úr frávikum frá núverandi aðgerðadreifingu nemandans. Þótt KL-liðurinn haldi kennaranum nálægt nemandanum er þessi staðgengill ekki nákvæmur, því ávöxtun kennarans þarf ekki að samsvara framhaldsforskoti nemandans.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Hér er $\widehat{A}_T(\tau)$ ávöxtun tilraunar kennarans að frádreginni meðalávöxtun þeirra tilrauna sem kennarinn myndaði í sama hópi. Virkinn $\operatorname{sg}$ táknar stöðvun stiguls (stop-gradient): litið er á viðfang hans sem fast við diffrun, rétt eins og forskeytin í úrtakinu og viðmið nemandans.

Uppfærsla nemandans er hefðbundin OPSD-uppfærsla. Nemandinn myndar ferla út frá verkefninu. Sama líkan metur síðan hvern tóka í úrtakinu með forréttindaupplýsingarnar í samhenginu. Markfall nemandans refsar fyrir öfugt KL-frávik milli nemandans og þessa kennara með forréttindaupplýsingar í hverri stöðu sem nemandinn heimsækir:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Þannig eru tókar sem kennarinn tekur fram yfir styrktir, en tókar sem kennarinn telur ólíklegri en nemandinn gerir eru bældir.

Þegar markföll kennara og nemanda eru sameinuð fæst sameiginlega þjálfunarmarkfallið:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ er stigstærð sem ákvarðar hversu mikið vægi eimingartap nemandans fær í sameinuðu uppfærslunni.

Niðurstaðan um umbunarsamkvæmni lýsir eimingaruppfærslu nemandans fyrir tiltekinn kennara. JOLT nýtir þessa meginreglu til að stýra sameiginlegri þjálfun og sameinar markföll kennara og nemanda til að uppfæra sameiginlegar færibreytur þeirra.

JOLT+ bætir einnig eigin útkomuumbun nemandans við uppfærslu hans. Miðjaðri ávöxtun hvers ferils nemandans er bætt við eimingarmerkið, þannig að þétt leiðsögn kennarans sameinast beinni útkomuendurgjöf á ferla nemandans. Markfall kennarans er óbreytt, svo við getum skrifað:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Hér er $\widehat{A}_S(\tau)$ ávöxtun ferils nemandans að frádreginni meðalávöxtun hópsins af ferlum sem nemandinn myndaði.

Í báðum útgáfum lærir hvort hlutverk af ferlum sem myndaðir eru í þess eigin samhengi og bæði hlutverkin uppfæra sameiginlegu stefnuna. Gervikóðinn fyrir eitt þjálfunarskref er sýndur hér að neðan.

Gervikóði JOLT sem sýnir hvernig kennarinn myndar svör með vísbendingu, nemandinn myndar svör án hennar, víxlmat milli samhengja og sameiginlega uppfærslu á stefnunni. JOLT+ bætir við útkomuumbun fyrir tilraunir nemandans. — Gervikóði fyrir eitt þjálfunarskref JOLT.

Við metum JOLT og JOLT+ á viðmiðunarprófum sem ná yfir stærðfræðilega rökhugsun, kóðagerð, verkfæranotkun og langtímaverkefni í skipanalínu, með mismunandi grunnlíkönum og mismunandi tegundum forréttindaupplýsinga. Nánar tiltekið keyrum við tilraunir með eftirfarandi viðmiðunarprófum, grunnlíkönum og stillingum forréttindaupplýsinga:

GSM8K: Við þjálfum DeepSeek-V2-Lite á GSM8K, gagnasafni stærðfræðidæma á grunnskólastigi. Kennarinn fær staðfest svar við hverju dæmi.
MATH: Við þjálfum Qwen3-0.6B á MATH. Kennarinn fær útfærðar viðmiðunarlausnir.
LCBv6: Við þjálfum Qwen3-8B á 131 forritunardæmum úr LiveCodeBench-V6. Kennarinn fær lausn sem líkan bjó til og stóðst öll prófin sem sýnileg voru í þjálfun, eða endurgjöf úr keyrslu þegar engin tilraun stóðst þau.
AppWorld: Við þjálfum Qwen3-4B-Instruct á AppWorld. Kennarinn fær samantektir á fyrri tilraunum.
Terminal-Bench: Við þjálfum Qwen3-30B-A3B-Instruct á TMax, safni þjálfunarverkefna fyrir gervigreindarfulltrúa í skipanalínu, og metum á Terminal-Bench 2.1. Kennarinn fær lokaðar upplýsingar frá sannprófara.

Til samanburðar notum við GRPO, OPSD og π-Distill og stillum ofurfæribreytur hverrar aðferðar. Líkt og JOLT þjálfar π-Distill kennarahlutverk með forréttindaupplýsingar og nemandahlutverk samtímis innan sameiginlegs líkans; það notar þó annað markmið fyrir kennarann og uppfærsla nemandans er áfram utan stefnu (off-policy), þar sem hún byggir á ferlum sem kennarinn myndar fremur en á eigin úttaki nemandans.

JOLT+ fær hæsta meðalskor í öllum stillingum sem við metum. Í samanburði við GRPO, sterkasta grunnviðmiðið sem prófað var, bætir það nákvæmni á GSM8K um 1,5 prósentustig, nákvæmni á MATH um 4,2 prósentustig, nákvæmni á LCBv6 um 3,0 prósentustig og hlutfall staðinna stöðuprófa á AppWorld um 9,9 prósentustig.

Punktarit með villustrikum: JOLT+ fær hæsta meðalskor á öllum fjórum viðmiðunarprófunum — JOLT+ fær hæsta meðalskor á öllum fjórum viðmiðunarprófunum.

Án nokkurrar beinnar umbunar til nemandans er meðalnákvæmni JOLT hærri en hjá GRPO á GSM8K, MATH og LCBv6. Á AppWorld er hún hins vegar undir bæði GRPO og π-Distill.

Terminal-Bench 2.1 er sú stilling sem spannar lengstan tíma. JOLT+ nær hæsta pass@k-gildinu fyrir öll k sem greint er frá, frá 10,96% við pass@1 upp í 34,83% við pass@32. JOLT stendur sig betur en grunnlíkanið og bæði eimingargrunnviðmiðin fyrir öll k en er undir GRPO. OPSD skorar lægra en grunnlíkanið fyrir öll k.

Línurit: JOLT+ er fremst á Terminal-Bench við hvern tilraunafjölda — JOLT+ er fremst á Terminal-Bench við hvern tilraunafjölda.

Við höfum einnig áhuga á því hvernig frammistaða skalast með þjálfunarumfangi. Við metum GRPO, OPSD og JOLT við mismunandi fjölda þjálfunartóka á MATH og berum saman nákvæmni nemandans sem af því hlýst.

Myndin sýnir hvernig nákvæmni hverrar aðferðar skalast með fjölda þjálfunartóka sem varið er. Við mælum kostnað í unnum þjálfunartókum. Þar eru taldar allar kvaðningar án fyllingar, forréttindasamhengi, bestunarumferðir og víxlmat milli kennara og nemanda.

Dreifirit með aðfelldum ferlum: JOLT þarf færri tóka til að ná nákvæmni GRPO — JOLT þarf færri tóka til að ná nákvæmni GRPO.

Punktarnir sýna fjölda unninna þjálfunartóka og nákvæmni við ýmsa vistunarpunkta; villustrikin tákna ±1 staðalfrávik milli keyrslna. Við fellum S-laga fall að sambandinu milli nákvæmni og lógaritma þjálfunartókafjöldans, í samræmi við fyrri rannsóknir á skölun reiknigetu í styrkingarnámi.

JOLT sýnir góða úrtaksnýtni snemma og nær jafnframt mestri nákvæmni aðferðanna þriggja, þar sem hún jafnast út nálægt 72%. OPSD batnar hratt við lítið umfang en staðnar í um 62% nákvæmni. GRPO lærir hægar í fyrstu en heldur áfram að batna lengur og nær um 70%. Við sambærilega nákvæmni upp á 63,44% notar mældur vistunarpunktur GRPO 8,40 milljónir tóka, en aðfelldur ferill JOLT gefur 1,30 milljónir, sem eru 6,5× færri tókar.

Við mælum einnig kostnað út frá úttakstókum, sem telja svör nemandans hjá GRPO og OPSD og svör bæði kennara og nemanda hjá JOLT, en sleppa kvaðningum, forréttindasamhengi og viðbótarbestunarumferðum. Samanburður byggður á úttakstókum í stað unninna þjálfunartóka eykur muninn á skilvirkni í um 13× við sömu nákvæmni. Fyrir ýmis gildi marknákvæmni notar JOLT 9,5–14,4× færri úttakstóka og 4,3–7,4× færri unna þjálfunartóka.

Handlóðarit: Tókaforskot JOLT helst frá 55% til 65% nákvæmni — Tókaforskot JOLT helst frá 55% til 65% nákvæmni.

Forréttindaupplýsingar geta gert kennara betri í að leysa verkefni án þess að gera hann betri í að kenna nemanda að leysa sama verkefni án þeirra upplýsinga. JOLT tekur á þessum greinarmun með því að þjálfa kennarann með hliðsjón af núverandi hegðun nemandans.

Þessi sameiginlega þjálfun bætir bæði nákvæmni og skilvirkni. Með útkomuumbun nemanda nær JOLT+ algildri bætingu umfram GRPO sem nemur 1,5 prósentustigum á GSM8K, 4,2 prósentustigum á MATH, 3,0 prósentustigum á LCBv6, 9,9 prósentustigum á AppWorld og 2,7 prósentustigum í pass@1 á Terminal-Bench 2.1. Á MATH notar JOLT 13× færri úttakstóka og 6,5× færri unna þjálfunartóka en GRPO við sambærilega nákvæmni, án beinnar umbunar til nemandans.

JOLT gerir leiðsögn kennarans kleift að þróast samhliða nemandanum. Það gefur tilefni til að kanna hvort kennarinn geti einnig lært að búa til gagnleg þjálfunarverkefni. Áhugaverð stefna fyrir framtíðarrannsóknir er að þjálfa samtímis kennara sem býr til verkefni og nemanda sem leysir þau, og nýta námsframvindu nemandans til að bæta verkefnin jafnóðum í eins konar námskrá. Þannig mætti laga gerð tilbúinna verkefna að því sem nemandinn er reiðubúinn að læra næst.

Lestu greinina okkar í heild sinni til að fá nánari upplýsingar. Við munum gefa kóðann út sem opinn hugbúnað innan skamms.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Inngangur

Frá strjálli umbun til þéttrar endurgjafar

Sameiginlegt nám og kennsla innan stefnu

Þjálfun kennarans

Skilgreining á hlutverki kennarans

Frá kjörmarkmiði til markfalls kennarans

Hagnýtt staðgengilsmarkfall

Þjálfun nemandans

Allt sett saman

Tilraunir

Nákvæmni

Tókanýtni og skölun

Niðurstaða

Tilvitnun