Labs skolotājs pielāgojas skolēna līmenim

Stimulētā mācīšanās (RL) tiek plaši izmantota valodas modeļu pēcapmācībā, lai uzlabotu to spējas sarežģītos spriešanas uzdevumos un ilga horizonta aģentu uzdevumos.

Tipiskā konfigurācijā modelis atkārtoti mēģina izpildīt uzdevumu, par katru mēģinājumu saņem iznākuma atlīdzību un mācās dot priekšroku darbībām, kas veiktas mēģinājumos ar augstāku atlīdzību. Tomēr viena iznākuma atlīdzība sniedz retu mācīšanās signālu, kas neatšķir, kuras starpposma darbības iznākumam palīdzēja un kuras kaitēja. Šis retums ierobežo paraugu efektivitāti, īpaši sarežģītos aģentu uzdevumos, kur mēģinājumi ir ilgi un veiksmīgi mēģinājumi ir reti.

Viena populāra pieeja šī retuma novēršanai ir On-Policy Distillation (OPD), kas izmanto spēcīgāku skolotāja modeli, lai sniegtu norādes tokenu pa tokenam skolēna paša mēģinājumos, nodrošinot daudz blīvākas atlīdzības. Tomēr mācīšana pati par sevi ir prasme. Modelis, kas labi risina uzdevumu, ne vienmēr labi prot to iemācīt, jo tā atgriezeniskā saite var pārsniegt skolēna pašreizējās spējas. Tādēļ ir pamats apmācīt ne tikai skolēnu atdarināt skolotāju, bet arī skolotāju sniegt skolēnam labāk pielāgotas norādes.

Mēs piedāvājam vienu šādu metodi — Joint On-policy Learning and Teaching (JOLT). Balstoties uz On-Policy Self-Distillation (OPSD), mēs izmantojam vienu modeli divās lomās: skolotāja lomā, kuram ir piekļuve priviliģētai informācijai, piemēram, pārbaudītiem risinājumiem, un skolēna lomā, kuram šādas piekļuves nav. Abas lomas mēs apmācām kopīgi. Skolēns seko standarta destilācijas mērķfunkcijai. Skolotāja mērķfunkcija liek tā atgriezeniskajai saitei virzīt skolēnu tajā pašā virzienā, kurā to virzītu RL ar skolēna paša atlīdzību. Kopā šīs mērķfunkcijas māca skolotājam pielāgoties skolēna pašreizējam līmenim un palīdz skolēnam mācīties no norādēm, kas ir viņam sasniedzamas.

Mūsu eksperimenti uzrāda uzlabojumus gan modeļa veiktspējā, gan apmācības efektivitātē dažādos matemātiskās spriešanas, programmēšanas un aģentu uzdevumos.

Visvienkāršākajā formā iznākuma atlīdzības RL izmanto sagaidāmās atdeves mērķfunkciju:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Šeit $\tau$ ir trajektorija, kas seko politikai $\pi_\theta$ , un $R(\tau)$ ir šīs trajektorijas atdeve. Atbilstošais politikas gradients ir:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

kur $s_t$ un $a_t$ attiecīgi apzīmē stāvokli un darbību laika solī $t$ . Lai samazinātu uz paraugiem balstītu novērtējumu dispersiju, gradientu bieži izsaka šādi:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

kur priekšrocība $A^{\pi_\theta}(s_t, a_t)$ mēra darbības $a_t$ sagaidāmo papildu atdevi attiecībā pret pašreizējo politiku stāvoklī $s_t$ . Viena no pieejām, Group Relative Policy Optimization (GRPO), novērtē priekšrocību, salīdzinot katras trajektorijas atdevi ar tās grupas vidējo atdevi, kas ģenerēta tai pašai uzvednei.

Tomēr pat ar šīm korekcijām iznākuma atlīdzības stimulētā mācīšanās cieš no retas uzraudzības, īpaši sarežģītos, ilga horizonta uzdevumos. Arvien vairāk pētījumu šo problēmu risina, izmantojot papildu informācijas avotus, lai nodrošinātu blīvāku mācīšanās signālu.

On-Policy Distillation (OPD) ir viena no šādām pieejām. Tā vietā, lai mācītos tikai no galīgās atlīdzības, OPD ģenerē trajektorijas ar skolēnu un novērtē katru ģenerēto darbību ar spēcīgāka skolotāja palīdzību. Skolotāja politikai $\pi_T$ un fiksētam skolēna parametru momentuzņēmumam $\bar{\theta}$ , kas izmantots trajektoriju ģenerēšanai, lokālais gradients, kas novērtēts punktā $\theta = \bar{\theta}$ , ir:

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Šeit $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ ir negatīvā reversās KL destilācijas mērķfunkcija. Skolotāja politika un ģenerētie prefiksi diferencēšanas laikā tiek turēti fiksēti. Skolotāja un skolēna logaritmisko varbūtību attiecība nodrošina blīvu mācīšanās signālu katrā apmeklētajā stāvoklī, aizstājot priekšrocību kā darbības līmeņa svaru.

On-Policy Self-Distillation (OPSD) iet vēl tālāk un novērš nepieciešamību pēc atsevišķa skolotāja modeļa. Skolēna politika kalpo pati sev par skolotāju, ja tai tiek sniegta priviliģēta informācija, piemēram, pārbaudīts risinājums, atgriezeniskā saite vai atsauces trasējums. Tomēr OPSD tikai apmāca skolēnu atdarināt skolotāju; nav mehānisma, kas nodrošinātu, ka skolotājs sniedz skolēnam noderīgu signālu.

JOLT paplašina OPSD, apmācot kopīgu modeli gan kā skolotāju, kas sniedz labāk pielāgotas norādes, gan kā skolēnu, kas no tām mācās. Labāk informētais skolotājs mācās no iznākuma atlīdzībām ar KL regularizāciju skolēna virzienā, savukārt skolēns bez priviliģētas informācijas mācās no skolotāja blīvā destilācijas signāla. Skolotāja atjauninājumā tiek izmantoti skolotāja ģenerēti mēģinājumi, savukārt skolēna atjauninājumā — skolēna ģenerēti mēģinājumi, ko novērtē skolotājs. JOLT+ skolēna destilācijas signālu vēl papildina ar iznākuma atlīdzībām.

Diagramma: viena politika mācās gan kā skolotājs, gan kā skolēns — Viena politika mācās gan kā skolotājs, gan kā skolēns.

Labāka skolotāja veiktspēja ne vienmēr nozīmē noderīgus skolēna atjauninājumus. Skolotājs ar priviliģētās informācijas palīdzību var izmantot īsceļus, kas skolēnam nav pieejami, piešķirt augstu varbūtību trajektorijām, kas skolēnam ir maz ticamas, vai sniegt neuzticamas norādes pēc kļūdām skolēna ģenerētajos prefiksos. Tāpēc skolotāja kvalitāte būtu jānosaka pēc mācīšanās signāla, ko tas sniedz skolēnam, nevis pēc paša skolotāja uzdevuma atlīdzības.

Mēs saucam skolotāju par atlīdzības ziņā konsekventu, ja destilācijas atjauninājums, ko tas izraisa skolēnā, līdz pozitīvam mērogošanas koeficientam sakrīt ar skolēna sagaidāmās uzdevuma atlīdzības politikas gradientu. Konkrēti, atlīdzības ziņā konsekventam skolotājam $\pi_T^\star$ jāapmierina nosacījums:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

kur $\beta_T$ ir pozitīvs skalārs. Tāpat kā iepriekšējā sadaļā, $g_{\mathrm{OPD}}$ ir OPD lokālais gradients, $\bar\theta$ ir skolēna modeļa parametru $\theta$ fiksēts momentuzņēmums un $g_{\mathrm{RL}}$ ir sagaidāmās atdeves mērķfunkcijas politikas gradients.

Viens skolotājs, kas apmierina šo nosacījumu, ir:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Šeit $A^{\pi_{\bar{\theta}}}(s, a)$ apzīmē skolēna turpinājuma priekšrocības, un $Z(s)$ ir normalizējoša konstante, kas nodrošina korektu varbūtību sadalījumu.

Mēs varam apmācīt skolotāju ideālā mērķa $\pi_T^\star$ virzienā, minimizējot tā KL diverģenci attiecībā pret šo mērķi. Fiksētam skolēnam un stāvoklim $s$ tas dod:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Ievietojot $\pi_T^\star$ izteiksmi, iegūst ekvivalentu maksimizācijas uzdevumu:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Šī mērķfunkcija mudina skolotāju izvēlēties darbības ar lielāku skolēna priekšrocību, vienlaikus paliekot tuvu skolēna darbību sadalījumam. Parametrs $\beta_T$ nosaka šī soda stiprumu: lielākas vērtības notur skolotāju tuvāk skolēna pašreizējai uzvedībai, savukārt mazākas vērtības ļauj tam agresīvāk dot priekšroku darbībām ar augstu priekšrocību.

Šī mērķfunkcija ir atkarīga no tā, cik labi skolēns turpinātu pēc katras darbības, taču šīs skolēna turpinājuma priekšrocības parasti nav pieejamas. Tāpēc kā praktisku aizstājēju mēs izmantojam centrētas atdeves no paša skolotāja trajektorijām. Atlīdzības loceklis mudina skolotāju atrisināt uzdevumu, savukārt KL loceklis attur no novirzēm no skolēna pašreizējā darbību sadalījuma. Lai gan KL loceklis notur skolotāju tuvu skolēnam, šī aizstāšana nav precīza, jo skolotāja atdevēm nav obligāti jāsakrīt ar skolēna turpinājuma priekšrocībām.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Šeit $\widehat{A}_T(\tau)$ ir skolotāja mēģinājuma atdeve mīnus tā grupas skolotāja ģenerēto mēģinājumu vidējā atdeve. Operators $\operatorname{sg}$ apzīmē gradienta apturēšanu (stop-gradient): tā arguments diferencēšanas laikā tiek uzskatīts par fiksētu, tāpat kā ģenerētie prefiksi un skolēna atsauce.

Skolēna atjauninājums ir standarta OPSD atjauninājums. Skolēns ģenerē trajektorijas, risinot uzdevumu. Pēc tam tas pats modelis novērtē katru ģenerēto tokenu, kad kontekstā ir pieejama priviliģētā informācija. Skolēna mērķfunkcija soda reverso KL diverģenci starp skolēnu un šo priviliģēto skolotāju katrā stāvoklī, ko skolēns apmeklē:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Tādējādi tokeni, kuriem skolotājs dod priekšroku, tiek pastiprināti, savukārt tokeni, kurus skolotājs uzskata par mazāk ticamiem nekā skolēns, tiek nomākti.

Apvienojot skolotāja un skolēna mērķfunkcijas, iegūst kopīgās apmācības mērķfunkciju:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ ir skalārs, kas nosaka, cik lielu svaru skolēna destilācijas zudums iegūst apvienotajā atjauninājumā.

Atlīdzības konsekvences rezultāts raksturo skolēna destilācijas atjauninājumu konkrētam skolotājam. JOLT izmanto šo principu kopīgās apmācības vadīšanai, apvienojot skolotāja un skolēna mērķfunkcijas, lai atjauninātu to kopīgos parametrus.

JOLT+ savam atjauninājumam pievieno arī skolēna paša iznākuma atlīdzību. Katras skolēna trajektorijas centrētā atdeve tiek pievienota destilācijas signālam, apvienojot blīvu skolotāja uzraudzību ar tiešu iznākuma atgriezenisko saiti par skolēna trajektorijām. Skolotāja mērķfunkcija nemainās, tāpēc varam rakstīt:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Šeit $\widehat{A}_S(\tau)$ ir skolēna trajektorijas atdeve mīnus tās skolēna ģenerēto trajektoriju grupas vidējā atdeve.

Abos variantos katra loma mācās no trajektorijām, kas ģenerētas tās pašas kontekstā, un abas lomas atjaunina kopīgo politiku. Apmācības soļa pseidokods ir parādīts tālāk.

JOLT pseidokods, kas parāda skolotāja ģenerēšanu ar mājienu, skolēna ģenerēšanu bez tā, savstarpējo novērtēšanu dažādos kontekstos un kopīgās politikas atjaunināšanu. JOLT+ pievieno iznākuma atlīdzības par skolēna mēģinājumiem. — Viena JOLT apmācības soļa pseidokods.

Mēs novērtējam JOLT un JOLT+ etalonos, kas aptver matemātisko spriešanu, koda ģenerēšanu, rīku izmantošanu un ilga horizonta termināļa uzdevumus, izmantojot dažādus bāzes modeļus un dažādas priviliģētās informācijas formas. Konkrēti, mēs veicam eksperimentus ar šādiem etaloniem, bāzes modeļiem un priviliģētās informācijas konfigurācijām:

GSM8K: mēs apmācām DeepSeek-V2-Lite ar GSM8K — skolas līmeņa matemātikas uzdevumu datu kopu. Skolotājs saņem pārbaudītu atbildi uz katru uzdevumu.
MATH: mēs apmācām Qwen3-0.6B ar MATH. Skolotājs saņem detalizētus atsauces risinājumus.
LCBv6: mēs apmācām Qwen3-8B ar 131 programmēšanas uzdevumu no LiveCodeBench-V6. Skolotājs saņem modeļa ģenerētu risinājumu, kas izturēja visus apmācībā redzamos testus, vai izpildes atgriezenisko saiti, ja neviens mēģinājums tos neizturēja.
AppWorld: mēs apmācām Qwen3-4B-Instruct ar AppWorld. Skolotājs saņem iepriekšējo mēģinājumu kopsavilkumus.
Terminal-Bench: mēs apmācām Qwen3-30B-A3B-Instruct ar TMax — termināļa aģentu apmācības uzdevumu kopu — un novērtējam ar Terminal-Bench 2.1. Skolotājs saņem privātu verificētāja informāciju.

Mēs salīdzinām savu metodi ar GRPO, OPSD un π-Distill, katrai metodei pielāgojot hiperparametrus. Tāpat kā JOLT, π-Distill kopīgi apmāca priviliģēto skolotāja lomu un skolēna lomu vienā kopīgā modelī; tomēr tā izmanto citu skolotāja mērķi, un tās skolēna atjauninājums paliek off-policy, balstoties uz skolotāja ģenerētām trajektorijām, nevis skolēna paša ģenerējumiem.

JOLT+ ir augstākais vidējais rezultāts katrā novērtētajā scenārijā. Salīdzinājumā ar GRPO, spēcīgāko pārbaudīto salīdzinājuma metodi, tā uzlabo GSM8K precizitāti par 1,5 procentpunktiem (pp), MATH precizitāti par 4,2 pp, LCBv6 precizitāti par 3,0 pp un AppWorld stāvokļa testu izturēšanas rādītāju par 9,9 pp.

Punktu un ūsu diagramma: JOLT+ ir augstākais vidējais rezultāts visos četros etalonos — JOLT+ ir augstākais vidējais rezultāts visos četros etalonos.

Bez jebkādas tiešas skolēna atlīdzības JOLT vidējā precizitāte ir augstāka nekā GRPO etalonos GSM8K, MATH un LCBv6. Tomēr etalonā AppWorld tā paliek zemāka gan par GRPO, gan par π-Distill.

Terminal-Bench 2.1 ir scenārijs ar visilgāko horizontu. JOLT+ ir augstākais pass@k rādītājs pie katras norādītās k vērtības — no 10,96 % pie pass@1 līdz 34,83 % pie pass@32. JOLT pārspēj bāzes modeli un abas destilācijas salīdzinājuma metodes pie katras k vērtības, taču atpaliek no GRPO. OPSD rezultāti ir zemāki par bāzes modeļa rezultātiem pie katras k vērtības.

Līniju diagramma: JOLT+ ir vadībā Terminal-Bench etalonā pie katra mēģinājumu budžeta — JOLT+ ir vadībā Terminal-Bench etalonā pie katra mēģinājumu budžeta.

Mūs interesē arī tas, kā veiktspēja mērogojas atkarībā no apmācības budžeta. Mēs novērtējam GRPO, OPSD un JOLT ar dažādiem apmācības tokenu budžetiem MATH etalonā un salīdzinām iegūto skolēna precizitāti.

Attēlā parādīts, kā katras metodes precizitāte mērogojas atkarībā no apmācībā patērētajiem tokeniem. Izmaksas mēs mērām apstrādātos apmācības tokenos. Tie ietver katru uzvedni bez aizpildījuma, priviliģēto kontekstu, optimizācijas gājienu un savstarpējo novērtēšanu starp skolotāju un skolēnu.

Izkliedes diagramma ar pielāgotām līknēm: JOLT nepieciešams mazāk tokenu, lai sasniegtu GRPO precizitāti — JOLT nepieciešams mazāk tokenu, lai sasniegtu GRPO precizitāti.

Punkti parāda apstrādāto apmācības tokenu skaitu un precizitāti dažādos kontrolpunktos; ūsas atspoguļo ±1 standartnovirzi starp palaidieniem. Sekojot iepriekšējiem pētījumiem par RL skaitļošanas mērogošanu, mēs pielāgojam sigmoidālu sakarību starp precizitāti un apmācības tokenu budžeta logaritmu.

JOLT uzrāda agrīnu paraugu efektivitāti un vienlaikus sasniedz augstāko precizitāti no visām trim metodēm, stabilizējoties ap 72 %. OPSD ar maziem budžetiem uzlabojas ātri, taču sasniedz plato pie aptuveni 62 % precizitātes. GRPO sākumā mācās lēnāk, taču turpina uzlaboties ilgāk, sasniedzot aptuveni 70 %. Pie vienādas precizitātes 63,44 % GRPO novērotais kontrolpunkts izmanto 8,40 miljonus tokenu, savukārt JOLT pielāgotā līkne dod 1,30 miljonus — 6,5× mazāk tokenu.

Izmaksas mēs mērām arī izvades tokenos, kas GRPO un OPSD gadījumā ietver skolēna izvades, bet JOLT gadījumā — gan skolotāja, gan skolēna izvades, taču neietver uzvednes, priviliģēto kontekstu un papildu optimizācijas gājienus. Salīdzinot pēc izvades tokeniem, nevis apstrādātajiem apmācības tokeniem, efektivitātes atšķirība pie tāda paša precizitātes līmeņa palielinās līdz aptuveni 13×. Dažādām mērķa precizitātēm JOLT izmanto 9,5–14,4× mazāk izvades tokenu un 4,3–7,4× mazāk apstrādātu apmācības tokenu.

Hanteļu diagramma: JOLT tokenu priekšrocība saglabājas no 55 % līdz 65 % precizitātei — JOLT tokenu priekšrocība saglabājas no 55 % līdz 65 % precizitātei.

Priviliģēta informācija var padarīt skolotāju labāku uzdevuma risināšanā, nepadarot to labāku skolēna mācīšanā atrisināt to pašu uzdevumu bez šīs informācijas. JOLT risina šo atšķirību, apmācot skolotāju attiecībā pret skolēna pašreizējo uzvedību.

Šī kopīgā apmācība uzlabo gan precizitāti, gan efektivitāti. Izmantojot skolēna iznākuma atlīdzības, JOLT+ salīdzinājumā ar GRPO sasniedz absolūtus uzlabojumus: 1,5 pp GSM8K, 4,2 pp MATH, 3,0 pp LCBv6, 9,9 pp AppWorld un 2,7 pp Terminal-Bench 2.1 pass@1 rādītājā. MATH etalonā pie vienādas precizitātes JOLT izmanto 13× mazāk izvades tokenu un 6,5× mazāk apstrādātu apmācības tokenu nekā GRPO, turklāt bez tiešas skolēna atlīdzības.

JOLT ļauj skolotāja norādēm attīstīties līdz ar skolēnu. Tas rosina izpētīt, vai skolotājs var iemācīties arī ģenerēt noderīgus apmācības uzdevumus. Interesants virziens turpmākajam darbam ir kopīgi apmācīt uzdevumus ģenerējošu skolotāju un problēmas risinošu skolēnu, izmantojot skolēna mācīšanās progresu, lai uzlabotu ģenerētos uzdevumus pakāpeniskas mācību programmas veidā. Tādējādi sintētisko uzdevumu ģenerēšana varētu pielāgoties tam, ko skolēns ir gatavs apgūt kā nākamo.

Sīkāku informāciju skatiet mūsu pilnajā rakstā. Drīzumā publiskosim kodu kā atvērto pirmkodu.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Ievads

No retām atlīdzībām līdz blīvai atgriezeniskajai saitei

Kopīga on-policy mācīšanās un mācīšana

Skolotāja apmācība

Ko skolotājam vajadzētu darīt

No ideālā mērķa līdz skolotāja mērķfunkcijai

Praktiska aizstājējmērķfunkcija

Skolēna apmācība

Visu apvienojot

Eksperimenti

Precizitāte

Tokenu efektivitāte un mērogošana

Secinājumi

Atsauce