Жақсы мұғалім оқушының деңгейіне бейімделеді

Күрделі пайымдау және агенттік тапсырмаларда модель өнімділігі мен оқыту тиімділігін арттыру үшін мұғалім мен оқушыны бірлесіп оқытатын жаңа өзіндік дистилляция әдісі.

АвторларPerplexity Research & NVIDIA

Кіріспе

Күшейтілген оқыту (Reinforcement Learning, RL) тіл модельдерін кейінгі оқыту (post-training) кезеңінде олардың күрделі пайымдау және ұзақ горизонтты агенттік тапсырмаларды орындау қабілеттерін жақсарту үшін кеңінен қолданылады.

Әдеттегі жағдайда модель тапсырманы бірнеше рет орындап көреді, әр талпыныс үшін нәтиже марапатын алады және марапаты жоғарырақ талпыныстарда жасалған әрекеттерді таңдауды үйренеді. Алайда жалғыз нәтиже марапаты қандай аралық әрекеттер нәтижеге көмектескенін немесе зиян келтіргенін ажыратпайтын сирек оқыту сигналын береді. Бұл сиректік үлгі тиімділігін шектейді, әсіресе талпыныстар ұзақ, ал сәттілік сирек болатын күрделі агенттік тапсырмаларда.

Бұл сиректік мәселесін шешудің танымал тәсілдерінің бірі — On-Policy Distillation (OPD), яғни саясат бойынша дистилляция. Онда күштірек мұғалім-модель оқушының өз талпыныстарына әр токен бойынша нұсқау беріп, әлдеқайда тығыз марапаттар ұсынады. Алайда үйрету — өз алдына бөлек дағды. Тапсырманы жақсы шешетін модель оны міндетті түрде жақсы үйрете алмайды, өйткені оның кері байланысы оқушының қазіргі мүмкіндіктерінен асып кетуі мүмкін. Сондықтан оқушыны мұғалімге еліктеуге ғана емес, мұғалімді де оқушыға барынша сәйкес келетін нұсқау беруге үйрету қажет.

Біз осындай әдістің бірін — Joint On-policy Learning and Teaching (JOLT) әдісін ұсынамыз. On-Policy Self-Distillation (OPSD) әдісіне сүйене отырып, біз бір модельді екі рөлде пайдаланамыз: тексерілген шешімдер сияқты айрықша ақпаратқа қолжетімді мұғалім және мұндай ақпаратқа қолжетімділігі жоқ оқушы. Екі рөлді бірлесіп оқытамыз. Оқушы стандартты дистилляция мақсат функциясын ұстанады. Мұғалімнің мақсат функциясы оның кері байланысын оқушыны оқушының өз марапатына негізделген RL жылжытатын бағытқа жылжытуға итермелейді. Бұл мақсат функциялары бірге мұғалімді оқушының қазіргі деңгейіне бейімделуге үйретеді және оқушыға өз мүмкіндігі жететін нұсқаудан үйренуге көмектеседі.

Тәжірибелеріміз математикалық пайымдау, бағдарламалау және агенттік тапсырмалардың кең ауқымында модель өнімділігі мен оқыту тиімділігінің артқанын көрсетеді.

Сирек марапаттардан тығыз кері байланысқа

Нәтиже марапатына негізделген RL өзінің ең қарапайым түрінде күтілетін қайтарым мақсат функциясын пайдаланады:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Мұнда τ\tau — πθ\pi_\theta саясатын ұстанатын траектория, ал R(τ)R(\tau) — осы траекторияның қайтарымы. Сәйкес саясат градиенті мынадай:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

мұндағы sts_t және ata_t — сәйкесінше tt уақыт қадамындағы күй мен әрекет. Үлгіге негізделген бағалаулардың дисперсиясын азайту үшін градиент жиі былай өрнектеледі:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

мұндағы Aπθ(st,at)A^{\pi_\theta}(s_t, a_t) артықшылығы ata_t әрекетінің ағымдағы саясатпен салыстырғанда sts_t күйіндегі күтілетін артық қайтарымын өлшейді. Тәсілдердің бірі — Group Relative Policy Optimization (GRPO) — артықшылықты әр траекторияның қайтарымын бір промпт үшін іріктелген топтың орташа қайтарымымен салыстыру арқылы бағалайды.

Алайда мұндай түзетулердің өзінде нәтиже марапатына негізделген күшейтілген оқыту сирек бақылаудан зардап шегеді, әсіресе күрделі, ұзақ горизонтты тапсырмаларда. Бұл мәселені тығызырақ оқыту сигналын беру үшін қосымша ақпарат көздеріне сүйену арқылы шешетін зерттеулер саны артып келеді.

On-Policy Distillation (OPD) — осындай тәсілдердің бірі. OPD тек соңғы марапаттан үйренудің орнына оқушыдан траекториялар іріктеп, әрбір іріктелген әрекетті күштірек мұғалім тұрғысынан бағалайды. πT\pi_T мұғалім саясаты және траекторияларды генерациялау үшін пайдаланылған оқушы параметрлерінің θˉ\bar{\theta} бекітілген көшірмесі үшін θ=θˉ\theta = \bar{\theta} нүктесінде есептелген жергілікті градиент мынадай:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Мұнда JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) — теріс кері KL дистилляция мақсат функциясы. Дифференциалдау кезінде мұғалім саясаты мен іріктелген префикстер тұрақты болып қалады. Мұғалім мен оқушының лог-ықтималдық қатынасы оқушы барған әрбір күйде тығыз оқыту сигналын беріп, әрекет деңгейіндегі салмақ ретінде артықшылықты алмастырады.

On-Policy Self-Distillation (OPSD) бөлек мұғалім-модельдің қажеттілігін де жояды. Тексерілген шешім, кері байланыс немесе эталондық трасса сияқты айрықша ақпарат берілгенде оқушы саясаты өзіне-өзі мұғалім болады. Алайда OPSD оқушыны тек мұғалімге еліктеуге үйретеді; мұғалімнің оқушыға пайдалы сигнал беретініне кепілдік беретін механизм жоқ.

Саясат бойынша бірлескен үйрену және үйрету

JOLT ортақ модельді әрі барынша сәйкес нұсқау беретін мұғалім, әрі сол нұсқаудан үйренетін оқушы ретінде оқыту арқылы OPSD әдісін кеңейтеді. Көбірек ақпараты бар мұғалім оқушыға қатысты KL регуляризациясын қолдана отырып, нәтиже марапаттарынан үйренеді, ал айрықша ақпараты жоқ оқушы мұғалімнің тығыз дистилляция сигналынан үйренеді. Мұғалімді жаңарту мұғалім генерациялаған талпыныстарды пайдаланады, ал оқушыны жаңарту оқушы генерациялап, мұғалім бағалаған талпыныстарды пайдаланады. JOLT+ бұған қоса оқушының дистилляция сигналын нәтиже марапаттарымен толықтырады.

Бір саясат әрі мұғалім, әрі оқушы ретінде үйренеді.

Мұғалімді оқыту

Мұғалімнің не істеуі керектігін анықтау

Мұғалім өнімділігінің жоғары болуы оқушы үшін міндетті түрде пайдалы жаңартуларға әкелмейді. Мұғалім айрықша ақпаратты оқушыға қолжетімсіз төте жолдарды пайдалану үшін қолдануы, оқушы үшін ықтималдығы төмен траекторияларға жоғары ықтималдық беруі немесе оқушы генерациялаған префикстердегі қателерден кейін сенімсіз нұсқау беруі мүмкін. Сондықтан мұғалім сапасын мұғалімнің өз тапсырма марапаты емес, оқушыға берілетін оқыту сигналы анықтауы тиіс.

Егер мұғалімнің оқушыда тудыратын дистилляциялық жаңартуы оң масштабтауға дейінгі дәлдікпен оқушының күтілетін тапсырма марапатының саясат градиентіне сәйкес келсе, біз мұндай мұғалімді марапатқа сәйкес деп атаймыз. Нақтырақ айтқанда, марапатқа сәйкес πT⋆\pi_T^\star мұғалімі мына шартты қанағаттандыруы тиіс:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

мұндағы βT\beta_T — оң скаляр. Алдыңғы бөлімдегідей, gOPDg_{\mathrm{OPD}} — OPD жергілікті градиенті, θˉ\bar\theta — θ\theta оқушы моделі параметрлерінің бекітілген көшірмесі, ал gRLg_{\mathrm{RL}} — күтілетін қайтарым мақсат функциясының саясат градиенті.

Бұл шартты қанағаттандыратын мұғалімдердің бірі:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Мұнда Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) оқушының жалғастыру артықшылықтарын білдіреді, ал Z(s)Z(s) — дұрыс ықтималдық үлестірімін қамтамасыз ететін нормалаушы тұрақты.

Идеал нысанадан мұғалімнің мақсат функциясына

Мұғалімді πT⋆\pi_T^\star идеал нысанасына қарай онымен арадағы KL дивергенциясын азайту арқылы оқыта аламыз. Бекітілген оқушы және ss күйі үшін бұл мынаны береді:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

πT⋆\pi_T^\star өрнегін орнына қойсақ, баламалы максимизация есебі шығады:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Бұл мақсат функциясы мұғалімді оқушының әрекет үлестіріміне жақын қала отырып, оқушы артықшылығы жоғарырақ әрекеттерді таңдауға ынталандырады. βT\beta_T параметрі осы айыппұлдың күшін басқарады: үлкен мәндер мұғалімді оқушының ағымдағы мінез-құлқына жақынырақ ұстайды, ал кіші мәндер оған артықшылығы жоғары әрекеттерді батылырақ таңдауға мүмкіндік береді.

Практикалық суррогат мақсат функциясы

Бұл мақсат функциясы оқушының әр әрекеттен кейін қаншалықты жақсы жалғастыратынына байланысты, бірақ оқушының жалғастыру артықшылықтары әдетте қолжетімсіз. Сондықтан практикалық суррогат ретінде мұғалімнің өз траекторияларының орталықтандырылған қайтарымдарын пайдаланамыз. Марапат мүшесі мұғалімді тапсырманы шешуге ынталандырады, ал KL мүшесі оқушының ағымдағы әрекет үлестірімінен ауытқуды тежейді. KL мүшесі мұғалімді оқушыға жақын ұстағанымен, бұл алмастыру дәл емес, өйткені мұғалімнің қайтарымдары оқушының жалғастыру артықшылықтарына сәйкес келуі міндетті емес.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Мұнда A^T(τ)\widehat{A}_T(\tau) — мұғалім талпынысының қайтарымынан оның тобындағы мұғалім генерациялаған талпыныстардың орташа қайтарымын шегергендегі мән. sg⁡\operatorname{sg} операторы градиентті тоқтатуды білдіреді: оның аргументі, іріктелген префикстер мен оқушы эталоны сияқты, дифференциалдау кезінде тұрақты деп есептеледі.

Оқушыны оқыту

Оқушыны жаңарту — стандартты OPSD жаңартуы. Оқушы тапсырма бойынша траекториялар генерациялайды. Содан кейін сол модель контексте берілген айрықша ақпаратты пайдаланып, әрбір іріктелген токенді бағалайды. Оқушының мақсат функциясы оқушы барған әрбір күйде оқушы мен осы айрықша ақпаратқа ие мұғалім арасындағы кері KL дивергенциясы үшін айыппұл салады:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Осылайша мұғалім артық көретін токендер күшейтіледі, ал мұғалім оқушыға қарағанда ықтималдығы төменірек деп санайтын токендер басылады.

Барлығын біріктіру

Мұғалім мен оқушының мақсат функцияларын біріктіру бірлескен оқытудың мақсат функциясын береді:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S — оқушының дистилляция шығынының біріктірілген жаңартудағы үлесін анықтайтын скаляр.

Марапат сәйкестігі туралы нәтиже берілген мұғалім үшін оқушының дистилляциялық жаңартуын сипаттайды. JOLT бұл қағиданы бірлескен оқытуды бағыттау үшін пайдаланады: мұғалім мен оқушының мақсат функцияларын біріктіріп, олардың ортақ параметрлерін жаңартады.

JOLT+ сондай-ақ оқушының жаңартуына оның өз нәтиже марапатын қосады. Әр оқушы траекториясының орталықтандырылған қайтарымы дистилляция сигналына қосылып, мұғалімнің тығыз бақылауын оқушы траекторияларына берілетін тікелей нәтиже бойынша кері байланыспен біріктіреді. Мұғалімнің мақсат функциясы өзгеріссіз қалады, сондықтан былай жаза аламыз:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Мұнда A^S(τ)\widehat{A}_S(\tau) — оқушы траекториясының қайтарымынан оның оқушы генерациялаған траекториялар тобының орташа қайтарымын шегергендегі мән.

Екі нұсқада да әр рөл өз контекстінде генерацияланған траекториялардан үйренеді және екі рөл де ортақ саясатты жаңартады. Оқыту қадамының псевдокоды төменде көрсетілген.

JOLT оқытуының бір қадамына арналған псевдокод.

Тәжірибелер

Біз JOLT пен JOLT+ әдістерін математикалық пайымдау, код генерациялау, құралдарды пайдалану және ұзақ горизонтты терминал тапсырмаларын қамтитын бенчмарктерде әртүрлі базалық модельдер мен айрықша ақпараттың әртүрлі түрлерін пайдаланып бағалаймыз. Нақтырақ айтқанда, тәжірибелерді мына бенчмарктер, базалық модельдер және айрықша ақпарат конфигурацияларымен жүргіземіз:

  • GSM8K: DeepSeek-V2-Lite моделін бастауыш мектептің математика есептерінен тұратын GSM8K деректер жинағында оқытамыз. Мұғалім әр есептің тексерілген жауабын алады.
  • MATH: Qwen3-0.6B моделін MATH деректер жинағында оқытамыз. Мұғалім толық шығарылған эталондық шешімдерді алады.
  • LCBv6: Qwen3-8B моделін LiveCodeBench-V6 жинағындағы 131 бағдарламалау есебінде оқытамыз. Мұғалім оқытуда көрінетін барлық тесттерден өткен, модель генерациялаған шешімді, ал бірде-бір талпыныс өтпеген жағдайда орындау бойынша кері байланысты алады.
  • AppWorld: Qwen3-4B-Instruct моделін AppWorld ортасында оқытамыз. Мұғалім алдыңғы талпыныстардың қорытындыларын алады.
  • Terminal-Bench: Qwen3-30B-A3B-Instruct моделін терминал агенттеріне арналған оқыту тапсырмаларының жиынтығы TMax бойынша оқытып, Terminal-Bench 2.1 бойынша бағалаймыз. Мұғалім верификатордың жабық ақпаратын алады.

Біз GRPO, OPSD және π-Distill әдістерімен салыстырамыз және әр әдіс үшін гиперпараметрлерді баптаймыз. JOLT сияқты, π-Distill де айрықша ақпаратқа ие мұғалім мен оқушы рөлдерін ортақ модель ішінде бірлесіп оқытады; алайда ол басқа мұғалім нысанасын пайдаланады және оның оқушыны жаңартуы off-policy күйінде қалады: ол оқушының өз генерацияларына емес, мұғалім генерациялаған траекторияларға сүйенеді.

Дәлдік

JOLT+ біз бағалаған әрбір жағдайда ең жоғары орташа нәтижеге ие. Тексерілген ең күшті базалық әдіс GRPO-мен салыстырғанда ол GSM8K дәлдігін 1,5 пайыздық тармаққа (п.т.), MATH дәлдігін 4,2 п.т., LCBv6 дәлдігін 3,0 п.т., ал AppWorld күй тестінен өту көрсеткішін 9,9 п.т. арттырады.

JOLT+ төрт бенчмарктің барлығында ең жоғары орташа нәтижеге ие.

Оқушыға тікелей марапат берілмесе де, JOLT-тың орташа дәлдігі GSM8K, MATH және LCBv6 бойынша GRPO-дан жоғары. Алайда AppWorld бойынша ол GRPO-дан да, π-Distill-ден де төмен қалады.

Terminal-Bench 2.1 — горизонты ең ұзақ жағдай. JOLT+ көрсетілген әрбір k мәнінде ең жоғары pass@k көрсеткішіне ие: pass@1 кезіндегі 10,96%-дан pass@32 кезіндегі 34,83%-ға дейін. JOLT әрбір k мәнінде базалық модельден және дистилляцияның екі базалық әдісінен асып түседі, бірақ GRPO-дан төмен қалады. OPSD әрбір k мәнінде базалық модельден төмен нәтиже көрсетеді.

JOLT+ талпыныстар бюджетінің кез келген мәнінде Terminal-Bench бойынша көш бастайды.

Токен тиімділігі және масштабталу

Бізді өнімділіктің оқыту бюджетіне қарай қалай масштабталатыны да қызықтырады. GRPO, OPSD және JOLT әдістерін MATH бойынша оқыту токендерінің әртүрлі бюджеттерінде бағалап, оқушының нәтижелік дәлдігін салыстырамыз.

Суретте әр әдіс үшін дәлдіктің оқытуға жұмсалған токендерге қарай қалай масштабталатыны көрсетілген. Шығынды өңделген оқыту токендерімен өлшейміз. Оған толтырусыз (unpadded) әрбір промпт, айрықша контекст, әрбір оңтайландыру өтуі және мұғалім мен оқушы арасындағы айқас бағалау кіреді.

GRPO дәлдігіне жету үшін JOLT-қа азырақ токен қажет.

Нүктелер әртүрлі чекпойнттердегі өңделген оқыту токендерінің саны мен дәлдікті көрсетеді; қателік жолақтары іске қосулар арасындағы ±1 стандартты ауытқуды білдіреді. RL есептеулерін масштабтау туралы алдыңғы жұмысқа сүйене отырып, дәлдік пен оқыту токендері бюджетінің логарифмі арасындағы сигмоидалық тәуелділікті сәйкестендіреміз.

JOLT ерте кезеңде үлгі тиімділігін көрсетеді және үш әдістің ішінде ең жоғары дәлдікке жетіп, шамамен 72%-да тұрақталады. OPSD шағын бюджеттерде тез жақсарады, бірақ шамамен 62% дәлдікте тоқырайды. GRPO басында баяу үйренеді, бірақ ұзағырақ жақсара береді де, шамамен 70%-ға дейін көтеріледі. 63,44% бірдей дәлдікте GRPO-ның бақыланған чекпойнты 8,40 миллион токенді пайдаланады, ал JOLT-тың сәйкестендірілген қисығы бойынша 1,30 миллион токен, яғни 6,5 есе аз токен қажет.

Сондай-ақ шығынды аяқтау токендерімен де өлшейміз: GRPO мен OPSD үшін оқушы аяқтаулары, ал JOLT үшін мұғалім мен оқушы аяқтауларының екеуі де есептеледі, бірақ промпттар, айрықша контекст және қосымша оңтайландыру өтулері есепке алынбайды. Өңделген оқыту токендерінің орнына аяқтау токендеріне негізделген салыстыру бірдей дәлдік деңгейінде тиімділік айырмашылығын шамамен 13 есеге дейін ұлғайтады. Мақсатты дәлдіктердің белгілі бір ауқымында JOLT 9,5–14,4 есе аз аяқтау токенін және 4,3–7,4 есе аз өңделген оқыту токенін пайдаланады.

JOLT-тың токендік артықшылығы 55%-дан 65%-ға дейінгі дәлдікте сақталады.

Қорытынды

Айрықша ақпарат мұғалімді тапсырманы шешуде жақсырақ ете алады, бірақ оқушыны сол тапсырманы бұл ақпаратсыз шешуге үйретуде міндетті түрде жақсырақ етпейді. JOLT мұғалімді оқушының ағымдағы мінез-құлқына қатысты оқыту арқылы осы айырмашылықты ескереді.

Мұндай бірлескен оқыту дәлдікті де, тиімділікті де арттырады. Оқушының нәтиже марапаттарын қолдана отырып, JOLT+ GRPO-мен салыстырғанда GSM8K бойынша 1,5 п.т., MATH бойынша 4,2 п.т., LCBv6 бойынша 3,0 п.т., AppWorld бойынша 9,9 п.т. және Terminal-Bench 2.1 pass@1 көрсеткіші бойынша 2,7 п.т. абсолютті өсімге қол жеткізеді. MATH бойынша бірдей дәлдікте JOLT оқушыға тікелей марапат бермей-ақ GRPO-ға қарағанда 13 есе аз аяқтау токенін және 6,5 есе аз өңделген оқыту токенін пайдаланады.

JOLT мұғалімнің нұсқауларына оқушымен бірге дамуға мүмкіндік береді. Бұл мұғалімнің пайдалы оқыту тапсырмаларын генерациялауды да үйрене алатынын зерттеуге түрткі болады. Болашақ жұмыстың қызықты бағыттарының бірі — тапсырма генерациялайтын мұғалім мен есеп шығаратын оқушыны бірлесіп оқыту және оқу бағдарламасындағы (curriculum) генерацияланған тапсырмаларды жақсарту үшін оқушының оқудағы прогресін пайдалану. Бұл синтетикалық тапсырмаларды генерациялауды оқушының келесі кезекте не үйренуге дайын екеніне бейімдей алады.

Толығырақ мәліметті мақаламыздың толық нұсқасынан оқыңыз. Жақында бастапқы кодты ашық жариялаймыз.

Сілтеме

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}