Добар учитељ се прилагођава нивоу ученика

Нови метод самодестилације који заједнички тренира учитеља и ученика ради побољшања перформанси модела и ефикасности обуке на сложеним задацима расуђивања и агентским задацима.

АуториPerplexity Research & NVIDIA

Увод

Учење поткрепљивањем (RL) широко се користи у накнадној обуци језичких модела ради побољшања њихових способности у сложеном расуђивању и агентским задацима дугог хоризонта.

У типичној поставци, модел више пута покушава да ријеши задатак, за сваки покушај добија награду за исход и учи да даје предност акцијама предузетим у покушајима са већом наградом. Међутим, једна награда за исход пружа оскудан сигнал за учење, који не разликује које су посредне акције помогле исходу, а које су му нашкодиле. Ова оскудност ограничава ефикасност коришћења узорака, нарочито код тешких агентских задатака, гдје су покушаји дуги, а успјеси ријетки.

Један популаран приступ рјешавању ове оскудности јесте дестилација на сопственој политици (OPD), која користи јачи модел учитеља да покушајима самог ученика пружи смјернице токен по токен, обезбјеђујући знатно гушће награде. Међутим, подучавање је само по себи вјештина. Модел који добро рјешава задатак није нужно добар у његовом подучавању, јер његова повратна информација може превазилазити тренутне способности ученика. То мотивише да се не тренира само ученик да опонаша учитеља, већ и учитељ да ученику пружа боље усклађене смјернице.

Предлажемо један такав метод, заједничко учење и подучавање на сопственој политици (JOLT). Надовезујући се на самодестилацију на сопственој политици (OPSD), користимо један модел у двије улоге: као учитеља са приступом привилегованим информацијама, као што су провјерена рјешења, и као ученика без таквог приступа. Двије улоге тренирамо заједно. Ученик слиједи стандардни циљ дестилације. Циљ учитеља усмјерава његову повратну информацију тако да ученика помјера у истом смјеру као RL заснован на сопственој награди ученика. Заједно, ови циљеви уче учитеља да се прилагоди тренутном нивоу ученика и помажу ученику да учи из смјерница које су у оквиру његових могућности.

Наши експерименти показују побољшања и у перформансама модела и у ефикасности обуке у низу задатака који обухватају математичко расуђивање, програмирање и агентски рад.

Од оскудних награда до густе повратне информације

У свом најосновнијем облику, RL са наградом за исход користи циљ очекиваног поврата:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Овдје је τ\tau путања која слиједи политику πθ\pi_\theta, а R(τ)R(\tau) је поврат за ту путању. Одговарајући градијент политике гласи:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

гдје sts_t и ata_t представљају, редом, стање и акцију у временском кораку tt. Да би се смањила варијанса процјена заснованих на узорцима, градијент се често изражава као:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

гдје предност Aπθ(st,at)A^{\pi_\theta}(s_t, a_t) мјери очекивани вишак поврата акције ata_t у односу на тренутну политику у стању sts_t. Један приступ, групна релативна оптимизација политике (GRPO), процјењује предност поређењем поврата сваке путање са просјечним повратом групе узорковане за исти упит.

Међутим, чак и уз ова прилагођавања, учење поткрепљивањем са наградом за исход пати од оскудног надзора, нарочито код тешких задатака дугог хоризонта. Све већи број радова рјешава овај проблем ослањајући се на додатне изворе информација како би обезбиједио гушћи сигнал за учење.

Дестилација на сопственој политици (OPD) један је такав приступ. Умјесто да учи само из коначне награде, OPD узоркује путање од ученика и вреднује сваку узорковану акцију помоћу јачег учитеља. За политику учитеља πT\pi_T и фиксни снимак θˉ\bar{\theta} параметара ученика који се користе за генерисање путања, локални градијент израчунат у θ=θˉ\theta = \bar{\theta} гласи:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Овдје је JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) негативни циљ дестилације заснован на обрнутој KL дивергенцији. Политика учитеља и узорковани префикси држе се фиксним током диференцирања. Однос логаритамских вјероватноћа учитеља и ученика пружа густ сигнал за учење у сваком посјећеном стању, замјењујући предност као тежину на нивоу акције.

Самодестилација на сопственој политици (OPSD) додатно уклања потребу за засебним моделом учитеља. Политика ученика служи као сопствени учитељ када добије привилеговане информације, као што су провјерено рјешење, повратна информација или референтни траг. Међутим, OPSD само тренира ученика да опонаша учитеља; не постоји механизам који би осигурао да учитељ ученику пружа користан сигнал.

Заједничко учење и подучавање на сопственој политици

JOLT проширује OPSD тако што заједнички модел тренира и као учитеља који пружа боље усклађене смјернице и као ученика који из њих учи. Боље информисани учитељ учи из награда за исход уз KL регуларизацију према ученику, док ученик без привилегованих информација учи из густог сигнала дестилације који му пружа учитељ. Ажурирање учитеља користи покушаје које генерише учитељ, док ажурирање ученика користи покушаје које генерише ученик, а оцјењује учитељ. JOLT+ додатно допуњује сигнал дестилације ученика наградама за исход.

Једна политика учи и као учитељ и као ученик.

Обука учитеља

Дефинишимо шта учитељ треба да ради

Бољи учинак учитеља не значи нужно и корисна ажурирања за ученика. Учитељ може користити привилеговане информације да искористи пречице које ученику нису доступне, да додијели високу вјероватноћу путањама које су за ученика мало вјероватне или да пружи непоуздане смјернице након грешака у префиксима које је генерисао ученик. Квалитет учитеља стога треба одређивати према сигналу за учење који пружа ученику, а не према сопственој награди учитеља за задатак.

Учитеља називамо конзистентним у погледу награде ако ажурирање дестилације које индукује код ученика одговара градијенту политике очекиване награде ученика за задатак, до на позитиван фактор скалирања. Конкретно, учитељ πT⋆\pi_T^\star конзистентан у погледу награде треба да задовољава:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

гдје је βT\beta_T позитиван скалар. Као и у претходном одјељку, gOPDg_{\mathrm{OPD}} је локални градијент OPD-а, θˉ\bar\theta је фиксни снимак параметара модела ученика θ\theta, а gRLg_{\mathrm{RL}} је градијент политике циља очекиваног поврата.

Један учитељ који задовољава овај услов дат је изразом:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Овдје Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) представљају предности ученичког наставка, а Z(s)Z(s) је нормализациона константа која обезбјеђује исправну расподјелу вјероватноће.

Од идеалне циљне расподјеле до циља учитеља

Учитеља можемо тренирати ка идеалној циљној расподјели πT⋆\pi_T^\star минимизацијом његове KL дивергенције у односу на њу. За фиксног ученика и стање ss то даје:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Замјеном израза за πT⋆\pi_T^\star добија се еквивалентан проблем максимизације:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Овај циљ подстиче учитеља да бира акције са већом предношћу за ученика, а да при томе остане близу расподјеле акција ученика. Параметар βT\beta_T контролише јачину ове казне: веће вриједности држе учитеља ближе тренутном понашању ученика, док му мање вриједности омогућавају да одлучније фаворизује акције са великом предношћу.

Практични замјенски циљ

Овај циљ зависи од тога колико би добро ученик наставио након сваке акције, али те предности ученичког наставка углавном нису доступне. Зато као практичну замјену користимо центриране поврате из сопствених путања учитеља. Члан награде подстиче учитеља да ријеши задатак, док KL члан обесхрабрује одступања од тренутне расподјеле акција ученика. Иако KL члан држи учитеља близу ученика, ова замјена није егзактна, јер поврати учитеља не морају одговарати предностима ученичког наставка.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Овдје је A^T(τ)\widehat{A}_T(\tau) поврат покушаја учитеља умањен за просјечни поврат покушаја које је учитељ генерисао у његовој групи. Оператор sg⁡\operatorname{sg} означава stop-gradient: његов аргумент се током диференцирања третира као фиксан, као и узорковани префикси и референца ученика.

Обука ученика

Ажурирање ученика је стандардно OPSD ажурирање. Ученик генерише путање за задатак. Исти модел затим оцјењује сваки узорковани токен уз привилеговане информације у контексту. Циљ ученика кажњава обрнуту KL дивергенцију између ученика и овог привилегованог учитеља у сваком стању које ученик посјети:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Стога се токени које учитељ преферира појачавају, док се потискују токени које учитељ сматра мање вјероватним него што их сматра ученик.

Обједињавање

Комбиновањем циљева учитеља и ученика добија се заједнички циљ обуке:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S је скалар који одређује колику тежину губитак дестилације ученика има у комбинованом ажурирању.

Резултат о конзистентности у погледу награде карактерише ажурирање дестилације ученика за датог учитеља. JOLT користи овај принцип да усмјери заједничку обуку, комбинујући циљеве учитеља и ученика ради ажурирања њихових заједничких параметара.

JOLT+ у своје ажурирање додаје и сопствену награду ученика за исход. Центрирани поврат сваке путање ученика додаје се сигналу дестилације, чиме се густ надзор учитеља комбинује са директном повратном информацијом о исходу на путањама ученика. Циљ учитеља остаје непромијењен, па можемо писати:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Овдје је A^S(τ)\widehat{A}_S(\tau) поврат путање ученика умањен за просјечни поврат њене групе путања које је генерисао ученик.

У обје варијанте свака улога учи из путања генерисаних у сопственом контексту, а обје улоге ажурирају заједничку политику. Псеудокод за један корак обуке приказан је у наставку.

Псеудокод за један корак обуке JOLT-а.

Експерименти

JOLT и JOLT+ вреднујемо на бенчмарковима који обухватају математичко расуђивање, генерисање кода, коришћење алата и терминалске задатке дугог хоризонта, уз различите основне моделе и различите облике привилегованих информација. Конкретно, експерименте спроводимо са сљедећим бенчмарковима, основним моделима и конфигурацијама привилегованих информација:

  • GSM8K: тренирамо DeepSeek-V2-Lite на GSM8K, скупу математичких задатака за основну школу. Учитељ добија провјерен одговор на сваки задатак.
  • MATH: тренирамо Qwen3-0.6B на MATH. Учитељ добија детаљно разрађена референтна рјешења.
  • LCBv6: тренирамо Qwen3-8B на 131 програмерском задатку из LiveCodeBench-V6. Учитељ добија рјешење које је генерисао модел и које је прошло све тестове видљиве током обуке, или повратну информацију о извршавању када ниједан покушај није прошао те тестове.
  • AppWorld: тренирамо Qwen3-4B-Instruct на AppWorld. Учитељ добија сажетке претходних покушаја.
  • Terminal-Bench: тренирамо Qwen3-30B-A3B-Instruct на TMax, скупу задатака за обуку терминалских агената, и вреднујемо на Terminal-Bench 2.1. Учитељ добија приватне информације верификатора.

JOLT поредимо са методама GRPO, OPSD и π-Distill, уз подешавање хиперпараметара за сваки метод. Као и JOLT, π-Distill заједнички тренира привилеговану улогу учитеља и улогу ученика у оквиру заједничког модела; међутим, користи другачију циљну расподјелу учитеља, а ажурирање ученика остаје ван политике (off-policy), јер се ослања на путање које генерише учитељ, а не на излазе које генерише сам ученик.

Тачност

JOLT+ има највиши просјечни резултат у свакој поставци коју вреднујемо. У поређењу са GRPO-ом, најјачим тестираним референтним методом, побољшава тачност на GSM8K за 1,5 процентних поена (п. п.), тачност на MATH за 4,2 п. п., тачност на LCBv6 за 3,0 п. п. и стопу пролазности тестова стања на AppWorld за 9,9 п. п.

JOLT+ има највиши просјечни резултат на сва четири бенчмарка.

Без икакве директне награде за ученика, просјечна тачност JOLT-а већа је од тачности GRPO-а на GSM8K, MATH и LCBv6. Међутим, на AppWorld остаје испод и GRPO-а и π-Distill-а.

Terminal-Bench 2.1 је поставка са најдужим хоризонтом. JOLT+ има највиши pass@k за сваку приказану вриједност k, од 10,96% за pass@1 до 34,83% за pass@32. JOLT надмашује основни модел и оба референтна метода дестилације за свако k, али остаје испод GRPO-а. OPSD постиже резултате испод основног модела за свако k.

JOLT+ предњачи на Terminal-Bench-у при сваком буџету покушаја.

Ефикасност токена и скалирање

Занима нас и како се перформансе скалирају са буџетом за обуку. GRPO, OPSD и JOLT вреднујемо при различитим буџетима токена за обуку на MATH и поредимо добијену тачност ученика.

Графикон приказује како се тачност сваког метода скалира са утрошком токена за обуку. Трошак мјеримо у обрађеним токенима за обуку. То обухвата сваки упит без попуне (padding), привилеговани контекст, пролаз оптимизације и унакрсно оцјењивање између учитеља и ученика.

JOLT-у је потребно мање токена да достигне тачност GRPO-а.

Тачке приказују број обрађених токена за обуку и тачност у различитим контролним тачкама; распони представљају ±1 стандардну девијацију у више покретања. Прилагођавамо сигмоидну зависност између тачности и логаритма буџета токена за обуку, у складу са ранијим радом о скалирању рачунарских ресурса за RL.

JOLT показује рану ефикасност коришћења узорака и притом постиже највишу тачност од сва три метода, стабилизујући се близу 72%. OPSD брзо напредује при малим буџетима, али достиже плато на око 62% тачности. GRPO у почетку учи спорије, али дуже наставља да напредује, пењући се до око 70%. При изједначеној тачности од 63,44%, посматрана контролна тачка GRPO-а користи 8,40 милиона токена, док прилагођена крива JOLT-а даје 1,30 милиона, односно 6,5 пута мање токена.

Трошак мјеримо и помоћу токена завршетка, који за GRPO и OPSD обухватају завршетке ученика, а за JOLT завршетке и учитеља и ученика, али изостављају упите, привилеговани контекст и додатне пролазе оптимизације. Поређење засновано на токенима завршетка умјесто на обрађеним токенима за обуку повећава разлику у ефикасности на око 13 пута при истом нивоу тачности. У распону циљних тачности, JOLT користи 9,5–14,4 пута мање токена завршетка и 4,3–7,4 пута мање обрађених токена за обуку.

Предност JOLT-а у броју токена задржава се од 55% до 65% тачности.

Закључак

Привилеговане информације могу учинити учитеља бољим у рјешавању задатка, а да га при томе не учине бољим у подучавању ученика да исти задатак ријеши без тих информација. JOLT узима у обзир ову разлику тако што учитеља тренира у односу на тренутно понашање ученика.

Ова заједничка обука побољшава и тачност и ефикасност. Уз награде за исход ученика, JOLT+ остварује апсолутна побољшања у односу на GRPO од 1,5 п. п. на GSM8K, 4,2 п. п. на MATH, 3,0 п. п. на LCBv6, 9,9 п. п. на AppWorld и 2,7 п. п. на Terminal-Bench 2.1 (pass@1). На MATH, JOLT при истој тачности користи 13 пута мање токена завршетка и 6,5 пута мање обрађених токена за обуку од GRPO-а, без директне награде за ученика.

JOLT омогућава да се смјернице учитеља развијају упоредо са учеником. То подстиче на истраживање тога да ли учитељ може научити и да генерише корисне задатке за обуку. Занимљив правац за будући рад јесте заједничко тренирање учитеља који генерише задатке и ученика који рјешава проблеме, при чему би се напредак ученика у учењу користио за побољшање генерисаних задатака у оквиру курикулума. Тако би се генерисање синтетичких задатака могло прилагођавати ономе што је ученик спреман да научи у сљедећем кораку.

За више детаља прочитајте наш цијели рад. Ускоро ћемо отворити изворни код.

Цитирање

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}