Добрият учител се съобразява с нивото на ученика

Обучението с подсилване (RL) се използва широко при последващото обучение на езикови модели, за да се подобрят способностите им при сложни задачи за разсъждение и агентни задачи с дълъг хоризонт.

При типична постановка моделът прави многократни опити да изпълни дадена задача, получава награда за резултата от всеки опит и се научава да предпочита действията, предприети в опитите с по-висока награда. Единичната награда за резултата обаче осигурява разреден сигнал за обучение, който не разграничава кои междинни действия са помогнали или навредили на резултата. Тази разреденост ограничава ефективността по отношение на извадките, особено при трудни агентни задачи, където опитите са дълги, а успехите – редки.

Един популярен подход за справяне с тази разреденост е On-Policy Distillation (OPD), при който по-силен модел учител дава насоки токен по токен за собствените опити на ученика, осигурявайки много по-плътни награди. Преподаването обаче само по себе си е умение. Модел, който е добър в решаването на дадена задача, не е непременно добър в преподаването ѝ, тъй като обратната му връзка може да надхвърля текущите възможности на ученика. Това мотивира да се обучава не само ученикът да имитира учителя, но и учителят да предоставя по-добре съобразени насоки за ученика.

Предлагаме един такъв метод – Joint On-policy Learning and Teaching (JOLT, съвместно on-policy учене и преподаване). Надграждайки On-Policy Self-Distillation (OPSD), използваме един модел в две роли: учител с достъп до привилегирована информация, например проверени решения, и ученик без такъв достъп. Обучаваме двете роли съвместно. Ученикът следва стандартната дестилационна целева функция. Целевата функция на учителя насочва обратната му връзка така, че да придвижва ученика в същата посока като RL върху собствената награда на ученика. Заедно тези целеви функции обучават учителя да се съобразява с текущото ниво на ученика и помагат на ученика да се учи от насоки, които са в рамките на възможностите му.

Нашите експерименти показват подобрения както в представянето на модела, така и в ефективността на обучението при редица задачи за математически разсъждения, задачи по програмиране и агентни задачи.

В най-основната си форма RL с награда за резултата използва целевата функция на очакваната възвръщаемост:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Тук $\tau$ е траектория, следваща политика $\pi_\theta$ , а $R(\tau)$ е възвръщаемостта за тази траектория. Съответният градиент на политиката е:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

където $s_t$ и $a_t$ представляват съответно състоянието и действието в момент $t$ . За да се намали дисперсията на оценките, базирани на извадки, градиентът често се изразява като:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

където предимството $A^{\pi_\theta}(s_t, a_t)$ измерва очакваната допълнителна възвръщаемост на действието $a_t$ спрямо текущата политика в състояние $s_t$ . Един подход, Group Relative Policy Optimization (GRPO), оценява предимството, като сравнява възвръщаемостта на всяка траектория със средната възвръщаемост на групата, генерирана за същия промпт.

Въпреки тези корекции обаче обучението с подсилване с награда за резултата страда от разреден надзор, особено при трудни задачи с дълъг хоризонт. Все повече изследвания решават този проблем, като използват допълнителни източници на информация, за да осигурят по-плътен сигнал за обучение.

On-Policy Distillation (OPD) е един такъв подход. Вместо да се учи само от крайна награда, OPD генерира траектории от ученика и оценява всяко генерирано действие спрямо по-силен учител. За политика на учителя $\pi_T$ и фиксирана моментна снимка $\bar{\theta}$ на параметрите на ученика, използвана за генериране на траекториите, локалният градиент, изчислен в $\theta = \bar{\theta}$ , е:

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Тук $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ е отрицателната дестилационна целева функция с обратна KL дивергенция. Политиката на учителя и генерираните префикси остават фиксирани по време на диференцирането. Съотношението на логаритмичните вероятности на учителя и ученика осигурява плътен сигнал за обучение във всяко посетено състояние, като замества предимството като тегло на ниво действие.

On-Policy Self-Distillation (OPSD) премахва и нуждата от отделен модел учител. Политиката на ученика служи като собствен учител, когато получи привилегирована информация, например проверено решение, обратна връзка или референтна следа. OPSD обаче само обучава ученика да имитира учителя; няма механизъм, който да гарантира, че учителят предоставя полезен сигнал на ученика.

JOLT разширява OPSD, като обучава общ модел едновременно като учител, който предоставя по-добре съобразени насоки, и като ученик, който се учи от тях. По-добре информираният учител се учи от наградите за резултата с KL регуляризация към ученика, докато ученикът без привилегирован достъп се учи от плътния дестилационен сигнал на учителя. Обновяването на учителя използва опити, генерирани от учителя, а обновяването на ученика – опити, генерирани от ученика и оценени от учителя. JOLT+ допълва дестилационния сигнал на ученика и с награди за резултата.

Диаграма: Една политика се учи едновременно като учител и ученик — Една политика се учи едновременно като учител и ученик.

По-доброто представяне на учителя не води непременно до полезни обновявания за ученика. Учителят може да използва привилегирована информация, за да се възползва от преки пътища, недостъпни за ученика, да приписва висока вероятност на траектории, които са малко вероятни за ученика, или да дава ненадеждни насоки след грешки в префиксите, генерирани от ученика. Затова качеството на учителя трябва да се определя от сигнала за обучение, който той предоставя на ученика, а не от собствената му награда за задачата.

Наричаме учителя съгласуван с наградата, ако дестилационното обновяване, което предизвиква у ученика, съвпада с градиента на политиката за очакваната награда на ученика за задачата с точност до положителен мащабен множител. По-конкретно, съгласуван с наградата учител $\pi_T^\star$ трябва да удовлетворява:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

където $\beta_T$ е положителен скалар. Както в предходния раздел, $g_{\mathrm{OPD}}$ е локалният градиент на OPD, $\bar\theta$ е фиксирана моментна снимка на параметрите на модела ученик $\theta$ , а $g_{\mathrm{RL}}$ е градиентът на политиката за целевата функция на очакваната възвръщаемост.

Един учител, който удовлетворява това условие, е:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Тук $A^{\pi_{\bar{\theta}}}(s, a)$ представляват предимствата при продължението от ученика, а $Z(s)$ е нормираща константа, която гарантира валидно вероятностно разпределение.

Можем да обучим учителя към идеалната цел $\pi_T^\star$ , като минимизираме неговата KL дивергенция спрямо нея. За фиксиран ученик и състояние $s$ това дава:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Заместването на израза за $\pi_T^\star$ дава еквивалентна задача за максимизация:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Тази целева функция насърчава учителя да избира действия с по-голямо предимство за ученика, като същевременно остава близо до разпределението на действията на ученика. Параметърът $\beta_T$ контролира силата на това наказание: по-големите стойности държат учителя по-близо до текущото поведение на ученика, а по-малките му позволяват по-агресивно да предпочита действия с голямо предимство.

Тази целева функция зависи от това колко добре би продължил ученикът след всяко действие, но тези предимства при продължението от ученика по принцип не са налични. Затова като практичен заместител използваме центрираните възвръщаемости от собствените траектории на учителя. Членът с наградата насърчава учителя да решава задачата, а KL членът възпира отклоненията от текущото разпределение на действията на ученика. Макар KL членът да държи учителя близо до ученика, това заместване не е точно, тъй като възвръщаемостите на учителя не е задължително да съвпадат с предимствата при продължението от ученика.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Тук $\widehat{A}_T(\tau)$ е възвръщаемостта на опита на учителя минус средната възвръщаемост на генерираните от учителя опити в неговата група. Операторът $\operatorname{sg}$ означава stop-gradient: аргументът му се третира като фиксиран по време на диференцирането, както и генерираните префикси и референцията на ученика.

Обновяването на ученика е стандартно обновяване на OPSD. Ученикът генерира траектории за задачата. След това същият модел оценява всеки генериран токен, като привилегированата информация е в контекста. Целевата функция на ученика наказва обратната KL дивергенция между ученика и този привилегирован учител във всяко състояние, което ученикът посещава:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Следователно токените, които учителят предпочита, се подсилват, а токените, които учителят смята за по-малко вероятни, отколкото ги смята ученикът, се потискат.

Комбинирането на целевите функции на учителя и ученика дава целевата функция на съвместното обучение:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ е скалар, който определя каква тежест има дестилационната загуба на ученика в комбинираното обновяване.

Резултатът за съгласуваност с наградата характеризира дестилационното обновяване на ученика при даден учител. JOLT използва този принцип, за да насочва съвместното обучение, като комбинира целевите функции на учителя и ученика, за да обнови общите им параметри.

JOLT+ добавя към обновяването на ученика и собствената му награда за резултата. Центрираната възвръщаемост на всяка траектория на ученика се добавя към дестилационния сигнал, като така плътният надзор от учителя се комбинира с пряка обратна връзка за резултата от траекториите на ученика. Целевата функция на учителя остава непроменена, така че можем да запишем:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Тук $\widehat{A}_S(\tau)$ е възвръщаемостта на траекторията на ученика минус средната възвръщаемост на нейната група от генерирани от ученика траектории.

И при двата варианта всяка роля се учи от траектории, генерирани в собствения ѝ контекст, и двете роли обновяват общата политика. Псевдокодът за една стъпка на обучение е показан по-долу.

Псевдокод на JOLT, показващ генериране от учителя с подсказка, генериране от ученика без нея, оценяване в кръстосан контекст и общо обновяване на политиката. JOLT+ добавя награди за резултата при опитите на ученика. — Псевдокод за една стъпка на обучение с JOLT.

Оценяваме JOLT и JOLT+ на бенчмаркове, обхващащи математически разсъждения, генериране на код, използване на инструменти и терминални задачи с дълъг хоризонт, като използваме различни базови модели и различни форми на привилегирована информация. По-конкретно, провеждаме експерименти със следните бенчмаркове, базови модели и конфигурации на привилегирована информация:

GSM8K: Обучаваме DeepSeek-V2-Lite на GSM8K – набор от данни с математически задачи от началното училище. Учителят получава проверения отговор на всяка задача.
MATH: Обучаваме Qwen3-0.6B на MATH. Учителят получава подробно разработени референтни решения.
LCBv6: Обучаваме Qwen3-8B на 131 задачи по програмиране от LiveCodeBench-V6. Учителят получава генерирано от модела решение, което е преминало всички видими при обучението тестове, или обратна връзка от изпълнението, когато нито един опит не ги е преминал.
AppWorld: Обучаваме Qwen3-4B-Instruct на AppWorld. Учителят получава резюмета на предишни опити.
Terminal-Bench: Обучаваме Qwen3-30B-A3B-Instruct на TMax – набор от задачи за обучение на терминални агенти – и оценяваме на Terminal-Bench 2.1. Учителят получава частна информация от верификатора.

Сравняваме с GRPO, OPSD и π-Distill, като настройваме хиперпараметрите за всеки метод. Подобно на JOLT, π-Distill съвместно обучава привилегирована роля на учител и роля на ученик в рамките на общ модел; той обаче използва различна цел за учителя, а обновяването на ученика остава off-policy, като разчита на траектории, генерирани от учителя, вместо на собствените генерации на ученика.

JOLT+ има най-висок среден резултат във всяка оценявана от нас постановка. В сравнение с GRPO – най-силния тестван базов метод – той подобрява точността на GSM8K с 1,5 процентни пункта (п.п.), точността на MATH с 4,2 п.п., точността на LCBv6 с 3,0 п.п., а дела на успешно преминатите тестове на състоянието в AppWorld – с 9,9 п.п.

Точкова диаграма с интервали: JOLT+ има най-висок среден резултат и на четирите бенчмарка — JOLT+ има най-висок среден резултат и на четирите бенчмарка.

Без каквато и да е пряка награда за ученика средната точност на JOLT е по-висока от тази на GRPO на GSM8K, MATH и LCBv6. На AppWorld обаче тя остава под тази и на GRPO, и на π-Distill.

Terminal-Bench 2.1 е постановката с най-дълъг хоризонт. JOLT+ има най-висок pass@k при всяко отчетено k – от 10,96% при pass@1 до 34,83% при pass@32. JOLT превъзхожда базовия модел и двата дестилационни базови метода при всяко k, но остава под GRPO. OPSD постига резултати под базовия модел при всяко k.

Линейна диаграма: JOLT+ води в Terminal-Bench при всеки бюджет от опити — JOLT+ води в Terminal-Bench при всеки бюджет от опити.

Интересува ни също как представянето се мащабира с бюджета за обучение. Оценяваме GRPO, OPSD и JOLT при различни бюджети от токени за обучение на MATH и сравняваме получената точност на ученика.

Фигурата показва как точността се мащабира спрямо изразходваните токени за обучение при всеки метод. Измерваме разходите в обработени токени за обучение. Те включват всеки промпт без допълване (padding), привилегирования контекст, всяко преминаване за оптимизация и кръстосаното оценяване между учителя и ученика.

Точкова диаграма с напаснати криви: JOLT се нуждае от по-малко токени, за да достигне точността на GRPO — JOLT се нуждае от по-малко токени, за да достигне точността на GRPO.

Точките показват броя обработени токени за обучение и точността в различни контролни точки; интервалите представляват ±1 стандартно отклонение между отделните изпълнения. Напасваме сигмоидна зависимост между точността и логаритъма на бюджета от токени за обучение, следвайки предишна работа върху мащабирането на изчисленията за RL.

JOLT показва ранна ефективност по отношение на извадките, като същевременно постига най-високата точност от трите метода и се стабилизира близо до 72%. OPSD се подобрява бързо при малки бюджети, но достига плато при около 62% точност. GRPO се учи по-бавно в началото, но продължава да се подобрява по-дълго, достигайки около 70%. При еднаква точност от 63,44% наблюдаваната контролна точка на GRPO използва 8,40 милиона токена, докато напаснатата крива на JOLT дава 1,30 милиона – 6,5 пъти по-малко токени.

Измерваме разходите и чрез токените за завършване, които за GRPO и OPSD включват завършванията на ученика, а за JOLT – завършванията както на учителя, така и на ученика, но не включват промптовете, привилегирования контекст и допълнителните преминавания за оптимизация. Сравнението по токени за завършване вместо по обработени токени за обучение увеличава разликата в ефективността до около 13 пъти при едно и също ниво на точност. В диапазон от целеви стойности на точността JOLT използва 9,5–14,4 пъти по-малко токени за завършване и 4,3–7,4 пъти по-малко обработени токени за обучение.

Диаграма „гира“: предимството на JOLT по отношение на токените се запазва при точност от 55% до 65% — Предимството на JOLT по отношение на токените се запазва при точност от 55% до 65%.

Привилегированата информация може да направи учителя по-добър в решаването на дадена задача, без да го направи по-добър в това да научи ученика да решава същата задача без тази информация. JOLT отчита това разграничение, като обучава учителя спрямо текущото поведение на ученика.

Това съвместно обучение подобрява както точността, така и ефективността. С награди за резултата на ученика JOLT+ постига абсолютни подобрения спрямо GRPO от 1,5 п.п. на GSM8K, 4,2 п.п. на MATH, 3,0 п.п. на LCBv6, 9,9 п.п. на AppWorld и 2,7 п.п. на Terminal-Bench 2.1 по pass@1. На MATH JOLT използва 13 пъти по-малко токени за завършване и 6,5 пъти по-малко обработени токени за обучение от GRPO при еднаква точност, без пряка награда за ученика.

JOLT позволява насоките на учителя да се развиват заедно с ученика. Това мотивира изследването на въпроса дали учителят може да се научи и да генерира полезни задачи за обучение. Интересна насока за бъдеща работа е съвместното обучение на учител, генериращ задачи, и ученик, решаващ задачи, като напредъкът на ученика в обучението се използва за подобряване на генерираните задачи в рамките на учебна програма. Това би могло да направи синтетичното генериране на задачи съобразено с това, което ученикът е готов да научи по-нататък.

Прочетете пълната ни статия за повече подробности. Скоро ще публикуваме изходния код с отворен лиценз.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Въведение

От разредени награди към плътна обратна връзка

Съвместно on-policy учене и преподаване

Обучение на учителя

Да определим какво трябва да прави учителят

От идеалната цел към целева функция за учителя

Практична заместваща целева функция

Обучение на ученика

Всичко заедно

Експерименти

Точност

Ефективност по отношение на токените и мащабиране

Заключение

Цитиране