Добрий вчитель враховує рівень учня

Новий метод самодистиляції, який спільно навчає вчителя й учня, щоб покращити продуктивність моделі та ефективність навчання у складних завданнях на міркування та агентних завданнях.

АвториPerplexity Research & NVIDIA

Вступ

Навчання з підкріпленням (RL) широко застосовують під час постнавчання мовних моделей, щоб покращити їхні можливості у складних завданнях на міркування та в агентних завданнях із довгим горизонтом.

У типовому сценарії модель багаторазово намагається виконати завдання, отримує винагороду за результат для кожної спроби й навчається віддавати перевагу діям, виконаним у спробах із вищою винагородою. Проте єдина винагорода за результат дає розріджений сигнал навчання, який не розрізняє, які проміжні дії допомогли досягти результату, а які йому зашкодили. Ця розрідженість обмежує ефективність використання вибірки, особливо у складних агентних завданнях, де спроби довгі, а успіхи рідкісні.

Один із популярних підходів до подолання цієї розрідженості — дистиляція на власній політиці (On-Policy Distillation, OPD), за якої сильніша модель-вчитель надає учневі потокенні настанови щодо його власних спроб, забезпечуючи значно щільніші винагороди. Однак навчати — це окрема навичка. Модель, яка добре розв’язує завдання, не обов’язково добре вміє навчати його розв’язувати, адже її зворотний зв’язок може виходити за межі поточних можливостей учня. Це спонукає навчати не лише учня наслідувати вчителя, а й вчителя — надавати учневі краще узгоджені настанови.

Ми пропонуємо один такий метод — Joint On-policy Learning and Teaching (JOLT, спільне навчання й викладання на власній політиці). Спираючись на самодистиляцію на власній політиці (On-Policy Self-Distillation, OPSD), ми використовуємо одну модель у двох ролях: вчителя, що має доступ до привілейованої інформації, як-от перевірених розв’язків, і учня без такого доступу. Ми навчаємо обидві ролі спільно. Учень дотримується стандартної цільової функції дистиляції. Цільова функція вчителя спрямовує його зворотний зв’язок так, щоб він зміщував учня в тому самому напрямку, що й RL на власній винагороді учня. Разом ці цільові функції вчать вчителя враховувати поточний рівень учня й допомагають учневі навчатися з настанов, які йому під силу.

Наші експерименти демонструють покращення як продуктивності моделі, так і ефективності навчання в низці завдань із математичних міркувань, програмування та агентних завдань.

Від розріджених винагород до щільного зворотного зв’язку

У найпростішій формі RL із винагородою за результат використовує цільову функцію очікуваної віддачі:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Тут τ\tau — траєкторія, що відповідає політиці πθ\pi_\theta, а R(τ)R(\tau) — віддача для цієї траєкторії. Відповідний градієнт політики має вигляд:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

де sts_t та ata_t позначають відповідно стан і дію на кроці часу tt. Щоб зменшити дисперсію оцінок на основі вибірок, градієнт часто записують так:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

де перевага Aπθ(st,at)A^{\pi_\theta}(s_t, a_t) вимірює очікувану надлишкову віддачу дії ata_t порівняно з поточною політикою в стані sts_t. Один із підходів, Group Relative Policy Optimization (GRPO), оцінює перевагу, порівнюючи віддачу кожної траєкторії із середньою віддачею групи траєкторій, згенерованих для того самого промпту.

Проте навіть із цими коригуваннями навчання з підкріпленням із винагородою за результат страждає від розрідженого нагляду, особливо у складних завданнях із довгим горизонтом. Дедалі більше досліджень розв’язують цю проблему, залучаючи додаткові джерела інформації, щоб отримати щільніший сигнал навчання.

Дистиляція на власній політиці (OPD) — один із таких підходів. Замість того щоб навчатися лише з фінальної винагороди, OPD генерує траєкторії учня й оцінює кожну згенеровану дію за допомогою сильнішого вчителя. Для політики вчителя πT\pi_T та фіксованого знімка θˉ\bar{\theta} параметрів учня, використаних для генерації траєкторій, локальний градієнт, обчислений у точці θ=θˉ\theta = \bar{\theta}, має вигляд:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Тут JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) — від’ємна цільова функція дистиляції за зворотною KL-дивергенцією. Під час диференціювання політику вчителя та згенеровані префікси вважають фіксованими. Відношення логарифмічних імовірностей вчителя та учня дає щільний сигнал навчання в кожному відвіданому стані, замінюючи перевагу як вагу на рівні дій.

Самодистиляція на власній політиці (OPSD) додатково усуває потребу в окремій моделі вчителя. Політика учня слугує власним вчителем, отримуючи привілейовану інформацію, як-от перевірений розв’язок, зворотний зв’язок або еталонну трасу виконання. Однак OPSD лише вчить учня наслідувати вчителя; немає механізму, який гарантував би, що вчитель надає учневі корисний сигнал.

Спільне навчання й викладання на власній політиці

JOLT розширює OPSD, навчаючи спільну модель і як вчителя, що надає краще узгоджені настанови, і як учня, що на них навчається. Краще поінформований вчитель навчається з винагород за результат із KL-регуляризацією в бік учня, тоді як учень без привілейованої інформації навчається зі щільного сигналу дистиляції вчителя. Оновлення вчителя використовує спроби, згенеровані вчителем, а оновлення учня — спроби, згенеровані учнем і оцінені вчителем. JOLT+ додатково доповнює сигнал дистиляції учня винагородами за результат.

Одна політика навчається і як вчитель, і як учень.

Навчання вчителя

Визначаємо, що має робити вчитель

Краща продуктивність вчителя не обов’язково перетворюється на корисні оновлення для учня. Вчитель може використовувати привілейовану інформацію, щоб іти недоступними учневі «короткими шляхами», призначати високу ймовірність траєкторіям, малоймовірним для учня, або давати ненадійні настанови після помилок у згенерованих учнем префіксах. Тому якість вчителя слід визначати за сигналом навчання, який він надає учневі, а не за його власною винагородою за завдання.

Ми називаємо вчителя узгодженим із винагородою, якщо оновлення дистиляції, яке він спричиняє в учня, збігається з градієнтом політики очікуваної винагороди учня за завдання з точністю до додатного масштабного множника. Зокрема, узгоджений із винагородою вчитель πT⋆\pi_T^\star має задовольняти умову:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

де βT\beta_T — додатний скаляр. Як і в попередньому розділі, gOPDg_{\mathrm{OPD}} — локальний градієнт OPD, θˉ\bar\theta — фіксований знімок параметрів моделі учня θ\theta, а gRLg_{\mathrm{RL}} — градієнт політики для цільової функції очікуваної віддачі.

Цю умову задовольняє, зокрема, такий вчитель:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Тут Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) позначають переваги продовження учня, а Z(s)Z(s) — нормувальна стала, яка забезпечує коректний розподіл імовірностей.

Від ідеальної цілі до цільової функції вчителя

Ми можемо навчати вчителя наближатися до ідеальної цілі πT⋆\pi_T^\star, мінімізуючи його KL-дивергенцію до неї. Для фіксованого учня та стану ss це дає:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Підставивши вираз для πT⋆\pi_T^\star, отримуємо еквівалентну задачу максимізації:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Ця цільова функція заохочує вчителя обирати дії з вищою перевагою для учня, залишаючись близьким до розподілу дій учня. Параметр βT\beta_T керує силою цього штрафу: більші значення утримують вчителя ближче до поточної поведінки учня, а менші дозволяють йому активніше обирати дії з високою перевагою.

Практична сурогатна цільова функція

Ця цільова функція залежить від того, наскільки успішно учень продовжив би розв’язання після кожної дії, але такі переваги продовження учня зазвичай недоступні. Тому як практичний сурогат ми використовуємо центровані віддачі з власних траєкторій вчителя. Доданок винагороди заохочує вчителя розв’язувати завдання, а KL-доданок стримує відхилення від поточного розподілу дій учня. Хоча KL-доданок утримує вчителя близько до учня, ця заміна не є точною, оскільки віддачі вчителя не обов’язково збігаються з перевагами продовження учня.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Тут A^T(τ)\widehat{A}_T(\tau) — віддача спроби вчителя мінус середня віддача згенерованих вчителем спроб у її групі. Оператор sg⁡\operatorname{sg} позначає зупинку градієнта (stop-gradient): його аргумент під час диференціювання вважається фіксованим, так само як згенеровані префікси та еталон учня.

Навчання учня

Оновлення учня — це стандартне оновлення OPSD. Учень генерує траєкторії для завдання. Потім та сама модель оцінює кожен згенерований токен, маючи в контексті привілейовану інформацію. Цільова функція учня штрафує зворотну KL-дивергенцію між учнем і цим привілейованим вчителем у кожному стані, який відвідує учень:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Отже, токени, яким віддає перевагу вчитель, підсилюються, а токени, які вчитель вважає менш імовірними, ніж учень, пригнічуються.

Об’єднуємо все разом

Поєднання цільових функцій вчителя й учня дає спільну цільову функцію навчання:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S — скаляр, який визначає, наскільки вагомою є втрата дистиляції учня в об’єднаному оновленні.

Результат щодо узгодженості з винагородою описує оновлення дистиляції учня для заданого вчителя. JOLT використовує цей принцип для спрямування спільного навчання, поєднуючи цільові функції вчителя й учня для оновлення їхніх спільних параметрів.

JOLT+ також додає до оновлення учня його власну винагороду за результат. Центровану віддачу кожної траєкторії учня додають до сигналу дистиляції, поєднуючи щільний нагляд вчителя з прямим зворотним зв’язком щодо результату на траєкторіях учня. Цільова функція вчителя не змінюється, тож можна записати:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Тут A^S(τ)\widehat{A}_S(\tau) — віддача траєкторії учня мінус середня віддача її групи згенерованих учнем траєкторій.

В обох варіантах кожна роль навчається на траєкторіях, згенерованих у її власному контексті, і обидві ролі оновлюють спільну політику. Нижче наведено псевдокод одного кроку навчання.

Псевдокод одного кроку навчання JOLT.

Експерименти

Ми оцінюємо JOLT і JOLT+ на бенчмарках, що охоплюють математичні міркування, генерацію коду, використання інструментів і завдання в терміналі з довгим горизонтом, із різними базовими моделями та різними формами привілейованої інформації. Зокрема, ми проводимо експерименти з такими бенчмарками, базовими моделями та конфігураціями привілейованої інформації:

  • GSM8K: ми навчаємо DeepSeek-V2-Lite на GSM8K — наборі даних шкільних математичних задач. Вчитель отримує перевірену відповідь до кожної задачі.
  • MATH: ми навчаємо Qwen3-0.6B на MATH. Вчитель отримує докладні еталонні розв’язки.
  • LCBv6: ми навчаємо Qwen3-8B на 131 задачі з програмування з LiveCodeBench-V6. Вчитель отримує згенерований моделлю розв’язок, який пройшов усі тести, видимі під час навчання, або зворотний зв’язок від виконання, якщо жодна спроба їх не пройшла.
  • AppWorld: ми навчаємо Qwen3-4B-Instruct на AppWorld. Вчитель отримує підсумки попередніх спроб.
  • Terminal-Bench: ми навчаємо Qwen3-30B-A3B-Instruct на TMax — наборі навчальних завдань для термінальних агентів — і оцінюємо на Terminal-Bench 2.1. Вчитель отримує приватну інформацію верифікатора.

Ми порівнюємо з GRPO, OPSD та π-Distill, налаштовуючи гіперпараметри для кожного методу. Як і JOLT, π-Distill спільно навчає привілейовану роль вчителя й роль учня в межах однієї моделі; проте він використовує іншу ціль для вчителя, а оновлення учня в ньому залишається поза власною політикою (off-policy): воно спирається на траєкторії, згенеровані вчителем, а не на власні генерації учня.

Точність

JOLT+ має найвищий середній результат у кожному оцінюваному сценарії. Порівняно з GRPO — найсильнішим протестованим базовим методом — він підвищує точність на GSM8K на 1,5 відсоткового пункту (в. п.), на MATH — на 4,2 в. п., на LCBv6 — на 3,0 в. п., а частку пройдених тестів стану в AppWorld — на 9,9 в. п.

JOLT+ має найвищий середній результат на всіх чотирьох бенчмарках.

Без жодної прямої винагороди для учня середня точність JOLT вища, ніж у GRPO, на GSM8K, MATH і LCBv6. Проте на AppWorld вона залишається нижчою, ніж у GRPO та π-Distill.

Terminal-Bench 2.1 — сценарій із найдовшим горизонтом. JOLT+ має найвищий pass@k за кожного наведеного k: від 10,96 % за pass@1 до 34,83 % за pass@32. JOLT перевершує базову модель і обидва базові методи дистиляції за кожного k, але поступається GRPO. OPSD показує нижчі результати, ніж базова модель, за кожного k.

JOLT+ лідирує на Terminal-Bench за будь-якого бюджету спроб.

Ефективність використання токенів і масштабування

Нас також цікавить, як продуктивність масштабується залежно від бюджету навчання. Ми оцінюємо GRPO, OPSD і JOLT за різних бюджетів навчальних токенів на MATH і порівнюємо отриману точність учня.

На рисунку показано, як точність кожного методу масштабується залежно від витрат навчальних токенів. Ми вимірюємо витрати в оброблених навчальних токенах. Сюди входять кожен промпт без доповнення (padding), привілейований контекст, прохід оптимізації та перехресне оцінювання між вчителем і учнем.

JOLT потребує менше токенів, щоб досягти точності GRPO.

Точки показують кількість оброблених навчальних токенів і точність у різних контрольних точках навчання; вуса позначають ±1 стандартне відхилення між запусками. Ми апроксимуємо сигмоїдальну залежність між точністю та логарифмом бюджету навчальних токенів за прикладом попередніх досліджень масштабування обчислень для RL.

JOLT демонструє високу ефективність використання вибірки вже на ранніх етапах і водночас досягає найвищої точності серед трьох методів, виходячи на плато близько 72 %. Точність OPSD швидко зростає за малих бюджетів, але виходить на плато приблизно на рівні 62 %. GRPO спочатку навчається повільніше, але продовжує покращуватися довше, сягаючи приблизно 70 %. За однакової точності 63,44 % спостережувана контрольна точка GRPO використовує 8,40 млн токенів, тоді як апроксимаційна крива JOLT дає 1,30 млн — у 6,5 раза менше.

Ми також вимірюємо витрати в токенах завершення: для GRPO та OPSD враховуються завершення учня, а для JOLT — завершення і вчителя, і учня, проте без промптів, привілейованого контексту та додаткових проходів оптимізації. Порівняння за токенами завершення, а не за обробленими навчальними токенами, збільшує розрив в ефективності приблизно до 13 разів за того самого рівня точності. У діапазоні цільових значень точності JOLT використовує в 9,5–14,4 раза менше токенів завершення та в 4,3–7,4 раза менше оброблених навчальних токенів.

Перевага JOLT у токенах зберігається в діапазоні точності від 55 % до 65 %.

Висновок

Привілейована інформація може допомогти вчителю краще розв’язувати завдання, але не обов’язково робить його кращим у тому, щоб навчити учня розв’язувати те саме завдання без цієї інформації. JOLT враховує цю відмінність, навчаючи вчителя з огляду на поточну поведінку учня.

Таке спільне навчання підвищує і точність, і ефективність. Завдяки винагородам за результат для учня JOLT+ досягає абсолютного приросту порівняно з GRPO: 1,5 в. п. на GSM8K, 4,2 в. п. на MATH, 3,0 в. п. на LCBv6, 9,9 в. п. на AppWorld і 2,7 в. п. за pass@1 на Terminal-Bench 2.1. На MATH за однакової точності JOLT використовує в 13 разів менше токенів завершення та в 6,5 раза менше оброблених навчальних токенів, ніж GRPO, без прямої винагороди для учня.

JOLT дає змогу настановам вчителя розвиватися разом з учнем. Це спонукає дослідити, чи може вчитель також навчитися генерувати корисні навчальні завдання. Цікавим напрямом для майбутньої роботи є спільне навчання вчителя, що генерує завдання, та учня, що їх розв’язує, з використанням прогресу учня в навчанні для покращення згенерованих завдань у межах навчальної програми (curriculum). Це могло б зробити генерацію синтетичних завдань чутливою до того, що учень готовий вивчити далі.

Детальніше читайте в повному тексті нашої статті. Незабаром ми відкриємо вихідний код.

Цитування

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}