優れた教師は、生徒の現在地に寄り添う

強化学習（RL）は、複雑な推論や長期にわたるエージェント型タスクにおける能力を高めるため、言語モデルの事後学習で広く用いられています。

一般的な設定では、モデルはタスクに繰り返し取り組み、各試行に対する結果報酬を受け取り、より高い報酬を得た試行で取った行動を優先するように学習します。しかし、単一の結果報酬は疎な学習シグナルしか提供せず、どの中間的な行動が結果に寄与し、どれが妨げになったのかを区別できません。この疎性はサンプル効率を制限します。特に、試行が長く成功がまれな、難易度の高いエージェント型タスクではその影響が顕著です。

この疎性に対処する一般的なアプローチの1つが、オンポリシー蒸留（OPD）です。OPDでは、より強力な教師モデルが生徒自身の試行に対してトークン単位でガイダンスを与え、はるかに密な報酬を提供します。しかし、教えること自体が1つのスキルです。タスクを解くのが得意なモデルが、それを教えるのも得意とは限りません。そのフィードバックが生徒の現在の能力を超えている場合があるからです。そこで、生徒に教師を模倣させるだけでなく、教師にも生徒により適したガイダンスを提供するよう学習させる、という発想が生まれます。

私たちはそのような手法の1つとして、Joint On-policy Learning and Teaching（JOLT）を提案します。オンポリシー自己蒸留（OPSD）を基盤とし、単一のモデルを2つの役割で用います。1つは検証済みの解答などの特権情報にアクセスできる教師、もう1つはそのような情報にアクセスできない生徒です。この2つの役割を共同で学習させます。生徒は標準的な蒸留の目的関数に従います。教師の目的関数は、そのフィードバックが、生徒自身の報酬に基づくRLと同じ方向へ生徒を動かすように促します。これらの目的関数を組み合わせることで、教師は生徒の現在の水準に合わせて指導するよう学習し、生徒は自分の手の届く範囲のガイダンスから学べるようになります。

実験の結果、数学的推論、コーディング、エージェント型タスクの幅広い範囲で、モデルの性能と学習効率の両方が向上することが示されました。

最も基本的な形では、結果報酬RLは次の期待収益の目的関数を用います：

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

ここで、 $\tau$ はポリシー $\pi_\theta$ に従う軌跡、 $R(\tau)$ はその軌跡の収益です。対応するポリシー勾配は次のとおりです：

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

ここで、 $s_t$ と $a_t$ はそれぞれタイムステップ $t$ における状態と行動を表します。サンプルベースの推定値の分散を減らすため、勾配はしばしば次のように表されます：

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

ここで、アドバンテージ $A^{\pi_\theta}(s_t, a_t)$ は、行動 $a_t$ の期待超過収益を、状態 $s_t$ における現在のポリシーと比較して測るものです。推定手法の1つであるGroup Relative Policy Optimization（GRPO）は、各軌跡の収益を、同じプロンプトに対してサンプリングされたグループの平均収益と比較することでアドバンテージを推定します。

しかし、こうした調整を加えても、結果報酬による強化学習は、特に難易度が高く長期にわたるタスクにおいて、監督信号の疎性に悩まされます。これに対処するため、追加の情報源を活用してより密な学習シグナルを提供する研究が増えています。

オンポリシー蒸留（OPD）はそうしたアプローチの1つです。OPDは最終的な報酬だけから学習するのではなく、生徒から軌跡をサンプリングし、サンプリングされた各行動をより強力な教師のもとで評価します。教師ポリシー $\pi_T$ と、軌跡の生成に用いた生徒パラメータの固定スナップショット $\bar{\theta}$ について、 $\theta = \bar{\theta}$ で評価される局所勾配は次のとおりです：

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

ここで、 $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ は負の逆KL蒸留目的関数です。微分の際、教師ポリシーとサンプリングされたプレフィックスは固定されます。教師と生徒の対数確率の比が、訪れたすべての状態で密な学習シグナルを提供し、行動レベルの重みとしてアドバンテージに取って代わります。

オンポリシー自己蒸留（OPSD）は、さらに別個の教師モデルを不要にします。生徒ポリシー自身が、検証済みの解答、フィードバック、参照トレースなどの特権情報を与えられた状態で、自らの教師として機能します。しかしOPSDは生徒に教師を模倣させるだけで、教師が生徒にとって有用なシグナルを提供することを保証する仕組みはありません。

JOLTはOPSDを拡張し、共有モデルを、より適したガイダンスを提供する教師と、そこから学ぶ生徒の両方として学習させます。より多くの情報を持つ教師は、生徒に近づけるKL正則化を加えた結果報酬から学習し、特権情報を持たない生徒は、教師の密な蒸留シグナルから学習します。教師の更新には教師が生成した試行を用い、生徒の更新には生徒が生成し教師がスコア付けした試行を用います。JOLT+では、生徒の蒸留シグナルをさらに結果報酬で補完します。

図：1つのポリシーが教師と生徒の両方として学習する — 1つのポリシーが教師と生徒の両方として学習します。

教師の性能が高いからといって、必ずしも生徒にとって有用な更新につながるわけではありません。教師は特権情報を使って生徒には利用できない近道に頼ったり、生徒のもとでは起こりにくい軌跡に高い確率を割り当てたり、生徒が生成したプレフィックスに誤りがあった後に信頼できないガイダンスを与えたりする可能性があります。したがって、教師の質は教師自身のタスク報酬ではなく、生徒に提供する学習シグナルによって判断されるべきです。

教師が生徒に誘導する蒸留更新が、正の定数倍の違いを除いて生徒の期待タスク報酬のポリシー勾配と一致する場合、その教師を報酬整合的と呼びます。具体的には、報酬整合的な教師 $\pi_T^\star$ は次を満たす必要があります：

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

ここで、 $\beta_T$ は正のスカラーです。前節と同様に、 $g_{\mathrm{OPD}}$ はOPDの局所勾配、 $\bar\theta$ は生徒モデルのパラメータ $\theta$ の固定スナップショット、 $g_{\mathrm{RL}}$ は期待収益の目的関数のポリシー勾配です。

この条件を満たす教師の1つは次のとおりです：

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

ここで、 $A^{\pi_{\bar{\theta}}}(s, a)$ は生徒の継続アドバンテージを表し、 $Z(s)$ は適切な確率分布となるようにするための正規化定数です。

理想的なターゲット $\pi_T^\star$ とのKLダイバージェンスを最小化することで、教師をそのターゲットに向けて学習させることができます。生徒と状態 $s$ を固定すると、次の式が得られます：

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

$\pi_T^\star$ の式を代入すると、等価な最大化問題が得られます：

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

この目的関数は、教師が生徒の行動分布に近い状態を保ちながら、生徒のアドバンテージがより高い行動を選ぶよう促します。パラメータ $\beta_T$ はこのペナルティの強さを制御します。値を大きくすると教師は生徒の現在の振る舞いに近く保たれ、値を小さくするとアドバンテージの高い行動をより積極的に優先できるようになります。

この目的関数は、各行動の後に生徒がどれだけうまく継続できるかに依存しますが、こうした生徒の継続アドバンテージは一般に利用できません。そこで、実用的な代理として、教師自身の軌跡から得られる中心化された収益を用います。報酬項は教師がタスクを解くことを促し、KL項は生徒の現在の行動分布から逸脱することを抑制します。KL項によって教師は生徒の近くに保たれますが、教師の収益が生徒の継続アドバンテージと一致するとは限らないため、この置き換えは厳密ではありません。

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

ここで、 $\widehat{A}_T(\tau)$ は教師の試行の収益から、同じグループ内で教師が生成した試行の平均収益を引いたものです。演算子 $\operatorname{sg}$ は勾配停止（stop-gradient）を表します。その引数は、サンプリングされたプレフィックスや生徒の参照と同様に、微分の際に固定されたものとして扱われます。

生徒の更新は標準的なOPSDの更新です。生徒はタスクから軌跡を生成します。次に、同じモデルが特権情報をコンテキストに含めた状態で、サンプリングされた各トークンをスコア付けします。生徒の目的関数は、生徒が訪れるすべての状態において、生徒と、特権情報を持つこの教師との間の逆KLダイバージェンスにペナルティを課します：

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

したがって、教師が好むトークンは強化され、教師が生徒よりも起こりにくいと考えるトークンは抑制されます。

教師と生徒の目的関数を組み合わせると、共同学習の目的関数が得られます：

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ は、統合された更新において生徒の蒸留損失をどの程度重視するかを決めるスカラーです。

報酬整合性に関するこの結果は、ある教師のもとでの生徒の蒸留更新を特徴づけるものです。JOLTはこの原理を共同学習の指針として用い、教師と生徒の目的関数を組み合わせて、両者が共有するパラメータを更新します。

JOLT+では、さらに生徒自身の結果報酬も更新に加えます。生徒の各軌跡の中心化された収益を蒸留シグナルに加えることで、教師による密な監督と、生徒の軌跡に対する直接的な結果フィードバックを組み合わせます。教師の目的関数は変わらないため、次のように書けます：

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

ここで、 $\widehat{A}_S(\tau)$ は生徒の軌跡の収益から、生徒が生成した軌跡のグループの平均収益を引いたものです。

どちらのバリアントでも、各役割は自身のコンテキストのもとで生成された軌跡から学習し、両方の役割が共有ポリシーを更新します。学習ステップの疑似コードを以下に示します。

JOLTの疑似コード。ヒントありの教師による生成、ヒントなしの生徒による生成、コンテキストをまたいだスコアリング、共有ポリシーの更新を示しています。JOLT+では、生徒の試行に対する結果報酬が追加されます。 — JOLTの1回の学習ステップの疑似コード。

JOLTとJOLT+を、数学的推論、コード生成、ツール使用、長期にわたるターミナルタスクにまたがるベンチマークで、異なるベースモデルと異なる形式の特権情報を用いて評価しました。具体的には、以下のベンチマーク、ベースモデル、特権情報の構成で実験を行いました：

GSM8K：DeepSeek-V2-Liteを、小学校レベルの算数問題のデータセットであるGSM8Kで学習させます。教師には各問題の検証済みの答えが与えられます。
MATH：Qwen3-0.6BをMATHで学習させます。教師には解答過程を含む参照解答が与えられます。
LCBv6：Qwen3-8Bを、LiveCodeBench-V6の131問のコーディング問題で学習させます。教師には、学習時に参照可能なすべてのテストに合格したモデル生成の解答、またはどの試行も合格しなかった場合は実行フィードバックが与えられます。
AppWorld：Qwen3-4B-InstructをAppWorldで学習させます。教師には過去の試行の要約が与えられます。
Terminal-Bench：Qwen3-30B-A3B-Instructを、ターミナルエージェント向けの学習タスク集であるTMaxで学習させ、Terminal-Bench 2.1で評価します。教師には非公開の検証器情報が与えられます。

比較対象はGRPO、OPSD、π-Distillで、各手法のハイパーパラメータを調整しました。π-DistillはJOLTと同様に、共有モデル内で特権を持つ教師と生徒の役割を共同で学習させます。ただし、教師のターゲットが異なるうえ、生徒の更新はオフポリシーのままであり、生徒自身の生成ではなく教師が生成した軌跡に依存しています。

JOLT+は、評価したすべての設定で最も高い平均スコアを記録しました。テストした中で最も強力なベースラインであるGRPOと比較して、GSM8Kの精度を1.5パーセントポイント（pp）、MATHの精度を4.2pp、LCBv6の精度を3.0pp、AppWorldの状態テスト合格率を9.9pp向上させています。

ひげ付きドットプロット：JOLT+は4つのベンチマークすべてで最も高い平均スコアを記録 — JOLT+は4つのベンチマークすべてで最も高い平均スコアを記録しました。

生徒への直接的な報酬がなくても、JOLTの平均精度はGSM8K、MATH、LCBv6でGRPOを上回っています。しかし、AppWorldではGRPOとπ-Distillの両方を下回っています。

Terminal-Bench 2.1は最も長期にわたる設定です。JOLT+は、報告したすべてのkで最も高いpass@kを記録しており、pass@1の10.96%からpass@32の34.83%に及びます。JOLTはすべてのkでベースモデルと両方の蒸留ベースラインを上回っていますが、GRPOには及びません。OPSDはすべてのkでベースモデルを下回るスコアとなっています。

折れ線グラフ：JOLT+はすべての試行回数でTerminal-Benchのトップ — JOLT+はすべての試行回数でTerminal-Benchのトップに立っています。

また、学習予算に応じて性能がどのようにスケールするかにも注目しました。MATHにおいて、異なる学習トークン予算でGRPO、OPSD、JOLTを評価し、得られた生徒の精度を比較しました。

この図は、各手法について、学習トークンの消費量に応じて精度がどのようにスケールするかを示しています。コストは処理済み学習トークンで測定しています。これには、パディングを除くすべてのプロンプト、特権コンテキスト、最適化パス、そして教師と生徒の間のクロススコアリングが含まれます。

近似曲線付き散布図：JOLTはより少ないトークンでGRPOの精度に到達 — JOLTはより少ないトークンでGRPOの精度に到達します。

各点はさまざまなチェックポイントにおける処理済み学習トークン数と精度を示し、ひげは実行間の±1標準偏差を表します。RLの計算量のスケーリングに関する先行研究に倣い、精度と学習トークン予算の対数との間にシグモイド型の関係を当てはめました。

JOLTは初期段階から高いサンプル効率を示しつつ、3つの手法の中で最も高い精度を達成し、72%付近で頭打ちになります。OPSDは小さな予算では急速に向上しますが、約62%の精度で停滞します。GRPOは当初の学習は遅いものの、より長く向上を続け、約70%まで上昇します。精度63.44%で揃えた場合、GRPOの観測されたチェックポイントは840万トークンを使用するのに対し、JOLTの近似曲線では130万トークンとなり、トークン数は6.5分の1です。

また、生成トークンを用いたコストも測定しました。生成トークンには、GRPOとOPSDでは生徒の生成出力、JOLTでは教師と生徒の両方の生成出力が含まれますが、プロンプト、特権コンテキスト、追加の最適化パスは含まれません。処理済み学習トークンではなく生成トークンに基づいて比較すると、同じ精度レベルでの効率の差は約13倍に広がります。目標精度の範囲全体で、JOLTは生成トークンを9.5～14.4分の1、処理済み学習トークンを4.3～7.4分の1に抑えています。

ダンベルチャート：JOLTのトークン面での優位性は精度55%から65%まで維持 — JOLTのトークン面での優位性は、精度55%から65%まで維持されます。

特権情報は、教師がタスクを解く能力を高めることはあっても、その情報なしで同じタスクを解けるよう生徒を教える能力を高めるとは限りません。JOLTは、生徒の現在の振る舞いを基準に教師を学習させることで、この違いに対処します。

この共同学習により、精度と効率の両方が向上します。生徒の結果報酬を加えたJOLT+は、GRPOと比べて、GSM8Kで1.5pp、MATHで4.2pp、LCBv6で3.0pp、AppWorldで9.9pp、Terminal-Bench 2.1のpass@1で2.7ppの絶対的な向上を達成しています。MATHでは、JOLTは生徒への直接的な報酬なしに、同等の精度においてGRPOと比べて生成トークンを13分の1、処理済み学習トークンを6.5分の1に削減しています。

JOLTでは、教師のガイダンスが生徒とともに進化していきます。このことから、教師が有用な学習タスクの生成も学習できるかどうかを探る価値があると考えられます。今後の研究の興味深い方向性として、タスクを生成する教師と問題を解く生徒を共同で学習させ、生徒の学習の進捗を使ってカリキュラムの中で生成タスクを改善していくことが挙げられます。これにより、生徒が次に学ぶ準備ができている内容に応じて、合成タスクの生成を適応させられる可能性があります。

詳細については、論文の全文をご覧ください。コードは近日中にオープンソースとして公開する予定です。

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

はじめに

疎な報酬から密なフィードバックへ

オンポリシーでの共同学習と指導

教師の学習

教師がすべきことを定義する

理想的なターゲットから教師の目的関数へ

実用的な代理目的関数

生徒の学習

全体像

実験

精度

トークン効率とスケーリング

結論

引用