좋은 교사는 학생의 눈높이에 맞춘다

강화 학습(RL)은 복잡한 추론 및 장기 호라이즌 에이전트 작업에서 언어 모델의 역량을 높이기 위한 사후 학습에 널리 사용됩니다.

일반적인 설정에서 모델은 과제를 반복해서 시도하고 각 시도마다 결과 보상을 받으며, 보상이 더 높은 시도에서 취한 행동을 선호하도록 학습합니다. 그러나 단일 결과 보상은 어떤 중간 행동이 결과에 도움이 되었거나 해가 되었는지 구분하지 못하는 희소한 학습 신호를 제공합니다. 이러한 희소성은 샘플 효율성을 제한하며, 시도가 길고 성공이 드문 어려운 에이전트 작업에서 특히 그렇습니다.

이 희소성 문제를 해결하는 대표적인 접근 방식은 온폴리시 증류(OPD)로, 더 강력한 교사 모델이 학생 자신의 시도에 토큰 단위로 지침을 주어 훨씬 밀도 높은 보상을 제공합니다. 하지만 가르치는 것은 그 자체로 하나의 기술입니다. 과제를 잘 해결하는 모델이 반드시 그 과제를 잘 가르치는 것은 아니며, 그 피드백이 학생의 현재 역량을 넘어설 수도 있습니다. 이 때문에 학생이 교사를 모방하도록 훈련할 뿐 아니라, 교사도 학생에게 더 잘 맞춰진 지침을 제공하도록 훈련할 필요가 생깁니다.

저희는 그러한 방법 중 하나인 Joint On-policy Learning and Teaching(JOLT)를 제안합니다. 온폴리시 자기 증류(OPSD)를 기반으로, 하나의 모델을 두 가지 역할로 사용합니다. 하나는 검증된 풀이와 같은 특권 정보에 접근할 수 있는 교사이고, 다른 하나는 그러한 정보에 접근할 수 없는 학생입니다. 두 역할은 공동으로 훈련됩니다. 학생은 표준 증류 목적 함수를 따릅니다. 교사의 목적 함수는 교사의 피드백이 학생 자신의 보상에 대한 RL과 같은 방향으로 학생을 움직이도록 유도합니다. 이 목적 함수들을 함께 사용하면 교사는 학생의 눈높이에 맞춰 가르치도록 훈련되고, 학생은 자신이 도달할 수 있는 범위 내의 지침으로부터 학습하게 됩니다.

실험 결과, 다양한 수학적 추론, 코딩, 에이전트 작업 전반에서 모델 성능과 훈련 효율성이 모두 향상되었습니다.

가장 기본적인 형태의 결과 보상 RL은 다음과 같은 기대 리턴 목적 함수를 사용합니다:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

여기서 $\tau$ 는 정책 $\pi_\theta$ 를 따르는 궤적이고, $R(\tau)$ 는 해당 궤적의 리턴입니다. 이에 대응하는 정책 그래디언트는 다음과 같습니다:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

여기서 $s_t$ 와 $a_t$ 는 각각 타임스텝 $t$ 에서의 상태와 행동을 나타냅니다. 샘플 기반 추정치의 분산을 줄이기 위해 그래디언트는 흔히 다음과 같이 표현됩니다:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

여기서 어드밴티지 $A^{\pi_\theta}(s_t, a_t)$ 는 행동 $a_t$ 가 상태 $s_t$ 에서 현재 정책 대비 얼마나 더 높은 리턴을 낼 것으로 기대되는지를 측정합니다. 그중 한 접근 방식인 Group Relative Policy Optimization(GRPO)는 각 궤적의 리턴을 같은 프롬프트에 대해 샘플링된 그룹의 평균 리턴과 비교하여 어드밴티지를 추정합니다.

그러나 이러한 조정을 거치더라도 결과 보상 강화 학습은 감독 신호가 희소하다는 문제를 안고 있으며, 호라이즌이 긴 어려운 과제에서 특히 그렇습니다. 점점 더 많은 연구가 추가 정보원을 활용해 더 밀도 높은 학습 신호를 제공함으로써 이 문제를 해결하고 있습니다.

온폴리시 증류(OPD)가 그러한 접근 방식 중 하나입니다. OPD는 최종 보상만으로 학습하는 대신, 학생으로부터 궤적을 샘플링하고 샘플링된 각 행동을 더 강력한 교사 기준으로 평가합니다. 교사 정책 $\pi_T$ 와 궤적 생성에 사용된 학생 파라미터의 고정 스냅샷 $\bar{\theta}$ 에 대해, $\theta = \bar{\theta}$ 에서 평가한 국소 그래디언트는 다음과 같습니다:

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

여기서 $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ 는 음의 역 KL 증류 목적 함수입니다. 미분하는 동안 교사 정책과 샘플링된 접두부는 고정됩니다. 교사-학생 로그 확률 비율은 방문한 모든 상태에서 밀도 높은 학습 신호를 제공하며, 행동 수준 가중치로서 어드밴티지를 대체합니다.

온폴리시 자기 증류(OPSD)는 한 걸음 더 나아가 별도의 교사 모델이 필요 없도록 합니다. 학생 정책은 검증된 풀이, 피드백, 참조 트레이스와 같은 특권 정보가 주어지면 스스로 교사 역할을 합니다. 그러나 OPSD는 학생이 교사를 모방하도록 훈련할 뿐, 교사가 학생에게 유용한 신호를 제공하도록 보장하는 메커니즘은 없습니다.

JOLT는 공유 모델을 더 잘 맞춰진 지침을 제공하는 교사이자 그 지침으로부터 학습하는 학생으로 함께 훈련함으로써 OPSD를 확장합니다. 더 많은 정보를 가진 교사는 학생을 향한 KL 정규화를 적용한 상태에서 결과 보상으로부터 학습하고, 특권 정보가 없는 학생은 교사의 밀도 높은 증류 신호로부터 학습합니다. 교사 업데이트에는 교사가 생성한 시도를 사용하고, 학생 업데이트에는 학생이 생성하고 교사가 채점한 시도를 사용합니다. JOLT+는 여기에 더해 학생의 증류 신호를 결과 보상으로 보완합니다.

다이어그램: 하나의 정책이 교사이자 학생으로 학습 — 하나의 정책이 교사이자 학생으로 학습합니다.

교사의 성능이 더 좋다고 해서 반드시 학생에게 유용한 업데이트로 이어지는 것은 아닙니다. 교사는 특권 정보를 이용해 학생은 사용할 수 없는 지름길을 활용하거나, 학생 기준으로는 나올 가능성이 낮은 궤적에 높은 확률을 부여하거나, 학생이 생성한 접두부에 오류가 있을 때 신뢰할 수 없는 지침을 제공할 수 있습니다. 따라서 교사의 품질은 교사 자신의 과제 보상이 아니라 학생에게 제공하는 학습 신호로 판단해야 합니다.

교사가 학생에게 유도하는 증류 업데이트가 양의 스케일링 차이를 제외하고 학생의 기대 과제 보상에 대한 정책 그래디언트와 일치하면, 그 교사를 보상 일관적(reward-consistent)이라고 부릅니다. 구체적으로, 보상 일관적 교사 $\pi_T^\star$ 는 다음을 만족해야 합니다:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

여기서 $\beta_T$ 는 양의 스칼라입니다. 앞 섹션과 마찬가지로 $g_{\mathrm{OPD}}$ 는 OPD 국소 그래디언트, $\bar\theta$ 는 학생 모델 파라미터 $\theta$ 의 고정 스냅샷, $g_{\mathrm{RL}}$ 는 기대 리턴 목적 함수의 정책 그래디언트입니다.

이 조건을 만족하는 교사의 한 예는 다음과 같습니다:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

여기서 $A^{\pi_{\bar{\theta}}}(s, a)$ 는 학생 연속 어드밴티지를 나타내고, $Z(s)$ 는 올바른 확률 분포가 되도록 하는 정규화 상수입니다.

이상적인 목표 $\pi_T^\star$ 에 대한 KL 발산을 최소화하여 교사를 이 목표 쪽으로 훈련할 수 있습니다. 고정된 학생과 상태 $s$ 에 대해 이는 다음과 같습니다:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

$\pi_T^\star$ 에 대한 식을 대입하면 동치인 최대화 문제를 얻습니다:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

이 목적 함수는 교사가 학생의 행동 분포에 가깝게 머무르면서 학생 어드밴티지가 더 높은 행동을 선택하도록 유도합니다. 파라미터 $\beta_T$ 는 이 페널티의 강도를 조절합니다. 값이 클수록 교사는 학생의 현재 행동에 더 가깝게 유지되고, 값이 작을수록 어드밴티지가 높은 행동을 더 적극적으로 선호할 수 있습니다.

이 목적 함수는 각 행동 이후 학생이 얼마나 잘 이어 갈지에 따라 달라지지만, 이러한 학생 연속 어드밴티지는 일반적으로 알 수 없습니다. 따라서 교사 자신의 궤적에서 얻은 중심화된 리턴을 실용적인 대리 지표로 사용합니다. 보상 항은 교사가 과제를 해결하도록 유도하고, KL 항은 교사가 학생의 현재 행동 분포에서 벗어나는 것을 억제합니다. KL 항이 교사를 학생 가까이에 유지해 주기는 하지만, 교사의 리턴이 학생의 연속 어드밴티지와 반드시 일치하는 것은 아니므로 이 대체가 정확하지는 않습니다.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

여기서 $\widehat{A}_T(\tau)$ 는 교사 시도의 리턴에서 해당 그룹 내 교사 생성 시도들의 평균 리턴을 뺀 값입니다. 연산자 $\operatorname{sg}$ 는 stop-gradient를 나타냅니다. 즉, 그 인수는 샘플링된 접두부 및 학생 참조와 마찬가지로 미분하는 동안 고정된 것으로 취급됩니다.

학생 업데이트는 표준 OPSD 업데이트입니다. 학생이 과제로부터 궤적을 생성합니다. 그런 다음 같은 모델이 특권 정보를 컨텍스트에 넣은 상태로 샘플링된 각 토큰을 채점합니다. 학생 목적 함수는 학생이 방문하는 모든 상태에서 학생과 이 특권 교사 사이의 역 KL 발산에 페널티를 부과합니다:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

따라서 교사가 선호하는 토큰은 강화되고, 교사가 학생보다 가능성이 낮다고 보는 토큰은 억제됩니다.

교사와 학생의 목적 함수를 결합하면 다음과 같은 공동 훈련 목적 함수를 얻습니다:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ 는 결합된 업데이트에서 학생 증류 손실이 차지하는 비중을 정하는 스칼라입니다.

보상 일관성 결과는 주어진 교사에 대한 학생의 증류 업데이트를 특징짓습니다. JOLT는 이 원리를 활용해 공동 훈련을 이끌며, 교사와 학생의 목적 함수를 결합해 공유 파라미터를 업데이트합니다.

JOLT+는 학생 자신의 결과 보상도 업데이트에 추가합니다. 각 학생 궤적의 중심화된 리턴을 증류 신호에 더해, 밀도 높은 교사 감독과 학생 궤적에 대한 직접적인 결과 피드백을 결합합니다. 교사 목적 함수는 변하지 않으므로 다음과 같이 쓸 수 있습니다:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

여기서 $\widehat{A}_S(\tau)$ 는 학생 궤적의 리턴에서 해당 학생 생성 궤적 그룹의 평균 리턴을 뺀 값입니다.

두 변형 모두에서 각 역할은 자신의 컨텍스트에서 생성된 궤적으로 학습하며, 두 역할 모두 공유 정책을 업데이트합니다. 훈련 단계의 의사 코드는 아래와 같습니다.

힌트를 사용한 교사 생성, 힌트 없는 학생 생성, 교차 컨텍스트 채점, 공유 정책 업데이트를 보여 주는 JOLT 의사 코드. JOLT+는 학생 시도에 결과 보상을 추가합니다. — JOLT의 단일 훈련 단계에 대한 의사 코드.

저희는 서로 다른 기본 모델과 여러 형태의 특권 정보를 사용해 수학적 추론, 코드 생성, 도구 사용, 장기 호라이즌 터미널 작업을 아우르는 벤치마크에서 JOLT와 JOLT+를 평가합니다. 구체적으로 다음과 같은 벤치마크, 기본 모델, 특권 정보 구성으로 실험을 진행합니다:

GSM8K: DeepSeek-V2-Lite를 초등 수준 수학 문제 데이터셋인 GSM8K로 훈련합니다. 교사는 각 문제의 검증된 정답을 받습니다.
MATH: Qwen3-0.6B를 MATH로 훈련합니다. 교사는 풀이 과정이 담긴 참조 풀이를 받습니다.
LCBv6: Qwen3-8B를 LiveCodeBench-V6의 코딩 문제 131개로 훈련합니다. 교사는 훈련 중 확인 가능한 모든 테스트를 통과한 모델 생성 풀이를 받거나, 이를 통과한 시도가 없으면 실행 피드백을 받습니다.
AppWorld: Qwen3-4B-Instruct를 AppWorld로 훈련합니다. 교사는 이전 시도의 요약을 받습니다.
Terminal-Bench: Qwen3-30B-A3B-Instruct를 터미널 에이전트용 훈련 과제 세트인 TMax로 훈련하고, Terminal-Bench 2.1에서 평가합니다. 교사는 비공개 검증기 정보를 받습니다.

저희는 각 방법의 하이퍼파라미터를 조정하여 GRPO, OPSD, π-Distill과 비교합니다. π-Distill은 JOLT와 마찬가지로 공유 모델 안에서 특권 교사와 학생 역할을 공동으로 훈련하지만, 다른 교사 목표를 사용하며 학생 업데이트가 여전히 오프폴리시이므로 학생 자신의 생성 결과가 아닌 교사가 생성한 궤적에 의존합니다.

JOLT+는 평가한 모든 설정에서 가장 높은 평균 점수를 기록합니다. 테스트한 기준선 중 가장 강력한 GRPO와 비교하면 GSM8K 정확도는 1.5퍼센트포인트(%p), MATH 정확도는 4.2%p, LCBv6 정확도는 3.0%p, AppWorld 상태 테스트 통과율은 9.9%p 향상됩니다.

점-수염 차트: JOLT+가 네 가지 벤치마크 모두에서 가장 높은 평균 점수를 기록 — JOLT+는 네 가지 벤치마크 모두에서 가장 높은 평균 점수를 기록합니다.

직접적인 학생 보상이 없어도 JOLT의 평균 정확도는 GSM8K, MATH, LCBv6에서 GRPO보다 높습니다. 그러나 AppWorld에서는 GRPO와 π-Distill 모두보다 낮습니다.

Terminal-Bench 2.1은 호라이즌이 가장 긴 설정입니다. JOLT+는 보고된 모든 k에서 가장 높은 pass@k를 기록하며, pass@1의 10.96%부터 pass@32의 34.83%에 이릅니다. JOLT는 모든 k에서 기본 모델과 두 증류 기준선보다 우수하지만 GRPO에는 미치지 못합니다. OPSD는 모든 k에서 기본 모델보다 낮은 점수를 기록합니다.

꺾은선형 차트: JOLT+가 모든 시도 예산에서 Terminal-Bench 선두 — JOLT+는 모든 시도 예산에서 Terminal-Bench 선두를 차지합니다.

또한 훈련 예산에 따라 성능이 어떻게 확장되는지도 살펴봅니다. MATH에서 다양한 훈련 토큰 예산으로 GRPO, OPSD, JOLT를 평가하고 그에 따른 학생 정확도를 비교합니다.

이 그림은 각 방법의 훈련 토큰 사용량에 따라 정확도가 어떻게 확장되는지 보여 줍니다. 비용은 처리된 훈련 토큰으로 측정합니다. 여기에는 패딩되지 않은 모든 프롬프트, 특권 컨텍스트, 최적화 패스, 교사와 학생 간의 교차 채점이 포함됩니다.

적합 곡선이 포함된 산점도: JOLT는 GRPO의 정확도에 도달하는 데 더 적은 토큰이 필요 — JOLT는 GRPO의 정확도에 도달하는 데 더 적은 토큰이 필요합니다.

점은 여러 체크포인트에서의 처리된 훈련 토큰 수와 정확도를 나타내고, 수염은 실행 간 ±1 표준편차를 나타냅니다. RL 연산 스케일링에 관한 선행 연구에 따라 정확도와 로그 훈련 토큰 예산 사이의 시그모이드 관계를 적합했습니다.

JOLT는 초기부터 높은 샘플 효율성을 보이면서도 세 방법 중 가장 높은 정확도를 달성하며 약 72%에서 수렴합니다. OPSD는 적은 예산에서 빠르게 향상되지만 약 62% 정확도에서 정체됩니다. GRPO는 처음에는 더 느리게 학습하지만 더 오래 향상을 이어 가며 약 70%까지 올라갑니다. 동일한 정확도 63.44%에서 GRPO의 관측 체크포인트는 840만 토큰을 사용하는 반면, JOLT의 적합 곡선은 130만 토큰으로 6.5배 적습니다.

또한 완성 토큰을 사용해 비용을 측정했습니다. 완성 토큰은 GRPO와 OPSD의 경우 학생 완성을, JOLT의 경우 교사와 학생 완성을 모두 집계하지만, 프롬프트, 특권 컨텍스트, 추가 최적화 패스는 제외합니다. 처리된 훈련 토큰 대신 완성 토큰을 기준으로 비교하면 같은 정확도 수준에서 효율성 격차가 약 13배로 벌어집니다. 다양한 목표 정확도 범위에서 JOLT는 완성 토큰을 9.5~14.4배, 처리된 훈련 토큰을 4.3~7.4배 적게 사용합니다.

덤벨 차트: JOLT의 토큰 이점은 55%에서 65% 정확도 구간까지 유지 — JOLT의 토큰 이점은 55%에서 65% 정확도 구간까지 유지됩니다.

특권 정보는 교사가 과제를 더 잘 해결하게 만들 수는 있지만, 그 정보 없이 같은 과제를 해결하도록 학생을 더 잘 가르치게 만들지는 못할 수 있습니다. JOLT는 학생의 현재 행동을 기준으로 교사를 훈련함으로써 이 차이를 해결합니다.

이러한 공동 훈련은 정확도와 효율성을 모두 향상합니다. 학생 결과 보상을 사용하는 JOLT+는 GRPO 대비 절대 수치로 GSM8K에서 1.5%p, MATH에서 4.2%p, LCBv6에서 3.0%p, AppWorld에서 9.9%p, Terminal-Bench 2.1 pass@1에서 2.7%p 향상된 성능을 달성합니다. MATH에서 JOLT는 직접적인 학생 보상 없이도 동일한 정확도 기준으로 GRPO보다 완성 토큰을 13배, 처리된 훈련 토큰을 6.5배 적게 사용합니다.

JOLT는 교사의 지침이 학생과 함께 발전할 수 있도록 합니다. 이는 교사가 유용한 훈련 과제를 생성하는 법도 학습할 수 있는지 탐구할 동기가 됩니다. 향후 연구의 흥미로운 방향 중 하나는 과제를 생성하는 교사와 문제를 해결하는 학생을 공동으로 훈련하고, 학생의 학습 진척도를 활용해 커리큘럼 속에서 생성 과제를 개선하는 것입니다. 이를 통해 합성 과제 생성이 학생이 다음에 배울 준비가 된 내용에 맞춰 반응하도록 만들 수 있을 것입니다.

자세한 내용은 논문 전문을 참고하세요. 코드는 곧 오픈소스로 공개할 예정입니다.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

소개

희소한 보상에서 밀도 높은 피드백으로

공동 온폴리시 학습 및 교수

교사 훈련

교사가 해야 할 일 정의하기

이상적인 목표에서 교사 목적 함수로

실용적인 대리 목적 함수

학생 훈련

종합하기

실험

정확도

토큰 효율성과 스케일링

결론

인용