Ein guter Lehrer holt den Schüler dort ab, wo er steht

Reinforcement Learning (RL) wird im Post-Training von Sprachmodellen häufig eingesetzt, um ihre Fähigkeiten bei komplexen Reasoning-Aufgaben und agentischen Aufgaben mit langem Horizont zu verbessern.

In einem typischen Setup unternimmt das Modell wiederholt Lösungsversuche für eine Aufgabe, erhält für jeden Versuch eine Ergebnisbelohnung und lernt, Aktionen zu bevorzugen, die in höher belohnten Versuchen gewählt wurden. Eine einzelne Ergebnisbelohnung liefert jedoch nur ein spärliches Lernsignal, das nicht unterscheidet, welche Zwischenaktionen dem Ergebnis genützt oder geschadet haben. Diese Spärlichkeit begrenzt die Stichprobeneffizienz, besonders bei schwierigen agentischen Aufgaben, bei denen Versuche lang und Erfolge selten sind.

Ein verbreiteter Ansatz gegen diese Spärlichkeit ist On-Policy Distillation (OPD): Dabei gibt ein stärkeres Lehrermodell Token für Token Anleitung zu den eigenen Versuchen des Schülers und liefert so deutlich dichtere Belohnungen. Lehren ist jedoch eine Fähigkeit für sich. Ein Modell, das eine Aufgabe gut lösen kann, kann sie nicht unbedingt auch gut vermitteln, da sein Feedback die aktuellen Fähigkeiten des Schülers übersteigen kann. Das spricht dafür, nicht nur den Schüler darauf zu trainieren, den Lehrer zu imitieren, sondern auch den Lehrer darauf, dem Schüler besser abgestimmte Anleitung zu geben.

Wir schlagen eine solche Methode vor: Joint On-policy Learning and Teaching (JOLT). Aufbauend auf On-Policy Self-Distillation (OPSD) verwenden wir ein einziges Modell in zwei Rollen: als Lehrer mit Zugriff auf privilegierte Informationen, etwa verifizierte Lösungen, und als Schüler ohne diesen Zugriff. Wir trainieren beide Rollen gemeinsam. Der Schüler folgt der standardmäßigen Destillationszielfunktion. Die Zielfunktion des Lehrers lenkt dessen Feedback so, dass es den Schüler in dieselbe Richtung bewegt wie RL auf Basis der eigenen Belohnung des Schülers. Zusammen bringen diese Zielfunktionen dem Lehrer bei, den Schüler dort abzuholen, wo er steht, und helfen dem Schüler, aus Anleitung zu lernen, die für ihn erreichbar ist.

Unsere Experimente zeigen Verbesserungen sowohl bei der Modellleistung als auch bei der Trainingseffizienz über eine Reihe von Aufgaben zu mathematischem Reasoning, Programmierung und agentischem Handeln hinweg.

In seiner einfachsten Form verwendet RL mit Ergebnisbelohnung die Zielfunktion des erwarteten Returns:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Dabei ist $\tau$ eine Trajektorie, die einer Policy $\pi_\theta$ folgt, und $R(\tau)$ der Return dieser Trajektorie. Der zugehörige Policy-Gradient lautet:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

wobei $s_t$ und $a_t$ den Zustand bzw. die Aktion zum Zeitschritt $t$ bezeichnen. Um die Varianz stichprobenbasierter Schätzungen zu verringern, wird der Gradient häufig wie folgt ausgedrückt:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

wobei der Advantage $A^{\pi_\theta}(s_t, a_t)$ den erwarteten zusätzlichen Return der Aktion $a_t$ gegenüber der aktuellen Policy im Zustand $s_t$ misst. Ein Ansatz, Group Relative Policy Optimization (GRPO), schätzt den Advantage, indem er den Return jeder Trajektorie mit dem mittleren Return der Gruppe vergleicht, die für denselben Prompt gesampelt wurde.

Doch selbst mit diesen Anpassungen leidet Reinforcement Learning mit Ergebnisbelohnung unter spärlicher Supervision, insbesondere bei schwierigen Aufgaben mit langem Horizont. Eine wachsende Zahl von Arbeiten begegnet diesem Problem, indem sie zusätzliche Informationsquellen heranzieht, um ein dichteres Lernsignal zu liefern.

On-Policy Distillation (OPD) ist ein solcher Ansatz. Statt nur aus einer finalen Belohnung zu lernen, sampelt OPD Trajektorien vom Schüler und bewertet jede gesampelte Aktion anhand eines stärkeren Lehrers. Für eine Lehrer-Policy $\pi_T$ und einen festen Snapshot $\bar{\theta}$ der Schülerparameter, mit dem die Trajektorien erzeugt werden, lautet der an der Stelle $\theta = \bar{\theta}$ ausgewertete lokale Gradient:

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Dabei ist $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ die negative Reverse-KL-Destillationszielfunktion. Die Lehrer-Policy und die gesampelten Präfixe werden bei der Differenzierung festgehalten. Das Log-Wahrscheinlichkeitsverhältnis zwischen Lehrer und Schüler liefert in jedem besuchten Zustand ein dichtes Lernsignal und ersetzt den Advantage als Gewichtung auf Aktionsebene.

On-Policy Self-Distillation (OPSD) macht zudem ein separates Lehrermodell überflüssig. Die Schüler-Policy dient selbst als Lehrer, wenn sie privilegierte Informationen erhält, etwa eine verifizierte Lösung, Feedback oder einen Referenz-Trace. OPSD trainiert den Schüler jedoch nur darauf, den Lehrer zu imitieren; es gibt keinen Mechanismus, der sicherstellt, dass der Lehrer dem Schüler ein nützliches Signal liefert.

JOLT erweitert OPSD, indem ein gemeinsames Modell sowohl als Lehrer trainiert wird, der besser abgestimmte Anleitung gibt, als auch als Schüler, der daraus lernt. Der besser informierte Lehrer lernt aus Ergebnisbelohnungen mit KL-Regularisierung in Richtung des Schülers, während der nicht privilegierte Schüler aus dem dichten Destillationssignal des Lehrers lernt. Das Lehrer-Update nutzt vom Lehrer erzeugte Versuche, das Schüler-Update dagegen vom Schüler erzeugte Versuche, die der Lehrer bewertet. JOLT+ ergänzt das Destillationssignal des Schülers zusätzlich um Ergebnisbelohnungen.

Diagramm: Eine Policy lernt zugleich als Lehrer und als Schüler — Eine Policy lernt zugleich als Lehrer und als Schüler.

Eine bessere Leistung des Lehrers führt nicht zwangsläufig zu nützlichen Updates für den Schüler. Ein Lehrer könnte privilegierte Informationen verwenden, um Abkürzungen zu nehmen, die dem Schüler nicht zur Verfügung stehen, Trajektorien eine hohe Wahrscheinlichkeit zuweisen, die unter dem Schüler unwahrscheinlich sind, oder nach Fehlern in vom Schüler erzeugten Präfixen unzuverlässige Anleitung geben. Die Qualität eines Lehrers sollte daher am Lernsignal gemessen werden, das er dem Schüler liefert, und nicht an seiner eigenen Aufgabenbelohnung.

Wir nennen einen Lehrer belohnungskonsistent, wenn das Destillations-Update, das er beim Schüler auslöst, bis auf eine positive Skalierung dem Policy-Gradienten der erwarteten Aufgabenbelohnung des Schülers entspricht. Konkret sollte ein belohnungskonsistenter Lehrer $\pi_T^\star$ Folgendes erfüllen:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

wobei $\beta_T$ ein positiver Skalar ist. Wie im vorherigen Abschnitt ist $g_{\mathrm{OPD}}$ der lokale OPD-Gradient, $\bar\theta$ ein fester Snapshot der Parameter $\theta$ des Schülermodells und $g_{\mathrm{RL}}$ der Policy-Gradient der Zielfunktion des erwarteten Returns.

Ein Lehrer, der diese Bedingung erfüllt, ist:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Dabei stehen $A^{\pi_{\bar{\theta}}}(s, a)$ für die Fortsetzungs-Advantages des Schülers, und $Z(s)$ ist eine Normierungskonstante, die eine gültige Wahrscheinlichkeitsverteilung sicherstellt.

Wir können einen Lehrer auf die ideale Zielverteilung $\pi_T^\star$ hin trainieren, indem wir seine KL-Divergenz zu ihr minimieren. Für einen festen Schüler und einen Zustand $s$ ergibt sich:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Setzt man den Ausdruck für $\pi_T^\star$ ein, erhält man ein äquivalentes Maximierungsproblem:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Diese Zielfunktion motiviert den Lehrer, Aktionen mit höherem Schüler-Advantage zu wählen und dabei nah an der Aktionsverteilung des Schülers zu bleiben. Der Parameter $\beta_T$ steuert die Stärke dieses Strafterms: Größere Werte halten den Lehrer näher am aktuellen Verhalten des Schülers, während kleinere Werte ihm erlauben, Aktionen mit hohem Advantage aggressiver zu bevorzugen.

Diese Zielfunktion hängt davon ab, wie gut der Schüler nach jeder Aktion weitermachen würde, doch diese Fortsetzungs-Advantages des Schülers sind in der Regel nicht verfügbar. Daher verwenden wir zentrierte Returns aus den eigenen Trajektorien des Lehrers als praktikables Surrogat. Der Belohnungsterm motiviert den Lehrer, die Aufgabe zu lösen, während der KL-Term Abweichungen von der aktuellen Aktionsverteilung des Schülers entgegenwirkt. Obwohl der KL-Term den Lehrer nah am Schüler hält, ist diese Ersetzung nicht exakt, da die Returns des Lehrers nicht mit den Fortsetzungs-Advantages des Schülers übereinstimmen müssen.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Dabei ist $\widehat{A}_T(\tau)$ der Return des Lehrerversuchs abzüglich des mittleren Returns der vom Lehrer erzeugten Versuche in seiner Gruppe. Der Operator $\operatorname{sg}$ bezeichnet Stop-Gradient: Sein Argument wird bei der Differenzierung als fest behandelt, ebenso wie die gesampelten Präfixe und die Schülerreferenz.

Das Schüler-Update ist ein standardmäßiges OPSD-Update. Der Schüler erzeugt Trajektorien zur Aufgabe. Anschließend bewertet dasselbe Modell jedes gesampelte Token mit den privilegierten Informationen im Kontext. Die Zielfunktion des Schülers bestraft die Reverse-KL-Divergenz zwischen dem Schüler und diesem privilegierten Lehrer in jedem Zustand, den der Schüler besucht:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Tokens, die der Lehrer bevorzugt, werden somit verstärkt, während Tokens, die der Lehrer für weniger wahrscheinlich hält als der Schüler, unterdrückt werden.

Die Kombination der Zielfunktionen von Lehrer und Schüler ergibt die gemeinsame Trainingszielfunktion:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ ist ein Skalar, der festlegt, wie stark der Destillationsverlust des Schülers in das kombinierte Update eingeht.

Das Ergebnis zur Belohnungskonsistenz charakterisiert das Destillations-Update des Schülers für einen gegebenen Lehrer. JOLT nutzt dieses Prinzip als Leitlinie für das gemeinsame Training und kombiniert die Zielfunktionen von Lehrer und Schüler, um ihre gemeinsamen Parameter zu aktualisieren.

JOLT+ bezieht zusätzlich die eigene Ergebnisbelohnung des Schülers in dessen Update ein. Der zentrierte Return jeder Schülertrajektorie wird zum Destillationssignal addiert, sodass dichte Supervision durch den Lehrer mit direktem Ergebnis-Feedback zu den Schülertrajektorien kombiniert wird. Da die Zielfunktion des Lehrers unverändert bleibt, können wir schreiben:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Dabei ist $\widehat{A}_S(\tau)$ der Return der Schülertrajektorie abzüglich des mittleren Returns ihrer Gruppe vom Schüler erzeugter Trajektorien.

In beiden Varianten lernt jede Rolle aus Trajektorien, die in ihrem eigenen Kontext erzeugt wurden, und beide Rollen aktualisieren die gemeinsame Policy. Der Pseudocode für einen Trainingsschritt ist unten dargestellt.

JOLT-Pseudocode: Generierung durch den Lehrer mit Hinweis, Generierung durch den Schüler ohne Hinweis, kontextübergreifende Bewertung und ein gemeinsames Policy-Update. JOLT+ ergänzt Ergebnisbelohnungen für die Versuche des Schülers. — Pseudocode für einen JOLT-Trainingsschritt.

Wir evaluieren JOLT und JOLT+ auf Benchmarks, die mathematisches Reasoning, Codegenerierung, Tool-Nutzung und Terminal-Aufgaben mit langem Horizont abdecken, und verwenden dabei verschiedene Basismodelle und unterschiedliche Formen privilegierter Informationen. Konkret führen wir Experimente mit den folgenden Benchmarks, Basismodellen und Konfigurationen privilegierter Informationen durch:

GSM8K: Wir trainieren DeepSeek-V2-Lite auf GSM8K, einem Datensatz mit Matheaufgaben auf Grundschulniveau. Der Lehrer erhält die verifizierte Antwort auf jede Aufgabe.
MATH: Wir trainieren Qwen3-0.6B auf MATH. Der Lehrer erhält ausgearbeitete Referenzlösungen.
LCBv6: Wir trainieren Qwen3-8B auf 131 Programmieraufgaben aus LiveCodeBench-V6. Der Lehrer erhält eine modellgenerierte Lösung, die alle im Training sichtbaren Tests bestanden hat, oder Ausführungsfeedback, wenn kein Versuch sie bestanden hat.
AppWorld: Wir trainieren Qwen3-4B-Instruct auf AppWorld. Der Lehrer erhält Zusammenfassungen früherer Versuche.
Terminal-Bench: Wir trainieren Qwen3-30B-A3B-Instruct auf TMax, einer Sammlung von Trainingsaufgaben für Terminal-Agenten, und evaluieren auf Terminal-Bench 2.1. Der Lehrer erhält private Verifier-Informationen.

Wir vergleichen mit GRPO, OPSD und π-Distill und optimieren die Hyperparameter für jede Methode. Wie JOLT trainiert π-Distill privilegierte Lehrer- und Schülerrollen gemeinsam in einem geteilten Modell; es verwendet jedoch eine andere Zielverteilung für den Lehrer, und sein Schüler-Update bleibt off-policy, da es sich auf vom Lehrer erzeugte Trajektorien statt auf die eigenen Generierungen des Schülers stützt.

JOLT+ erzielt in jedem evaluierten Setting den höchsten Mittelwert. Im Vergleich zu GRPO, der stärksten getesteten Baseline, verbessert es die Genauigkeit bei GSM8K um 1,5 Prozentpunkte (PP), bei MATH um 4,2 PP und bei LCBv6 um 3,0 PP sowie die State-Test-Bestehensquote bei AppWorld um 9,9 PP.

Punkt-Whisker-Diagramm: JOLT+ erzielt auf allen vier Benchmarks den höchsten Mittelwert — JOLT+ erzielt auf allen vier Benchmarks den höchsten Mittelwert.

Ohne jede direkte Schülerbelohnung liegt die mittlere Genauigkeit von JOLT bei GSM8K, MATH und LCBv6 über der von GRPO. Bei AppWorld bleibt JOLT jedoch sowohl hinter GRPO als auch hinter π-Distill zurück.

Terminal-Bench 2.1 ist das Setting mit dem längsten Horizont. JOLT+ erzielt bei jedem angegebenen k den höchsten pass@k-Wert, von 10,96 % bei pass@1 bis 34,83 % bei pass@32. JOLT übertrifft bei jedem k das Basismodell und beide Destillations-Baselines, bleibt aber hinter GRPO zurück. OPSD liegt bei jedem k unter dem Basismodell.

Liniendiagramm: JOLT+ liegt bei Terminal-Bench für jedes Versuchsbudget vorn — JOLT+ liegt bei Terminal-Bench für jedes Versuchsbudget vorn.

Uns interessiert außerdem, wie die Leistung mit dem Trainingsbudget skaliert. Wir evaluieren GRPO, OPSD und JOLT bei unterschiedlichen Trainings-Token-Budgets auf MATH und vergleichen die resultierende Genauigkeit des Schülers.

Die Abbildung zeigt für jede Methode, wie die Genauigkeit mit dem Aufwand an Trainings-Tokens skaliert. Wir messen die Kosten in verarbeiteten Trainings-Tokens. Dazu zählen jeder Prompt ohne Padding, privilegierter Kontext, jeder Optimierungsdurchlauf sowie die gegenseitige Bewertung zwischen Lehrer und Schüler.

Streudiagramm mit angepassten Kurven: JOLT benötigt weniger Tokens, um die Genauigkeit von GRPO zu erreichen — JOLT benötigt weniger Tokens, um die Genauigkeit von GRPO zu erreichen.

Die Punkte zeigen die Anzahl verarbeiteter Trainings-Tokens und die Genauigkeit an verschiedenen Checkpoints; die Whisker stehen für ±1 Standardabweichung über die Läufe hinweg. Wir passen einen sigmoidalen Zusammenhang zwischen Genauigkeit und logarithmiertem Trainings-Token-Budget an und folgen damit früheren Arbeiten zur Skalierung des Rechenaufwands für RL.

JOLT zeigt schon früh eine hohe Stichprobeneffizienz und erreicht zugleich die höchste Genauigkeit der drei Methoden, wobei es sich bei etwa 72 % einpendelt. OPSD verbessert sich bei kleinen Budgets schnell, stagniert aber bei etwa 62 % Genauigkeit. GRPO lernt anfangs langsamer, verbessert sich aber länger weiter und steigt auf etwa 70 %. Bei gleicher Genauigkeit von 63,44 % verbraucht der beobachtete Checkpoint von GRPO 8,40 Millionen Tokens, während die angepasste Kurve von JOLT 1,30 Millionen ergibt – 6,5× weniger Tokens.

Wir messen die Kosten außerdem in Completion-Tokens. Diese erfassen bei GRPO und OPSD die Completions des Schülers und bei JOLT die Completions von Lehrer und Schüler, lassen aber Prompts, privilegierten Kontext und die zusätzlichen Optimierungsdurchläufe außen vor. Ein Vergleich auf Basis von Completion-Tokens statt verarbeiteter Trainings-Tokens vergrößert den Effizienzabstand bei gleichem Genauigkeitsniveau auf etwa 13×. Über eine Reihe von Zielgenauigkeiten hinweg benötigt JOLT 9,5–14,4× weniger Completion-Tokens und 4,3–7,4× weniger verarbeitete Trainings-Tokens.

Hanteldiagramm: Der Token-Vorteil von JOLT bleibt von 55 % bis 65 % Genauigkeit bestehen — Der Token-Vorteil von JOLT bleibt von 55 % bis 65 % Genauigkeit bestehen.

Privilegierte Informationen können einen Lehrer besser darin machen, eine Aufgabe zu lösen, ohne ihn besser darin zu machen, einem Schüler beizubringen, dieselbe Aufgabe ohne diese Informationen zu lösen. JOLT trägt dieser Unterscheidung Rechnung, indem der Lehrer relativ zum aktuellen Verhalten des Schülers trainiert wird.

Dieses gemeinsame Training verbessert sowohl die Genauigkeit als auch die Effizienz. Mit Ergebnisbelohnungen für den Schüler erzielt JOLT+ gegenüber GRPO absolute Zugewinne von 1,5 Prozentpunkten (PP) bei GSM8K, 4,2 PP bei MATH, 3,0 PP bei LCBv6, 9,9 PP bei AppWorld und 2,7 PP bei Terminal-Bench 2.1 (pass@1). Bei MATH benötigt JOLT bei gleicher Genauigkeit 13× weniger Completion-Tokens und 6,5× weniger verarbeitete Trainings-Tokens als GRPO – ganz ohne direkte Schülerbelohnung.

Mit JOLT kann sich die Anleitung des Lehrers gemeinsam mit dem Schüler weiterentwickeln. Das legt nahe zu untersuchen, ob der Lehrer auch lernen kann, nützliche Trainingsaufgaben zu generieren. Eine interessante Richtung für künftige Arbeiten ist es, einen aufgabengenerierenden Lehrer und einen problemlösenden Schüler gemeinsam zu trainieren und dabei den Lernfortschritt des Schülers zu nutzen, um die generierten Aufgaben im Rahmen eines Curriculums zu verbessern. So könnte sich die synthetische Aufgabengenerierung danach richten, wofür der Schüler als Nächstes bereit ist.

Weitere Details finden Sie in unserem vollständigen Paper. Den Code werden wir in Kürze als Open Source veröffentlichen.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Einleitung

Von spärlichen Belohnungen zu dichtem Feedback

Gemeinsames On-Policy-Lernen und -Lehren

Training des Lehrers

Festlegen, was ein Lehrer leisten soll

Von der idealen Zielverteilung zur Zielfunktion des Lehrers

Eine praktikable Surrogat-Zielfunktion

Training des Schülers

Alles zusammengeführt

Experimente

Genauigkeit

Token-Effizienz und Skalierung

Fazit

Zitation