Dobry nauczyciel dostosowuje się do poziomu ucznia

Uczenie ze wzmocnieniem (RL) jest powszechnie stosowane na etapie post-treningu modeli językowych, aby poprawić ich zdolności w zakresie złożonego rozumowania i zadań agentowych o długim horyzoncie.

W typowym układzie model wielokrotnie podejmuje próby wykonania zadania, za każdą otrzymuje nagrodę za wynik i uczy się preferować działania podejmowane w próbach z wyższą nagrodą. Pojedyncza nagroda za wynik stanowi jednak rzadki sygnał uczący, który nie rozróżnia, które działania pośrednie pomogły, a które zaszkodziły wynikowi. Ta rzadkość ogranicza efektywność wykorzystania próbek, zwłaszcza w trudnych zadaniach agentowych, w których próby są długie, a sukcesy rzadkie.

Jednym z popularnych sposobów radzenia sobie z tą rzadkością jest destylacja on-policy (On-Policy Distillation, OPD), w której silniejszy model nauczyciela udziela wskazówek token po tokenie dotyczących własnych prób ucznia, zapewniając znacznie gęstsze nagrody. Nauczanie to jednak odrębna umiejętność. Model, który dobrze rozwiązuje zadanie, niekoniecznie dobrze uczy, jak je rozwiązywać, ponieważ jego informacje zwrotne mogą wykraczać poza aktualne możliwości ucznia. To skłania do trenowania nie tylko ucznia, by naśladował nauczyciela, lecz także nauczyciela, by udzielał uczniowi lepiej dopasowanych wskazówek.

Proponujemy jedną z takich metod: Joint On-policy Learning and Teaching (JOLT). Opierając się na samodestylacji on-policy (On-Policy Self-Distillation, OPSD), wykorzystujemy jeden model w dwóch rolach: nauczyciela z dostępem do informacji uprzywilejowanych, takich jak zweryfikowane rozwiązania, oraz ucznia bez takiego dostępu. Obie role trenujemy wspólnie. Uczeń realizuje standardową funkcję celu destylacji. Funkcja celu nauczyciela sprawia, że jego informacje zwrotne przesuwają ucznia w tym samym kierunku co RL oparte na własnej nagrodzie ucznia. Razem te funkcje celu uczą nauczyciela dostosowywać się do aktualnego poziomu ucznia i pomagają uczniowi uczyć się na podstawie wskazówek, które są w jego zasięgu.

Nasze eksperymenty wykazują poprawę zarówno wydajności modelu, jak i efektywności treningu w szeregu zadań z zakresu rozumowania matematycznego, programowania oraz zadań agentowych.

W najprostszej postaci RL z nagrodą za wynik wykorzystuje funkcję celu oczekiwanego zwrotu:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Tutaj $\tau$ jest trajektorią wygenerowaną zgodnie z polityką $\pi_\theta$ , a $R(\tau)$ to zwrot dla tej trajektorii. Odpowiadający mu gradient polityki wynosi:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

gdzie $s_t$ i $a_t$ oznaczają odpowiednio stan i działanie w kroku czasowym $t$ . Aby zmniejszyć wariancję estymat opartych na próbkach, gradient często wyraża się jako:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

gdzie przewaga $A^{\pi_\theta}(s_t, a_t)$ mierzy oczekiwany nadwyżkowy zwrot z działania $a_t$ względem bieżącej polityki w stanie $s_t$ . Jedno z podejść, Group Relative Policy Optimization (GRPO), szacuje przewagę, porównując zwrot każdej trajektorii ze średnim zwrotem grupy trajektorii wylosowanych dla tego samego promptu.

Jednak nawet po tych modyfikacjach uczenie ze wzmocnieniem z nagrodą za wynik boryka się z problemem rzadkiego nadzoru, szczególnie w trudnych zadaniach o długim horyzoncie. Coraz więcej prac rozwiązuje ten problem, sięgając po dodatkowe źródła informacji, które zapewniają gęstszy sygnał uczący.

On-Policy Distillation (OPD) to jedno z takich podejść. Zamiast uczyć się wyłącznie na podstawie końcowej nagrody, OPD próbkuje trajektorie z polityki ucznia i ocenia każde wylosowane działanie z perspektywy silniejszego nauczyciela. Dla polityki nauczyciela $\pi_T$ i ustalonej migawki $\bar{\theta}$ parametrów ucznia użytych do wygenerowania trajektorii lokalny gradient obliczony w punkcie $\theta = \bar{\theta}$ wynosi:

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Tutaj $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ to ujemna funkcja celu destylacji oparta na odwrotnej dywergencji KL. Polityka nauczyciela i wylosowane prefiksy pozostają stałe podczas różniczkowania. Stosunek log-prawdopodobieństw nauczyciela i ucznia zapewnia gęsty sygnał uczący w każdym odwiedzonym stanie, zastępując przewagę jako wagę na poziomie działania.

On-Policy Self-Distillation (OPSD) dodatkowo eliminuje potrzebę stosowania osobnego modelu nauczyciela. Polityka ucznia pełni funkcję własnego nauczyciela, gdy otrzymuje informacje uprzywilejowane, takie jak zweryfikowane rozwiązanie, informacje zwrotne lub ślad referencyjny. OPSD uczy jednak ucznia jedynie naśladowania nauczyciela; nie ma mechanizmu, który zapewniałby, że nauczyciel przekazuje uczniowi użyteczny sygnał.

JOLT rozszerza OPSD, trenując współdzielony model zarówno jako nauczyciela, który udziela lepiej dopasowanych wskazówek, jak i ucznia, który się na nich uczy. Lepiej poinformowany nauczyciel uczy się na podstawie nagród za wynik z regularyzacją KL w kierunku ucznia, natomiast nieuprzywilejowany uczeń uczy się na podstawie gęstego sygnału destylacyjnego nauczyciela. Aktualizacja nauczyciela wykorzystuje próby wygenerowane przez nauczyciela, a aktualizacja ucznia – próby wygenerowane przez ucznia i ocenione przez nauczyciela. JOLT+ dodatkowo uzupełnia sygnał destylacyjny ucznia nagrodami za wynik.

Diagram: jedna polityka uczy się jednocześnie jako nauczyciel i uczeń — Jedna polityka uczy się jednocześnie jako nauczyciel i uczeń.

Lepsze wyniki nauczyciela niekoniecznie przekładają się na użyteczne aktualizacje ucznia. Nauczyciel może wykorzystywać informacje uprzywilejowane do korzystania ze skrótów niedostępnych dla ucznia, przypisywać wysokie prawdopodobieństwo trajektoriom mało prawdopodobnym dla ucznia lub udzielać niewiarygodnych wskazówek po błędach w prefiksach wygenerowanych przez ucznia. Jakość nauczyciela powinna więc być określana przez sygnał uczący przekazywany uczniowi, a nie przez nagrodę nauczyciela za własne wykonanie zadania.

Nauczyciela nazywamy spójnym z nagrodą, jeśli aktualizacja destylacyjna, którą wywołuje u ucznia, odpowiada gradientowi polityki oczekiwanej nagrody ucznia za zadanie, z dokładnością do dodatniego skalowania. Dokładniej, spójny z nagrodą nauczyciel $\pi_T^\star$ powinien spełniać warunek:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

gdzie $\beta_T$ to dodatni skalar. Podobnie jak w poprzedniej sekcji, $g_{\mathrm{OPD}}$ to lokalny gradient OPD, $\bar\theta$ to ustalona migawka parametrów modelu ucznia $\theta$ , a $g_{\mathrm{RL}}$ to gradient polityki dla funkcji celu oczekiwanego zwrotu.

Przykładem nauczyciela, który spełnia ten warunek, jest:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Tutaj $A^{\pi_{\bar{\theta}}}(s, a)$ oznaczają przewagi kontynuacji ucznia, a $Z(s)$ to stała normalizująca, która zapewnia poprawny rozkład prawdopodobieństwa.

Nauczyciela można trenować w kierunku idealnego rozkładu docelowego $\pi_T^\star$ , minimalizując dywergencję KL względem niego. Dla ustalonego ucznia i stanu $s$ daje to:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Podstawienie wyrażenia na $\pi_T^\star$ daje równoważny problem maksymalizacji:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Ta funkcja celu zachęca nauczyciela do wybierania działań o wyższej przewadze ucznia przy jednoczesnym pozostawaniu blisko rozkładu działań ucznia. Parametr $\beta_T$ kontroluje siłę tej kary: większe wartości utrzymują nauczyciela bliżej bieżącego zachowania ucznia, a mniejsze pozwalają mu bardziej agresywnie preferować działania o wysokiej przewadze.

Ta funkcja celu zależy od tego, jak dobrze uczeń radziłby sobie w dalszej części trajektorii po każdym działaniu, ale takie przewagi kontynuacji ucznia są na ogół niedostępne. Dlatego jako praktyczny zamiennik stosujemy wycentrowane zwroty z własnych trajektorii nauczyciela. Składnik nagrody zachęca nauczyciela do rozwiązania zadania, a składnik KL zniechęca do odchodzenia od bieżącego rozkładu działań ucznia. Choć składnik KL utrzymuje nauczyciela blisko ucznia, to podstawienie nie jest dokładne, ponieważ zwroty nauczyciela nie muszą odpowiadać przewagom kontynuacji ucznia.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Tutaj $\widehat{A}_T(\tau)$ to zwrot z próby nauczyciela pomniejszony o średni zwrot prób wygenerowanych przez nauczyciela w jej grupie. Operator $\operatorname{sg}$ oznacza stop-gradient: jego argument jest traktowany jako stały podczas różniczkowania, podobnie jak wylosowane prefiksy i referencja ucznia.

Aktualizacja ucznia to standardowa aktualizacja OPSD. Uczeń generuje trajektorie na podstawie zadania. Następnie ten sam model ocenia każdy wylosowany token, mając w kontekście informacje uprzywilejowane. Funkcja celu ucznia penalizuje odwrotną dywergencję KL między uczniem a tym uprzywilejowanym nauczycielem w każdym stanie odwiedzanym przez ucznia:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

W rezultacie tokeny preferowane przez nauczyciela są wzmacniane, a tokeny, które nauczyciel uważa za mniej prawdopodobne niż uczeń, są tłumione.

Połączenie funkcji celu nauczyciela i ucznia daje wspólną funkcję celu treningu:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ to skalar określający, jaką wagę ma strata destylacyjna ucznia w łącznej aktualizacji.

Wynik dotyczący spójności z nagrodą charakteryzuje aktualizację destylacyjną ucznia dla danego nauczyciela. JOLT wykorzystuje tę zasadę do kierowania wspólnym treningiem, łącząc funkcje celu nauczyciela i ucznia, aby zaktualizować ich współdzielone parametry.

JOLT+ dodaje również do aktualizacji ucznia jego własną nagrodę za wynik. Wycentrowany zwrot każdej trajektorii ucznia jest dodawany do sygnału destylacyjnego, co łączy gęsty nadzór nauczyciela z bezpośrednią informacją zwrotną o wyniku trajektorii ucznia. Funkcja celu nauczyciela pozostaje bez zmian, więc możemy zapisać:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Tutaj $\widehat{A}_S(\tau)$ to zwrot z trajektorii ucznia pomniejszony o średni zwrot jej grupy trajektorii wygenerowanych przez ucznia.

W obu wariantach każda rola uczy się na trajektoriach wygenerowanych we własnym kontekście, a obie role aktualizują współdzieloną politykę. Pseudokod kroku treningowego przedstawiono poniżej.

Pseudokod JOLT przedstawiający generowanie przez nauczyciela z podpowiedzią, generowanie przez ucznia bez niej, ocenianie krzyżowe między kontekstami oraz wspólną aktualizację polityki. JOLT+ dodaje nagrody za wynik dla prób ucznia. — Pseudokod jednego kroku treningowego JOLT.

Oceniamy JOLT i JOLT+ na benchmarkach obejmujących rozumowanie matematyczne, generowanie kodu, korzystanie z narzędzi oraz zadania terminalowe o długim horyzoncie, przy użyciu różnych modeli bazowych i różnych form informacji uprzywilejowanych. Konkretnie przeprowadzamy eksperymenty z następującymi konfiguracjami benchmarków, modeli bazowych i informacji uprzywilejowanych:

GSM8K: trenujemy DeepSeek-V2-Lite na GSM8K, zbiorze zadań matematycznych na poziomie szkoły podstawowej. Nauczyciel otrzymuje zweryfikowaną odpowiedź do każdego zadania.
MATH: trenujemy Qwen3-0.6B na MATH. Nauczyciel otrzymuje rozpisane rozwiązania referencyjne.
LCBv6: trenujemy Qwen3-8B na 131 zadaniach programistycznych z LiveCodeBench-V6. Nauczyciel otrzymuje wygenerowane przez model rozwiązanie, które przeszło wszystkie testy widoczne podczas treningu, lub informacje zwrotne z wykonania, jeśli żadna próba ich nie przeszła.
AppWorld: trenujemy Qwen3-4B-Instruct na AppWorld. Nauczyciel otrzymuje podsumowania wcześniejszych prób.
Terminal-Bench: trenujemy Qwen3-30B-A3B-Instruct na TMax, zbiorze zadań treningowych dla agentów terminalowych, i przeprowadzamy ewaluację na Terminal-Bench 2.1. Nauczyciel otrzymuje prywatne informacje weryfikatora.

Porównujemy nasze metody z GRPO, OPSD i π-Distill, dostrajając hiperparametry dla każdej z nich. Podobnie jak JOLT, π-Distill wspólnie trenuje uprzywilejowaną rolę nauczyciela i rolę ucznia w ramach współdzielonego modelu; wykorzystuje jednak inny rozkład docelowy nauczyciela, a jego aktualizacja ucznia pozostaje off-policy, opierając się na trajektoriach wygenerowanych przez nauczyciela, a nie na własnych generacjach ucznia.

JOLT+ uzyskuje najwyższy średni wynik we wszystkich ocenianych przez nas konfiguracjach. W porównaniu z GRPO, najsilniejszą z testowanych metod porównawczych, poprawia dokładność na GSM8K o 1,5 punktu procentowego (p.p.), na MATH o 4,2 p.p., na LCBv6 o 3,0 p.p., a odsetek zaliczonych testów stanu w AppWorld o 9,9 p.p.

Wykres punktowy z wąsami: JOLT+ uzyskuje najwyższy średni wynik we wszystkich czterech benchmarkach — JOLT+ uzyskuje najwyższy średni wynik we wszystkich czterech benchmarkach.

Bez żadnej bezpośredniej nagrody dla ucznia średnia dokładność JOLT jest wyższa niż GRPO na GSM8K, MATH i LCBv6. W AppWorld pozostaje jednak poniżej zarówno GRPO, jak i π-Distill.

Terminal-Bench 2.1 to konfiguracja o najdłuższym horyzoncie. JOLT+ osiąga najwyższe pass@k dla każdego raportowanego k – od 10,96% przy pass@1 do 34,83% przy pass@32. JOLT przewyższa model bazowy i obie destylacyjne metody porównawcze dla każdego k, ale pozostaje poniżej GRPO. OPSD uzyskuje wyniki niższe od modelu bazowego dla każdego k.

Wykres liniowy: JOLT+ prowadzi w Terminal-Bench przy każdym budżecie prób — JOLT+ prowadzi w Terminal-Bench przy każdym budżecie prób.

Interesuje nas również, jak wydajność skaluje się wraz z budżetem treningowym. Oceniamy GRPO, OPSD i JOLT przy różnych budżetach tokenów treningowych na MATH i porównujemy uzyskaną dokładność ucznia.

Wykres pokazuje, jak dokładność każdej metody skaluje się wraz z liczbą zużytych tokenów treningowych. Koszt mierzymy w przetworzonych tokenach treningowych. Obejmuje to każdy prompt bez paddingu, kontekst uprzywilejowany, przebieg optymalizacji oraz ocenianie krzyżowe między nauczycielem a uczniem.

Wykres rozrzutu z dopasowanymi krzywymi: JOLT potrzebuje mniej tokenów, aby osiągnąć dokładność GRPO — JOLT potrzebuje mniej tokenów, aby osiągnąć dokładność GRPO.

Punkty pokazują liczbę przetworzonych tokenów treningowych i dokładność w różnych punktach kontrolnych; wąsy oznaczają ±1 odchylenie standardowe między przebiegami. Zgodnie z wcześniejszymi pracami dotyczącymi skalowania mocy obliczeniowej RL dopasowujemy zależność sigmoidalną między dokładnością a logarytmem budżetu tokenów treningowych.

JOLT wykazuje wysoką efektywność wykorzystania próbek już na wczesnym etapie, a przy tym osiąga najwyższą dokładność spośród trzech metod, stabilizując się w okolicach 72%. OPSD szybko się poprawia przy małych budżetach, ale osiąga plateau na poziomie około 62%. GRPO początkowo uczy się wolniej, ale poprawia się dłużej, dochodząc do około 70%. Przy tej samej dokładności 63,44% obserwowany punkt kontrolny GRPO wykorzystuje 8,40 mln tokenów, podczas gdy dopasowana krzywa JOLT wskazuje 1,30 mln, czyli 6,5× mniej tokenów.

Mierzymy również koszt w tokenach uzupełnień, które obejmują uzupełnienia ucznia w przypadku GRPO i OPSD oraz uzupełnienia zarówno nauczyciela, jak i ucznia w przypadku JOLT, ale pomijają prompty, kontekst uprzywilejowany i dodatkowe przebiegi optymalizacji. Porównanie na podstawie tokenów uzupełnień zamiast przetworzonych tokenów treningowych zwiększa różnicę w efektywności do około 13× przy tym samym poziomie dokładności. W całym zakresie docelowych dokładności JOLT zużywa 9,5–14,4× mniej tokenów uzupełnień i 4,3–7,4× mniej przetworzonych tokenów treningowych.

Wykres typu dumbbell: przewaga tokenowa JOLT utrzymuje się w zakresie dokładności od 55% do 65% — Przewaga tokenowa JOLT utrzymuje się w zakresie dokładności od 55% do 65%.

Informacje uprzywilejowane mogą sprawić, że nauczyciel lepiej rozwiązuje zadanie, nie stając się przy tym lepszy w uczeniu ucznia, jak rozwiązać to samo zadanie bez tych informacji. JOLT uwzględnia to rozróżnienie, trenując nauczyciela w odniesieniu do bieżącego zachowania ucznia.

Taki wspólny trening poprawia zarówno dokładność, jak i efektywność. Dzięki nagrodom za wynik ucznia JOLT+ osiąga względem GRPO bezwzględną poprawę o 1,5 p.p. na GSM8K, 4,2 p.p. na MATH, 3,0 p.p. na LCBv6, 9,9 p.p. na AppWorld i 2,7 p.p. w metryce pass@1 na Terminal-Bench 2.1. W przypadku MATH, przy tej samej dokładności, JOLT zużywa 13× mniej tokenów uzupełnień i 6,5× mniej przetworzonych tokenów treningowych niż GRPO, bez bezpośredniej nagrody dla ucznia.

JOLT pozwala, by wskazówki nauczyciela ewoluowały wraz z uczniem. Skłania to do zbadania, czy nauczyciel może również nauczyć się generować użyteczne zadania treningowe. Interesującym kierunkiem przyszłych prac jest wspólne trenowanie nauczyciela generującego zadania i ucznia rozwiązującego problemy, z wykorzystaniem postępów ucznia w nauce do ulepszania generowanych zadań w ramach programu nauczania (curriculum). Dzięki temu generowanie syntetycznych zadań mogłoby uwzględniać to, czego uczeń jest gotów nauczyć się w następnej kolejności.

Więcej szczegółów znajdziesz w pełnym tekście naszej publikacji. Wkrótce udostępnimy kod na licencji open source.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Wprowadzenie

Od rzadkich nagród do gęstych informacji zwrotnych

Wspólne uczenie się i nauczanie on-policy

Trenowanie nauczyciela

Określenie, co powinien robić nauczyciel

Od idealnego rozkładu docelowego do funkcji celu nauczyciela

Praktyczna zastępcza funkcja celu

Trenowanie ucznia

Składamy wszystko w całość

Eksperymenty

Dokładność

Efektywność tokenowa i skalowanie

Wnioski

Cytowanie