നല്ല അധ്യാപകൻ വിദ്യാർത്ഥിയുടെ നിലവാരത്തിലേക്ക് ഇറങ്ങിച്ചെല്ലുന്നു

സങ്കീർണ്ണമായ റീസണിംഗിലും ഏജന്റിക് ടാസ്കുകളിലും മോഡൽ പ്രകടനവും ട്രെയിനിംഗ് കാര്യക്ഷമതയും മെച്ചപ്പെടുത്താൻ അധ്യാപകനെയും വിദ്യാർത്ഥിയെയും സംയുക്തമായി ട്രെയിൻ ചെയ്യുന്ന പുതിയൊരു സെൽഫ്-ഡിസ്റ്റിലേഷൻ രീതി.

രചയിതാക്കൾPerplexity Research & NVIDIA

ആമുഖം

സങ്കീർണ്ണമായ റീസണിംഗിലും ദീർഘ-ഹൊറൈസൺ ഏജന്റിക് ടാസ്കുകളിലും ഭാഷാ മോഡലുകളുടെ കഴിവുകൾ മെച്ചപ്പെടുത്താൻ പോസ്റ്റ്-ട്രെയിനിംഗിൽ റീഇൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗ് (RL) വ്യാപകമായി ഉപയോഗിക്കുന്നു.

ഒരു സാധാരണ സജ്ജീകരണത്തിൽ, മോഡൽ ഒരു ടാസ്കിൽ ആവർത്തിച്ച് ശ്രമങ്ങൾ നടത്തുന്നു, ഓരോ ശ്രമത്തിനും ഒരു ഫല റിവാർഡ് ലഭിക്കുന്നു, ഉയർന്ന റിവാർഡ് ലഭിച്ച ശ്രമങ്ങളിൽ സ്വീകരിച്ച ആക്ഷനുകൾക്ക് മുൻഗണന നൽകാൻ അത് പഠിക്കുന്നു. എന്നാൽ, ഒരൊറ്റ ഫല റിവാർഡ് നൽകുന്നത് വിരളമായ ഒരു ലേണിംഗ് സിഗ്നൽ മാത്രമാണ്; ഇടയിലുള്ള ഏതൊക്കെ ആക്ഷനുകളാണ് ഫലത്തെ സഹായിച്ചതെന്നോ ദോഷകരമായി ബാധിച്ചതെന്നോ അത് വേർതിരിക്കുന്നില്ല. ഈ വിരളത സാമ്പിൾ കാര്യക്ഷമതയെ പരിമിതപ്പെടുത്തുന്നു, പ്രത്യേകിച്ച് ശ്രമങ്ങൾ ദൈർഘ്യമേറിയതും വിജയങ്ങൾ അപൂർവവുമായ ബുദ്ധിമുട്ടുള്ള ഏജന്റിക് ടാസ്കുകളിൽ.

ഈ വിരളത പരിഹരിക്കാനുള്ള ജനപ്രിയമായ ഒരു സമീപനമാണ് On-Policy Distillation (OPD). കൂടുതൽ ശക്തമായ ഒരു അധ്യാപക മോഡൽ ഉപയോഗിച്ച് വിദ്യാർത്ഥിയുടെ സ്വന്തം ശ്രമങ്ങൾക്ക് ടോക്കൺ തോറും മാർഗ്ഗനിർദ്ദേശം നൽകുന്ന ഇത് കൂടുതൽ സാന്ദ്രമായ റിവാർഡുകൾ ലഭ്യമാക്കുന്നു. എന്നാൽ, പഠിപ്പിക്കൽ സ്വയം ഒരു നൈപുണ്യമാണ്. ഒരു ടാസ്ക് പരിഹരിക്കുന്നതിൽ മികച്ച മോഡൽ അത് പഠിപ്പിക്കുന്നതിലും മികച്ചതാകണമെന്നില്ല, കാരണം അതിന്റെ ഫീഡ്‌ബാക്ക് വിദ്യാർത്ഥിയുടെ നിലവിലെ കഴിവുകൾക്ക് അപ്പുറമായിരിക്കാം. അധ്യാപകനെ അനുകരിക്കാൻ വിദ്യാർത്ഥിയെ മാത്രമല്ല, വിദ്യാർത്ഥിക്ക് കൂടുതൽ അനുയോജ്യമായ മാർഗ്ഗനിർദ്ദേശം നൽകാൻ അധ്യാപകനെയും ട്രെയിൻ ചെയ്യേണ്ടതിന്റെ ആവശ്യകതയിലേക്കാണ് ഇത് വിരൽചൂണ്ടുന്നത്.

അത്തരത്തിലുള്ള ഒരു രീതിയാണ് ഞങ്ങൾ മുന്നോട്ടുവയ്ക്കുന്നത്: Joint On-policy Learning and Teaching (JOLT). On-Policy Self-Distillation (OPSD)-നെ അടിസ്ഥാനമാക്കി, ഞങ്ങൾ ഒരൊറ്റ മോഡലിനെ രണ്ട് റോളുകളിൽ ഉപയോഗിക്കുന്നു: പരിശോധിച്ചുറപ്പിച്ച പരിഹാരങ്ങൾ പോലുള്ള പ്രിവിലേജ്ഡ് വിവരങ്ങൾ ലഭ്യമായ ഒരു അധ്യാപകനും അത്തരം വിവരങ്ങൾ ലഭ്യമല്ലാത്ത ഒരു വിദ്യാർത്ഥിയും. ഈ രണ്ട് റോളുകളെയും ഞങ്ങൾ സംയുക്തമായി ട്രെയിൻ ചെയ്യുന്നു. വിദ്യാർത്ഥി സാധാരണ ഡിസ്റ്റിലേഷൻ ഒബ്ജക്ടീവ് പിന്തുടരുന്നു. വിദ്യാർത്ഥിയുടെ സ്വന്തം റിവാർഡിലുള്ള RL ചെയ്യുന്ന അതേ ദിശയിലേക്ക് വിദ്യാർത്ഥിയെ നീക്കുന്ന തരത്തിൽ ഫീഡ്‌ബാക്ക് നൽകാൻ അധ്യാപകന്റെ ഒബ്ജക്ടീവ് അതിനെ പ്രേരിപ്പിക്കുന്നു. ഈ ഒബ്ജക്ടീവുകൾ ഒരുമിച്ച്, വിദ്യാർത്ഥിയുടെ നിലവാരത്തിലേക്ക് ഇറങ്ങിച്ചെല്ലാൻ അധ്യാപകനെ ട്രെയിൻ ചെയ്യുകയും വിദ്യാർത്ഥിക്ക് എത്തിപ്പിടിക്കാവുന്ന മാർഗ്ഗനിർദ്ദേശത്തിൽനിന്ന് പഠിക്കാൻ വിദ്യാർത്ഥിയെ സഹായിക്കുകയും ചെയ്യുന്നു.

ഗണിതശാസ്ത്ര റീസണിംഗ്, കോഡിംഗ്, ഏജന്റിക് ടാസ്കുകൾ എന്നിവയുടെ ഒരു ശ്രേണിയിൽ മോഡൽ പ്രകടനത്തിലും ട്രെയിനിംഗ് കാര്യക്ഷമതയിലും മെച്ചപ്പെടുത്തലുകൾ ഉണ്ടെന്ന് ഞങ്ങളുടെ പരീക്ഷണങ്ങൾ തെളിയിക്കുന്നു.

വിരളമായ റിവാർഡുകളിൽനിന്ന് സാന്ദ്രമായ ഫീഡ്‌ബാക്കിലേക്ക്

ഏറ്റവും അടിസ്ഥാന രൂപത്തിൽ, ഫല-റിവാർഡ് RL പ്രതീക്ഷിത റിട്ടേൺ ഒബ്ജക്ടീവ് ഉപയോഗിക്കുന്നു:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

ഇവിടെ, τ\tau എന്നത് πθ\pi_\theta എന്ന പോളിസി പിന്തുടരുന്ന ഒരു ട്രാജക്ടറിയും R(τ)R(\tau) ആ ട്രാജക്ടറിയുടെ റിട്ടേണുമാണ്. ഇതിന് അനുയോജ്യമായ പോളിസി ഗ്രേഡിയന്റ് ഇതാണ്:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

ഇവിടെ sts_t, ata_t എന്നിവ യഥാക്രമം ടൈംസ്റ്റെപ്പ് tt-ലെ സ്റ്റേറ്റിനെയും ആക്ഷനെയും സൂചിപ്പിക്കുന്നു. സാമ്പിൾ അടിസ്ഥാനമാക്കിയുള്ള എസ്റ്റിമേറ്റുകളുടെ വേരിയൻസ് കുറയ്ക്കാൻ, ഗ്രേഡിയന്റ് പലപ്പോഴും ഇങ്ങനെ എഴുതുന്നു:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

ഇവിടെ അഡ്വാന്റേജ് Aπθ(st,at)A^{\pi_\theta}(s_t, a_t), ആക്ഷൻ ata_t-ന്റെ പ്രതീക്ഷിത അധിക റിട്ടേൺ സ്റ്റേറ്റ് sts_t-ലെ നിലവിലെ പോളിസിയുമായി താരതമ്യം ചെയ്ത് അളക്കുന്നു. ഇതിനുള്ള ഒരു സമീപനമായ Group Relative Policy Optimization (GRPO), ഓരോ ട്രാജക്ടറിയുടെയും റിട്ടേണിനെ അതേ പ്രോംപ്റ്റിനായി സാമ്പിൾ ചെയ്ത ഗ്രൂപ്പിന്റെ ശരാശരി റിട്ടേണുമായി താരതമ്യം ചെയ്താണ് അഡ്വാന്റേജ് കണക്കാക്കുന്നത്.

എന്നാൽ, ഈ ക്രമീകരണങ്ങൾക്കു ശേഷവും, ഫല-റിവാർഡ് റീഇൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗ് വിരളമായ സൂപ്പർവിഷൻ എന്ന പ്രശ്നം നേരിടുന്നു, പ്രത്യേകിച്ച് ബുദ്ധിമുട്ടുള്ള, ദീർഘ-ഹൊറൈസൺ ടാസ്കുകളിൽ. കൂടുതൽ സാന്ദ്രമായ ലേണിംഗ് സിഗ്നൽ നൽകാൻ അധിക വിവര സ്രോതസ്സുകളെ ആശ്രയിച്ച് ഈ പ്രശ്നം പരിഹരിക്കാൻ ശ്രമിക്കുന്ന പഠനങ്ങൾ വർധിച്ചുവരികയാണ്.

On-Policy Distillation (OPD) അത്തരമൊരു സമീപനമാണ്. അന്തിമ റിവാർഡിൽനിന്ന് മാത്രം പഠിക്കുന്നതിനു പകരം, OPD വിദ്യാർത്ഥിയിൽനിന്ന് ട്രാജക്ടറികൾ സാമ്പിൾ ചെയ്യുകയും സാമ്പിൾ ചെയ്ത ഓരോ ആക്ഷനെയും കൂടുതൽ ശക്തമായ ഒരു അധ്യാപകനെ ഉപയോഗിച്ച് വിലയിരുത്തുകയും ചെയ്യുന്നു. ഒരു അധ്യാപക പോളിസി πT\pi_T-നും, ട്രാജക്ടറികൾ സൃഷ്ടിക്കാൻ ഉപയോഗിക്കുന്ന വിദ്യാർത്ഥി പാരാമീറ്ററുകളുടെ ഒരു നിശ്ചിത സ്നാപ്പ്ഷോട്ട് θˉ\bar{\theta}-നും, θ=θˉ\theta = \bar{\theta}-ൽ വിലയിരുത്തുന്ന ലോക്കൽ ഗ്രേഡിയന്റ് ഇതാണ്:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

ഇവിടെ, JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) എന്നത് നെഗറ്റീവ് റിവേഴ്‌സ്-KL ഡിസ്റ്റിലേഷൻ ഒബ്ജക്ടീവ് ആണ്. ഡിഫറൻഷ്യേഷൻ സമയത്ത് അധ്യാപക പോളിസിയും സാമ്പിൾ ചെയ്ത പ്രിഫിക്സുകളും സ്ഥിരമായി നിലനിർത്തുന്നു. അധ്യാപക-വിദ്യാർത്ഥി ലോഗ്-പ്രോബബിലിറ്റി അനുപാതം സന്ദർശിക്കുന്ന ഓരോ സ്റ്റേറ്റിലും സാന്ദ്രമായ ഒരു ലേണിംഗ് സിഗ്നൽ നൽകുന്നു; ആക്ഷൻ-തല വെയ്റ്റ് എന്ന നിലയിൽ അഡ്വാന്റേജിന്റെ സ്ഥാനം ഇത് ഏറ്റെടുക്കുന്നു.

On-Policy Self-Distillation (OPSD) ഒരു പ്രത്യേക അധ്യാപക മോഡലിന്റെ ആവശ്യകത കൂടി ഒഴിവാക്കുന്നു. പരിശോധിച്ചുറപ്പിച്ച പരിഹാരം, ഫീഡ്‌ബാക്ക്, അല്ലെങ്കിൽ ഒരു റഫറൻസ് ട്രേസ് പോലുള്ള പ്രിവിലേജ്ഡ് വിവരങ്ങൾ നൽകുമ്പോൾ, വിദ്യാർത്ഥി പോളിസി തന്നെ സ്വന്തം അധ്യാപകനായി പ്രവർത്തിക്കുന്നു. എന്നാൽ, OPSD അധ്യാപകനെ അനുകരിക്കാൻ വിദ്യാർത്ഥിയെ മാത്രമേ ട്രെയിൻ ചെയ്യുന്നുള്ളൂ; അധ്യാപകൻ വിദ്യാർത്ഥിക്ക് ഉപയോഗപ്രദമായ സിഗ്നൽ നൽകുന്നുണ്ടെന്ന് ഉറപ്പാക്കാൻ ഒരു സംവിധാനവുമില്ല.

സംയുക്ത ഓൺ-പോളിസി പഠനവും പഠിപ്പിക്കലും

കൂടുതൽ അനുയോജ്യമായ മാർഗ്ഗനിർദ്ദേശം നൽകുന്ന അധ്യാപകനായും അതിൽനിന്ന് പഠിക്കുന്ന വിദ്യാർത്ഥിയായും ഒരു പങ്കിട്ട മോഡലിനെ ട്രെയിൻ ചെയ്തുകൊണ്ട് JOLT, OPSD-യെ വിപുലീകരിക്കുന്നു. കൂടുതൽ വിവരങ്ങളുള്ള അധ്യാപകൻ വിദ്യാർത്ഥിയിലേക്കുള്ള KL റെഗുലറൈസേഷനോടെ ഫല റിവാർഡുകളിൽനിന്ന് പഠിക്കുന്നു; പ്രിവിലേജ്ഡ് വിവരങ്ങളില്ലാത്ത വിദ്യാർത്ഥി അധ്യാപകന്റെ സാന്ദ്രമായ ഡിസ്റ്റിലേഷൻ സിഗ്നലിൽനിന്ന് പഠിക്കുന്നു. അധ്യാപക അപ്ഡേറ്റ് അധ്യാപകൻ സൃഷ്ടിച്ച ശ്രമങ്ങൾ ഉപയോഗിക്കുന്നു; വിദ്യാർത്ഥി അപ്ഡേറ്റ് ആകട്ടെ, വിദ്യാർത്ഥി സൃഷ്ടിച്ചതും അധ്യാപകൻ സ്കോർ ചെയ്തതുമായ ശ്രമങ്ങൾ ഉപയോഗിക്കുന്നു. JOLT+ വിദ്യാർത്ഥിയുടെ ഡിസ്റ്റിലേഷൻ സിഗ്നലിനൊപ്പം ഫല റിവാർഡുകൾ കൂടി ചേർക്കുന്നു.

ഒരൊറ്റ പോളിസി അധ്യാപകനായും വിദ്യാർത്ഥിയായും പഠിക്കുന്നു.

അധ്യാപകനെ ട്രെയിൻ ചെയ്യൽ

ഒരു അധ്യാപകൻ എന്തു ചെയ്യണമെന്ന് നിർവചിക്കുക

അധ്യാപകന്റെ മികച്ച പ്രകടനം വിദ്യാർത്ഥിക്ക് ഉപയോഗപ്രദമായ അപ്ഡേറ്റുകളായി മാറണമെന്നില്ല. വിദ്യാർത്ഥിക്ക് ലഭ്യമല്ലാത്ത കുറുക്കുവഴികൾ മുതലെടുക്കാൻ ഒരു അധ്യാപകൻ പ്രിവിലേജ്ഡ് വിവരങ്ങൾ ഉപയോഗിച്ചേക്കാം, വിദ്യാർത്ഥിയുടെ പോളിസിയിൽ സാധ്യത കുറഞ്ഞ ട്രാജക്ടറികൾക്ക് ഉയർന്ന പ്രോബബിലിറ്റി നൽകിയേക്കാം, അല്ലെങ്കിൽ വിദ്യാർത്ഥി സൃഷ്ടിച്ച പ്രിഫിക്സുകളിലെ പിശകുകൾക്കു ശേഷം വിശ്വസനീയമല്ലാത്ത മാർഗ്ഗനിർദ്ദേശം നൽകിയേക്കാം. അതിനാൽ, അധ്യാപകന്റെ ഗുണനിലവാരം നിർണ്ണയിക്കേണ്ടത് അധ്യാപകന്റെ സ്വന്തം ടാസ്ക് റിവാർഡിലൂടെയല്ല, വിദ്യാർത്ഥിക്ക് നൽകുന്ന ലേണിംഗ് സിഗ്നലിലൂടെയാണ്.

ഒരു അധ്യാപകൻ വിദ്യാർത്ഥിയിൽ ഉണ്ടാക്കുന്ന ഡിസ്റ്റിലേഷൻ അപ്ഡേറ്റ്, ഒരു പോസിറ്റീവ് സ്കെയിലിംഗ് വ്യത്യാസം ഒഴികെ, വിദ്യാർത്ഥിയുടെ പ്രതീക്ഷിത ടാസ്ക് റിവാർഡിന്റെ പോളിസി ഗ്രേഡിയന്റുമായി പൊരുത്തപ്പെടുന്നുവെങ്കിൽ, ആ അധ്യാപകനെ ഞങ്ങൾ റിവാർഡ്-സ്ഥിരതയുള്ളത് (reward-consistent) എന്ന് വിളിക്കുന്നു. കൃത്യമായി പറഞ്ഞാൽ, റിവാർഡ്-സ്ഥിരതയുള്ള ഒരു അധ്യാപകൻ πT⋆\pi_T^\star താഴെപ്പറയുന്ന വ്യവസ്ഥ പാലിക്കണം:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

ഇവിടെ βT\beta_T ഒരു പോസിറ്റീവ് സ്കെയിലർ ആണ്. മുൻ വിഭാഗത്തിലെന്നപോലെ, gOPDg_{\mathrm{OPD}} OPD ലോക്കൽ ഗ്രേഡിയന്റും, θˉ\bar\theta വിദ്യാർത്ഥി മോഡൽ പാരാമീറ്ററുകൾ θ\theta-ന്റെ ഒരു നിശ്ചിത സ്നാപ്പ്ഷോട്ടും, gRLg_{\mathrm{RL}} പ്രതീക്ഷിത റിട്ടേൺ ഒബ്ജക്ടീവിന്റെ പോളിസി ഗ്രേഡിയന്റുമാണ്.

ഈ വ്യവസ്ഥ പാലിക്കുന്ന ഒരു അധ്യാപകൻ ഇതാണ്:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

ഇവിടെ, Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) വിദ്യാർത്ഥി കണ്ടിന്യുവേഷൻ അഡ്വാന്റേജുകളെ സൂചിപ്പിക്കുന്നു; Z(s)Z(s) ശരിയായ ഒരു പ്രോബബിലിറ്റി ഡിസ്ട്രിബ്യൂഷൻ ഉറപ്പാക്കുന്നതിനുള്ള ഒരു നോർമലൈസിംഗ് സ്ഥിരാങ്കമാണ്.

ആദർശ ടാർഗെറ്റിൽനിന്ന് ഒരു അധ്യാപക ഒബ്ജക്ടീവിലേക്ക്

ആദർശ ടാർഗെറ്റ് πT⋆\pi_T^\star-ലേക്കുള്ള KL ഡൈവർജൻസ് കുറച്ചുകൊണ്ട് ഒരു അധ്യാപകനെ ആ ടാർഗെറ്റിലേക്ക് ട്രെയിൻ ചെയ്യാനാകും. ഒരു നിശ്ചിത വിദ്യാർത്ഥിക്കും സ്റ്റേറ്റ് ss-നും, ഇത് ഇങ്ങനെ ലഭിക്കുന്നു:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

πT⋆\pi_T^\star-നുള്ള എക്സ്പ്രഷൻ പകരം വയ്ക്കുമ്പോൾ തുല്യമായ ഒരു മാക്സിമൈസേഷൻ പ്രശ്നം ലഭിക്കുന്നു:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

വിദ്യാർത്ഥിയുടെ ആക്ഷൻ ഡിസ്ട്രിബ്യൂഷനോട് അടുത്തുനിൽക്കുമ്പോൾത്തന്നെ, ഉയർന്ന വിദ്യാർത്ഥി അഡ്വാന്റേജുള്ള ആക്ഷനുകൾ തിരഞ്ഞെടുക്കാൻ ഈ ഒബ്ജക്ടീവ് അധ്യാപകനെ പ്രോത്സാഹിപ്പിക്കുന്നു. βT\beta_T എന്ന പാരാമീറ്റർ ഈ പെനാൽറ്റിയുടെ ശക്തി നിയന്ത്രിക്കുന്നു: വലിയ മൂല്യങ്ങൾ അധ്യാപകനെ വിദ്യാർത്ഥിയുടെ നിലവിലെ പെരുമാറ്റത്തോട് കൂടുതൽ അടുപ്പിച്ചുനിർത്തുന്നു, അതേസമയം ചെറിയ മൂല്യങ്ങൾ ഉയർന്ന അഡ്വാന്റേജുള്ള ആക്ഷനുകൾക്ക് കൂടുതൽ ശക്തമായി മുൻഗണന നൽകാൻ അധ്യാപകനെ അനുവദിക്കുന്നു.

പ്രായോഗികമായ ഒരു സറോഗേറ്റ് ഒബ്ജക്ടീവ്

ഓരോ ആക്ഷനു ശേഷവും വിദ്യാർത്ഥി എത്ര നന്നായി തുടരും എന്നതിനെ ആശ്രയിച്ചാണ് ഈ ഒബ്ജക്ടീവ് ഇരിക്കുന്നത്, എന്നാൽ ഈ വിദ്യാർത്ഥി കണ്ടിന്യുവേഷൻ അഡ്വാന്റേജുകൾ സാധാരണയായി ലഭ്യമല്ല. അതിനാൽ, പ്രായോഗികമായ ഒരു സറോഗേറ്റ് എന്ന നിലയിൽ ഞങ്ങൾ അധ്യാപകന്റെ സ്വന്തം ട്രാജക്ടറികളിൽനിന്നുള്ള സെന്റേർഡ് റിട്ടേണുകൾ ഉപയോഗിക്കുന്നു. റിവാർഡ് ടേം ടാസ്ക് പരിഹരിക്കാൻ അധ്യാപകനെ പ്രോത്സാഹിപ്പിക്കുന്നു, അതേസമയം KL ടേം വിദ്യാർത്ഥിയുടെ നിലവിലെ ആക്ഷൻ ഡിസ്ട്രിബ്യൂഷനിൽനിന്നുള്ള വ്യതിചലനങ്ങളെ നിരുത്സാഹപ്പെടുത്തുന്നു. KL ടേം അധ്യാപകനെ വിദ്യാർത്ഥിയോട് അടുപ്പിച്ചുനിർത്തുന്നുണ്ടെങ്കിലും, ഈ പകരംവയ്ക്കൽ കൃത്യമല്ല, കാരണം അധ്യാപകന്റെ റിട്ടേണുകൾ വിദ്യാർത്ഥിയുടെ കണ്ടിന്യുവേഷൻ അഡ്വാന്റേജുകളുമായി പൊരുത്തപ്പെടണമെന്നില്ല.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

ഇവിടെ, A^T(τ)\widehat{A}_T(\tau) എന്നത് അധ്യാപക ശ്രമത്തിന്റെ റിട്ടേണിൽനിന്ന് അതിന്റെ ഗ്രൂപ്പിലെ അധ്യാപകൻ സൃഷ്ടിച്ച ശ്രമങ്ങളുടെ ശരാശരി റിട്ടേൺ കുറച്ചതാണ്. sg⁡\operatorname{sg} എന്ന ഓപ്പറേറ്റർ സ്റ്റോപ്പ്-ഗ്രേഡിയന്റിനെ സൂചിപ്പിക്കുന്നു: സാമ്പിൾ ചെയ്ത പ്രിഫിക്സുകളെയും വിദ്യാർത്ഥി റഫറൻസിനെയും പോലെ, ഇതിന്റെ ആർഗ്യുമെന്റും ഡിഫറൻഷ്യേഷൻ സമയത്ത് സ്ഥിരമായി കണക്കാക്കുന്നു.

വിദ്യാർത്ഥിയെ ട്രെയിൻ ചെയ്യൽ

വിദ്യാർത്ഥി അപ്ഡേറ്റ് ഒരു സാധാരണ OPSD അപ്ഡേറ്റാണ്. വിദ്യാർത്ഥി ടാസ്കിൽനിന്ന് ട്രാജക്ടറികൾ സൃഷ്ടിക്കുന്നു. തുടർന്ന് അതേ മോഡൽ, പ്രിവിലേജ്ഡ് വിവരങ്ങൾ കോണ്ടെക്സ്റ്റിൽ ഉൾപ്പെടുത്തി, സാമ്പിൾ ചെയ്ത ഓരോ ടോക്കണും സ്കോർ ചെയ്യുന്നു. വിദ്യാർത്ഥി സന്ദർശിക്കുന്ന ഓരോ സ്റ്റേറ്റിലും വിദ്യാർത്ഥിയും ഈ പ്രിവിലേജ്ഡ് അധ്യാപകനും തമ്മിലുള്ള റിവേഴ്‌സ് KL ഡൈവർജൻസിന് വിദ്യാർത്ഥി ഒബ്ജക്ടീവ് പെനാൽറ്റി ചുമത്തുന്നു:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

അതിനാൽ, അധ്യാപകൻ മുൻഗണന നൽകുന്ന ടോക്കണുകൾ ശക്തിപ്പെടുത്തപ്പെടുന്നു; വിദ്യാർത്ഥി കണക്കാക്കുന്നതിനെക്കാൾ സാധ്യത കുറവാണെന്ന് അധ്യാപകൻ കരുതുന്ന ടോക്കണുകൾ അടിച്ചമർത്തപ്പെടുന്നു.

എല്ലാം കൂട്ടിച്ചേർക്കുമ്പോൾ

അധ്യാപക, വിദ്യാർത്ഥി ഒബ്ജക്ടീവുകൾ സംയോജിപ്പിക്കുമ്പോൾ സംയുക്ത ട്രെയിനിംഗ് ഒബ്ജക്ടീവ് ലഭിക്കുന്നു:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S എന്നത്, സംയോജിത അപ്ഡേറ്റിൽ വിദ്യാർത്ഥി ഡിസ്റ്റിലേഷൻ ലോസിന് എത്രമാത്രം പ്രാധാന്യം ലഭിക്കണമെന്ന് നിശ്ചയിക്കുന്ന ഒരു സ്കെയിലർ ആണ്.

ഒരു നിശ്ചിത അധ്യാപകനെ സംബന്ധിച്ച് വിദ്യാർത്ഥിയുടെ ഡിസ്റ്റിലേഷൻ അപ്ഡേറ്റ് എങ്ങനെയായിരിക്കുമെന്ന് റിവാർഡ്-സ്ഥിരതാ ഫലം വിവരിക്കുന്നു. സംയുക്ത ട്രെയിനിംഗിന് വഴികാട്ടാൻ JOLT ഈ തത്വം ഉപയോഗിക്കുന്നു; അധ്യാപകന്റെയും വിദ്യാർത്ഥിയുടെയും ഒബ്ജക്ടീവുകൾ സംയോജിപ്പിച്ച് അവയുടെ പങ്കിട്ട പാരാമീറ്ററുകൾ അപ്ഡേറ്റ് ചെയ്യുന്നു.

JOLT+ വിദ്യാർത്ഥിയുടെ സ്വന്തം ഫല റിവാർഡും അതിന്റെ അപ്ഡേറ്റിൽ ചേർക്കുന്നു. ഓരോ വിദ്യാർത്ഥി ട്രാജക്ടറിയുടെയും സെന്റേർഡ് റിട്ടേൺ ഡിസ്റ്റിലേഷൻ സിഗ്നലിലേക്ക് ചേർക്കുന്നു; അങ്ങനെ സാന്ദ്രമായ അധ്യാപക സൂപ്പർവിഷനും വിദ്യാർത്ഥി ട്രാജക്ടറികളിലെ നേരിട്ടുള്ള ഫല ഫീഡ്‌ബാക്കും സംയോജിക്കുന്നു. അധ്യാപക ഒബ്ജക്ടീവിൽ മാറ്റമില്ലാത്തതിനാൽ, നമുക്ക് ഇങ്ങനെ എഴുതാം:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

ഇവിടെ, A^S(τ)\widehat{A}_S(\tau) എന്നത് വിദ്യാർത്ഥി ട്രാജക്ടറിയുടെ റിട്ടേണിൽനിന്ന്, അതിന്റെ ഗ്രൂപ്പിലെ വിദ്യാർത്ഥി സൃഷ്ടിച്ച ട്രാജക്ടറികളുടെ ശരാശരി റിട്ടേൺ കുറച്ചതാണ്.

രണ്ട് വകഭേദങ്ങളിലും, ഓരോ റോളും സ്വന്തം കോണ്ടെക്സ്റ്റിൽ സൃഷ്ടിച്ച ട്രാജക്ടറികളിൽനിന്ന് പഠിക്കുന്നു, രണ്ട് റോളുകളും പങ്കിട്ട പോളിസി അപ്ഡേറ്റ് ചെയ്യുന്നു. ഒരു ട്രെയിനിംഗ് ഘട്ടത്തിനുള്ള സ്യൂഡോകോഡ് താഴെ കാണിച്ചിരിക്കുന്നു.

ഒരു JOLT ട്രെയിനിംഗ് ഘട്ടത്തിനുള്ള സ്യൂഡോകോഡ്.

പരീക്ഷണങ്ങൾ

വ്യത്യസ്ത ബേസ് മോഡലുകളും വ്യത്യസ്ത തരം പ്രിവിലേജ്ഡ് വിവരങ്ങളും ഉപയോഗിച്ച്, ഗണിതശാസ്ത്ര റീസണിംഗ്, കോഡ് ജനറേഷൻ, ടൂൾ ഉപയോഗം, ദീർഘ-ഹൊറൈസൺ ടെർമിനൽ ടാസ്കുകൾ എന്നിവ ഉൾക്കൊള്ളുന്ന ബെഞ്ച്മാർക്കുകളിൽ ഞങ്ങൾ JOLT, JOLT+ എന്നിവ വിലയിരുത്തുന്നു. കൃത്യമായി പറഞ്ഞാൽ, താഴെപ്പറയുന്ന ബെഞ്ച്മാർക്കുകൾ, ബേസ് മോഡലുകൾ, പ്രിവിലേജ്ഡ് വിവര കോൺഫിഗറേഷനുകൾ എന്നിവ ഉപയോഗിച്ചാണ് ഞങ്ങൾ പരീക്ഷണങ്ങൾ നടത്തുന്നത്:

  • GSM8K: ഞങ്ങൾ DeepSeek-V2-Lite-നെ GSM8K-ൽ ട്രെയിൻ ചെയ്യുന്നു; സ്കൂൾ തലത്തിലുള്ള ഗണിത പ്രശ്നങ്ങളുടെ ഒരു ഡാറ്റാസെറ്റാണിത്. ഓരോ പ്രശ്നത്തിന്റെയും പരിശോധിച്ചുറപ്പിച്ച ഉത്തരം അധ്യാപകന് ലഭിക്കുന്നു.
  • MATH: ഞങ്ങൾ Qwen3-0.6B-നെ MATH-ൽ ട്രെയിൻ ചെയ്യുന്നു. ഘട്ടം ഘട്ടമായി പ്രവർത്തിച്ചുകാണിച്ച റഫറൻസ് പരിഹാരങ്ങൾ അധ്യാപകന് ലഭിക്കുന്നു.
  • LCBv6: ഞങ്ങൾ Qwen3-8B-നെ LiveCodeBench-V6-ൽ നിന്നുള്ള 131 കോഡിംഗ് പ്രശ്നങ്ങളിൽ ട്രെയിൻ ചെയ്യുന്നു. ട്രെയിനിംഗിൽ ദൃശ്യമായ എല്ലാ ടെസ്റ്റുകളും പാസായ, മോഡൽ സൃഷ്ടിച്ച ഒരു പരിഹാരം അധ്യാപകന് ലഭിക്കുന്നു; ഒരു ശ്രമവും അവ പാസാകാത്തപ്പോൾ എക്സിക്യൂഷൻ ഫീഡ്‌ബാക്ക് ലഭിക്കുന്നു.
  • AppWorld: ഞങ്ങൾ Qwen3-4B-Instruct-നെ AppWorld-ൽ ട്രെയിൻ ചെയ്യുന്നു. മുൻ ശ്രമങ്ങളുടെ സംഗ്രഹങ്ങൾ അധ്യാപകന് ലഭിക്കുന്നു.
  • Terminal-Bench: ഞങ്ങൾ Qwen3-30B-A3B-Instruct-നെ ടെർമിനൽ ഏജന്റുകൾക്കായുള്ള ട്രെയിനിംഗ് ടാസ്കുകളുടെ ഒരു ശേഖരമായ TMax-ൽ ട്രെയിൻ ചെയ്യുകയും Terminal-Bench 2.1-ൽ വിലയിരുത്തുകയും ചെയ്യുന്നു. സ്വകാര്യ വെരിഫയർ വിവരങ്ങൾ അധ്യാപകന് ലഭിക്കുന്നു.

ഓരോ രീതിക്കും ഹൈപ്പർപാരാമീറ്ററുകൾ ട്യൂൺ ചെയ്ത്, ഞങ്ങൾ GRPO, OPSD, π-Distill എന്നിവയുമായി താരതമ്യം ചെയ്യുന്നു. JOLT-നെപ്പോലെ, π-Distill-ഉം ഒരു പങ്കിട്ട മോഡലിനുള്ളിൽ പ്രിവിലേജ്ഡ് അധ്യാപക, വിദ്യാർത്ഥി റോളുകളെ സംയുക്തമായി ട്രെയിൻ ചെയ്യുന്നു; എന്നാൽ, അത് വ്യത്യസ്തമായ ഒരു അധ്യാപക ടാർഗെറ്റ് ഉപയോഗിക്കുന്നു, അതിന്റെ വിദ്യാർത്ഥി അപ്ഡേറ്റ് ഓഫ്-പോളിസിയായി തുടരുന്നു: വിദ്യാർത്ഥിയുടെ സ്വന്തം ജനറേഷനുകൾക്കു പകരം അധ്യാപകൻ സൃഷ്ടിച്ച ട്രാജക്ടറികളെയാണ് അത് ആശ്രയിക്കുന്നത്.

കൃത്യത

ഞങ്ങൾ വിലയിരുത്തുന്ന എല്ലാ സജ്ജീകരണങ്ങളിലും ഏറ്റവും ഉയർന്ന ശരാശരി സ്കോർ JOLT+-നാണ്. പരീക്ഷിച്ചതിൽ ഏറ്റവും ശക്തമായ ബേസ്‌ലൈനായ GRPO-യുമായി താരതമ്യം ചെയ്യുമ്പോൾ, ഇത് GSM8K കൃത്യത 1.5 ശതമാനം പോയിന്റും (pp), MATH കൃത്യത 4.2pp-യും, LCBv6 കൃത്യത 3.0pp-യും, AppWorld സ്റ്റേറ്റ്-ടെസ്റ്റ് പാസ് നിരക്ക് 9.9pp-യും മെച്ചപ്പെടുത്തുന്നു.

നാല് ബെഞ്ച്മാർക്കുകളിലും ഏറ്റവും ഉയർന്ന ശരാശരി സ്കോർ JOLT+-നാണ്.

നേരിട്ടുള്ള വിദ്യാർത്ഥി റിവാർഡ് ഒന്നുമില്ലാതെതന്നെ, GSM8K, MATH, LCBv6 എന്നിവയിൽ JOLT-ന്റെ ശരാശരി കൃത്യത GRPO-യുടേതിനെക്കാൾ കൂടുതലാണ്. എന്നാൽ, AppWorld-ൽ അത് GRPO-യ്ക്കും π-Distill-നും താഴെയാണ്.

ഏറ്റവും ദൈർഘ്യമേറിയ ഹൊറൈസൺ ഉള്ള സജ്ജീകരണം Terminal-Bench 2.1 ആണ്. റിപ്പോർട്ട് ചെയ്ത എല്ലാ k-യിലും, pass@1-ലെ 10.96% മുതൽ pass@32-ലെ 34.83% വരെ, ഏറ്റവും ഉയർന്ന pass@k JOLT+-നാണ്. എല്ലാ k-യിലും JOLT ബേസ് മോഡലിനെയും രണ്ട് ഡിസ്റ്റിലേഷൻ ബേസ്‌ലൈനുകളെയും മറികടക്കുന്നു, എന്നാൽ GRPO-യ്ക്ക് താഴെയാണ്. എല്ലാ k-യിലും OPSD-യുടെ സ്കോർ ബേസ് മോഡലിനെക്കാൾ താഴെയാണ്.

എല്ലാ ശ്രമ ബജറ്റുകളിലും Terminal-Bench-ൽ JOLT+ മുന്നിലാണ്.

ടോക്കൺ കാര്യക്ഷമതയും സ്കെയിലിംഗും

ട്രെയിനിംഗ് ബജറ്റിനനുസരിച്ച് പ്രകടനം എങ്ങനെ സ്കെയിൽ ചെയ്യുന്നു എന്നതും ഞങ്ങൾ പരിശോധിക്കുന്നു. MATH-ൽ വിവിധ ട്രെയിനിംഗ് ടോക്കൺ ബജറ്റുകളിൽ GRPO, OPSD, JOLT എന്നിവ വിലയിരുത്തി, ലഭിക്കുന്ന വിദ്യാർത്ഥി കൃത്യത ഞങ്ങൾ താരതമ്യം ചെയ്യുന്നു.

ഓരോ രീതിക്കും ട്രെയിനിംഗ് ടോക്കൺ ചെലവിനനുസരിച്ച് കൃത്യത എങ്ങനെ സ്കെയിൽ ചെയ്യുന്നു എന്ന് ചിത്രം കാണിക്കുന്നു. പ്രോസസ് ചെയ്ത ട്രെയിനിംഗ് ടോക്കണുകളിലാണ് ഞങ്ങൾ ചെലവ് അളക്കുന്നത്. പാഡിംഗ് ഇല്ലാത്ത ഓരോ പ്രോംപ്റ്റും, പ്രിവിലേജ്ഡ് കോണ്ടെക്സ്റ്റും, ഒപ്റ്റിമൈസേഷൻ പാസും, അധ്യാപകനും വിദ്യാർത്ഥിക്കും ഇടയിലുള്ള ക്രോസ്-സ്കോറിംഗും ഇതിൽ ഉൾപ്പെടുന്നു.

GRPO-യുടെ കൃത്യതയിലെത്താൻ JOLT-ന് കുറഞ്ഞ ടോക്കണുകൾ മതി.

വിവിധ ചെക്ക്‌പോയിന്റുകളിലെ പ്രോസസ് ചെയ്ത ട്രെയിനിംഗ് ടോക്കണുകളുടെ എണ്ണവും കൃത്യതയും പോയിന്റുകൾ കാണിക്കുന്നു; വിസ്കറുകൾ റണ്ണുകളിലുടനീളമുള്ള ±1 സ്റ്റാൻഡേർഡ് ഡീവിയേഷനെ പ്രതിനിധീകരിക്കുന്നു. RL കമ്പ്യൂട്ട് സ്കെയിൽ ചെയ്യുന്നതിനെക്കുറിച്ചുള്ള മുൻ പഠനങ്ങളെ പിന്തുടർന്ന്, കൃത്യതയും ലോഗ് ട്രെയിനിംഗ് ടോക്കൺ ബജറ്റും തമ്മിൽ ഞങ്ങൾ ഒരു സിഗ്മോയ്ഡൽ ബന്ധം ഫിറ്റ് ചെയ്യുന്നു.

മൂന്ന് രീതികളിലും വെച്ച് ഏറ്റവും ഉയർന്ന കൃത്യത കൈവരിക്കുന്നതിനൊപ്പം JOLT തുടക്കത്തിൽത്തന്നെ സാമ്പിൾ കാര്യക്ഷമത പ്രകടിപ്പിക്കുന്നു; ഏകദേശം 72%-ൽ അത് സ്ഥിരത കൈവരിക്കുന്നു. ചെറിയ ബജറ്റുകളിൽ OPSD വേഗത്തിൽ മെച്ചപ്പെടുന്നു, എന്നാൽ ഏകദേശം 62% കൃത്യതയിൽ അത് നിശ്ചലമാകുന്നു. GRPO തുടക്കത്തിൽ സാവധാനം പഠിക്കുന്നു, പക്ഷേ കൂടുതൽ കാലം മെച്ചപ്പെട്ടുകൊണ്ടിരിക്കുകയും ഏകദേശം 70% വരെ ഉയരുകയും ചെയ്യുന്നു. 63.44% എന്ന തുല്യ കൃത്യതയിൽ, GRPO-യുടെ നിരീക്ഷിച്ച ചെക്ക്‌പോയിന്റ് 8.40 ദശലക്ഷം ടോക്കണുകൾ ഉപയോഗിക്കുമ്പോൾ, JOLT-ന്റെ ഫിറ്റ് ചെയ്ത കർവ് 1.30 ദശലക്ഷം ടോക്കണുകളാണ് കാണിക്കുന്നത്, അതായത് 6.5× കുറവ് ടോക്കണുകൾ.

കംപ്ലീഷൻ ടോക്കണുകൾ ഉപയോഗിച്ചും ഞങ്ങൾ ചെലവ് അളക്കുന്നു. GRPO, OPSD എന്നിവയ്ക്ക് വിദ്യാർത്ഥി കംപ്ലീഷനുകളും JOLT-ന് അധ്യാപക, വിദ്യാർത്ഥി കംപ്ലീഷനുകൾ രണ്ടും ഇവ കണക്കാക്കുന്നു; എന്നാൽ പ്രോംപ്റ്റുകൾ, പ്രിവിലേജ്ഡ് കോണ്ടെക്സ്റ്റ്, അധിക ഒപ്റ്റിമൈസേഷൻ പാസുകൾ എന്നിവ ഒഴിവാക്കുന്നു. പ്രോസസ് ചെയ്ത ട്രെയിനിംഗ് ടോക്കണുകൾക്കു പകരം കംപ്ലീഷൻ ടോക്കണുകളെ അടിസ്ഥാനമാക്കി താരതമ്യം ചെയ്യുമ്പോൾ, അതേ കൃത്യതാ നിലവാരത്തിൽ കാര്യക്ഷമതയിലെ വിടവ് ഏകദേശം 13× ആയി വർധിക്കുന്നു. വിവിധ ടാർഗെറ്റ് കൃത്യതകളിലുടനീളം, JOLT 9.5–14.4× കുറവ് കംപ്ലീഷൻ ടോക്കണുകളും 4.3–7.4× കുറവ് പ്രോസസ് ചെയ്ത ട്രെയിനിംഗ് ടോക്കണുകളും ഉപയോഗിക്കുന്നു.

55% മുതൽ 65% വരെ കൃത്യതയിൽ JOLT-ന്റെ ടോക്കൺ മേൽക്കൈ നിലനിൽക്കുന്നു.

ഉപസംഹാരം

പ്രിവിലേജ്ഡ് വിവരങ്ങൾ ഒരു അധ്യാപകനെ ടാസ്ക് പരിഹരിക്കുന്നതിൽ മികച്ചതാക്കിയേക്കാം; എന്നാൽ ആ വിവരങ്ങളില്ലാതെ അതേ ടാസ്ക് പരിഹരിക്കാൻ ഒരു വിദ്യാർത്ഥിയെ പഠിപ്പിക്കുന്നതിൽ അത് അധ്യാപകനെ മികച്ചതാക്കണമെന്നില്ല. വിദ്യാർത്ഥിയുടെ നിലവിലെ പെരുമാറ്റവുമായി ബന്ധപ്പെടുത്തി അധ്യാപകനെ ട്രെയിൻ ചെയ്തുകൊണ്ട് JOLT ഈ വ്യത്യാസം കൈകാര്യം ചെയ്യുന്നു.

ഈ സംയുക്ത ട്രെയിനിംഗ് കൃത്യതയും കാര്യക്ഷമതയും ഒരുപോലെ മെച്ചപ്പെടുത്തുന്നു. വിദ്യാർത്ഥി ഫല റിവാർഡുകൾ ഉപയോഗിച്ച്, JOLT+ GRPO-യെക്കാൾ GSM8K-യിൽ 1.5pp, MATH-ൽ 4.2pp, LCBv6-ൽ 3.0pp, AppWorld-ൽ 9.9pp, Terminal-Bench 2.1 pass@1-ൽ 2.7pp എന്നിങ്ങനെ കേവല നേട്ടങ്ങൾ കൈവരിക്കുന്നു. MATH-ൽ, തുല്യ കൃത്യതയിൽ, നേരിട്ടുള്ള വിദ്യാർത്ഥി റിവാർഡ് ഇല്ലാതെതന്നെ, JOLT GRPO-യെക്കാൾ 13× കുറവ് കംപ്ലീഷൻ ടോക്കണുകളും 6.5× കുറവ് പ്രോസസ് ചെയ്ത ട്രെയിനിംഗ് ടോക്കണുകളും ഉപയോഗിക്കുന്നു.

വിദ്യാർത്ഥിക്കൊപ്പം അധ്യാപകന്റെ മാർഗ്ഗനിർദ്ദേശവും വികസിക്കാൻ JOLT അനുവദിക്കുന്നു. ഉപയോഗപ്രദമായ ട്രെയിനിംഗ് ടാസ്കുകൾ സൃഷ്ടിക്കാനും അധ്യാപകന് പഠിക്കാനാകുമോ എന്ന് അന്വേഷിക്കാൻ ഇത് പ്രചോദനമാകുന്നു. ടാസ്കുകൾ സൃഷ്ടിക്കുന്ന ഒരു അധ്യാപകനെയും പ്രശ്നങ്ങൾ പരിഹരിക്കുന്ന ഒരു വിദ്യാർത്ഥിയെയും സംയുക്തമായി ട്രെയിൻ ചെയ്യുകയും, വിദ്യാർത്ഥിയുടെ പഠന പുരോഗതി ഉപയോഗിച്ച് ഒരു കരിക്കുലത്തിലെ ടാസ്കുകൾ മെച്ചപ്പെടുത്തുകയും ചെയ്യുക എന്നത് ഭാവി പ്രവർത്തനങ്ങൾക്കുള്ള രസകരമായ ഒരു ദിശയാണ്. വിദ്യാർത്ഥി അടുത്തതായി പഠിക്കാൻ തയ്യാറായിരിക്കുന്നതിനോട് പ്രതികരിക്കുന്ന തരത്തിൽ സിന്തറ്റിക് ടാസ്ക് ജനറേഷനെ മാറ്റാൻ ഇതിന് കഴിഞ്ഞേക്കും.

കൂടുതൽ വിവരങ്ങൾക്ക് ഞങ്ങളുടെ പൂർണ്ണ പ്രബന്ധം വായിക്കുക. ഞങ്ങൾ ഉടൻ തന്നെ കോഡ് ഓപ്പൺ സോഴ്‌സ് ആക്കും.

ഉദ്ധരണി

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}