మంచి ఉపాధ్యాయుడు విద్యార్థి ఉన్న స్థాయి నుంచే బోధిస్తాడు

సంక్లిష్ట రీజనింగ్, ఏజెంటిక్ టాస్క్‌లలో మోడల్ పనితీరును, శిక్షణ సామర్థ్యాన్ని మెరుగుపరచడానికి ఉపాధ్యాయుడికి, విద్యార్థికి కలిపి శిక్షణ ఇచ్చే కొత్త సెల్ఫ్-డిస్టిలేషన్ పద్ధతి.

రచయితలుPerplexity Research & NVIDIA

పరిచయం

సంక్లిష్ట రీజనింగ్, దీర్ఘకాలిక ఏజెంటిక్ టాస్క్‌లలో లాంగ్వేజ్ మోడల్‌ల సామర్థ్యాలను మెరుగుపరచడానికి, వాటి పోస్ట్-ట్రైనింగ్‌లో రీఇన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ (RL)ను విస్తృతంగా ఉపయోగిస్తారు.

సాధారణ సెటప్‌లో, మోడల్ ఒక టాస్క్‌ను పదే పదే ప్రయత్నిస్తుంది, ప్రతి ప్రయత్నానికి ఫలిత రివార్డ్‌ను పొందుతుంది, ఎక్కువ రివార్డ్ వచ్చిన ప్రయత్నాల్లో తీసుకున్న చర్యలకు ప్రాధాన్యం ఇవ్వడం నేర్చుకుంటుంది. అయితే, ఒకే ఫలిత రివార్డ్ విరళమైన (sparse) లెర్నింగ్ సిగ్నల్‌ను మాత్రమే అందిస్తుంది; ఏ మధ్యంతర చర్యలు ఫలితానికి సహాయపడ్డాయో లేదా హాని చేశాయో అది వేరు చేసి చూపదు. ఈ విరళత నమూనా సామర్థ్యాన్ని (sample efficiency) పరిమితం చేస్తుంది, ముఖ్యంగా ప్రయత్నాలు సుదీర్ఘంగా ఉండి, విజయాలు అరుదుగా ఉండే కష్టమైన ఏజెంటిక్ టాస్క్‌లలో.

ఈ విరళత సమస్యను పరిష్కరించడానికి ప్రాచుర్యం పొందిన ఒక విధానం ఆన్-పాలసీ డిస్టిలేషన్ (OPD). ఇది విద్యార్థి స్వంత ప్రయత్నాలకు టోకెన్ వారీగా మార్గదర్శనం ఇవ్వడానికి మరింత బలమైన ఉపాధ్యాయ మోడల్‌ను ఉపయోగిస్తుంది, తద్వారా చాలా దట్టమైన రివార్డ్‌లను అందిస్తుంది. అయితే, బోధించడం అనేదే ఒక ప్రత్యేక నైపుణ్యం. ఒక టాస్క్‌ను బాగా పరిష్కరించగల మోడల్ దానిని బాగా బోధించగలదని చెప్పలేము, ఎందుకంటే దాని ఫీడ్‌బ్యాక్ విద్యార్థి ప్రస్తుత సామర్థ్యాలకు మించి ఉండవచ్చు. అందుకే, ఉపాధ్యాయుడిని అనుకరించేలా విద్యార్థికి శిక్షణ ఇవ్వడమే కాకుండా, విద్యార్థికి మరింత అనుగుణమైన మార్గదర్శనం ఇచ్చేలా ఉపాధ్యాయుడికి కూడా శిక్షణ ఇవ్వాల్సిన అవసరం ఏర్పడుతుంది.

మేము అలాంటి ఒక పద్ధతిని ప్రతిపాదిస్తున్నాము: జాయింట్ ఆన్-పాలసీ లెర్నింగ్ అండ్ టీచింగ్ (JOLT). ఆన్-పాలసీ సెల్ఫ్-డిస్టిలేషన్ (OPSD) ఆధారంగా, మేము ఒకే మోడల్‌ను రెండు పాత్రల్లో ఉపయోగిస్తాము: ధృవీకరించిన పరిష్కారాల వంటి ప్రత్యేకాధికార సమాచారం అందుబాటులో ఉండే ఉపాధ్యాయుడు, అలాంటి సమాచారం అందుబాటులో లేని విద్యార్థి. ఈ రెండు పాత్రలకు మేము కలిపి శిక్షణ ఇస్తాము. విద్యార్థి ప్రామాణిక డిస్టిలేషన్ ఆబ్జెక్టివ్‌ను అనుసరిస్తుంది. విద్యార్థి స్వంత రివార్డ్‌పై RL విద్యార్థిని ఏ దిశలో కదిలిస్తుందో, అదే దిశలో కదిలించేలా తన ఫీడ్‌బ్యాక్‌ను మలచుకోవాలని ఉపాధ్యాయ ఆబ్జెక్టివ్ ఒత్తిడి చేస్తుంది. ఈ ఆబ్జెక్టివ్‌లు కలిసి, విద్యార్థి ఉన్న స్థాయి నుంచే బోధించేలా ఉపాధ్యాయుడికి శిక్షణ ఇస్తాయి, తనకు అందుబాటులో ఉన్న మార్గదర్శనం నుంచి విద్యార్థి నేర్చుకునేలా సహాయపడతాయి.

గణిత రీజనింగ్, కోడింగ్, ఏజెంటిక్ టాస్క్‌ల శ్రేణిలో మోడల్ పనితీరు, శిక్షణ సామర్థ్యం రెండింటిలోనూ మెరుగుదలలను మా ప్రయోగాలు చూపిస్తున్నాయి.

విరళ రివార్డ్‌ల నుంచి దట్టమైన ఫీడ్‌బ్యాక్ వరకు

అత్యంత ప్రాథమిక రూపంలో, ఫలిత-రివార్డ్ RL అంచనా రిటర్న్ (expected return) ఆబ్జెక్టివ్‌ను ఉపయోగిస్తుంది:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

ఇక్కడ, τ\tau అనేది πθ\pi_\theta పాలసీని అనుసరించే ట్రాజెక్టరీ, R(τ)R(\tau) అనేది ఆ ట్రాజెక్టరీ రిటర్న్. సంబంధిత పాలసీ గ్రేడియంట్:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

ఇక్కడ sts_t, ata_t వరుసగా టైమ్‌స్టెప్ tt వద్ద స్థితి (state), చర్య (action)లను సూచిస్తాయి. నమూనా ఆధారిత అంచనాల వేరియన్స్‌ను తగ్గించడానికి, గ్రేడియంట్‌ను తరచుగా ఇలా వ్యక్తీకరిస్తారు:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

ఇక్కడ అడ్వాంటేజ్ Aπθ(st,at)A^{\pi_\theta}(s_t, a_t), చర్య ata_t స్థితి sts_t వద్ద ప్రస్తుత పాలసీతో పోలిస్తే ఇచ్చే అంచనా అదనపు రిటర్న్‌ను కొలుస్తుంది. ఒక విధానమైన గ్రూప్ రిలేటివ్ పాలసీ ఆప్టిమైజేషన్ (GRPO), ప్రతి ట్రాజెక్టరీ రిటర్న్‌ను అదే ప్రాంప్ట్ కోసం నమూనా చేసిన సమూహపు సగటు రిటర్న్‌తో పోల్చడం ద్వారా అడ్వాంటేజ్‌ను అంచనా వేస్తుంది.

అయితే, ఈ సర్దుబాట్లు చేసినప్పటికీ, ఫలిత-రివార్డ్ రీఇన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ విరళ పర్యవేక్షణ సమస్యను ఎదుర్కొంటుంది, ముఖ్యంగా కష్టమైన, దీర్ఘకాలిక టాస్క్‌లలో. పెరుగుతున్న పరిశోధనా రచనలు అదనపు సమాచార వనరులను ఉపయోగించి మరింత దట్టమైన లెర్నింగ్ సిగ్నల్‌ను అందించడం ద్వారా ఈ సమస్యను పరిష్కరిస్తున్నాయి.

ఆన్-పాలసీ డిస్టిలేషన్ (OPD) అలాంటి ఒక విధానం. కేవలం తుది రివార్డ్ నుంచి మాత్రమే నేర్చుకునే బదులు, OPD విద్యార్థి నుంచి ట్రాజెక్టరీలను నమూనా చేసి, నమూనా చేసిన ప్రతి చర్యను మరింత బలమైన ఉపాధ్యాయుడి కింద మూల్యాంకనం చేస్తుంది. ఉపాధ్యాయ పాలసీ πT\pi_T, ట్రాజెక్టరీలను రూపొందించడానికి ఉపయోగించిన విద్యార్థి పారామితుల స్థిర స్నాప్‌షాట్ θˉ\bar{\theta} కోసం, θ=θˉ\theta = \bar{\theta} వద్ద మూల్యాంకనం చేసిన లోకల్ గ్రేడియంట్:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

ఇక్కడ, JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) అనేది నెగటివ్ రివర్స్-KL డిస్టిలేషన్ ఆబ్జెక్టివ్. డిఫరెన్షియేషన్ సమయంలో ఉపాధ్యాయ పాలసీ, నమూనా చేసిన ప్రిఫిక్స్‌లను స్థిరంగా ఉంచుతారు. ఉపాధ్యాయ-విద్యార్థి లాగ్-ప్రాబబిలిటీ నిష్పత్తి సందర్శించిన ప్రతి స్థితిలో దట్టమైన లెర్నింగ్ సిగ్నల్‌ను అందిస్తుంది, చర్య-స్థాయి వెయిట్‌గా అడ్వాంటేజ్ స్థానాన్ని భర్తీ చేస్తుంది.

ఆన్-పాలసీ సెల్ఫ్-డిస్టిలేషన్ (OPSD) వేరే ఉపాధ్యాయ మోడల్ అవసరాన్ని కూడా తొలగిస్తుంది. ధృవీకరించిన పరిష్కారం, ఫీడ్‌బ్యాక్ లేదా రిఫరెన్స్ ట్రేస్ వంటి ప్రత్యేకాధికార సమాచారం ఇచ్చినప్పుడు, విద్యార్థి పాలసీయే తనకు ఉపాధ్యాయుడిగా పనిచేస్తుంది. అయితే, OPSD ఉపాధ్యాయుడిని అనుకరించేలా విద్యార్థికి మాత్రమే శిక్షణ ఇస్తుంది; ఉపాధ్యాయుడు విద్యార్థికి ఉపయోగకరమైన సిగ్నల్‌ను అందించేలా చూసే యంత్రాంగం ఏదీ లేదు.

ఉమ్మడి ఆన్-పాలసీ అభ్యాసం, బోధన

JOLT ఒక ఉమ్మడి మోడల్‌కు రెండు పాత్రల్లో శిక్షణ ఇవ్వడం ద్వారా OPSDని విస్తరిస్తుంది: మరింత అనుగుణమైన మార్గదర్శనం ఇచ్చే ఉపాధ్యాయుడిగా, ఆ మార్గదర్శనం నుంచి నేర్చుకునే విద్యార్థిగా. ఎక్కువ సమాచారం ఉన్న ఉపాధ్యాయుడు విద్యార్థి వైపు KL రెగ్యులరైజేషన్‌తో ఫలిత రివార్డ్‌ల నుంచి నేర్చుకుంటాడు, అయితే ప్రత్యేకాధికార సమాచారం లేని విద్యార్థి ఉపాధ్యాయుడి దట్టమైన డిస్టిలేషన్ సిగ్నల్ నుంచి నేర్చుకుంటుంది. ఉపాధ్యాయ అప్‌డేట్ ఉపాధ్యాయుడు రూపొందించిన ప్రయత్నాలను ఉపయోగిస్తుంది, విద్యార్థి అప్‌డేట్ మాత్రం విద్యార్థి రూపొందించి ఉపాధ్యాయుడు స్కోర్ చేసిన ప్రయత్నాలను ఉపయోగిస్తుంది. JOLT+ విద్యార్థి డిస్టిలేషన్ సిగ్నల్‌కు ఫలిత రివార్డ్‌లను అదనంగా జోడిస్తుంది.

ఒకే పాలసీ ఉపాధ్యాయుడిగా, విద్యార్థిగా రెండు విధాలా నేర్చుకుంటుంది.

ఉపాధ్యాయుడికి శిక్షణ

ఉపాధ్యాయుడు ఏమి చేయాలో నిర్వచించడం

ఉపాధ్యాయుడి పనితీరు మెరుగుపడినంత మాత్రాన విద్యార్థికి ఉపయోగకరమైన అప్‌డేట్‌లు లభిస్తాయని చెప్పలేము. ఉపాధ్యాయుడు ప్రత్యేకాధికార సమాచారాన్ని ఉపయోగించి విద్యార్థికి అందుబాటులో లేని షార్ట్‌కట్‌లను వాడుకోవచ్చు, విద్యార్థి కింద సంభవించే అవకాశం తక్కువగా ఉన్న ట్రాజెక్టరీలకు అధిక సంభావ్యతను కేటాయించవచ్చు, లేదా విద్యార్థి రూపొందించిన ప్రిఫిక్స్‌లలో పొరపాట్లు జరిగిన తర్వాత నమ్మదగని మార్గదర్శనం ఇవ్వవచ్చు. కాబట్టి, ఉపాధ్యాయుడి నాణ్యతను అతనికి లభించే టాస్క్ రివార్డ్ ఆధారంగా కాకుండా, అతను విద్యార్థికి అందించే లెర్నింగ్ సిగ్నల్ ఆధారంగా నిర్ణయించాలి.

ఒక ఉపాధ్యాయుడు విద్యార్థిలో ప్రేరేపించే డిస్టిలేషన్ అప్‌డేట్, ధనాత్మక స్కేలింగ్ మేరకు, విద్యార్థి అంచనా టాస్క్ రివార్డ్ యొక్క పాలసీ గ్రేడియంట్‌తో సరిపోలితే, ఆ ఉపాధ్యాయుడిని రివార్డ్-స్థిరమైన ఉపాధ్యాయుడిగా పిలుస్తాము. ప్రత్యేకంగా చెప్పాలంటే, రివార్డ్-స్థిరమైన ఉపాధ్యాయుడు πT⋆\pi_T^\star కింది షరతును తీర్చాలి:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

ఇక్కడ βT\beta_T ఒక ధనాత్మక స్కేలార్. మునుపటి విభాగంలో లాగానే, gOPDg_{\mathrm{OPD}} అనేది OPD లోకల్ గ్రేడియంట్, θˉ\bar\theta అనేది విద్యార్థి మోడల్ పారామితులు θ\theta యొక్క స్థిర స్నాప్‌షాట్, gRLg_{\mathrm{RL}} అనేది అంచనా రిటర్న్ ఆబ్జెక్టివ్ యొక్క పాలసీ గ్రేడియంట్.

ఈ షరతును తీర్చే ఒక ఉపాధ్యాయుడు:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

ఇక్కడ, Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) విద్యార్థి కంటిన్యుయేషన్ అడ్వాంటేజ్‌లను సూచిస్తాయి, Z(s)Z(s) అనేది సరైన సంభావ్యతా విభాజనాన్ని నిర్ధారించే నార్మలైజింగ్ స్థిరాంకం.

ఆదర్శ లక్ష్యం నుంచి ఉపాధ్యాయ ఆబ్జెక్టివ్ వరకు

ఆదర్శ లక్ష్యం πT⋆\pi_T^\starకు ఉపాధ్యాయుడి KL డైవర్జెన్స్‌ను కనిష్ఠీకరించడం ద్వారా, ఆ లక్ష్యం వైపు ఉపాధ్యాయుడికి శిక్షణ ఇవ్వవచ్చు. స్థిర విద్యార్థి, స్థితి ss కోసం, ఇది ఇలా వస్తుంది:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

πT⋆\pi_T^\star కోసం సమీకరణాన్ని ప్రతిక్షేపిస్తే, సమానమైన గరిష్ఠీకరణ సమస్య వస్తుంది:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

ఈ ఆబ్జెక్టివ్, విద్యార్థి చర్యల విభాజనానికి దగ్గరగా ఉంటూనే అధిక విద్యార్థి అడ్వాంటేజ్ ఉన్న చర్యలను ఎంచుకునేలా ఉపాధ్యాయుడిని ప్రోత్సహిస్తుంది. పారామితి βT\beta_T ఈ పెనాల్టీ బలాన్ని నియంత్రిస్తుంది: పెద్ద విలువలు ఉపాధ్యాయుడిని విద్యార్థి ప్రస్తుత ప్రవర్తనకు దగ్గరగా ఉంచుతాయి, చిన్న విలువలు అధిక-అడ్వాంటేజ్ చర్యలకు మరింత దూకుడుగా ప్రాధాన్యం ఇవ్వడానికి అనుమతిస్తాయి.

ఆచరణాత్మక ప్రత్యామ్నాయ ఆబ్జెక్టివ్

ఈ ఆబ్జెక్టివ్, ప్రతి చర్య తర్వాత విద్యార్థి ఎంత బాగా కొనసాగుతుందనే దానిపై ఆధారపడి ఉంటుంది, కానీ ఆ విద్యార్థి కంటిన్యుయేషన్ అడ్వాంటేజ్‌లు సాధారణంగా అందుబాటులో ఉండవు. అందుకే, మేము ఉపాధ్యాయుడి స్వంత ట్రాజెక్టరీల నుంచి కేంద్రీకృత రిటర్న్‌లను ఆచరణాత్మక ప్రత్యామ్నాయంగా ఉపయోగిస్తాము. రివార్డ్ పదం టాస్క్‌ను పరిష్కరించేలా ఉపాధ్యాయుడిని ప్రోత్సహిస్తుంది, KL పదం విద్యార్థి ప్రస్తుత చర్యల విభాజనం నుంచి దూరంగా వెళ్లకుండా నిరోధిస్తుంది. KL పదం ఉపాధ్యాయుడిని విద్యార్థికి దగ్గరగా ఉంచినప్పటికీ, ఈ ప్రతిక్షేపణ ఖచ్చితమైనది కాదు, ఎందుకంటే ఉపాధ్యాయుడి రిటర్న్‌లు విద్యార్థి కంటిన్యుయేషన్ అడ్వాంటేజ్‌లతో సరిపోలాల్సిన అవసరం లేదు.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

ఇక్కడ, A^T(τ)\widehat{A}_T(\tau) అనేది ఉపాధ్యాయ ప్రయత్నపు రిటర్న్ నుంచి, దాని సమూహంలో ఉపాధ్యాయుడు రూపొందించిన ప్రయత్నాల సగటు రిటర్న్‌ను తీసివేయగా వచ్చే విలువ. ఆపరేటర్ sg⁡\operatorname{sg} స్టాప్-గ్రేడియంట్‌ను సూచిస్తుంది: నమూనా చేసిన ప్రిఫిక్స్‌లు, విద్యార్థి రిఫరెన్స్ లాగానే, దాని ఆర్గ్యుమెంట్‌ను కూడా డిఫరెన్షియేషన్ సమయంలో స్థిరంగా పరిగణిస్తారు.

విద్యార్థికి శిక్షణ

విద్యార్థి అప్‌డేట్ ఒక ప్రామాణిక OPSD అప్‌డేట్. విద్యార్థి టాస్క్ నుంచి ట్రాజెక్టరీలను రూపొందిస్తుంది. ఆ తర్వాత అదే మోడల్, కాంటెక్స్ట్‌లో ప్రత్యేకాధికార సమాచారంతో, నమూనా చేసిన ప్రతి టోకెన్‌కు స్కోర్ ఇస్తుంది. విద్యార్థి సందర్శించే ప్రతి స్థితిలో, విద్యార్థికి, ఈ ప్రత్యేకాధికార ఉపాధ్యాయుడికి మధ్య ఉన్న రివర్స్ KL డైవర్జెన్స్‌ను విద్యార్థి ఆబ్జెక్టివ్ పెనలైజ్ చేస్తుంది:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

కాబట్టి, ఉపాధ్యాయుడు ప్రాధాన్యం ఇచ్చే టోకెన్‌లు బలపడతాయి, విద్యార్థి కంటే ఉపాధ్యాయుడు తక్కువ సంభావ్యమైనవిగా భావించే టోకెన్‌లు అణచివేయబడతాయి.

అన్నింటినీ కలిపి చూస్తే

ఉపాధ్యాయ, విద్యార్థి ఆబ్జెక్టివ్‌లను కలిపితే ఉమ్మడి శిక్షణ ఆబ్జెక్టివ్ వస్తుంది:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S అనేది కలిపిన అప్‌డేట్‌లో విద్యార్థి డిస్టిలేషన్ లాస్‌కు ఎంత ప్రాముఖ్యం ఉండాలో నిర్ణయించే స్కేలార్.

రివార్డ్-స్థిరత్వ ఫలితం, ఇచ్చిన ఉపాధ్యాయుడికి సంబంధించి విద్యార్థి డిస్టిలేషన్ అప్‌డేట్ స్వభావాన్ని వివరిస్తుంది. JOLT ఈ సూత్రాన్ని ఉమ్మడి శిక్షణకు మార్గదర్శకంగా ఉపయోగిస్తుంది; ఉపాధ్యాయ, విద్యార్థి ఆబ్జెక్టివ్‌లను కలిపి వాటి ఉమ్మడి పారామితులను అప్‌డేట్ చేస్తుంది.

JOLT+ విద్యార్థి స్వంత ఫలిత రివార్డ్‌ను కూడా దాని అప్‌డేట్‌కు జోడిస్తుంది. ప్రతి విద్యార్థి ట్రాజెక్టరీ యొక్క కేంద్రీకృత రిటర్న్ డిస్టిలేషన్ సిగ్నల్‌కు జోడించబడుతుంది; ఇది దట్టమైన ఉపాధ్యాయ పర్యవేక్షణను విద్యార్థి ట్రాజెక్టరీలపై ప్రత్యక్ష ఫలిత ఫీడ్‌బ్యాక్‌తో కలుపుతుంది. ఉపాధ్యాయ ఆబ్జెక్టివ్ మారదు, కాబట్టి మనం ఇలా రాయవచ్చు:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

ఇక్కడ, A^S(τ)\widehat{A}_S(\tau) అనేది విద్యార్థి ట్రాజెక్టరీ రిటర్న్ నుంచి, విద్యార్థి రూపొందించిన ట్రాజెక్టరీలతో కూడిన దాని సమూహపు సగటు రిటర్న్‌ను తీసివేయగా వచ్చే విలువ.

రెండు వేరియంట్‌లలోనూ, ప్రతి పాత్ర తన స్వంత కాంటెక్స్ట్ కింద రూపొందించిన ట్రాజెక్టరీల నుంచి నేర్చుకుంటుంది, రెండు పాత్రలూ ఉమ్మడి పాలసీని అప్‌డేట్ చేస్తాయి. ఒక శిక్షణ దశకు సంబంధించిన సూడోకోడ్ కింద చూపబడింది.

ఒక JOLT శిక్షణ దశకు సంబంధించిన సూడోకోడ్.

ప్రయోగాలు

వేర్వేరు బేస్ మోడల్‌లు, వేర్వేరు రకాల ప్రత్యేకాధికార సమాచారాన్ని ఉపయోగించి, గణిత రీజనింగ్, కోడ్ జనరేషన్, టూల్ వినియోగం, దీర్ఘకాలిక టెర్మినల్ టాస్క్‌లను కవర్ చేసే బెంచ్‌మార్క్‌లపై మేము JOLT, JOLT+లను మూల్యాంకనం చేస్తాము. ప్రత్యేకంగా, కింది బెంచ్‌మార్క్‌లు, బేస్ మోడల్‌లు, ప్రత్యేకాధికార సమాచార కాన్ఫిగరేషన్‌లతో మేము ప్రయోగాలు నిర్వహిస్తాము:

  • GSM8K: మేము DeepSeek-V2-Liteకు, ప్రాథమిక పాఠశాల గణిత సమస్యల డేటాసెట్ అయిన GSM8Kపై శిక్షణ ఇస్తాము. ఉపాధ్యాయుడికి ప్రతి సమస్యకు ధృవీకరించిన సమాధానం అందుతుంది.
  • MATH: మేము Qwen3-0.6Bకు MATHపై శిక్షణ ఇస్తాము. ఉపాధ్యాయుడికి దశలవారీగా సాధించిన రిఫరెన్స్ పరిష్కారాలు అందుతాయి.
  • LCBv6: మేము Qwen3-8Bకు LiveCodeBench-V6 నుంచి తీసుకున్న 131 కోడింగ్ సమస్యలపై శిక్షణ ఇస్తాము. శిక్షణలో కనిపించే అన్ని టెస్ట్‌లలో ఉత్తీర్ణమైన, మోడల్ రూపొందించిన పరిష్కారం ఉపాధ్యాయుడికి అందుతుంది; ఏ ప్రయత్నమూ వాటిలో ఉత్తీర్ణం కానప్పుడు ఎగ్జిక్యూషన్ ఫీడ్‌బ్యాక్ అందుతుంది.
  • AppWorld: మేము Qwen3-4B-Instructకు AppWorldపై శిక్షణ ఇస్తాము. ఉపాధ్యాయుడికి మునుపటి ప్రయత్నాల సారాంశాలు అందుతాయి.
  • Terminal-Bench: మేము Qwen3-30B-A3B-Instructకు, టెర్మినల్ ఏజెంట్‌ల కోసం రూపొందించిన శిక్షణ టాస్క్‌ల సమితి అయిన TMaxపై శిక్షణ ఇచ్చి, Terminal-Bench 2.1పై మూల్యాంకనం చేస్తాము. ఉపాధ్యాయుడికి ప్రైవేట్ వెరిఫైయర్ సమాచారం అందుతుంది.

మేము ప్రతి పద్ధతికీ హైపర్‌పారామితులను ట్యూన్ చేసి, GRPO, OPSD, π-Distillలతో పోల్చి చూస్తాము. JOLT లాగానే, π-Distill కూడా ఒక ఉమ్మడి మోడల్‌లో ప్రత్యేకాధికార ఉపాధ్యాయ, విద్యార్థి పాత్రలకు కలిపి శిక్షణ ఇస్తుంది; అయితే, అది వేరే ఉపాధ్యాయ లక్ష్యాన్ని ఉపయోగిస్తుంది, దాని విద్యార్థి అప్‌డేట్ ఆఫ్-పాలసీగానే ఉంటుంది, విద్యార్థి స్వంత జనరేషన్‌లపై కాకుండా ఉపాధ్యాయుడు రూపొందించిన ట్రాజెక్టరీలపై ఆధారపడుతుంది.

ఖచ్చితత్వం

మేము మూల్యాంకనం చేసిన ప్రతి సెట్టింగ్‌లోనూ JOLT+కు అత్యధిక సగటు స్కోర్ ఉంది. పరీక్షించిన వాటిలో అత్యంత బలమైన బేస్‌లైన్ అయిన GRPOతో పోలిస్తే, ఇది GSM8K ఖచ్చితత్వాన్ని 1.5 శాతం పాయింట్లు (pp), MATH ఖచ్చితత్వాన్ని 4.2pp, LCBv6 ఖచ్చితత్వాన్ని 3.0pp, AppWorld స్టేట్-టెస్ట్ ఉత్తీర్ణత రేటును 9.9pp మెరుగుపరుస్తుంది.

నాలుగు బెంచ్‌మార్క్‌లన్నింటిలోనూ JOLT+కు అత్యధిక సగటు స్కోర్ ఉంది.

ఎటువంటి ప్రత్యక్ష విద్యార్థి రివార్డ్ లేకుండానే, GSM8K, MATH, LCBv6లపై JOLT సగటు ఖచ్చితత్వం GRPO కంటే ఎక్కువగా ఉంది. అయితే, AppWorldలో ఇది GRPO, π-Distill రెండింటి కంటే తక్కువగానే ఉంది.

Terminal-Bench 2.1 అత్యంత దీర్ఘకాలిక సెట్టింగ్. నివేదించిన ప్రతి k వద్ద JOLT+కు అత్యధిక pass@k ఉంది: pass@1 వద్ద 10.96% నుంచి pass@32 వద్ద 34.83% వరకు. ప్రతి k వద్ద JOLT బేస్ మోడల్, రెండు డిస్టిలేషన్ బేస్‌లైన్‌ల కంటే మెరుగ్గా ఉంది, కానీ GRPO కంటే తక్కువగా ఉంది. ప్రతి k వద్ద OPSD బేస్ మోడల్ కంటే తక్కువ స్కోర్ చేస్తుంది.

ప్రతి ప్రయత్న బడ్జెట్ వద్ద Terminal-Benchలో JOLT+ ముందంజలో ఉంది.

టోకెన్ సామర్థ్యం, స్కేలింగ్

శిక్షణ బడ్జెట్‌తో పనితీరు ఎలా స్కేల్ అవుతుందో తెలుసుకోవడంలో కూడా మాకు ఆసక్తి ఉంది. మేము MATHపై వేర్వేరు శిక్షణ టోకెన్ బడ్జెట్‌లలో GRPO, OPSD, JOLTలను మూల్యాంకనం చేసి, ఫలితంగా వచ్చే విద్యార్థి ఖచ్చితత్వాన్ని పోలుస్తాము.

ప్రతి పద్ధతికీ శిక్షణ టోకెన్ వ్యయంతో ఖచ్చితత్వం ఎలా స్కేల్ అవుతుందో ఈ చిత్రం చూపిస్తుంది. మేము ఖర్చును ప్రాసెస్ చేసిన శిక్షణ టోకెన్‌లలో కొలుస్తాము. ఇందులో ప్యాడింగ్ లేని ప్రతి ప్రాంప్ట్, ప్రత్యేకాధికార కాంటెక్స్ట్, ఆప్టిమైజేషన్ పాస్, ఉపాధ్యాయుడు-విద్యార్థి మధ్య క్రాస్-స్కోరింగ్ అన్నీ ఉంటాయి.

GRPO ఖచ్చితత్వాన్ని చేరుకోవడానికి JOLTకు తక్కువ టోకెన్‌లు సరిపోతాయి.

వివిధ చెక్‌పాయింట్‌ల వద్ద ప్రాసెస్ చేసిన శిక్షణ టోకెన్‌ల సంఖ్యను, ఖచ్చితత్వాన్ని బిందువులు చూపిస్తాయి; విస్కర్‌లు రన్‌ల అంతటా ±1 ప్రామాణిక విచలనాన్ని సూచిస్తాయి. RL కంప్యూట్‌ను స్కేల్ చేయడంపై జరిగిన మునుపటి పరిశోధనను అనుసరించి, మేము ఖచ్చితత్వం, లాగ్ శిక్షణ టోకెన్ బడ్జెట్ మధ్య సిగ్మాయిడల్ సంబంధాన్ని ఫిట్ చేస్తాము.

JOLT ప్రారంభంలోనే నమూనా సామర్థ్యాన్ని ప్రదర్శిస్తూ, మూడు పద్ధతుల్లో అత్యధిక ఖచ్చితత్వాన్ని సాధిస్తుంది, సుమారు 72% వద్ద స్థిరపడుతుంది. OPSD చిన్న బడ్జెట్‌ల వద్ద వేగంగా మెరుగుపడుతుంది, కానీ సుమారు 62% ఖచ్చితత్వం వద్ద నిలిచిపోతుంది. GRPO మొదట్లో నెమ్మదిగా నేర్చుకుంటుంది, కానీ ఎక్కువ కాలం మెరుగుపడుతూ సుమారు 70%కి చేరుకుంటుంది. 63.44% సమాన ఖచ్చితత్వం వద్ద, గమనించిన GRPO చెక్‌పాయింట్ 8.40 మిలియన్ టోకెన్‌లను ఉపయోగిస్తుంది, అయితే JOLT ఫిట్ చేసిన వక్రరేఖ ప్రకారం 1.30 మిలియన్ టోకెన్‌లు సరిపోతాయి, అంటే 6.5× తక్కువ టోకెన్‌లు.

మేము కంప్లీషన్ టోకెన్‌లను ఉపయోగించి కూడా ఖర్చును కొలుస్తాము. ఇవి GRPO, OPSDలకు విద్యార్థి కంప్లీషన్‌లను, JOLTకు ఉపాధ్యాయ, విద్యార్థి కంప్లీషన్‌లు రెండింటినీ లెక్కిస్తాయి, కానీ ప్రాంప్ట్‌లు, ప్రత్యేకాధికార కాంటెక్స్ట్, అదనపు ఆప్టిమైజేషన్ పాస్‌లను మినహాయిస్తాయి. ప్రాసెస్ చేసిన శిక్షణ టోకెన్‌లకు బదులుగా కంప్లీషన్ టోకెన్‌ల ఆధారంగా పోల్చినప్పుడు, అదే ఖచ్చితత్వ స్థాయి వద్ద సామర్థ్య అంతరం సుమారు 13×కి పెరుగుతుంది. లక్ష్య ఖచ్చితత్వాల శ్రేణిలో, JOLT 9.5–14.4× తక్కువ కంప్లీషన్ టోకెన్‌లను, 4.3–7.4× తక్కువ ప్రాసెస్ చేసిన శిక్షణ టోకెన్‌లను ఉపయోగిస్తుంది.

55% నుంచి 65% ఖచ్చితత్వం వరకు JOLT టోకెన్ ప్రయోజనం కొనసాగుతుంది.

ముగింపు

ప్రత్యేకాధికార సమాచారం ఒక టాస్క్‌ను పరిష్కరించడంలో ఉపాధ్యాయుడిని మెరుగుపరచవచ్చు, కానీ ఆ సమాచారం లేకుండా అదే టాస్క్‌ను పరిష్కరించడాన్ని విద్యార్థికి నేర్పించడంలో మాత్రం మెరుగుపరచకపోవచ్చు. విద్యార్థి ప్రస్తుత ప్రవర్తనకు సాపేక్షంగా ఉపాధ్యాయుడికి శిక్షణ ఇవ్వడం ద్వారా JOLT ఈ తేడాను పరిష్కరిస్తుంది.

ఈ ఉమ్మడి శిక్షణ ఖచ్చితత్వాన్ని, సామర్థ్యాన్ని రెండింటినీ మెరుగుపరుస్తుంది. విద్యార్థి ఫలిత రివార్డ్‌లతో, JOLT+ GRPO కంటే GSM8Kలో 1.5pp, MATHలో 4.2pp, LCBv6లో 3.0pp, AppWorldలో 9.9pp, Terminal-Bench 2.1 pass@1లో 2.7pp సంపూర్ణ లాభాలను సాధిస్తుంది. MATHలో, సమాన ఖచ్చితత్వం వద్ద, ప్రత్యక్ష విద్యార్థి రివార్డ్ లేకుండానే, JOLT GRPO కంటే 13× తక్కువ కంప్లీషన్ టోకెన్‌లను, 6.5× తక్కువ ప్రాసెస్ చేసిన శిక్షణ టోకెన్‌లను ఉపయోగిస్తుంది.

JOLT ఉపాధ్యాయ మార్గదర్శనం విద్యార్థితో పాటు అభివృద్ధి చెందడానికి వీలు కల్పిస్తుంది. దీంతో, ఉపయోగకరమైన శిక్షణ టాస్క్‌లను రూపొందించడం కూడా ఉపాధ్యాయుడు నేర్చుకోగలడా అనే ప్రశ్నను పరిశీలించాల్సిన అవసరం ఏర్పడుతుంది. టాస్క్‌లను రూపొందించే ఉపాధ్యాయుడికి, సమస్యలను పరిష్కరించే విద్యార్థికి కలిపి శిక్షణ ఇచ్చి, విద్యార్థి అభ్యాస పురోగతిని ఉపయోగించి ఒక కరిక్యులమ్‌లో రూపొందించిన టాస్క్‌లను మెరుగుపరచడం భవిష్యత్ పరిశోధనకు ఆసక్తికరమైన దిశ. దీని ద్వారా, విద్యార్థి తర్వాత ఏమి నేర్చుకోవడానికి సిద్ధంగా ఉందో దానికి అనుగుణంగా సింథటిక్ టాస్క్ జనరేషన్ స్పందించగలదు.

మరిన్ని వివరాల కోసం మా పూర్తి పరిశోధనా పత్రాన్ని చదవండి. మేము త్వరలోనే కోడ్‌ను ఓపెన్ సోర్స్‌గా విడుదల చేస్తాము.

ఉల్లేఖనం

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}