ಉತ್ತಮ ಶಿಕ್ಷಕರು ವಿದ್ಯಾರ್ಥಿ ಇರುವ ಮಟ್ಟದಿಂದಲೇ ಕಲಿಸುತ್ತಾರೆ

ಸಂಕೀರ್ಣ ರೀಜನಿಂಗ್ ಮತ್ತು ಏಜೆಂಟಿಕ್ ಕಾರ್ಯಗಳಲ್ಲಿ ಮಾದರಿಯ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ತರಬೇತಿ ದಕ್ಷತೆಯನ್ನು ಸುಧಾರಿಸಲು, ಶಿಕ್ಷಕ ಮತ್ತು ವಿದ್ಯಾರ್ಥಿಗೆ ಜಂಟಿಯಾಗಿ ತರಬೇತಿ ನೀಡುವ ಹೊಸ ಸೆಲ್ಫ್-ಡಿಸ್ಟಿಲೇಶನ್ ವಿಧಾನ.

ಲೇಖಕರುPerplexity Research & NVIDIA

ಪರಿಚಯ

ಸಂಕೀರ್ಣ ರೀಜನಿಂಗ್ ಮತ್ತು ದೀರ್ಘ-ಅವಧಿಯ ಏಜೆಂಟಿಕ್ ಕಾರ್ಯಗಳಲ್ಲಿ ಭಾಷಾ ಮಾದರಿಗಳ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಸುಧಾರಿಸಲು, ಅವುಗಳ ಪೋಸ್ಟ್-ಟ್ರೈನಿಂಗ್‌ನಲ್ಲಿ ರೀಇನ್‌ಫೋರ್ಸ್‌ಮೆಂಟ್ ಲರ್ನಿಂಗ್ (RL) ಅನ್ನು ವ್ಯಾಪಕವಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ.

ಸಾಮಾನ್ಯ ಸೆಟಪ್‌ನಲ್ಲಿ, ಮಾದರಿಯು ಒಂದು ಕಾರ್ಯವನ್ನು ಪದೇ ಪದೇ ಪ್ರಯತ್ನಿಸುತ್ತದೆ, ಪ್ರತಿ ಪ್ರಯತ್ನಕ್ಕೂ ಫಲಿತಾಂಶ ಪ್ರತಿಫಲವನ್ನು ಪಡೆಯುತ್ತದೆ ಮತ್ತು ಹೆಚ್ಚಿನ ಪ್ರತಿಫಲ ಪಡೆದ ಪ್ರಯತ್ನಗಳಲ್ಲಿ ಕೈಗೊಂಡ ಕ್ರಿಯೆಗಳಿಗೆ ಆದ್ಯತೆ ನೀಡಲು ಕಲಿಯುತ್ತದೆ. ಆದರೆ, ಒಂದೇ ಫಲಿತಾಂಶ ಪ್ರತಿಫಲವು ವಿರಳವಾದ ಕಲಿಕೆಯ ಸಂಕೇತವನ್ನು ಮಾತ್ರ ನೀಡುತ್ತದೆ; ಯಾವ ಮಧ್ಯಂತರ ಕ್ರಿಯೆಗಳು ಫಲಿತಾಂಶಕ್ಕೆ ನೆರವಾದವು ಅಥವಾ ಹಾನಿ ಮಾಡಿದವು ಎಂಬುದನ್ನು ಅದು ಪ್ರತ್ಯೇಕಿಸುವುದಿಲ್ಲ. ಈ ವಿರಳತೆಯು ಸ್ಯಾಂಪಲ್ ದಕ್ಷತೆಯನ್ನು ಮಿತಿಗೊಳಿಸುತ್ತದೆ, ವಿಶೇಷವಾಗಿ ಪ್ರಯತ್ನಗಳು ದೀರ್ಘವಾಗಿರುವ ಮತ್ತು ಯಶಸ್ಸು ಅಪರೂಪವಾಗಿರುವ ಕಠಿಣ ಏಜೆಂಟಿಕ್ ಕಾರ್ಯಗಳಲ್ಲಿ.

ಈ ವಿರಳತೆಯನ್ನು ನಿಭಾಯಿಸುವ ಒಂದು ಜನಪ್ರಿಯ ವಿಧಾನವೆಂದರೆ On-Policy Distillation (OPD). ಇದು ವಿದ್ಯಾರ್ಥಿಯ ಸ್ವಂತ ಪ್ರಯತ್ನಗಳಿಗೆ ಟೋಕನ್-ಬೈ-ಟೋಕನ್ ಮಾರ್ಗದರ್ಶನ ನೀಡಲು ಹೆಚ್ಚು ಸಮರ್ಥವಾದ ಶಿಕ್ಷಕ ಮಾದರಿಯನ್ನು ಬಳಸುತ್ತದೆ ಮತ್ತು ಹೀಗೆ ಹೆಚ್ಚು ಸಾಂದ್ರವಾದ ಪ್ರತಿಫಲಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ. ಆದರೆ, ಕಲಿಸುವುದೇ ಒಂದು ಕೌಶಲ್ಯ. ಒಂದು ಕಾರ್ಯವನ್ನು ಪರಿಹರಿಸುವುದರಲ್ಲಿ ನಿಪುಣವಾದ ಮಾದರಿಯು ಅದನ್ನು ಕಲಿಸುವುದರಲ್ಲೂ ನಿಪುಣವಾಗಿರಬೇಕೆಂದಿಲ್ಲ, ಏಕೆಂದರೆ ಅದರ ಪ್ರತಿಕ್ರಿಯೆಯು ವಿದ್ಯಾರ್ಥಿಯ ಪ್ರಸ್ತುತ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಮೀರಿರಬಹುದು. ಆದ್ದರಿಂದ, ಶಿಕ್ಷಕನನ್ನು ಅನುಕರಿಸುವಂತೆ ವಿದ್ಯಾರ್ಥಿಗೆ ತರಬೇತಿ ನೀಡುವುದರ ಜೊತೆಗೆ, ವಿದ್ಯಾರ್ಥಿಗೆ ಹೆಚ್ಚು ಹೊಂದಿಕೆಯಾಗುವ ಮಾರ್ಗದರ್ಶನ ನೀಡುವಂತೆ ಶಿಕ್ಷಕನಿಗೂ ತರಬೇತಿ ನೀಡುವ ಅಗತ್ಯವಿದೆ.

ಅಂತಹ ಒಂದು ವಿಧಾನವನ್ನು ನಾವು ಪ್ರಸ್ತಾಪಿಸುತ್ತೇವೆ: Joint On-policy Learning and Teaching (JOLT). On-Policy Self-Distillation (OPSD) ಅನ್ನು ಆಧರಿಸಿ, ನಾವು ಒಂದೇ ಮಾದರಿಯನ್ನು ಎರಡು ಪಾತ್ರಗಳಲ್ಲಿ ಬಳಸುತ್ತೇವೆ: ಪರಿಶೀಲಿತ ಪರಿಹಾರಗಳಂತಹ ವಿಶೇಷಾಧಿಕಾರದ ಮಾಹಿತಿಗೆ ಪ್ರವೇಶ ಹೊಂದಿರುವ ಶಿಕ್ಷಕ, ಮತ್ತು ಅಂತಹ ಪ್ರವೇಶವಿಲ್ಲದ ವಿದ್ಯಾರ್ಥಿ. ಈ ಎರಡೂ ಪಾತ್ರಗಳಿಗೆ ನಾವು ಜಂಟಿಯಾಗಿ ತರಬೇತಿ ನೀಡುತ್ತೇವೆ. ವಿದ್ಯಾರ್ಥಿಯು ಪ್ರಮಾಣಿತ ಡಿಸ್ಟಿಲೇಶನ್ ಆಬ್ಜೆಕ್ಟಿವ್ ಅನ್ನು ಅನುಸರಿಸುತ್ತದೆ. ವಿದ್ಯಾರ್ಥಿಯ ಸ್ವಂತ ಪ್ರತಿಫಲದ ಮೇಲಿನ RL ವಿದ್ಯಾರ್ಥಿಯನ್ನು ಯಾವ ದಿಕ್ಕಿನಲ್ಲಿ ಮುನ್ನಡೆಸುತ್ತದೆಯೋ, ಅದೇ ದಿಕ್ಕಿನಲ್ಲಿ ಮುನ್ನಡೆಸುವಂತೆ ಶಿಕ್ಷಕನ ಆಬ್ಜೆಕ್ಟಿವ್ ಅದರ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ರೂಪಿಸುತ್ತದೆ. ಒಟ್ಟಾಗಿ, ಈ ಆಬ್ಜೆಕ್ಟಿವ್‌ಗಳು ವಿದ್ಯಾರ್ಥಿ ಇರುವ ಮಟ್ಟಕ್ಕೆ ತಕ್ಕಂತೆ ಮಾರ್ಗದರ್ಶನ ನೀಡಲು ಶಿಕ್ಷಕನಿಗೆ ತರಬೇತಿ ನೀಡುತ್ತವೆ ಮತ್ತು ತನ್ನ ಸಾಮರ್ಥ್ಯದ ವ್ಯಾಪ್ತಿಯೊಳಗಿನ ಮಾರ್ಗದರ್ಶನದಿಂದ ಕಲಿಯಲು ವಿದ್ಯಾರ್ಥಿಗೆ ನೆರವಾಗುತ್ತವೆ.

ಗಣಿತೀಯ ರೀಜನಿಂಗ್, ಕೋಡಿಂಗ್ ಮತ್ತು ಏಜೆಂಟಿಕ್ ಕಾರ್ಯಗಳ ವ್ಯಾಪಕ ಶ್ರೇಣಿಯಲ್ಲಿ, ಮಾದರಿಯ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ತರಬೇತಿ ದಕ್ಷತೆ ಎರಡರಲ್ಲೂ ಸುಧಾರಣೆಗಳನ್ನು ನಮ್ಮ ಪ್ರಯೋಗಗಳು ತೋರಿಸುತ್ತವೆ.

ವಿರಳ ಪ್ರತಿಫಲಗಳಿಂದ ಸಾಂದ್ರ ಪ್ರತಿಕ್ರಿಯೆಯತ್ತ

ತನ್ನ ಅತ್ಯಂತ ಮೂಲಭೂತ ರೂಪದಲ್ಲಿ, ಫಲಿತಾಂಶ-ಪ್ರತಿಫಲ RL ನಿರೀಕ್ಷಿತ ರಿಟರ್ನ್ ಆಬ್ಜೆಕ್ಟಿವ್ ಅನ್ನು ಬಳಸುತ್ತದೆ:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

ಇಲ್ಲಿ, τ\tau ಎಂಬುದು ಪಾಲಿಸಿ πθ\pi_\theta ಅನ್ನು ಅನುಸರಿಸುವ ಟ್ರಾಜೆಕ್ಟರಿ, ಮತ್ತು R(τ)R(\tau) ಎಂಬುದು ಆ ಟ್ರಾಜೆಕ್ಟರಿಯ ರಿಟರ್ನ್. ಅನುಗುಣವಾದ ಪಾಲಿಸಿ ಗ್ರೇಡಿಯಂಟ್ ಹೀಗಿದೆ:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

ಇಲ್ಲಿ sts_t ಮತ್ತು ata_t ಕ್ರಮವಾಗಿ ಟೈಮ್‌ಸ್ಟೆಪ್ tt ನಲ್ಲಿನ ಸ್ಥಿತಿ ಮತ್ತು ಕ್ರಿಯೆಯನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತವೆ. ಸ್ಯಾಂಪಲ್-ಆಧಾರಿತ ಅಂದಾಜುಗಳ ವೇರಿಯನ್ಸ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡಲು, ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಹೀಗೆ ವ್ಯಕ್ತಪಡಿಸಲಾಗುತ್ತದೆ:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

ಇಲ್ಲಿ ಅಡ್ವಾಂಟೇಜ್ Aπθ(st,at)A^{\pi_\theta}(s_t, a_t), ಕ್ರಿಯೆ ata_t ನ ನಿರೀಕ್ಷಿತ ಹೆಚ್ಚುವರಿ ರಿಟರ್ನ್ ಅನ್ನು ಸ್ಥಿತಿ sts_t ನಲ್ಲಿನ ಪ್ರಸ್ತುತ ಪಾಲಿಸಿಗೆ ಹೋಲಿಸಿ ಅಳೆಯುತ್ತದೆ. ಒಂದು ವಿಧಾನವಾದ Group Relative Policy Optimization (GRPO), ಪ್ರತಿ ಟ್ರಾಜೆಕ್ಟರಿಯ ರಿಟರ್ನ್ ಅನ್ನು ಅದೇ ಪ್ರಾಂಪ್ಟ್‌ಗಾಗಿ ಸ್ಯಾಂಪಲ್ ಮಾಡಿದ ಗುಂಪಿನ ಸರಾಸರಿ ರಿಟರ್ನ್‌ನೊಂದಿಗೆ ಹೋಲಿಸುವ ಮೂಲಕ ಅಡ್ವಾಂಟೇಜ್ ಅನ್ನು ಅಂದಾಜು ಮಾಡುತ್ತದೆ.

ಆದರೆ, ಈ ಹೊಂದಾಣಿಕೆಗಳಿದ್ದರೂ, ಫಲಿತಾಂಶ-ಪ್ರತಿಫಲ ರೀಇನ್‌ಫೋರ್ಸ್‌ಮೆಂಟ್ ಲರ್ನಿಂಗ್ ವಿರಳ ಮೇಲ್ವಿಚಾರಣೆಯಿಂದ ಬಳಲುತ್ತದೆ, ವಿಶೇಷವಾಗಿ ಕಠಿಣ, ದೀರ್ಘ-ಅವಧಿಯ ಕಾರ್ಯಗಳಲ್ಲಿ. ಹೆಚ್ಚು ಸಾಂದ್ರವಾದ ಕಲಿಕೆಯ ಸಂಕೇತವನ್ನು ಒದಗಿಸಲು ಹೆಚ್ಚುವರಿ ಮಾಹಿತಿ ಮೂಲಗಳನ್ನು ಬಳಸಿಕೊಳ್ಳುವ ಮೂಲಕ, ಹೆಚ್ಚುತ್ತಿರುವ ಸಂಶೋಧನಾ ಕಾರ್ಯಗಳು ಈ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸುತ್ತಿವೆ.

On-Policy Distillation (OPD) ಅಂತಹ ಒಂದು ವಿಧಾನ. ಅಂತಿಮ ಪ್ರತಿಫಲದಿಂದ ಮಾತ್ರ ಕಲಿಯುವ ಬದಲು, OPD ವಿದ್ಯಾರ್ಥಿಯಿಂದ ಟ್ರಾಜೆಕ್ಟರಿಗಳನ್ನು ಸ್ಯಾಂಪಲ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಸ್ಯಾಂಪಲ್ ಮಾಡಿದ ಪ್ರತಿ ಕ್ರಿಯೆಯನ್ನು ಹೆಚ್ಚು ಸಮರ್ಥವಾದ ಶಿಕ್ಷಕನ ಅಡಿಯಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ. ಶಿಕ್ಷಕ ಪಾಲಿಸಿ πT\pi_T ಮತ್ತು ಟ್ರಾಜೆಕ್ಟರಿಗಳನ್ನು ಉತ್ಪಾದಿಸಲು ಬಳಸಿದ ವಿದ್ಯಾರ್ಥಿ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳ ಸ್ಥಿರ ಸ್ನ್ಯಾಪ್‌ಶಾಟ್ θˉ\bar{\theta} ಗೆ, θ=θˉ\theta = \bar{\theta} ನಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ ಸ್ಥಳೀಯ ಗ್ರೇಡಿಯಂಟ್ ಹೀಗಿದೆ:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

ಇಲ್ಲಿ, JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) ಎಂಬುದು ನೆಗೆಟಿವ್ ರಿವರ್ಸ್-KL ಡಿಸ್ಟಿಲೇಶನ್ ಆಬ್ಜೆಕ್ಟಿವ್. ಡಿಫರೆನ್ಷಿಯೇಶನ್ ಸಮಯದಲ್ಲಿ ಶಿಕ್ಷಕ ಪಾಲಿಸಿ ಮತ್ತು ಸ್ಯಾಂಪಲ್ ಮಾಡಿದ ಪ್ರಿಫಿಕ್ಸ್‌ಗಳನ್ನು ಸ್ಥಿರವಾಗಿ ಇರಿಸಲಾಗುತ್ತದೆ. ಶಿಕ್ಷಕ-ವಿದ್ಯಾರ್ಥಿ ಲಾಗ್-ಸಂಭವನೀಯತೆ ಅನುಪಾತವು ಭೇಟಿ ನೀಡಿದ ಪ್ರತಿಯೊಂದು ಸ್ಥಿತಿಯಲ್ಲೂ ಸಾಂದ್ರವಾದ ಕಲಿಕೆಯ ಸಂಕೇತವನ್ನು ಒದಗಿಸುತ್ತದೆ ಮತ್ತು ಕ್ರಿಯಾ-ಮಟ್ಟದ ತೂಕವಾಗಿ ಅಡ್ವಾಂಟೇಜ್‌ನ ಸ್ಥಾನವನ್ನು ತುಂಬುತ್ತದೆ.

On-Policy Self-Distillation (OPSD) ಪ್ರತ್ಯೇಕ ಶಿಕ್ಷಕ ಮಾದರಿಯ ಅಗತ್ಯವನ್ನೂ ನಿವಾರಿಸುತ್ತದೆ. ಪರಿಶೀಲಿತ ಪರಿಹಾರ, ಪ್ರತಿಕ್ರಿಯೆ ಅಥವಾ ರೆಫರೆನ್ಸ್ ಟ್ರೇಸ್‌ನಂತಹ ವಿಶೇಷಾಧಿಕಾರದ ಮಾಹಿತಿಯನ್ನು ನೀಡಿದಾಗ, ವಿದ್ಯಾರ್ಥಿ ಪಾಲಿಸಿಯೇ ತನ್ನ ಶಿಕ್ಷಕನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಆದರೆ, OPSD ಶಿಕ್ಷಕನನ್ನು ಅನುಕರಿಸುವಂತೆ ವಿದ್ಯಾರ್ಥಿಗೆ ಮಾತ್ರ ತರಬೇತಿ ನೀಡುತ್ತದೆ; ಶಿಕ್ಷಕ ವಿದ್ಯಾರ್ಥಿಗೆ ಉಪಯುಕ್ತ ಸಂಕೇತವನ್ನು ಒದಗಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಖಚಿತಪಡಿಸುವ ಯಾವುದೇ ವ್ಯವಸ್ಥೆ ಅದರಲ್ಲಿಲ್ಲ.

ಜಂಟಿ ಆನ್-ಪಾಲಿಸಿ ಕಲಿಕೆ ಮತ್ತು ಬೋಧನೆ

JOLT, ಒಂದೇ ಹಂಚಿಕೆಯ ಮಾದರಿಗೆ ಹೆಚ್ಚು ಹೊಂದಿಕೆಯಾಗುವ ಮಾರ್ಗದರ್ಶನ ನೀಡುವ ಶಿಕ್ಷಕನಾಗಿ ಮತ್ತು ಆ ಮಾರ್ಗದರ್ಶನದಿಂದ ಕಲಿಯುವ ವಿದ್ಯಾರ್ಥಿಯಾಗಿ ತರಬೇತಿ ನೀಡುವ ಮೂಲಕ OPSD ಅನ್ನು ವಿಸ್ತರಿಸುತ್ತದೆ. ಹೆಚ್ಚು ಮಾಹಿತಿ ಹೊಂದಿರುವ ಶಿಕ್ಷಕ, ವಿದ್ಯಾರ್ಥಿಯತ್ತ KL ರೆಗ್ಯುಲರೈಸೇಶನ್‌ನೊಂದಿಗೆ ಫಲಿತಾಂಶ ಪ್ರತಿಫಲಗಳಿಂದ ಕಲಿಯುತ್ತದೆ; ಆದರೆ ವಿಶೇಷಾಧಿಕಾರವಿಲ್ಲದ ವಿದ್ಯಾರ್ಥಿ ಶಿಕ್ಷಕನ ಸಾಂದ್ರ ಡಿಸ್ಟಿಲೇಶನ್ ಸಂಕೇತದಿಂದ ಕಲಿಯುತ್ತದೆ. ಶಿಕ್ಷಕನ ಅಪ್‌ಡೇಟ್ ಶಿಕ್ಷಕನೇ ಉತ್ಪಾದಿಸಿದ ಪ್ರಯತ್ನಗಳನ್ನು ಬಳಸುತ್ತದೆ, ಆದರೆ ವಿದ್ಯಾರ್ಥಿಯ ಅಪ್‌ಡೇಟ್ ವಿದ್ಯಾರ್ಥಿಯೇ ಉತ್ಪಾದಿಸಿದ ಹಾಗೂ ಶಿಕ್ಷಕ ಸ್ಕೋರ್ ಮಾಡಿದ ಪ್ರಯತ್ನಗಳನ್ನು ಬಳಸುತ್ತದೆ. JOLT+ ವಿದ್ಯಾರ್ಥಿಯ ಡಿಸ್ಟಿಲೇಶನ್ ಸಂಕೇತಕ್ಕೆ ಫಲಿತಾಂಶ ಪ್ರತಿಫಲಗಳನ್ನು ಹೆಚ್ಚುವರಿಯಾಗಿ ಸೇರಿಸುತ್ತದೆ.

ಒಂದೇ ಪಾಲಿಸಿ ಶಿಕ್ಷಕ ಮತ್ತು ವಿದ್ಯಾರ್ಥಿ ಎರಡೂ ಆಗಿ ಕಲಿಯುತ್ತದೆ.

ಶಿಕ್ಷಕನಿಗೆ ತರಬೇತಿ

ಶಿಕ್ಷಕ ಏನು ಮಾಡಬೇಕು ಎಂಬುದನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುವುದು

ಶಿಕ್ಷಕನ ಉತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯು ವಿದ್ಯಾರ್ಥಿಗೆ ಉಪಯುಕ್ತ ಅಪ್‌ಡೇಟ್‌ಗಳಾಗಿ ಪರಿವರ್ತನೆಯಾಗಬೇಕೆಂದೇನಿಲ್ಲ. ಶಿಕ್ಷಕ ವಿಶೇಷಾಧಿಕಾರದ ಮಾಹಿತಿಯನ್ನು ಬಳಸಿ ವಿದ್ಯಾರ್ಥಿಗೆ ಲಭ್ಯವಿಲ್ಲದ ಶಾರ್ಟ್‌ಕಟ್‌ಗಳನ್ನು ಬಳಸಿಕೊಳ್ಳಬಹುದು, ವಿದ್ಯಾರ್ಥಿಯ ಅಡಿಯಲ್ಲಿ ಅಸಂಭವವಾದ ಟ್ರಾಜೆಕ್ಟರಿಗಳಿಗೆ ಹೆಚ್ಚಿನ ಸಂಭವನೀಯತೆಯನ್ನು ನಿಗದಿಪಡಿಸಬಹುದು, ಅಥವಾ ವಿದ್ಯಾರ್ಥಿ ಉತ್ಪಾದಿಸಿದ ಪ್ರಿಫಿಕ್ಸ್‌ಗಳಲ್ಲಿ ದೋಷಗಳಾದ ನಂತರ ವಿಶ್ವಾಸಾರ್ಹವಲ್ಲದ ಮಾರ್ಗದರ್ಶನ ನೀಡಬಹುದು. ಆದ್ದರಿಂದ, ಶಿಕ್ಷಕನ ಗುಣಮಟ್ಟವನ್ನು ಅದರ ಸ್ವಂತ ಕಾರ್ಯ ಪ್ರತಿಫಲದಿಂದಲ್ಲ, ಬದಲಿಗೆ ಅದು ವಿದ್ಯಾರ್ಥಿಗೆ ಒದಗಿಸುವ ಕಲಿಕೆಯ ಸಂಕೇತದಿಂದ ನಿರ್ಧರಿಸಬೇಕು.

ಶಿಕ್ಷಕ ವಿದ್ಯಾರ್ಥಿಯಲ್ಲಿ ಉಂಟುಮಾಡುವ ಡಿಸ್ಟಿಲೇಶನ್ ಅಪ್‌ಡೇಟ್, ಒಂದು ಧನಾತ್ಮಕ ಸ್ಕೇಲಿಂಗ್ ಅಂಶವನ್ನು ಹೊರತುಪಡಿಸಿ, ವಿದ್ಯಾರ್ಥಿಯ ನಿರೀಕ್ಷಿತ ಕಾರ್ಯ ಪ್ರತಿಫಲದ ಪಾಲಿಸಿ ಗ್ರೇಡಿಯಂಟ್‌ಗೆ ಹೊಂದಿಕೆಯಾದರೆ, ನಾವು ಆ ಶಿಕ್ಷಕನನ್ನು ಪ್ರತಿಫಲ-ಸ್ಥಿರ ಎಂದು ಕರೆಯುತ್ತೇವೆ. ನಿರ್ದಿಷ್ಟವಾಗಿ, ಪ್ರತಿಫಲ-ಸ್ಥಿರ ಶಿಕ್ಷಕ πT⋆\pi_T^\star ಈ ಷರತ್ತನ್ನು ಪೂರೈಸಬೇಕು:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

ಇಲ್ಲಿ βT\beta_T ಒಂದು ಧನಾತ್ಮಕ ಸ್ಕೇಲಾರ್. ಹಿಂದಿನ ವಿಭಾಗದಲ್ಲಿರುವಂತೆ, gOPDg_{\mathrm{OPD}} ಎಂಬುದು OPD ಸ್ಥಳೀಯ ಗ್ರೇಡಿಯಂಟ್, θˉ\bar\theta ಎಂಬುದು ವಿದ್ಯಾರ್ಥಿ ಮಾದರಿಯ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು θ\theta ನ ಸ್ಥಿರ ಸ್ನ್ಯಾಪ್‌ಶಾಟ್, ಮತ್ತು gRLg_{\mathrm{RL}} ಎಂಬುದು ನಿರೀಕ್ಷಿತ ರಿಟರ್ನ್ ಆಬ್ಜೆಕ್ಟಿವ್‌ನ ಪಾಲಿಸಿ ಗ್ರೇಡಿಯಂಟ್.

ಈ ಷರತ್ತನ್ನು ಪೂರೈಸುವ ಒಂದು ಶಿಕ್ಷಕ ಪಾಲಿಸಿ ಹೀಗಿದೆ:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

ಇಲ್ಲಿ, Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) ವಿದ್ಯಾರ್ಥಿ ಮುಂದುವರಿಕೆ ಅಡ್ವಾಂಟೇಜ್‌ಗಳನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತದೆ ಮತ್ತು Z(s)Z(s) ಎಂಬುದು ಸರಿಯಾದ ಸಂಭವನೀಯತೆ ವಿತರಣೆಯನ್ನು ಖಚಿತಪಡಿಸುವ ನಾರ್ಮಲೈಸಿಂಗ್ ಸ್ಥಿರಾಂಕ.

ಆದರ್ಶ ಗುರಿಯಿಂದ ಶಿಕ್ಷಕ ಆಬ್ಜೆಕ್ಟಿವ್‌ವರೆಗೆ

ಆದರ್ಶ ಗುರಿ πT⋆\pi_T^\star ಗೆ ಇರುವ KL ಡೈವರ್ಜೆನ್ಸ್ ಅನ್ನು ಕನಿಷ್ಠಗೊಳಿಸುವ ಮೂಲಕ ನಾವು ಶಿಕ್ಷಕನನ್ನು ಆ ಗುರಿಯತ್ತ ತರಬೇತಿಗೊಳಿಸಬಹುದು. ಸ್ಥಿರ ವಿದ್ಯಾರ್ಥಿ ಮತ್ತು ಸ್ಥಿತಿ ss ಗೆ, ಇದು ಹೀಗಾಗುತ್ತದೆ:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

πT⋆\pi_T^\star ಗಾಗಿ ಇರುವ ಅಭಿವ್ಯಕ್ತಿಯನ್ನು ಪ್ರತಿಸ್ಥಾಪಿಸಿದಾಗ, ಸಮಾನವಾದ ಗರಿಷ್ಠೀಕರಣ ಸಮಸ್ಯೆ ದೊರೆಯುತ್ತದೆ:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

ಈ ಆಬ್ಜೆಕ್ಟಿವ್, ವಿದ್ಯಾರ್ಥಿಯ ಕ್ರಿಯಾ ವಿತರಣೆಗೆ ಸಮೀಪದಲ್ಲೇ ಉಳಿಯುತ್ತಾ, ಹೆಚ್ಚಿನ ವಿದ್ಯಾರ್ಥಿ ಅಡ್ವಾಂಟೇಜ್ ಇರುವ ಕ್ರಿಯೆಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ಶಿಕ್ಷಕನನ್ನು ಪ್ರೋತ್ಸಾಹಿಸುತ್ತದೆ. ಪ್ಯಾರಾಮೀಟರ್ βT\beta_T ಈ ಪೆನಾಲ್ಟಿಯ ಪ್ರಬಲತೆಯನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ: ದೊಡ್ಡ ಮೌಲ್ಯಗಳು ಶಿಕ್ಷಕನನ್ನು ವಿದ್ಯಾರ್ಥಿಯ ಪ್ರಸ್ತುತ ವರ್ತನೆಗೆ ಹೆಚ್ಚು ಸಮೀಪದಲ್ಲಿ ಇರಿಸುತ್ತವೆ, ಆದರೆ ಸಣ್ಣ ಮೌಲ್ಯಗಳು ಹೆಚ್ಚಿನ ಅಡ್ವಾಂಟೇಜ್ ಇರುವ ಕ್ರಿಯೆಗಳಿಗೆ ಹೆಚ್ಚು ಆಕ್ರಮಣಕಾರಿಯಾಗಿ ಆದ್ಯತೆ ನೀಡಲು ಅದಕ್ಕೆ ಅವಕಾಶ ನೀಡುತ್ತವೆ.

ಪ್ರಾಯೋಗಿಕ ಸರೊಗೇಟ್ ಆಬ್ಜೆಕ್ಟಿವ್

ಈ ಆಬ್ಜೆಕ್ಟಿವ್, ಪ್ರತಿ ಕ್ರಿಯೆಯ ನಂತರ ವಿದ್ಯಾರ್ಥಿ ಎಷ್ಟು ಚೆನ್ನಾಗಿ ಮುಂದುವರಿಯುತ್ತದೆ ಎಂಬುದನ್ನು ಅವಲಂಬಿಸಿದೆ; ಆದರೆ ಆ ವಿದ್ಯಾರ್ಥಿ ಮುಂದುವರಿಕೆ ಅಡ್ವಾಂಟೇಜ್‌ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಲಭ್ಯವಿರುವುದಿಲ್ಲ. ಆದ್ದರಿಂದ ನಾವು ಶಿಕ್ಷಕನ ಸ್ವಂತ ಟ್ರಾಜೆಕ್ಟರಿಗಳಿಂದ ಪಡೆದ ಸೆಂಟರ್ಡ್ ರಿಟರ್ನ್‌ಗಳನ್ನು ಪ್ರಾಯೋಗಿಕ ಸರೊಗೇಟ್ ಆಗಿ ಬಳಸುತ್ತೇವೆ. ಪ್ರತಿಫಲ ಪದವು ಕಾರ್ಯವನ್ನು ಪರಿಹರಿಸಲು ಶಿಕ್ಷಕನನ್ನು ಪ್ರೋತ್ಸಾಹಿಸುತ್ತದೆ, ಆದರೆ KL ಪದವು ವಿದ್ಯಾರ್ಥಿಯ ಪ್ರಸ್ತುತ ಕ್ರಿಯಾ ವಿತರಣೆಯಿಂದ ದೂರ ಸರಿಯುವುದನ್ನು ನಿರುತ್ಸಾಹಗೊಳಿಸುತ್ತದೆ. KL ಪದವು ಶಿಕ್ಷಕನನ್ನು ವಿದ್ಯಾರ್ಥಿಗೆ ಸಮೀಪದಲ್ಲಿ ಇರಿಸಿದರೂ, ಈ ಬದಲಿ ನಿಖರವಾಗಿಲ್ಲ, ಏಕೆಂದರೆ ಶಿಕ್ಷಕನ ರಿಟರ್ನ್‌ಗಳು ವಿದ್ಯಾರ್ಥಿಯ ಮುಂದುವರಿಕೆ ಅಡ್ವಾಂಟೇಜ್‌ಗಳಿಗೆ ಹೊಂದಿಕೆಯಾಗಬೇಕೆಂದಿಲ್ಲ.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

ಇಲ್ಲಿ, A^T(τ)\widehat{A}_T(\tau) ಎಂಬುದು ಶಿಕ್ಷಕನ ಪ್ರಯತ್ನದ ರಿಟರ್ನ್‌ನಿಂದ, ಅದರ ಗುಂಪಿನಲ್ಲಿರುವ ಶಿಕ್ಷಕ-ಉತ್ಪಾದಿತ ಪ್ರಯತ್ನಗಳ ಸರಾಸರಿ ರಿಟರ್ನ್ ಅನ್ನು ಕಳೆದಾಗ ಬರುವ ಮೌಲ್ಯ. ಆಪರೇಟರ್ sg⁡\operatorname{sg} ಸ್ಟಾಪ್-ಗ್ರೇಡಿಯಂಟ್ ಅನ್ನು ಸೂಚಿಸುತ್ತದೆ: ಸ್ಯಾಂಪಲ್ ಮಾಡಿದ ಪ್ರಿಫಿಕ್ಸ್‌ಗಳು ಮತ್ತು ವಿದ್ಯಾರ್ಥಿ ರೆಫರೆನ್ಸ್‌ನಂತೆಯೇ, ಅದರ ಆರ್ಗ್ಯುಮೆಂಟ್ ಅನ್ನು ಡಿಫರೆನ್ಷಿಯೇಶನ್ ಸಮಯದಲ್ಲಿ ಸ್ಥಿರವೆಂದು ಪರಿಗಣಿಸಲಾಗುತ್ತದೆ.

ವಿದ್ಯಾರ್ಥಿಗೆ ತರಬೇತಿ

ವಿದ್ಯಾರ್ಥಿಯ ಅಪ್‌ಡೇಟ್ ಒಂದು ಪ್ರಮಾಣಿತ OPSD ಅಪ್‌ಡೇಟ್ ಆಗಿದೆ. ವಿದ್ಯಾರ್ಥಿಯು ಕಾರ್ಯದಿಂದ ಟ್ರಾಜೆಕ್ಟರಿಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ನಂತರ ಅದೇ ಮಾದರಿಯು, ಕಾಂಟೆಕ್ಸ್ಟ್‌ನಲ್ಲಿ ವಿಶೇಷಾಧಿಕಾರದ ಮಾಹಿತಿಯೊಂದಿಗೆ, ಸ್ಯಾಂಪಲ್ ಮಾಡಿದ ಪ್ರತಿ ಟೋಕನ್ ಅನ್ನು ಸ್ಕೋರ್ ಮಾಡುತ್ತದೆ. ವಿದ್ಯಾರ್ಥಿ ಭೇಟಿ ನೀಡುವ ಪ್ರತಿ ಸ್ಥಿತಿಯಲ್ಲೂ, ವಿದ್ಯಾರ್ಥಿ ಮತ್ತು ಈ ವಿಶೇಷಾಧಿಕಾರದ ಶಿಕ್ಷಕನ ನಡುವಿನ ರಿವರ್ಸ್ KL ಡೈವರ್ಜೆನ್ಸ್‌ಗೆ ವಿದ್ಯಾರ್ಥಿ ಆಬ್ಜೆಕ್ಟಿವ್ ದಂಡ ವಿಧಿಸುತ್ತದೆ:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

ಆದ್ದರಿಂದ, ಶಿಕ್ಷಕ ಆದ್ಯತೆ ನೀಡುವ ಟೋಕನ್‌ಗಳು ಬಲಗೊಳ್ಳುತ್ತವೆ, ಆದರೆ ವಿದ್ಯಾರ್ಥಿಗಿಂತ ಶಿಕ್ಷಕ ಕಡಿಮೆ ಸಂಭವನೀಯವೆಂದು ಪರಿಗಣಿಸುವ ಟೋಕನ್‌ಗಳನ್ನು ಹತ್ತಿಕ್ಕಲಾಗುತ್ತದೆ.

ಎಲ್ಲವನ್ನೂ ಒಟ್ಟುಗೂಡಿಸುವುದು

ಶಿಕ್ಷಕ ಮತ್ತು ವಿದ್ಯಾರ್ಥಿ ಆಬ್ಜೆಕ್ಟಿವ್‌ಗಳನ್ನು ಸಂಯೋಜಿಸಿದಾಗ ಜಂಟಿ ತರಬೇತಿ ಆಬ್ಜೆಕ್ಟಿವ್ ದೊರೆಯುತ್ತದೆ:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S ಎಂಬುದು, ಸಂಯೋಜಿತ ಅಪ್‌ಡೇಟ್‌ನಲ್ಲಿ ವಿದ್ಯಾರ್ಥಿ ಡಿಸ್ಟಿಲೇಶನ್ ಲಾಸ್‌ಗೆ ಎಷ್ಟು ತೂಕ ನೀಡಬೇಕು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುವ ಸ್ಕೇಲಾರ್.

ಪ್ರತಿಫಲ-ಸ್ಥಿರತೆಯ ಫಲಿತಾಂಶವು, ನಿರ್ದಿಷ್ಟ ಶಿಕ್ಷಕನಿಗೆ ಸಂಬಂಧಿಸಿದಂತೆ ವಿದ್ಯಾರ್ಥಿಯ ಡಿಸ್ಟಿಲೇಶನ್ ಅಪ್‌ಡೇಟ್‌ನ ಸ್ವರೂಪವನ್ನು ವಿವರಿಸುತ್ತದೆ. JOLT ಈ ತತ್ವವನ್ನು ಜಂಟಿ ತರಬೇತಿಗೆ ಮಾರ್ಗದರ್ಶಿಯಾಗಿ ಬಳಸುತ್ತದೆ; ಶಿಕ್ಷಕ ಮತ್ತು ವಿದ್ಯಾರ್ಥಿಯ ಆಬ್ಜೆಕ್ಟಿವ್‌ಗಳನ್ನು ಸಂಯೋಜಿಸಿ ಅವುಗಳ ಹಂಚಿಕೆಯ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಅಪ್‌ಡೇಟ್ ಮಾಡುತ್ತದೆ.

JOLT+ ವಿದ್ಯಾರ್ಥಿಯ ಸ್ವಂತ ಫಲಿತಾಂಶ ಪ್ರತಿಫಲವನ್ನೂ ಅದರ ಅಪ್‌ಡೇಟ್‌ಗೆ ಸೇರಿಸುತ್ತದೆ. ಪ್ರತಿ ವಿದ್ಯಾರ್ಥಿ ಟ್ರಾಜೆಕ್ಟರಿಯ ಸೆಂಟರ್ಡ್ ರಿಟರ್ನ್ ಅನ್ನು ಡಿಸ್ಟಿಲೇಶನ್ ಸಂಕೇತಕ್ಕೆ ಸೇರಿಸಲಾಗುತ್ತದೆ; ಇದು ಸಾಂದ್ರವಾದ ಶಿಕ್ಷಕ ಮೇಲ್ವಿಚಾರಣೆಯನ್ನು ವಿದ್ಯಾರ್ಥಿ ಟ್ರಾಜೆಕ್ಟರಿಗಳ ಮೇಲಿನ ನೇರ ಫಲಿತಾಂಶ ಪ್ರತಿಕ್ರಿಯೆಯೊಂದಿಗೆ ಸಂಯೋಜಿಸುತ್ತದೆ. ಶಿಕ್ಷಕ ಆಬ್ಜೆಕ್ಟಿವ್ ಬದಲಾಗುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ನಾವು ಹೀಗೆ ಬರೆಯಬಹುದು:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

ಇಲ್ಲಿ, A^S(τ)\widehat{A}_S(\tau) ಎಂಬುದು ವಿದ್ಯಾರ್ಥಿ ಟ್ರಾಜೆಕ್ಟರಿಯ ರಿಟರ್ನ್‌ನಿಂದ, ಅದರ ಗುಂಪಿನಲ್ಲಿರುವ ವಿದ್ಯಾರ್ಥಿ-ಉತ್ಪಾದಿತ ಟ್ರಾಜೆಕ್ಟರಿಗಳ ಸರಾಸರಿ ರಿಟರ್ನ್ ಅನ್ನು ಕಳೆದಾಗ ಬರುವ ಮೌಲ್ಯ.

ಎರಡೂ ರೂಪಾಂತರಗಳಲ್ಲಿ, ಪ್ರತಿ ಪಾತ್ರವೂ ತನ್ನದೇ ಕಾಂಟೆಕ್ಸ್ಟ್‌ನಲ್ಲಿ ಉತ್ಪಾದಿಸಲಾದ ಟ್ರಾಜೆಕ್ಟರಿಗಳಿಂದ ಕಲಿಯುತ್ತದೆ ಮತ್ತು ಎರಡೂ ಪಾತ್ರಗಳು ಹಂಚಿಕೆಯ ಪಾಲಿಸಿಯನ್ನು ಅಪ್‌ಡೇಟ್ ಮಾಡುತ್ತವೆ. ಒಂದು ತರಬೇತಿ ಹಂತದ ಸೂಡೋಕೋಡ್ ಅನ್ನು ಕೆಳಗೆ ತೋರಿಸಲಾಗಿದೆ.

ಒಂದು JOLT ತರಬೇತಿ ಹಂತದ ಸೂಡೋಕೋಡ್.

ಪ್ರಯೋಗಗಳು

ಗಣಿತೀಯ ರೀಜನಿಂಗ್, ಕೋಡ್ ಉತ್ಪಾದನೆ, ಟೂಲ್ ಬಳಕೆ ಮತ್ತು ದೀರ್ಘ-ಅವಧಿಯ ಟರ್ಮಿನಲ್ ಕಾರ್ಯಗಳನ್ನು ಒಳಗೊಂಡ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ, ವಿಭಿನ್ನ ಮೂಲ ಮಾದರಿಗಳು ಮತ್ತು ವಿಭಿನ್ನ ರೀತಿಯ ವಿಶೇಷಾಧಿಕಾರದ ಮಾಹಿತಿಯನ್ನು ಬಳಸಿ ನಾವು JOLT ಮತ್ತು JOLT+ ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ. ನಿರ್ದಿಷ್ಟವಾಗಿ, ಈ ಕೆಳಗಿನ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು, ಮೂಲ ಮಾದರಿಗಳು ಮತ್ತು ವಿಶೇಷಾಧಿಕಾರದ ಮಾಹಿತಿ ಕಾನ್ಫಿಗರೇಶನ್‌ಗಳನ್ನು ಬಳಸಿ ನಾವು ಪ್ರಯೋಗಗಳನ್ನು ನಡೆಸುತ್ತೇವೆ:

  • GSM8K: DeepSeek-V2-Lite ಅನ್ನು ನಾವು GSM8K ಮೇಲೆ ತರಬೇತಿಗೊಳಿಸುತ್ತೇವೆ; ಇದು ಶಾಲಾ ಮಟ್ಟದ ಗಣಿತ ಸಮಸ್ಯೆಗಳ ಡೇಟಾಸೆಟ್. ಶಿಕ್ಷಕನಿಗೆ ಪ್ರತಿ ಸಮಸ್ಯೆಯ ಪರಿಶೀಲಿತ ಉತ್ತರವನ್ನು ನೀಡಲಾಗುತ್ತದೆ.
  • MATH: Qwen3-0.6B ಅನ್ನು ನಾವು MATH ಮೇಲೆ ತರಬೇತಿಗೊಳಿಸುತ್ತೇವೆ. ಶಿಕ್ಷಕನಿಗೆ ಹಂತ-ಹಂತವಾಗಿ ಬಿಡಿಸಿದ ರೆಫರೆನ್ಸ್ ಪರಿಹಾರಗಳನ್ನು ನೀಡಲಾಗುತ್ತದೆ.
  • LCBv6: Qwen3-8B ಅನ್ನು ನಾವು LiveCodeBench-V6 ನ 131 ಕೋಡಿಂಗ್ ಸಮಸ್ಯೆಗಳ ಮೇಲೆ ತರಬೇತಿಗೊಳಿಸುತ್ತೇವೆ. ತರಬೇತಿಯಲ್ಲಿ ಗೋಚರಿಸುವ ಎಲ್ಲ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಉತ್ತೀರ್ಣವಾದ ಮಾದರಿ-ಉತ್ಪಾದಿತ ಪರಿಹಾರವನ್ನು ಶಿಕ್ಷಕನಿಗೆ ನೀಡಲಾಗುತ್ತದೆ; ಯಾವುದೇ ಪ್ರಯತ್ನ ಅವುಗಳಲ್ಲಿ ಉತ್ತೀರ್ಣವಾಗದಿದ್ದರೆ, ಎಕ್ಸಿಕ್ಯೂಶನ್ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ನೀಡಲಾಗುತ್ತದೆ.
  • AppWorld: Qwen3-4B-Instruct ಅನ್ನು ನಾವು AppWorld ಮೇಲೆ ತರಬೇತಿಗೊಳಿಸುತ್ತೇವೆ. ಶಿಕ್ಷಕನಿಗೆ ಹಿಂದಿನ ಪ್ರಯತ್ನಗಳ ಸಾರಾಂಶಗಳನ್ನು ನೀಡಲಾಗುತ್ತದೆ.
  • Terminal-Bench: Qwen3-30B-A3B-Instruct ಅನ್ನು ನಾವು ಟರ್ಮಿನಲ್ ಏಜೆಂಟ್‌ಗಳ ತರಬೇತಿ ಕಾರ್ಯಗಳ ಸಮೂಹವಾದ TMax ಮೇಲೆ ತರಬೇತಿಗೊಳಿಸಿ, Terminal-Bench 2.1 ನಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ. ಶಿಕ್ಷಕನಿಗೆ ಖಾಸಗಿ ವೆರಿಫೈಯರ್ ಮಾಹಿತಿಯನ್ನು ನೀಡಲಾಗುತ್ತದೆ.

ನಾವು GRPO, OPSD ಮತ್ತು π-Distill ಜೊತೆಗೆ ಹೋಲಿಕೆ ಮಾಡುತ್ತೇವೆ ಮತ್ತು ಪ್ರತಿ ವಿಧಾನಕ್ಕೂ ಹೈಪರ್‌ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಟ್ಯೂನ್ ಮಾಡುತ್ತೇವೆ. JOLT ನಂತೆಯೇ, π-Distill ಕೂಡ ಹಂಚಿಕೆಯ ಮಾದರಿಯೊಳಗೆ ವಿಶೇಷಾಧಿಕಾರದ ಶಿಕ್ಷಕ ಮತ್ತು ವಿದ್ಯಾರ್ಥಿ ಪಾತ್ರಗಳಿಗೆ ಜಂಟಿಯಾಗಿ ತರಬೇತಿ ನೀಡುತ್ತದೆ; ಆದರೆ, ಅದು ವಿಭಿನ್ನ ಶಿಕ್ಷಕ ಗುರಿಯನ್ನು ಬಳಸುತ್ತದೆ ಮತ್ತು ಅದರ ವಿದ್ಯಾರ್ಥಿ ಅಪ್‌ಡೇಟ್ ಆಫ್-ಪಾಲಿಸಿಯಾಗಿಯೇ ಉಳಿಯುತ್ತದೆ, ಅಂದರೆ ವಿದ್ಯಾರ್ಥಿಯ ಸ್ವಂತ ಉತ್ಪಾದನೆಗಳ ಬದಲು ಶಿಕ್ಷಕ-ಉತ್ಪಾದಿತ ಟ್ರಾಜೆಕ್ಟರಿಗಳನ್ನು ಅವಲಂಬಿಸುತ್ತದೆ.

ನಿಖರತೆ

ನಾವು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ಪ್ರತಿ ಸೆಟ್ಟಿಂಗ್‌ನಲ್ಲೂ JOLT+ ಅತ್ಯಧಿಕ ಸರಾಸರಿ ಸ್ಕೋರ್ ಹೊಂದಿದೆ. ಪರೀಕ್ಷಿಸಿದ ಅತ್ಯಂತ ಪ್ರಬಲ ಬೇಸ್‌ಲೈನ್ ಆದ GRPO ಗೆ ಹೋಲಿಸಿದರೆ, ಇದು GSM8K ನಿಖರತೆಯನ್ನು 1.5 ಶೇಕಡಾ ಅಂಕಗಳಷ್ಟು (pp), MATH ನಿಖರತೆಯನ್ನು 4.2pp, LCBv6 ನಿಖರತೆಯನ್ನು 3.0pp ಮತ್ತು AppWorld ಸ್ಟೇಟ್-ಟೆಸ್ಟ್ ಪಾಸ್ ದರವನ್ನು 9.9pp ಸುಧಾರಿಸುತ್ತದೆ.

ಎಲ್ಲ ನಾಲ್ಕು ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ JOLT+ ಅತ್ಯಧಿಕ ಸರಾಸರಿ ಸ್ಕೋರ್ ಹೊಂದಿದೆ.

ಯಾವುದೇ ನೇರ ವಿದ್ಯಾರ್ಥಿ ಪ್ರತಿಫಲವಿಲ್ಲದೆಯೂ, GSM8K, MATH ಮತ್ತು LCBv6 ನಲ್ಲಿ JOLT ನ ಸರಾಸರಿ ನಿಖರತೆ GRPO ಗಿಂತ ಹೆಚ್ಚಾಗಿದೆ. ಆದರೆ, AppWorld ನಲ್ಲಿ ಅದು GRPO ಮತ್ತು π-Distill ಎರಡಕ್ಕಿಂತಲೂ ಕೆಳಗಿರುತ್ತದೆ.

Terminal-Bench 2.1 ಅತ್ಯಂತ ದೀರ್ಘ-ಅವಧಿಯ ಸೆಟ್ಟಿಂಗ್ ಆಗಿದೆ. ವರದಿ ಮಾಡಲಾದ ಪ್ರತಿ k ಯಲ್ಲೂ JOLT+ ಅತ್ಯಧಿಕ pass@k ಹೊಂದಿದೆ: pass@1 ನಲ್ಲಿ 10.96% ರಿಂದ pass@32 ನಲ್ಲಿ 34.83% ವರೆಗೆ. ಪ್ರತಿ k ಯಲ್ಲೂ JOLT ಮೂಲ ಮಾದರಿ ಮತ್ತು ಎರಡೂ ಡಿಸ್ಟಿಲೇಶನ್ ಬೇಸ್‌ಲೈನ್‌ಗಳಿಗಿಂತ ಉತ್ತಮವಾಗಿದೆ, ಆದರೆ GRPO ಗಿಂತ ಕೆಳಗಿರುತ್ತದೆ. ಪ್ರತಿ k ಯಲ್ಲೂ OPSD ಮೂಲ ಮಾದರಿಗಿಂತ ಕಡಿಮೆ ಸ್ಕೋರ್ ಪಡೆಯುತ್ತದೆ.

ಪ್ರತಿ ಪ್ರಯತ್ನ ಬಜೆಟ್‌ನಲ್ಲೂ Terminal-Bench ನಲ್ಲಿ JOLT+ ಮುಂಚೂಣಿಯಲ್ಲಿದೆ.

ಟೋಕನ್ ದಕ್ಷತೆ ಮತ್ತು ಸ್ಕೇಲಿಂಗ್

ತರಬೇತಿ ಬಜೆಟ್‌ನೊಂದಿಗೆ ಕಾರ್ಯಕ್ಷಮತೆ ಹೇಗೆ ಸ್ಕೇಲ್ ಆಗುತ್ತದೆ ಎಂಬುದರ ಬಗ್ಗೆಯೂ ನಮಗೆ ಆಸಕ್ತಿಯಿದೆ. ನಾವು MATH ನಲ್ಲಿ ವಿಭಿನ್ನ ತರಬೇತಿ ಟೋಕನ್ ಬಜೆಟ್‌ಗಳಲ್ಲಿ GRPO, OPSD ಮತ್ತು JOLT ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ, ಪರಿಣಾಮವಾಗಿ ದೊರೆಯುವ ವಿದ್ಯಾರ್ಥಿ ನಿಖರತೆಯನ್ನು ಹೋಲಿಸುತ್ತೇವೆ.

ಪ್ರತಿ ವಿಧಾನಕ್ಕೂ ತರಬೇತಿ ಟೋಕನ್ ವೆಚ್ಚದೊಂದಿಗೆ ನಿಖರತೆ ಹೇಗೆ ಸ್ಕೇಲ್ ಆಗುತ್ತದೆ ಎಂಬುದನ್ನು ಚಿತ್ರ ತೋರಿಸುತ್ತದೆ. ನಾವು ವೆಚ್ಚವನ್ನು ಸಂಸ್ಕರಿಸಿದ ತರಬೇತಿ ಟೋಕನ್‌ಗಳಲ್ಲಿ ಅಳೆಯುತ್ತೇವೆ. ಇದರಲ್ಲಿ ಪ್ರತಿ ಅನ್‌ಪ್ಯಾಡೆಡ್ ಪ್ರಾಂಪ್ಟ್, ವಿಶೇಷಾಧಿಕಾರದ ಕಾಂಟೆಕ್ಸ್ಟ್, ಆಪ್ಟಿಮೈಸೇಶನ್ ಪಾಸ್ ಮತ್ತು ಶಿಕ್ಷಕ ಹಾಗೂ ವಿದ್ಯಾರ್ಥಿಯ ನಡುವಿನ ಕ್ರಾಸ್-ಸ್ಕೋರಿಂಗ್ ಸೇರಿವೆ.

GRPO ನ ನಿಖರತೆಯನ್ನು ತಲುಪಲು JOLT ಗೆ ಕಡಿಮೆ ಟೋಕನ್‌ಗಳು ಸಾಕು.

ಬಿಂದುಗಳು ವಿವಿಧ ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳಲ್ಲಿನ ಸಂಸ್ಕರಿಸಿದ ತರಬೇತಿ ಟೋಕನ್‌ಗಳ ಸಂಖ್ಯೆ ಮತ್ತು ನಿಖರತೆಯನ್ನು ತೋರಿಸುತ್ತವೆ; ವಿಸ್ಕರ್‌ಗಳು ರನ್‌ಗಳಾದ್ಯಂತ ±1 ಪ್ರಮಾಣಿತ ವಿಚಲನವನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತವೆ. RL ಕಂಪ್ಯೂಟ್ ಸ್ಕೇಲಿಂಗ್ ಕುರಿತ ಹಿಂದಿನ ಸಂಶೋಧನೆಯನ್ನು ಅನುಸರಿಸಿ, ನಾವು ನಿಖರತೆ ಮತ್ತು ಲಾಗ್ ತರಬೇತಿ ಟೋಕನ್ ಬಜೆಟ್ ನಡುವೆ ಸಿಗ್ಮಾಯ್ಡ್ ಸಂಬಂಧವನ್ನು ಫಿಟ್ ಮಾಡುತ್ತೇವೆ.

JOLT ಆರಂಭಿಕ ಹಂತದಲ್ಲೇ ಸ್ಯಾಂಪಲ್ ದಕ್ಷತೆಯನ್ನು ತೋರಿಸುತ್ತದೆ ಮತ್ತು ಮೂರು ವಿಧಾನಗಳಲ್ಲಿ ಅತ್ಯಧಿಕ ನಿಖರತೆಯನ್ನು ಸಾಧಿಸಿ, ಸುಮಾರು 72% ಬಳಿ ಸ್ಥಿರಗೊಳ್ಳುತ್ತದೆ. OPSD ಸಣ್ಣ ಬಜೆಟ್‌ಗಳಲ್ಲಿ ವೇಗವಾಗಿ ಸುಧಾರಿಸುತ್ತದೆ, ಆದರೆ ಸುಮಾರು 62% ನಿಖರತೆಯಲ್ಲಿ ಸ್ಥಗಿತಗೊಳ್ಳುತ್ತದೆ. GRPO ಆರಂಭದಲ್ಲಿ ನಿಧಾನವಾಗಿ ಕಲಿಯುತ್ತದೆ, ಆದರೆ ದೀರ್ಘಕಾಲ ಸುಧಾರಿಸುತ್ತಲೇ ಇದ್ದು ಸುಮಾರು 70% ವರೆಗೆ ಏರುತ್ತದೆ. 63.44% ರ ಸಮಾನ ನಿಖರತೆಯಲ್ಲಿ, GRPO ನ ಗಮನಿಸಿದ ಚೆಕ್‌ಪಾಯಿಂಟ್ 8.40 ಮಿಲಿಯನ್ ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ, ಆದರೆ JOLT ನ ಫಿಟ್ ಮಾಡಿದ ವಕ್ರರೇಖೆ 1.30 ಮಿಲಿಯನ್ ತೋರಿಸುತ್ತದೆ, ಅಂದರೆ 6.5× ಕಡಿಮೆ ಟೋಕನ್‌ಗಳು.

ನಾವು ಕಂಪ್ಲೀಶನ್ ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸಿಯೂ ವೆಚ್ಚವನ್ನು ಅಳೆಯುತ್ತೇವೆ. ಇವು GRPO ಮತ್ತು OPSD ಗಾಗಿ ವಿದ್ಯಾರ್ಥಿ ಕಂಪ್ಲೀಶನ್‌ಗಳನ್ನು, ಮತ್ತು JOLT ಗಾಗಿ ಶಿಕ್ಷಕ ಹಾಗೂ ವಿದ್ಯಾರ್ಥಿ ಎರಡರ ಕಂಪ್ಲೀಶನ್‌ಗಳನ್ನು ಎಣಿಸುತ್ತವೆ, ಆದರೆ ಪ್ರಾಂಪ್ಟ್‌ಗಳು, ವಿಶೇಷಾಧಿಕಾರದ ಕಾಂಟೆಕ್ಸ್ಟ್ ಮತ್ತು ಹೆಚ್ಚುವರಿ ಆಪ್ಟಿಮೈಸೇಶನ್ ಪಾಸ್‌ಗಳನ್ನು ಹೊರತುಪಡಿಸುತ್ತವೆ. ಸಂಸ್ಕರಿಸಿದ ತರಬೇತಿ ಟೋಕನ್‌ಗಳ ಬದಲು ಕಂಪ್ಲೀಶನ್ ಟೋಕನ್‌ಗಳ ಆಧಾರದಲ್ಲಿ ಹೋಲಿಸಿದಾಗ, ಅದೇ ನಿಖರತೆಯ ಮಟ್ಟದಲ್ಲಿ ದಕ್ಷತೆಯ ಅಂತರವು ಸುಮಾರು 13× ವರೆಗೆ ಹೆಚ್ಚುತ್ತದೆ. ಗುರಿ ನಿಖರತೆಗಳ ಒಂದು ಶ್ರೇಣಿಯಲ್ಲಿ, JOLT 9.5–14.4× ಕಡಿಮೆ ಕಂಪ್ಲೀಶನ್ ಟೋಕನ್‌ಗಳನ್ನು ಮತ್ತು 4.3–7.4× ಕಡಿಮೆ ಸಂಸ್ಕರಿಸಿದ ತರಬೇತಿ ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ.

55% ರಿಂದ 65% ನಿಖರತೆಯವರೆಗೂ JOLT ನ ಟೋಕನ್ ಮುನ್ನಡೆ ಉಳಿಯುತ್ತದೆ.

ತೀರ್ಮಾನ

ವಿಶೇಷಾಧಿಕಾರದ ಮಾಹಿತಿಯು ಶಿಕ್ಷಕನನ್ನು ಒಂದು ಕಾರ್ಯವನ್ನು ಪರಿಹರಿಸುವುದರಲ್ಲಿ ಉತ್ತಮಗೊಳಿಸಬಹುದು, ಆದರೆ ಆ ಮಾಹಿತಿಯಿಲ್ಲದೆ ಅದೇ ಕಾರ್ಯವನ್ನು ಪರಿಹರಿಸಲು ವಿದ್ಯಾರ್ಥಿಗೆ ಕಲಿಸುವುದರಲ್ಲಿ ಉತ್ತಮಗೊಳಿಸಬೇಕೆಂದೇನಿಲ್ಲ. ವಿದ್ಯಾರ್ಥಿಯ ಪ್ರಸ್ತುತ ವರ್ತನೆಗೆ ಅನುಗುಣವಾಗಿ ಶಿಕ್ಷಕನಿಗೆ ತರಬೇತಿ ನೀಡುವ ಮೂಲಕ JOLT ಈ ವ್ಯತ್ಯಾಸವನ್ನು ನಿಭಾಯಿಸುತ್ತದೆ.

ಈ ಜಂಟಿ ತರಬೇತಿಯು ನಿಖರತೆ ಮತ್ತು ದಕ್ಷತೆ ಎರಡನ್ನೂ ಸುಧಾರಿಸುತ್ತದೆ. ವಿದ್ಯಾರ್ಥಿ ಫಲಿತಾಂಶ ಪ್ರತಿಫಲಗಳೊಂದಿಗೆ, JOLT+ ಯು GRPO ಗಿಂತ GSM8K ನಲ್ಲಿ 1.5pp, MATH ನಲ್ಲಿ 4.2pp, LCBv6 ನಲ್ಲಿ 3.0pp, AppWorld ನಲ್ಲಿ 9.9pp ಮತ್ತು Terminal-Bench 2.1 pass@1 ನಲ್ಲಿ 2.7pp ನಿರಪೇಕ್ಷ ಗಳಿಕೆಗಳನ್ನು ಸಾಧಿಸುತ್ತದೆ. MATH ನಲ್ಲಿ, ಸಮಾನ ನಿಖರತೆಯಲ್ಲಿ ಮತ್ತು ನೇರ ವಿದ್ಯಾರ್ಥಿ ಪ್ರತಿಫಲವಿಲ್ಲದೆಯೇ, JOLT ಯು GRPO ಗಿಂತ 13× ಕಡಿಮೆ ಕಂಪ್ಲೀಶನ್ ಟೋಕನ್‌ಗಳನ್ನು ಮತ್ತು 6.5× ಕಡಿಮೆ ಸಂಸ್ಕರಿಸಿದ ತರಬೇತಿ ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ.

JOLT, ಶಿಕ್ಷಕನ ಮಾರ್ಗದರ್ಶನವು ವಿದ್ಯಾರ್ಥಿಯೊಂದಿಗೆ ಜೊತೆಜೊತೆಯಾಗಿ ವಿಕಸನಗೊಳ್ಳಲು ಅವಕಾಶ ನೀಡುತ್ತದೆ. ಉಪಯುಕ್ತ ತರಬೇತಿ ಕಾರ್ಯಗಳನ್ನು ಉತ್ಪಾದಿಸುವುದನ್ನೂ ಶಿಕ್ಷಕ ಕಲಿಯಬಹುದೇ ಎಂಬುದನ್ನು ಅನ್ವೇಷಿಸಲು ಇದು ಪ್ರೇರಣೆ ನೀಡುತ್ತದೆ. ಕಾರ್ಯಗಳನ್ನು ಉತ್ಪಾದಿಸುವ ಶಿಕ್ಷಕ ಮತ್ತು ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸುವ ವಿದ್ಯಾರ್ಥಿಯನ್ನು ಜಂಟಿಯಾಗಿ ತರಬೇತಿಗೊಳಿಸಿ, ವಿದ್ಯಾರ್ಥಿಯ ಕಲಿಕೆಯ ಪ್ರಗತಿಯನ್ನು ಬಳಸಿಕೊಂಡು ಒಂದು ಪಠ್ಯಕ್ರಮದಲ್ಲಿ ಉತ್ಪಾದಿತ ಕಾರ್ಯಗಳನ್ನು ಸುಧಾರಿಸುವುದು ಭವಿಷ್ಯದ ಸಂಶೋಧನೆಗೆ ಒಂದು ಆಸಕ್ತಿದಾಯಕ ದಿಕ್ಕು. ಇದು ಸಿಂಥೆಟಿಕ್ ಕಾರ್ಯ ಉತ್ಪಾದನೆಯನ್ನು, ವಿದ್ಯಾರ್ಥಿ ಮುಂದೆ ಏನನ್ನು ಕಲಿಯಲು ಸಿದ್ಧವಾಗಿದೆ ಎಂಬುದಕ್ಕೆ ಸ್ಪಂದಿಸುವಂತೆ ಮಾಡಬಹುದು.

ಹೆಚ್ಚಿನ ವಿವರಗಳಿಗಾಗಿ ನಮ್ಮ ಸಂಪೂರ್ಣ ಸಂಶೋಧನಾ ಪ್ರಬಂಧವನ್ನು ಓದಿ. ನಾವು ಶೀಘ್ರದಲ್ಲೇ ಕೋಡ್ ಅನ್ನು ಓಪನ್ ಸೋರ್ಸ್ ಮಾಡಲಿದ್ದೇವೆ.

ಉಲ್ಲೇಖ

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}