ಹುಡುಕಾಟ-ವರ್ಧಿತ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಮುನ್ನಡೆಸುವುದು

ಪರಿಚಯ

ಫ್ರಾಂಟಿಯರ್ ವೆಬ್ ಹುಡುಕಾಟ ಏಜೆಂಟ್‌ಗಳಿಗೆ ತರಬೇತಿ ನೀಡಲು ಬಹು ಉದ್ದೇಶಗಳನ್ನು ಏಕಕಾಲದಲ್ಲಿ ಅತ್ಯುತ್ತಮವಾಗಿಸುವ ಅಗತ್ಯವಿದೆ: ವಾಸ್ತವಿಕ ನಿಖರತೆ, ಟ್ರ್ಯಾಜೆಕ್ಟರಿ ದಕ್ಷತೆ ಮತ್ತು ಬಳಕೆದಾರರ ಆದ್ಯತೆಯ ಹೊಂದಾಣಿಕೆ. ಆದರೂ ಪ್ರತ್ಯೇಕವಾಗಿ ಯಾವುದೇ ಒಂದೇ ಆಯಾಮವನ್ನು ಸುಧಾರಿಸುವುದು ಸಾಮಾನ್ಯವಾಗಿ ಇತರರನ್ನು ಕುಂಠಿತಗೊಳಿಸುತ್ತದೆ: ನಿಖರತೆಗಾಗಿ ಮಾತ್ರ ತರಬೇತಿ ಪಡೆದ ಮಾದರಿಗಳು ಸಾಧನಗಳನ್ನು ಅತಿಯಾಗಿ ಬಳಸಿಕೊಳ್ಳುತ್ತವೆ, ಆದರೆ ಸಂಕ್ಷಿಪ್ತತೆಗಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾದ ಮಾದರಿಗಳು ವಿಶ್ವಾಸಾರ್ಹತೆ ಅಥವಾ ಸಂಪೂರ್ಣತೆಯನ್ನು ತ್ಯಾಗ ಮಾಡಬಹುದು. Perplexity ನಲ್ಲಿ, ಯಾವುದೇ ಫಲಿತಾಂಶವು ಸ್ವೀಕಾರಾರ್ಹವಲ್ಲ.

ಈ ಲೇಖನವು ಓಪನ್ ಸೋರ್ಸ್ ಮಾದರಿಗಳ ಆಧಾರದ ಮೇಲೆ ಅತ್ಯಾಧುನಿಕ ವೆಬ್ ಹುಡುಕಾಟ ಏಜೆಂಟ್‌ಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಲು Perplexity ನ ಪೋಸ್ಟ್-ಟ್ರೈನಿಂಗ್ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ವಿವರಿಸುತ್ತದೆ. ಹುಡುಕಾಟ-ಏಜೆಂಟ್ ತರಬೇತಿಯಲ್ಲಿ, ಡೇಟಾ ಕ್ಯುರೇಷನ್ ಮತ್ತು ರಿವಾರ್ಡ್ ವಿನ್ಯಾಸವನ್ನು ಒಟ್ಟಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಬೇಕು ಎಂಬುದು ಪ್ರಮುಖ ಕಲ್ಪನೆಯಾಗಿದೆ: ಡೇಟಾವು ಯಾವ ನಡವಳಿಕೆಗಳು ಗಮನಿಸಬಹುದಾದವು ಮತ್ತು ಪರಿಶೀಲಿಸಬಹುದಾದವು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ, ಮತ್ತು ರಿವಾರ್ಡ್ ಆ ಸಂಕೇತಗಳನ್ನು ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಿಗ್ನಲ್ ಆಗಿ ಹೇಗೆ ಭಾಷಾಂತರಿಸಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ. ಈ ತತ್ವವು ನಮ್ಮ ಎರಡು ಹಂತದ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಪ್ರೇರೇಪಿಸುತ್ತದೆ: ನಾವು ಮೊದಲು ಪಾಲಿಸಿ ಮಾದರಿಯನ್ನು ಪ್ರಾರಂಭಿಸಲು ಸೂಪರ್ವೈಸ್ಡ್ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ (SFT) ವಾರ್ಮ್ಅಪ್ ಅನ್ನು ನಡೆಸುತ್ತೇವೆ ಮತ್ತು ನಂತರ ಕ್ಯುರೇಟೆಡ್ ಡೇಟಾಸೆಟ್ ಮತ್ತು ಎಚ್ಚರಿಕೆಯಿಂದ ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ರಿವಾರ್ಡ್‌ಗಳ ಮೇಲೆ ರೀಇನ್ಫೋರ್ಸ್ಮೆಂಟ್ ಲರ್ನಿಂಗ್ (RL) ಬಳಸಿ ಪಾಲಿಸಿ ಮಾದರಿಯನ್ನು ಪರಿಷ್ಕರಿಸುತ್ತೇವೆ. ಈ ಎರಡು ಹಂತದ ವಿಧಾನವು ಉತ್ಪಾದನಾ ನಿರ್ಬಂಧಗಳ ಅಡಿಯಲ್ಲಿ ನಿಖರತೆ, ದಕ್ಷತೆ ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆ ಗುಣಮಟ್ಟದಲ್ಲಿ ವಿಶ್ವಾಸಾರ್ಹ ಲಾಭಗಳನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ.

ನಾವು ಮೊದಲು ನಮ್ಮ ಎರಡು ಹಂತದ ತರಬೇತಿ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು (SFT → ಆನ್-ಪಾಲಿಸಿ RL) ವಿವರಿಸುತ್ತೇವೆ, ನಂತರ ಪರಿಶೀಲಿಸಬಹುದಾದ ಹುಡುಕಾಟ-ಏಜೆಂಟ್ QA ಮತ್ತು ರೂಬಿಕ್-ಆಧಾರಿತ ಸಾಮಾನ್ಯ ಚಾಟ್ ಎರಡನ್ನೂ ಒಳಗೊಂಡಿರುವ ನಮ್ಮ RL ತರಬೇತಿ ಡೇಟಾ ನಿರ್ಮಾಣವನ್ನು ವಿವರಿಸುತ್ತೇವೆ. ಗುಣಮಟ್ಟ ಮತ್ತು ದಕ್ಷತೆಯನ್ನು ಸಮತೋಲನಗೊಳಿಸುವಾಗ ಮತ್ತು ರಿವಾರ್ಡ್ ಹ್ಯಾಕಿಂಗ್ ಅನ್ನು ತಗ್ಗಿಸುವಾಗ ಈ ಭಿನ್ನಜಾತಿಯ ಡೇಟಾ ಸೆಟ್ಟಿಂಗ್‌ನಿಂದ பெறப்பட்ட ಸಂಯುಕ್ತ ರಿವಾರ್ಡ್ ವಿನ್ಯಾಸವನ್ನು ನಾವು ಪ್ರಸ್ತುತಪಡಿಸುತ್ತೇವೆ. ಅಂತಿಮವಾಗಿ, ನಾವು ತರಬೇತಿ ಡೈನಾಮಿಕ್ಸ್ ಮತ್ತು ಬೆಂಚ್‌ಮಾರ್ಕ್ ಫಲಿತಾಂಶಗಳನ್ನು ವಿಶ್ಲೇಷಿಸುತ್ತೇವೆ.

ಎರಡು ಹಂತದ ತರಬೇತಿ ಪೈಪ್‌ಲೈನ್

ನಾವು ಎರಡು ಹಂತದ ಪೋಸ್ಟ್-ಟ್ರೈನಿಂಗ್ ರೆಸಿಪಿಯನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುತ್ತೇವೆ: (i) ಗಾರ್ಡ್‌ರೈಲ್‌ಗಳು (ಉದಾ., ಅಬ್ಸ್ಟೆಂಕ್ಷನ್), ಇನ್‌ಸ್ಟ್ರಕ್ಷನ್ ಫಾಲೋಯಿಂಗ್ ಮತ್ತು ಭಾಷೆಯ ಸ್ಥಿರತೆಯಂತಹ ನಿಯೋಜನೆ-ನಿರ್ಣಾಯಕ ನಡವಳಿಕೆಗಳನ್ನು ಸ್ಥಾಪಿಸಲು SFT, ಮತ್ತು (ii) ಮೊದಲ ಹಂತದ ನಡವಳಿಕೆಗಳನ್ನು ಸಂರಕ್ಷಿಸುವಾಗ, ಉತ್ತರ ನಿಖರತೆ ಮತ್ತು ಟೂಲ್-ಯುಸ್ ದಕ್ಷತೆ ಸೇರಿದಂತೆ ಹುಡುಕಾಟ ಸಾಮರ್ಥ್ಯವನ್ನು ಸುಧಾರಿಸಲು ಆನ್-ಪಾಲಿಸಿ RL.

ಎರಡು ಹಂತಗಳು ಯಾಕೆ? ಕನಿಷ್ಠ ಒಂದು ಉದ್ದೇಶವನ್ನು ರಾಜಿ ಮಾಡಿಕೊಳ್ಳದೆ ಒಂದೇ RL ಹಂತದೊಳಗೆ ಹುಡುಕಾಟ ಗುಣಮಟ್ಟ ಮತ್ತು ನಿಯೋಜನೆ ನಿರ್ಬಂಧಗಳನ್ನು ಒಟ್ಟಿಗೆ ಅತ್ಯುತ್ತಮವಾಗಿಸುವುದು ಕಷ್ಟ. ಪ್ರಾಯೋಗಿಕವಾಗಿ, RL-ಮಾತ್ರ ತರಬೇತಿಯು ಹುಡುಕಾಟ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸುಧಾರಿಸುತ್ತದೆ ಆದರೆ ನಿಯೋಜನೆ ಗಾರ್ಡ್‌ರೈಲ್‌ಗಳಲ್ಲಿ ಕಡಿಮೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಆದರೆ SFT ಹುಡುಕಾಟ ಕಾರ್ಯಕ್ಷಮತೆಯ ವೆಚ್ಚದಲ್ಲಿ ಅನುಸರಣೆಯನ್ನು ಸುಧಾರಿಸುತ್ತದೆ. ಉದ್ದೇಶಗಳನ್ನು ಬೇರ್ಪಡಿಸುವುದರಿಂದ SFT ಹಂತವು ಮೊದಲು ಸಮಾಲೋಚಿಸಲಾಗದ ಅವಶ್ಯಕತೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ, ಅದರ ನಂತರ RL ಮುಖ್ಯವಾಗಿ ಹುಡುಕಾಟ ಸಾಮರ್ಥ್ಯವನ್ನು ಸುಧಾರಿಸುವುದರ ಮೇಲೆ ಗಮನಹರಿಸಬಹುದು.

SFT ಹಂತ

ನಾವು Qwen3 ಕುಟುಂಬದ ಮಾದರಿಗಳಿಂದ (Qwen3.5-122B-A10B ಮತ್ತು Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5 ಬ್ಲಾಗ್‌ಪೋಸ್ಟ್) ಪ್ರಾರಂಭಿಸುತ್ತೇವೆ ಮತ್ತು ಬೇಸ್ ಮಾದರಿಯ ಸಾಮಾನ್ಯ ಹುಡುಕಾಟ ಸಾಮರ್ಥ್ಯವನ್ನು ಸಂರಕ್ಷಿಸುವಾಗ, ಮೇಲೆ ವಿವರಿಸಿದ ನಿಯೋಜನೆ-ನಿರ್ಣಾಯಕ ನಡವಳಿಕೆಗಳನ್ನು ಗುರಿಯಾಗಿಸಿಕೊಂಡು ಎರಡು-ಘಟಕದ SFT ಮಿಶ್ರಣ ಡೇಟಾಸೆಟ್ ಅನ್ನು ನಿರ್ಮಿಸುತ್ತೇವೆ.

ಆದ್ಯತಾ-ಆಧಾರಿತ ಉದಾಹರಣೆಗಳು. ನಾವು ಸೂಚನೆಗಳನ್ನು ಅನುಸರಿಸುವ ಮತ್ತು ಶೈಲಿಗೆ ಒತ್ತು ನೀಡುವ ಉದಾಹರಣೆಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತೇವೆ; ಇವು ಧ್ವನಿ, ಭಾಷಾ ಸಾಂಗತ್ಯ, ಸ್ಪಷ್ಟತೆ, ಮತ್ತು ಸ್ವರೂಪೀಕರಣವನ್ನು ಗುರಿಯಾಗಿರುತ್ತವೆ. ಈ ಉದಾಹರಣೆಗಳಿಗೆ ಅನನ್ಯವಾದ ನಿಜವಾದ ಉತ್ತರ ಅಗತ್ಯವಿಲ್ಲ; ಬದಲಾಗಿ, ಉತ್ಪನ್ನ ಬರವಣಿಗೆಯ ಅವಶ್ಯಕತೆಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸಿ, ವಿವಿಧ ರೀತಿಯ ಪ್ರಶ್ನೆಗಳಾದ್ಯಂತ ಶೈಲೀ ಸಾಂಗತ್ಯವನ್ನು ಖಚಿತಪಡಿಸುವಂತೆ ಅವನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ.

ಉತ್ಪಾದನಾ-ಫಾರ್ಮ್ಯಾಟ್ ಟೂಲ್-ಯುಸ್ ಟ್ರ್ಯಾಜೆಕ್ಟರಿಗಳು. ಪ್ರಾಯೋಗಿಕವಾಗಿ, ಎಚ್ಚರಿಕೆಯಿಂದ ಡೇಟಾಸೆಟ್ ಕ್ಯುರೇಷನ್ ಇಲ್ಲದ SFT ಯು ಬೇಸ್ ಮಾದರಿಯ ಹುಡುಕಾಟ ಸಾಮರ್ಥ್ಯವನ್ನು ಗಣನೀಯವಾಗಿ ಕುಂಠಿತಗೊಳಿಸುತ್ತದೆ ಎಂದು ನಾವು ಕಂಡುಕೊಳ್ಳುತ್ತೇವೆ. ಇದನ್ನು ತಗ್ಗಿಸಲು, ನಾವು ವಿವಿಧ ಪರಸ್ಪರ ಕ್ರಿಯಾ ಮಾದರಿಗಳ (ಏಕ, ಎರಡು ಮತ್ತು ಬಹು-ಟರ್ನ್)ಾದ್ಯಂತ ಕ್ವೆರಿಗಳು ಮತ್ತು ಆಂತರಿಕ ಕಾರ್ಯಗಳನ್ನು ಸ್ಯಾಂಪಲ್ ಮಾಡುತ್ತೇವೆ ಮತ್ತು ನಮ್ಮ ಟೂಲ್-ಕಾಲಿಂಗ್ ಹಾರ್ನೆಸ್‌ನೊಂದಿಗೆ ಅವುಗಳನ್ನು ಆನೋಟೇಟ್ ಮಾಡುತ್ತೇವೆ.

RL ಹಂತ

SFT ಚೆಕ್‌ಪಾಯಿಂಟ್‌ನಿಂದ ಪ್ರಾರಂಭಿಸಿ, ಹುಡುಕಾಟ ನಿಖರತೆ ಮತ್ತು ದಕ್ಷತೆಯನ್ನು ಸುಧಾರಿಸಲು ನಾವು ಆನ್-ಪಾಲಿಸಿ RL ಅನ್ನು ಅನ್ವಯಿಸುತ್ತೇವೆ. ನಾವು ಗ್ರೂಪ್ ರಿಲೇಟಿವ್ ಪಾಲಿಸಿ ಆಪ್ಟಿಮೈಸೇಶನ್ (GRPO) (Shao et al., 2024) ಬಳಸಿ ಪಾಲಿಸಿ ಮಾದರಿಯನ್ನು ಆಪ್ಟಿಮೈಸ್ ಮಾಡುತ್ತೇವೆ.

ಇಲ್ಲಿ $G$ ಯು ಗುಂಪಿನ ಗಾತ್ರವಾಗಿದೆ, $o_{i}$ ಯು $i$-ನೇ ಸ್ಯಾಂಪಲ್ ಮಾಡಿದ ಔಟ್‌ಪುಟ್ ಅನ್ನು ಸೂಚಿಸುತ್ತದೆ, ಮತ್ತು $\hat{A}_{i, t} = \hat{A}_{i}$ ಯು ಅಡ್ವಾಂಟೇಜ್ ಆಗಿದೆ. ರಿವಾರ್ಡ್ ವಿನ್ಯಾಸವನ್ನು ರಿವಾರ್ಡ್ ವಿನ್ಯಾಸ ವಿಭಾಗದಲ್ಲಿ ವಿವರವಾಗಿ ವಿವರಿಸಲಾಗಿದೆ; ಸಂಕ್ಷಿಪ್ತವಾಗಿ, ನಾವು ಬೇಸ್‌ಲೈನ್ ಸರಿಯಾಗುವಿಕೆಯನ್ನು ಆದ್ಯತೆ-ಆಧಾರಿತ ಮತ್ತು ಆಂಕರ್ಡ್ ಎಫಿಷಿಯನ್ಸಿ ಶೇಪಿಂಗ್‌ನೊಂದಿಗೆ ಸಂಯೋಜಿಸುತ್ತೇವೆ. ಹಿಂದಿನ ಕೆಲಸದ ನಂತರ (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), ತರಬೇತಿ-ಅನುಮಾನದ ಅಸಾಮಂಜಸ್ಯತೆಯನ್ನು ಸರಿಪಡಿಸಲು ನಾವು ಟೋಕನ್-ಮಟ್ಟದ ಇಂಪಾರ್ಟೆನ್ಸ್ ಸ್ಯಾಂಪ್ಲಿಂಗ್ (IS) ಅನ್ನು ಅನ್ವಯಿಸುತ್ತೇವೆ:

ಸೆಕ್ವೆನ್ಸ್-ಮಟ್ಟದ IS (Zheng et al., 2025b), ರೂಟಿಂಗ್ ರಿಪ್ಲೇ (Ma et al., 2025; Zheng et al., 2025b), ಮತ್ತು ತರಬೇತಿಯ ಸಮಯದಲ್ಲಿ ಅನುಮಾನ ಎಂಜಿನ್‌ನ ಕರ್ನಲ್ ಅನ್ನು ಸಂಯೋಜಿಸುವ ಬಿಟ್‌ವೈಸ್ ಕನ್ಸಿಸ್ಟೆಂಟ್ ತರಬೇತಿ (vLLM and TorchTitan Teams, 2025) ಸೇರಿದಂತೆ ತರಬೇತಿ-ಅನುಮಾನದ ಅಸಾಮಂಜಸ್ಯತೆಯನ್ನು ತಗ್ಗಿಸಲು ನಾವು ಹಲವಾರು ವಿಧಾನಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ. ಪ್ರಾಯೋಗಿಕವಾಗಿ, ನಮ್ಮ ಆನ್-ಪಾಲಿಸಿ ಸೆಟ್ಟಿಂಗ್ ಅಡಿಯಲ್ಲಿ, ಟೋಕನ್-ಮಟ್ಟದ IS ಯು ಸರಳವಾಗಿ ಕಾರ್ಯಗತಗೊಳಿಸುವಾಗ ತರಬೇತಿ ಕುಸಿತವನ್ನು ತಡೆಯಲು ಸಾಕು ಎಂದು ನಾವು ಕಂಡುಕೊಳ್ಳುತ್ತೇವೆ; ಇದು Zheng et al (2025a) ನ ಸಂಶೋಧನೆಗಳೊಂದಿಗೆ ಸ್ಥಿರವಾಗಿದೆ.

RL ತರಬೇತಿ ಡೇಟಾ

ನಮ್ಮ RL ತರಬೇತಿ ಡೇಟೆಯು ಎರಡು ಪೂರಕ ಘಟಕಗಳನ್ನು ಒಳಗೊಂಡಿದೆ: ಸಾಮಾನ್ಯ ಹುಡುಕಾಟ ಸಾಮರ್ಥ್ಯವನ್ನು ಗುರಿಯಾಗಿಸಿಕೊಂಡು ಪರಿಶೀಲಿಸಬಹುದಾದ ಹುಡುಕಾಟ-ಏಜೆಂಟ್ QA, ಮತ್ತು RL ತರಬೇತಿ ಹಂತದಲ್ಲಿ ಹಿಮ್ಮುಖವಾಗುವುದನ್ನು ತಡೆಯಲು ನಿಯೋಜನೆ ಗಾರ್ಡ್‌ರೈಲ್‌ಗಳನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ಬಲಪಡಿಸುವ ರೂಬಿಕ್-ಆಧಾರಿತ ಸಾಮಾನ್ಯ ಚಾಟ್.

ಪರಿಶೀಲಿಸಬಹುದಾದ ಹುಡುಕಾಟ-ಏಜೆಂಟ್ ಡೇಟಾ

ಡೇಟಾಸೆಟ್ ನಿರ್ಮಾಣ. ಅನುಕ್ರಮ ವಿಸ್ತರಣೆ ವಿಧಾನದ ನಂತರ (Tao et al., 2025), ಕ್ಯುರೇಟೆಡ್ ಜ್ಞಾನ ಗ್ರಾಫ್ ಅನ್ನು ಅವಲಂಬಿಸದೆ ಆಂತರಿಕ ಸೀಡ್ ಕ್ವೆರಿಗಳಿಂದ ನಾವು ಇನ್-ಹೌಸ್ ಸಿಂಥೆಟಿಕ್ QA ಡೇಟಾಸೆಟ್ ಅನ್ನು ನಿರ್ಮಿಸುತ್ತೇವೆ, ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಹಗುರವಾಗಿ ಮತ್ತು ರಿಫ್ರೆಶ್ ಮಾಡಲು ಸುಲಭವಾಗಿರಿಸುತ್ತೇವೆ. ಪ್ರತಿಯೊಂದು ಸಿಂಥೆಟಿಕ್ ಉದಾಹರಣೆಯನ್ನು ಕೆಳಗಿನ ಹಂತಗಳ ಮೂಲಕ ಉತ್ಪಾದಿಸಲಾಗುತ್ತದೆ:

1. ಬೀಜ ಆಯ್ಕೆ. ನಾವು ಬೀಜ ಪ್ರಶ್ನೆಗಳಿಗೆ ದಾಖಲೆಗಳನ್ನು ಹುಡುಕಿ, ಅನೇಕ ಮೂಲಗಳಿಂದ ಸತ್ಯ ದೃಢೀಕರಣ ಹೊಂದಿರುವ ಘಟಕಗಳನ್ನು ಆರಂಭ ಬಿಂದುಗಳಾಗಿ ಆಯ್ಕೆ ಮಾಡುತ್ತೇವೆ, ಅವುಗಳ ಬಗ್ಗೆ ಅಣುಮಟ್ಟದ ಹೇಳಿಕೆಗಳನ್ನು ಹೊರತೆಗೆದುಕೊಳ್ಳುತ್ತೇವೆ.
2. ಬಹು-ಹಾಪ್ ಸರಪಳಿ ನಿರ್ಮಾಣ. ಸೀಡ್ ಘಟಕದ ಹೇಳಿಕೆಗಳಿಂದ, ನಾವು ಎರಡನೇ ಘಟಕವನ್ನು ಪರಿಚಯಿಸುವ ಒಂದನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತೇವೆ (ಉದಾ., “The Mom Test” ಸೀಡ್‌ಗಾಗಿ, “written by Rob Fitzpatrick” ಹೇಳಿಕೆಯು ಲೇಖಕರನ್ನು ಮುಂದಿನ ಘಟಕವಾಗಿ ಪರಿಚಯಿಸುತ್ತದೆ). ಪ್ರತಿ ಘಟಕವು ವಿಭಿನ್ನವಾಗಿದೆ ಮತ್ತು ಯಾವುದೇ ಒಂದೇ ಹೇಳಿಕೆಯು ಅಂತಿಮ ಉತ್ತರವನ್ನು ಸುಲಭವಾಗಿ ಬಹಿರಂಗಪಡಿಸುವುದಿಲ್ಲ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ನಾವು ಈ ಲಿಂಕ್ ಮಾಡುವ ಪ್ರಕ್ರಿಯೆಯನ್ನು 2–4 ಬಾರಿ ಪುನರಾವರ್ತಿಸುತ್ತೇವೆ.
3. ಹೆಸರು-ಮುಕ್ತ ಪ್ರಶ್ನೆ ಸಂಶ್ಲೇಷಣೆ. ಘಟಕದ ಹೆಸರುಗಳನ್ನು ಅವುಗಳ ಸಂಪರ್ಕಿಸುವ ಹೇಳಿಕೆಗಳೊಂದಿಗೆ ಮರುಬಳಕೆ ಮಾಡುವ ಮೂಲಕ ನಾವು ಘಟಕ ಸರಪಳಿಯನ್ನು ಪ್ರಶ್ನೆಯಾಗಿ ಪರಿವರ್ತಿಸುತ್ತೇವೆ, ಬಹು-ಹಾಪ್ ತಾರ್ಕಿಕತೆಯ ಅಗತ್ಯವಿರುವ ನೆಸ್ಟೆಡ್ ಪ್ರಶ್ನೆಯನ್ನು ಉತ್ಪಾದಿಸುತ್ತೇವೆ.
4. ಪರಿಶೀಲನೆ. ಬಹು ಸ್ವತಂತ್ರ ವೆಬ್-ಸಕ್ರಿಯಗೊಳಿಸಿದ ಪರಿಹರಿಸುವವರಿಂದ ಪರಿಶೀಲಿಸಲ್ಪಟ್ಟ ಅನನ್ಯ ಉತ್ತರಗಳನ್ನು ಹೊಂದಿರುವ ಪ್ರಶ್ನೆಗಳನ್ನು ಮಾತ್ರ ನಾವು ಉಳಿಸಿಕೊಳ್ಳುತ್ತೇವೆ.

ಉದಾಹರಣೆ (3-ಹಾಪ್)

“The Mom Test” ಎಂಬ ಬೀಜ ಪ್ರಶ್ನೆಯನ್ನು ಪರಿಗಣಿಸಿ. ನಾವು ದಾಖಲೆಗಳನ್ನು ಹುಡುಕಿ, ಈ ಪುಸ್ತಕವನ್ನು ಬೀಜ ಘಟಕವಾಗಿ ಗುರುತಿಸುತ್ತೇವೆ, ನಂತರ ಅಣುಮಟ್ಟದ ವಾಸ್ತವ ಹೇಳಿಕೆಗಳನ್ನು ಹೊರತೆಗೆದು, ಪುನರಾವರ್ತಿತವಾಗಿ ಘಟಕ ಶ್ರೇಣಿಯನ್ನು ನಿರ್ಮಿಸುತ್ತೇವೆ: (i) The Mom Test ಅನ್ನು Rob Fitzpatrick ಬರೆದಿದ್ದಾರೆ, ಇದರಿಂದ Rob Fitzpatrick ಪರಿಚಯಗೊಳ್ಳುತ್ತಾನೆ; (ii) Rob Fitzpatrick ಅವರ ಮೊದಲ ಸ್ಟಾರ್ಟಪ್ Y Combinator (Summer 2007) ಮೂಲಕ ಹಾದುಹೋಯಿತು, ಇದರಿಂದ Y Combinator ಪರಿಚಯಗೊಳ್ಳುತ್ತದೆ; (iii) Y Combinator ಅನ್ನು March 2005ರಲ್ಲಿ ಆರಂಭಿಸಲಾಯಿತು. ಪ್ರತಿ ಘಟಕದ ಹೆಸರನ್ನು ಅದರ ವರ್ಣನೆಯಿಂದ ಪುನಃಸ್ಥಾಪಿಸುತ್ತಾ ಹೋದರೆ, ಹೆಸರಿಲ್ಲದ ಪ್ರಶ್ನೆ ಹೀಗಾಗುತ್ತದೆ: “March 2005ರಲ್ಲಿ ಆರಂಭಿಸಲಾದ ವೇಗವರ್ಧಕದ ಮೂಲಕ ತನ್ನ ಮೊದಲ ಸ್ಟಾರ್ಟಪ್ ಹಾದುಹೋದ ವ್ಯಕ್ತಿ ಬರೆದ ಪುಸ್ತಕ ಯಾವುದು, ಅದರ Summer 2007 cohortನಲ್ಲಿ?” ಮತ್ತು ಉತ್ತರ “The Mom Test” ಆಗುತ್ತದೆ.

ಫಾರ್ಮ್ಯಾಟ್-ವೈವಿಧ್ಯತೆಯ ವರ್ಧನೆ. ಕೇವಲ ರಾ ಸಿಂಥೆಟಿಕ್ QA ಮೇಲೆ ತರಬೇತಿ ಪಡೆದ ಮಾದರಿಗಳು ಫಾರ್ಮ್ಯಾಟಿಂಗ್ ಪ್ರಾಶಸ್ತ್ಯಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತವೆ ಮತ್ತು ಕ್ವೆರಿಯನ್ನು ಹೇಗೆ ನುಡಿದರೂ ಸ್ಥಿರವಾದ ಪ್ರತಿಕ್ರಿಯೆ ರಚನೆಗೆ ಡೀಫಾಲ್ಟ್ ಆಗುತ್ತವೆ. ಫಾರ್ಮ್ಯಾಟ್ ವೈವಿಧ್ಯತೆಯನ್ನು ಸುಧಾರಿಸಲು, ಆಧಾರವಾಗಿರುವ ಉತ್ತರವನ್ನು ಬದಲಾಯಿಸದೆ ಇನ್‌ಪುಟ್ ಫಾರ್ಮ್ಯಾಟಿಂಗ್ ಸೂಚನೆಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಕ್ವೆರಿಗಳೊಂದಿಗೆ (ಉದಾ., “ಪಟ್ಟಿ ತೋರಿಸು . . . ” ಅಥವಾ “ಸಾರಾಂಶ . . . ಕೋಷ್ಟಕದಲ್ಲಿ”) ನಾವು ಡೇಟಾಸೆಟ್ ಅನ್ನು ವರ್ಧಿಸುತ್ತೇವೆ.

ಸಾರ್ವಜನಿಕ ಪರಿಶೀಲಿಸಬಹುದಾದ QA (ಬೇಸ್‌ಲೈನ್). ಗುಣಮಟ್ಟದ ಫಿಲ್ಟರಿಂಗ್‌ನೊಂದಿಗೆ ನಮ್ಮ ವರ್ಧಿತ ಪ್ರಾಂಪ್ಟ್ ಫಾರ್ಮ್ಯಾಟ್ ಅಡಿಯಲ್ಲಿ ಏಕೀಕರಿಸಲಾದ ಐದು ಓಪನ್ ಸೋರ್ಸ್ ಡೇಟಾಸೆಟ್‌ಗಳಿಂದ (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025) ನಾವು ಬೇಸ್‌ಲೈನ್ ಪರಿಶೀಲಿಸಬಹುದಾದ QA ಡೇಟಾಸೆಟ್ ಅನ್ನು ನಿರ್ಮಿಸುತ್ತೇವೆ. ಈ ಮಿಶ್ರಣವು ನಮ್ಮ ಮೌಲ್ಯಮಾಪನ ಪ್ರಯೋಗಗಳಲ್ಲಿ ಪ್ರಾಥಮಿಕ ಬೇಸ್‌ಲೈನ್ ಆಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ನಿಯಂತ್ರಿತ ಹೋಲಿಕೆಗಳಿಗಾಗಿ, ನಮ್ಮ ಇನ್-ಹೌಸ್ ಸಿಂಥೆಟಿಕ್ QA ಡೇಟಾಸೆಟ್‌ನ ಪ್ರಮಾಣವನ್ನು ಈ ಓಪನ್ ಸೋರ್ಸ್ ಮಿಶ್ರಣಕ್ಕೆ ಹೊಂದಿಸುತ್ತೇವೆ.

ತ್ವರಿತ ಮೌಲ್ಯಮಾಪನ. ವೇಗದ ಪುನರಾವರ್ತನೆಯನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಲು Qwen3-30B-A3B-Instruct-2507 ಬಳಸಿ ನಾವು ಈ ಪೈಪ್‌ಲೈನ್‌ನ ಪರಿಣಾಮಕಾರಿತ್ವವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ; ಫಲಿತಾಂಶಗಳನ್ನು ಕೋಷ್ಟಕ 1 ರಲ್ಲಿ ಸಂಕ್ಷಿಪ್ತಗೊಳಿಸಲಾಗಿದೆ.

ವಿಸ್ತರಿಸಿ

ರೂಬಿಕ್-ಆಧಾರಿತ ಸಾಮಾನ್ಯ ಚಾಟ್ ಡೇಟಾ

ದೃಢೀಕರಿಸಬಹುದಾದ QA ಹುಡುಕಾಟ-ಕೇಂದ್ರಿತ ಪ್ರಶ್ನೆಗಳಿಗೆ ಸ್ವಚ್ಛವಾದ ತರಬೇತಿ ಸಂಕೇತವನ್ನು ಒದಗಿಸಿದರೂ, ಉತ್ಪಾದನಾ ಟ್ರಾಫಿಕ್‌ನ ಗಣನೀಯ ಭಾಗವು ಅಲ್ಲ ಅನನ್ಯವಾಗಿ ದೃಢೀಕರಿಸಬಹುದಾದದ್ದು (ಉದಾ., ಪುನರ್‌ಲೇಖನ, ಯೋಜನೆ, ಮತ್ತು ಮುಕ್ತಾಂತ ಸಹಾಯ). ಇಂತಹ ಪ್ರಶ್ನೆಗಳನ್ನು RL‌ನಿಂದ ಹೊರತುಪಡಿಸಿದರೆ, ನೀತಿ ನಿಜವಾದ ಬಳಕೆದಾರ ಸಂವಹನಗಳಿಗೆ ಕಡಿಮೆವಾಗಿ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ. ಜೊತೆಗೆ, SFT ಹಂತವು ನಿಯೋಜನೆಗೆ ಅತ್ಯಾವಶ್ಯಕವಾದ ರಕ್ಷಣಾತ್ಮಕ ನಿಯಮಗಳನ್ನು ಸ್ಥಾಪಿಸಿದರೂ, ಡೇಟಾದಿಂದ ಅವುಗಳನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ಬಲಪಡಿಸದಿದ್ದರೆ RL ಅವುಗಳಲ್ಲಿ ಹಿನ್ನಡೆಗೊಳ್ಳಬಹುದು.

ನಿಯೋಜನೆ-ನಿರ್ಣಾಯಕ ಅವಶ್ಯಕತೆಗಳನ್ನು - ಇನ್‌ಸ್ಟ್ರಕ್ಷನ್ ಫಾಲೋಯಿಂಗ್, ಫಾರ್ಮ್ಯಾಟಿಂಗ್ ನಿರ್ಬಂಧಗಳು ಮತ್ತು ಸುರಕ್ಷತಾ ವಾರ್ಷಿಕಗಳು - ರೂಬಿಕ್‌ಗಳಾಗಿ ಪರಿವರ್ತಿಸುವ ಮೂಲಕ ನಾವು ಪರಿಶೀಲಿಸಲಾಗದ ಕ್ವೆರಿಗಳನ್ನು RL ತರಬೇತಿಯಲ್ಲಿ ಸೇರಿಸಿಕೊಳ್ಳುತ್ತೇವೆ: ಪ್ರತಿಕ್ರಿಯೆಯು ಪೂರೈಸಬೇಕಾದ ಪರಮಾಣು, ವಸ್ತುನಿಷ್ಠವಾಗಿ ಪರಿಶೀಲಿಸಬಹುದಾದ ಮಾನದಂಡಗಳು. ನಾವು ರೂಬಿಕ್-ಆಧಾರಿತ ಡೇಟಾ ನಿರ್ಮಾಣವನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುತ್ತೇವೆ (Gunjal et al., 2025; Liu et al., 2025b), ಪ್ರತಿ ಕ್ವೆರಿಗೆ ರೂಬಿಕ್ ಸೆಟ್‌ಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತೇವೆ.

ರೂಬಿಕ್ ಉತ್ಪಾದನೆ. ಪೂರ್ಣ ಸಂಭಾಷಣೆ ಇತಿಹಾಸವನ್ನು ನೀಡಿದರೆ, ಉಲ್ಲೇಖ ಪ್ರತಿಕ್ರಿಯೆ ಮತ್ತು ಅನುರೂಪವಾದ ರೂಬಿಕ್ ಸೆಟ್ ಅನ್ನು ಉತ್ಪಾದಿಸಲು ನಾವು LLM ಅನ್ನು ಪ್ರಾಂಪ್ಟ್ ಮಾಡುತ್ತೇವೆ. ನಿಗದಿತ ಪೂರ್ವಪ್ರಾಶಸ್ತ್ಯ ಕ್ರಮದಲ್ಲಿ ರೂಬಿಕ್‌ಗಳನ್ನು ಪಡೆಯಲಾಗುತ್ತದೆ: ಬಳಕೆದಾರರಿಂದ ಸ್ಪಷ್ಟವಾಗಿ ತಿಳಿಸಲಾದ ಅವಶ್ಯಕತೆಗಳು ಮುಂಚೂಣಿಯನ್ನು ಪಡೆದುಕೊಳ್ಳುತ್ತವೆ, ನಂತರ ಆಂತರಿಕ ನಿರ್ಬಂಧಗಳು, ಮತ್ತು ಅಂತಿಮವಾಗಿ ಉಲ್ಲೇಖ ಪ್ರತಿಕ್ರಿಯೆಯಿಂದ ಊಹಿಸಲಾದ ಅಗತ್ಯ ವಿಷಯ ಅವಶ್ಯಕತೆಗಳು. ಪ್ರತಿಯೊಂದು ರೂಬಿಕ್ ಹೀಗಿರಬೇಕು:

• ಪರಮಾಣು (Atomic): ಒಂದೇ, ಉತ್ತಮವಾಗಿ ವ್ಯಾಖ್ಯಾನಿಸಲಾದ ಪರಿಶೀಲನೆ;
• ವಸ್ತುನಿಷ್ಠ (Objective): ವ್ಯಕ್ತಿನಿಷ್ಠ ನಿರ್ಣಯವಿಲ್ಲದೆ ಪರಿಶೀಲಿಸಬಹುದಾದ;
• ಅಗತ್ಯ (Necessary): ಕೇವಲ ಶೈಲಿಯ ಆದ್ಯತೆಯಲ್ಲ, ಕ್ವೆರಿಗೆ ಉತ್ತರಿಸಲು ಅಗತ್ಯವಿರುವ.

ಉದಾಹರಣೆ

ಕ್ವೆರಿ.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

ರೂಬಿಕ್‌ಗಳು.

• The response is written in English.
• The corrected wording contains the words "lodging" and "boarding".
• The corrected wording uses "manpower" as a single word (for example, "manpower plan" or "manpower planning") rather than "man power".
• The corrected wording does not contain the informal shorthand tokens "u" or "Plz", and it does not contain the ampersand character "&".
• The response does not contain citation markers of the form \\[type:idx\\], where type denotes a data source (for example, web, chart, memory, attached_file).

ರೂಬಿಕ್ ಮಾಪನಾಂಕ ನಿರ್ಣಯ. ಅತಿ ಕಟ್ಟುನಿಟ್ಟಾದ ಅಥವಾ ಅತಿ ಸಡಿಲವಾದ ರೂಬಿಕ್ ಸೆಟ್‌ಗಳನ್ನು ತಪ್ಪಿಸಲು, ನಾವು pass@4 ಫಿಲ್ಟರ್ ಅನ್ನು ಅನ್ವಯಿಸುತ್ತೇವೆ. ಪ್ರತಿ ಕ್ವೆರಿಗೆ, ನಾವು ನಾಲ್ಕು ಸ್ವತಂತ್ರ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಸ್ಯಾಂಪಲ್ ಮಾಡುತ್ತೇವೆ ಮತ್ತು ಇನ್‌ಸ್ಟ್ರಕ್ಷನ್-ಫಾಲೋಯಿಂಗ್ ನ್ಯಾಯಾಧೀಶರೊಂದಿಗೆ ಸಂಪೂರ್ಣ ರೂಬಿಕ್ ಸೆಟ್ ವಿರುದ್ಧ ಅವುಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ. ಯಾವುದೇ ಪ್ರತಿಕ್ರಿಯೆಯು ರೂಬಿಕ್ ಸೆಟ್ ಅನ್ನು ಪೂರೈಸದ ಅಥವಾ ಎಲ್ಲಾ ಪ್ರತಿಕ್ರಿಯೆಗಳು ಪೂರೈಸುವ ಕ್ವೆರಿಗಳನ್ನು ನಾವು ತಿರಸ್ಕರಿಸುತ್ತೇವೆ, ಮಾಹಿತಿಪೂರ್ಣ ತರಬೇತಿ ಸಂಕೇತವನ್ನು ನೀಡುವಂತಹವುಗಳನ್ನು ಮಾತ್ರ ಉಳಿಸಿಕೊಳ್ಳುತ್ತೇವೆ.

ಪ್ರಾಂಪ್ಟ್ ಮಿಶ್ರಣ ಮತ್ತು ವ್ಯತ್ಯಾಸ ಸಮತೋಲನ

ಬಹು-ಉದ್ದೇಶದ RL ನಲ್ಲಿ ಪ್ರಾಯೋಗಿಕ ಸವಾಲು ಎಂದರೆ ಡೇಟಾ ಘಟಕಗಳಾದ್ಯಂತ ವ್ಯತ್ಯಾಸ ಅಸಮತೋಲನ (Duchi and Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). ಪರಿಶೀಲಿಸಬಹುದಾದ QA ಮತ್ತು ರೂಬಿಕ್-ಆಧಾರಿತ ಡೇಟಾ ಎರಡೂ ಬೈನರಿ ರಿವಾರ್ಡ್‌ಗಳನ್ನು ನೀಡುತ್ತವೆಯಾದರೂ, ಅವು ಕಾರ್ಯದ ಕಷ್ಟದಲ್ಲಿ ಗಣನೀಯವಾಗಿ ಭಿನ್ನವಾಗಿರುತ್ತವೆ: ರೂಬಿಕ್ ತೃಪ್ತಿಯು ಸಾಮಾನ್ಯವಾಗಿ ತರಬೇತಿಯ ಆರಂಭದಲ್ಲಿ ಸಾಧಿಸಲು ಸುಲಭವಾಗಿರುತ್ತದೆ, ಕಠಿಣ ಪರಿಶೀಲಿಸಬಹುದಾದ QA ಸಂಕೇತಕ್ಕೆ ಹೋಲಿಸಿದರೆ ಪಾಲಿಸಿ ಆಪ್ಟಿಮೈಸೇಶನ್ ಅನ್ನು ಅಸಮಾನವಾಗಿ ಪ್ರಾಬಲ್ಯಗೊಳಿಸಬಹುದಾದ ದೊಡ್ಡ ಮತ್ತು ಹೆಚ್ಚು frequent ಗ್ರೇಡಿಯಂಟ್ ಅಪ್‌ಡೇಟ್‌ಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಇದನ್ನು ಪರಿಹರಿಸಲು, ನಾವು ಡೇಟಾಸೆಟ್ ಮಟ್ಟದಲ್ಲಿ ಪ್ರಾಂಪ್ಟ್ ಮಿಶ್ರಣವನ್ನು ಮರುತೂಕ ಮಾಡುತ್ತೇವೆ, ಘಟಕಗಳಾದ್ಯಂತ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಂಕೇತವನ್ನು ಸಮತೋಲನಗೊಳಿಸಲು ಪರಿಶೀಲಿಸಬಹುದಾದ QA ನಿಂದ 90% ಮತ್ತು ರೂಬಿಕ್-ಆಧಾರಿತ ಡೇಟಾದಿಂದ 10% ಅನ್ನು ಸ್ಯಾಂಪಲ್ ಮಾಡುತ್ತೇವೆ.

ರಿವಾರ್ಡ್ ವಿನ್ಯಾಸ

ನಮ್ಮ ಬಹುಮಾನ ವಿನ್ಯಾಸವು ಮೇಲಿಂದ ವಿವರಿಸಿದ ಡೇಟಾ ನಿರ್ಮಾಣದಿಂದ ನೇರವಾಗಿ ಉದ್ಭವಿಸುತ್ತದೆ. ದೃಢೀಕರಿಸಬಹುದಾದ QA ಮತ್ತು ರೂಬ್ರಿಕ್ ಕಾರ್ಯಗಳನ್ನು ಎರಡನ್ನೂ ಒಳಗೊಂಡಿದ್ದರೂ, ಎಲ್ಲಾ ತರಬೇತಿ ಡೇಟಾವೂ ಸಾಮಾನ್ಯ ಮೂಲ ಬಹುಮಾನ ರಚನೆಯನ್ನು ಹಂಚಿಕೊಂಡಿದೆ: QA ಕಾರ್ಯಗಳಿಗೆ ಸರಿಯಾದ ಉತ್ತರವನ್ನು ನೀಡಿದರೆ, ಅಥವಾ ಸಾಮಾನ್ಯ ಚಾಟ್‌ಗೆ ನಿರ್ದಿಷ್ಟಪಡಿಸಿದ ಎಲ್ಲಾ ರೂಬ್ರಿಕ್‌ಗಳನ್ನು ಪೂರೈಸಿದರೆ, ಒಂದು ರೋಲ್‌ಔಟ್‌ಗೆ ಕ್ರೆಡಿಟ್‌ಗಳು ಲಭಿಸುತ್ತವೆ. ಈ ಹಂಚಿಕೊಂಡ ಆಧಾರದ ಮೇಲೆ ನಿರ್ಮಿಸಿ, ನಾವು ಆದ್ಯತಾ-ಆಧಾರಿತ ಅಂಕೀಕರಣ ಮತ್ತು ದಕ್ಷತಾ ಶೇಪಿಂಗ್ ಅನ್ನು ಸೇರಿಸಲು ಒಂದು ಸಂಯುಕ್ತ ಬಹುಮಾನವನ್ನು ನಿರ್ಮಿಸುತ್ತೇವೆ.

ಆರಂಭಿಕ ಪ್ರಯೋಗಗಳಲ್ಲಿ ಗಮನಿಸಿದ ಪ್ರಮುಖ ಸವಾಲು ಎಂದರೆ ರಿವಾರ್ಡ್ ಹ್ಯಾಕಿಂಗ್: ರಿವಾರ್ಡ್‌ಗಳ ಸರಳ ರೇಖೀಯ ಸಂಯೋಜನೆಯು ಬಲವಾದ ಆದ್ಯತೆ ಸಂಕೇತಗಳಿಗೆ ವಾಸ್ತವಿಕ ಅಥವಾ ಸೂಚನಾ ವೈಫಲ್ಯಗಳನ್ನು ಸರಿದೂಗಿಸಲು ಅವಕಾಶ ಮಾಡಿಕೊಟ್ಟಿತು. ಆದ್ದರಿಂದ ನಾವು ಗೇಟೆಡ್ ಅಗ್ರಿಗೇಷನ್ ಅನ್ನು ಕೋರ್ ವಿನ್ಯಾಸ ತತ್ವವಾಗಿ ಅಳವಡಿಸಿಕೊಳ್ಳುತ್ತೇವೆ, ಇದನ್ನು ಔಪಚಾರಿಕವಾಗಿ ಹೀಗೆ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ:

ಇಲ್ಲಿ $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ ಯು QA ಸರಿಯಾಗುವಿಕೆ ಅಥವಾ ರೂಬಿಕ್ ತೃಪ್ತಿಯನ್ನು ಸೂಚಿಸುತ್ತದೆ, $s(\tau_i)\in[0,1]$ ಯು ಆದ್ಯತೆ ಸ್ಕೋರ್ ಆಗಿದೆ, ಮತ್ತು $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ ಯು ಆಂಕರ್ಡ್ ಎಫಿಷಿಯನ್ಸಿ ದಂಡವಾಗಿದೆ. ಇದು ಅನಾವಶ್ಯಕ ಸಾಧನ ಬಳಕೆ ಮತ್ತು ಮಾತಾಡುಟನವನ್ನು ನಿರುತ್ಸಾಹಗೊಳಿಸುವಾಗ, ಆದ್ಯತೆ ಕ್ರೆಡಿಟ್‌ಗಳನ್ನು ಸ್ವೀಕರಿಸಲು ಸರಿಯಾಗುವಿಕೆಯನ್ನು ಅವಶ್ಯಕ ಸ್ಥಿತಿಯನ್ನಾಗಿ ಮಾಡುತ್ತದೆ. ಚಿತ್ರ 1 ಸಂಪೂರ್ಣ ರಿವಾರ್ಡ್ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ವಿವರಿಸುತ್ತದೆ, ಇದರ ಘಟಕಗಳನ್ನು ನಾವು ಕೆಳಗೆ ವಿವರಿಸುತ್ತೇವೆ:

ವಿಸ್ತರಿಸಿ

ಬೇಸ್‌ಲೈನ್ ರಿವಾರ್ಡ್

ನಾವು ಕಾರ್ಯದ ಸರಿಯಾಗುವಿಕೆ ಅಥವಾ ಸೂಚನಾ ಅನುಸರಣೆಯನ್ನು ಸೆರೆಹಿಡಿಯುವ ಬೈನರಿ ಬೇಸ್‌ಲೈನ್ ಸಂಕೇತ ಅನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತೇವೆ. ಪರಿಶೀಲಿಸಬಹುದಾದ ಹುಡುಕಾಟ-ಏಜೆಂಟ್ ಡೇಟಾಗಾಗಿ, ಅಂತಿಮ ಉತ್ತರವು ಗ್ರೌಂಡ್ ಟ್ರುತ್‌ಗೆ ಹೊಂದಿಕೆಯಾದರೆ , ಮತ್ತು ಇಲ್ಲದಿದ್ದರೆ . ರೂಬಿಕ್-ಆಧಾರಿತ ಸಾಮಾನ್ಯ ಚಾಟ್ ಡೇಟಾಗಾಗಿ, ಎಲ್ಲಾ ರೂಬಿಕ್‌ಗಳು ತೃಪ್ತಿಯಾದರೆ , ಮತ್ತು ಇಲ್ಲದಿದ್ದರೆ . ಈ ಬೇಸ್‌ಲೈನ್ ಷರತ್ತುಬದ್ಧ ಒಟ್ಟುಗೂಡಿಸುವಿಕೆಯ ನಿಯಮ ಸಮೀಕರಣ 2 ರಲ್ಲಿ ಕಠಿಣ ಗೇಟ್ ಆಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.$r_{\mathrm{base}}(\tau_i) \in \{0,1\}$$r_{\mathrm{base}}(\tau_i)=1$$0$$r_{\mathrm{base}}(\tau_i)=1$$0$

ಆದ್ಯತೆ ಮಾಡೆಲಿಂಗ್

ಪ್ರತಿಕ್ರಿಯೆ ಗುಣಮಟ್ಟದ ಮೇಲೆ ಬಳಕೆದಾರರ ಗುಪ್ತ ಆದ್ಯತೆಗಳೊಂದಿಗೆ - ಮಾಹಿತಿಪೂರ್ಣತೆ, ಸ್ಪಷ್ಟತೆ ಮತ್ತು ವೃತ್ತಿಪರ ಟೋನ್ - ಪಾಲಿಸಿ ಮಾದರಿಯನ್ನು ಹೊಂದಿಸಲು ನಾವು ಗುರಿಯನ್ನು ಹೊಂದಿದ್ದೇವೆ, LLM-ನ್ಯಾಯಾಧೀಶರ ಪ್ರಾಂಪ್ಟ್‌ಗಳ ಮೂಲಕ ಇದನ್ನು ಸೆರೆಹಿಡಿಯುವುದು ಕಷ್ಟ. ಆದ್ದರಿಂದ ಈ ಗುಣಲಕ್ಷಣಗಳನ್ನು ನೇರವಾಗಿ ಸ್ಕೋರ್ ಮಾಡಲು ನಾವು ಕಲಿತ ಆದ್ಯತೆ ರಿವಾರ್ಡ್ ಮಾದರಿಗೆ ತರಬೇತಿ ನೀಡುತ್ತೇವೆ.

ನಾವು ಬ್ರಾಡ್‌ಲಿ-ಟೆರ್ರಿ ಫ್ರೇಮ್‌ವರ್ಕ್ ಅಡಿಯಲ್ಲಿ ಆದ್ಯತೆ ಕಲಿಕೆಯನ್ನು ರೂಪಿಸುತ್ತೇವೆ. ಸಂದರ್ಭ $x$ ಮತ್ತು ಎರಡು ಅಭ್ಯರ್ಥಿ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು $y_a, y_b$ ನೀಡಿದರೆ, ಮಾದರಿಯು ಸ್ಕೇಲಾರ್ ಸ್ಕೋರ್‌ಗಳನ್ನು $s_{\theta}(x, y) \in \mathbb{R}$ ಉತ್ಪಾದಿಸುತ್ತದೆ ಮತ್ತು ಕನಿಷ್ಠಗೊಳಿಸುತ್ತದೆ,

ಇಲ್ಲಿ $r \in \{0, 1\}$ ಯು $y_a$ ಗೆ ಆದ್ಯತೆ ನೀಡಲಾಗಿದೆಯೇ ಎಂದು ಸೂಚಿಸುತ್ತದೆ. ಸ್ಥಾನಿಕ ಪಕ್ಷಪಾತವನ್ನು ತೊಡೆದುಹಾಕಲು, ಪ್ರತಿ ತರಬೇತಿ ಜೋಡಿಯನ್ನು ಎರಡೂ ಕ್ರಮಪದ್ಧತಿಗಳೊಂದಿಗೆ ವರ್ಧಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಸಮ್ಮಿತೀಯವಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾಗುತ್ತದೆ,

ಅನುಮಾನದ ಸಮಯದಲ್ಲಿ, ಎರಡೂ ಕ್ರಮಪದ್ಧತಿಗಳನ್ನು ಸರಾಸರಿ ಮಾಡುವ ಮೂಲಕ ನಾವು ಸ್ಥಾನ-ಅಜ್ಞಾತ ಆದ್ಯತೆ ಸ್ಕೋರ್ ಅನ್ನು ಪಡೆಯುತ್ತೇವೆ:

ರೋಲ್‌ಔಟ್ ಆದ್ಯತೆ ಸ್ಕೋರ್ ಅನ್ನು ನಂತರ $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗುತ್ತದೆ, ಅಂದರೆ ಅದೇ ಪ್ರಾಂಪ್ಟ್‌ಗಾಗಿ ಉಲ್ಲೇಖ ಮಾದರಿ ರೋಲ್‌ಔಟ್ಗಿಂತ ಪಾಲಿಸಿ ರೋಲ್‌ಔಟ್ $y_i$ ಗೆ ಆದ್ಯತೆ ನೀಡುವ ಸಂಭವನೀಯತೆ.

ಆದ್ಯತೆ ಮಾಡೆಲಿಂಗ್‌ಗಾಗಿ ತರಬೇತಿ ಡೇಟಾವನ್ನು ಕ್ಯುರೇಟೆಡ್ ಓಪನ್ ಸೋರ್ಸ್ ಡೇಟಾಸೆಟ್‌ಗಳು, ಬಳಕೆದಾರರ ಸೈಡ್-ಬೈ-ಸೈಡ್ ಪ್ರತಿಕ್ರಿಯೆ ಮತ್ತು ಆಂತರಿಕ ಆನೋಟೇಷನ್‌ಗಳಿಂದ ತೆಗೆದುಕೊಳ್ಳಲಾಗಿದೆ. ಲೇಬಲ್ ಶಬ್ದವನ್ನು ಪರಿಹರಿಸಲು, ನಾವು Datbench (DatologyAI, 2026) ನಿಂದ ಪ್ರೇರಿತವಾದ ಹಗುರವಾದ ಫಿಲ್ಟರಿಂಗ್ ಮತ್ತು ಮಾಪನಾಂಕ ನಿರ್ಣಯ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಅನ್ವಯಿಸುತ್ತೇವೆ, ಸ್ಥಿರವಾದ ಕ್ರಾಸ್-ಮದಲ್ ಒಪ್ಪಂದದೊಂದಿಗೆ ಉದಾಹರಣೆಗಳನ್ನು ಮಾತ್ರ ಉಳಿಸಿಕೊಳ್ಳುತ್ತೇವೆ. ರಿವಾರ್ಡ್ ಮಾದರಿಯು ಪಾಲಿಸಿ ಮಾದರಿಯ ಅದೇ ಬ್ಯಾಕ್‌ಬೋನ್ ಅನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತದೆ, ಭಾಷಾ ಮಾಡೆಲಿಂಗ್ ಹೆಡ್ ಅನ್ನು ವ್ಯಾಲ್ಯೂ ಹೆಡ್‌ನಿಂದ ಬದಲಾಯಿಸಲಾಗಿದೆ. ಚಿಕ್ಕ ರಿವಾರ್ಡ್ ಮಾದರಿಗಳು ಹೋಲಿಸಬಹುದಾದ ಹೆಲ್ಡ್-ಔಟ್ ನಿಖರತೆಯನ್ನು ಸಾಧಿಸಿದರೂ, ಅವು ಸೂಕ್ಷ್ಮವಾದ ಆದ್ಯತೆಗಳನ್ನು ಸೆರೆಹಿಡಿಯಲು ವಿಫಲಗೊಳ್ಳುತ್ತವೆ ಮತ್ತು ಅನಪೇಕ್ಷಿತ ಪಾಲಿಸಿ ನಡವಳಿಕೆಗಳನ್ನು ಬಲಪಡಿಸಬಹುದು ಎಂದು ನಾವು ಪ್ರಾಯೋಗಿಕವಾಗಿ ಕಂಡುಕೊಳ್ಳುತ್ತೇವೆ.

ದಕ್ಷತೆ ದಂಡ

ಸ್ಪಷ್ಟ ದಕ್ಷತಾ ಶೇಪಿಂಗ್ ಇಲ್ಲದಿದ್ದಾಗ, ನೀತಿ ಸರಳ ಪ್ರಾಂಪ್ಟ್‌ಗಳಲ್ಲಿಯೂ ಉಪಕರಣಗಳನ್ನು ಅತಿಯಾಗಿ ಬಳಸುವ ಪ್ರವೃತ್ತಿ ಹೊಂದಿರುತ್ತದೆ. ನಿರ್ಶರ್ತ ದಂಡಗಳು (ಉದಾ., ಉಪಕರಣ-ಕರೆ ಎಣಿಕೆ ಅಥವಾ ಔಟ್‌ಪುಟ್ ಉದ್ದದೊಂದಿಗೆ ರೇಖೀಯವಾಗಿ ಮಾಪನಗೊಳ್ಳುವವು) ಸಹಜವಾದ ಮೂಲಾಧಾರವಾದರೂ, ಅವು ಅಗತ್ಯವಾದ ಅನ್ವೇಷಣೆಯನ್ನು ದಮನಿಸಿ ಕಲಿಕೆಯನ್ನು ಕುಗ್ಗಿಸುತ್ತವೆ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ. ಆದ್ದರಿಂದ ನಾವು ಗುಂಪು-ಸಾಪೇಕ್ಷ, ಆಧಾರಿತ ದಂಡಗಳನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುತ್ತೇವೆ; ಇವು ಪ್ರತಿ GRPO ಗುಂಪಿನೊಳಗಿನ ಪರಿಣಾಮಕಾರಿ ಪರಿಹಾರಗಳಿಗೆ ಹೋಲಿಸಿ ಉಪಕರಣ ಬಳಕೆ ಮತ್ತು ಪ್ರತಿಕ್ರಿಯಾ ಉದ್ದವನ್ನು ನಿಯಮಿತಗೊಳಿಸುತ್ತವೆ. ಒಂದು ಗುಂಪು 𝑔ಗಾಗಿ, ನಾವು ವಿಜೇತ ಸಮೂಹವನ್ನು ಹೀಗೆ ನಿರ್ವಚಿಸುತ್ತೇವೆ:

ಆಂಕರ್ಡ್ ಟೂಲ್-ಕಾಲ್ ದಂಡ. ಪ್ರತಿಯೊಂದು ರೋಲ್‌ಔಟ್ $\tau_i$ ಗಾಗಿ, $c_i$ ಯು ಟೂಲ್ ಕಾಲ್‌ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಮತ್ತು $e_i$ ಯು ಟೂಲ್-ಎಕ್ಸಿಕ್ಯೂಷನ್ ವೈಫಲ್ಯಗಳ ಸಂಖ್ಯೆಯನ್ನು ಸೂಚಿಸಲಿ. ನಾವು ಪರಿಣಾಮಕಾರಿ ಟೂಲ್-ಕಾಲ್ ಎಣಿಕೆ $\tilde{c}_i = c_i - e_i$ ಅನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತೇವೆ ಮತ್ತು ಗುಂಪು ಬೇಸ್‌ಲೈನ್ ಅನ್ನು ಏಕರೂಪವಾಗಿ ಸ್ಯಾಂಪಲ್ ಮಾಡುತ್ತೇವೆ:

ನಾವು ಹೆಚ್ಚುವರಿ $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ ಅನ್ನು ಲೆಕ್ಕ ಹಾಕುತ್ತೇವೆ, ಮತ್ತು ನುಣ್ಣನೆಯ ದಂಡ ಸ್ಕೇಲಾರ್ $p_i = 1 - \exp\!\left(-\Delta_i\right)$ ಅನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತೇವೆ. ಟೂಲ್ ದಂಡವು ನಂತರ ಹೀಗಿರುತ್ತದೆ:

ಆಂಕರ್ಡ್ ಉದ್ದ ದಂಡ. $L_i$ ಮತ್ತು $L_i^{\mathrm{ref}}$ ಯು ಅಭ್ಯರ್ಥಿ ಮತ್ತು ಉಲ್ಲೇಖ ಮಾದರಿ ಉತ್ಪಾದನೆಗಳ ಟೋಕನ್ ಉದ್ದಗಳನ್ನು ಕ್ರಮವಾಗಿ ಸೂಚಿಸಲಿ. ನಾವು ಶೇಪಿಂಗ್ ಸೆಟ್ $\widehat{W}_g$ ಅನ್ನು ಸರಿಯಾದ ಮತ್ತು ಆದ್ಯತೆ ನೀಡಲಾದ ಎರಡೂ ಆದ ರೋಲ್‌ಔಟ್‌ಗಳು ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತೇವೆ:

ನಾವು ನಂತರ ಗುಂಪು-ನಿರ್ದಿಷ್ಟ ಉದ್ದದ ಬೇಸ್‌ಲೈನ್‌ಗಳನ್ನು ಲೆಕ್ಕ ಹಾಕುತ್ತೇವೆ:

ಉದ್ದ ದಂಡವನ್ನು ಹೀಗೆ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ:

ಇಲ್ಲಿ ಮೊದಲ ಸಾಲು ಕಠಿಣ ಕ್ಯಾಪ್ ಆಗಿದೆ; ಎರಡನೆಯದು ಮಾತನಾಡುವ ವಿಜೇತರಿಗೆ ದಂಡ ವಿಧಿಸುತ್ತದೆ; ಮತ್ತು ಮೂರನೆಯದು ಸಂಕ್ಷಿಪ್ತ ಸೋತವರಿಗೆ ದಂಡ ವಿಧಿಸುತ್ತದೆ.

ಸಂಯೋಜಿತ ದಕ್ಷತೆ ದಂಡ. ಸಂಯೋಜಿತ ದಕ್ಷತೆ ದಂಡವು ಎರಡೂ ಘಟಕಗಳ ತೂಕದ ಮೊತ್ತವಾಗಿದೆ:

ಮುಖ್ಯ ಫಲಿತಾಂಶಗಳು

ನಾವು ನಮ್ಮ ಪೋಸ್ಟ್-ಟ್ರೈನಿಂಗ್ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಎರಡು ಅಕ್ಷಗಳ ಉದ್ದಕ್ಕೂ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ: (i) ಆಪ್ಟಿಮೈಸೇಶನ್ ಸ್ಥಿರತೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ತರಬೇತಿ ಡೈನಾಮಿಕ್ಸ್ ಮತ್ತು ರಿವಾರ್ಡ್ ಸಂಕೇತಗಳು ನಿರೀಕ್ಷಿಸಿದಂತೆ ವರ್ತಿಸುತ್ತವೆಯೇ, ಮತ್ತು (ii) ನಿಯಂತ್ರಿತ ಮೌಲ್ಯಮಾಪನ ಸೆಟ್ಟಿಂಗ್‌ಗಳ ಅಡಿಯಲ್ಲಿ ಡೌನ್‌ಸ್ಟ್ರೀಮ್ ಗುಣಮಟ್ಟ, ಸುರಕ್ಷತೆ ಮತ್ತು ದಕ್ಷತೆಯನ್ನು ಅಳೆಯಲು ಆಫ್‌ಲೈನ್ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು.

ಡೀಫಾಲ್ಟ್ ತರಬೇತಿ ಸೆಟ್ಟಿಂಗ್‌ಗಳು. ಪಾಲಿಸಿ ಮಾದರಿಯು ವೆಬ್ ಹುಡುಕಾಟ ಸಾಧನದೊಂದಿಗೆ ಸಂವಹನ ನಡೆಸುತ್ತದೆ (search_web); ಪ್ರತಿ ಟೂಲ್ ಕಾಲ್ 10 ಫಲಿತಾಂಶಗಳವರೆಗೆ ಹಿಂಪಡೆಯುತ್ತದೆ, ಕ್ವೆರಿಗಳು 250 ಅಕ್ಷರಗಳಿಗೆ ಕ್ಯಾಪ್ ಮಾಡಲಾಗಿರುತ್ತದೆ ಮತ್ತು ಪ್ರತಿ ರೋಲ್‌ಔಟ್‌ಗೆ 5 ಕ್ವೆರಿಗಳವರೆಗೆ ಇರುತ್ತದೆ.

ತರಬೇತಿ ಡೈನಾಮಿಕ್ಸ್

ನಾವು ಆಪ್ಟಿಮೈಸೇಶನ್ ಡೈನಾಮಿಕ್ಸ್ ಅನ್ನು ಪರೀಕ್ಷಿಸುತ್ತೇವೆ, ರಿವಾರ್ಡ್ ಪ್ರೊಗ್ರೆಷನ್ ಮತ್ತು ದಕ್ಷತೆ ನಡವಳಿಕೆಯ ಮೇಲೆ ಗಮನಹರಿಸುತ್ತೇವೆ. ವಿವರಣೆಯ ಸರಳತೆಗಾಗಿ ನಾವು Qwen3.5-397B-A11B ಅನ್ನು ಬಳಸುತ್ತೇವೆ.

ವಿಸ್ತರಿಸಿ

ಚಿತ್ರ 2 ಯು ಹೆಚ್ಚುತ್ತಿರುವ ಆದ್ಯತೆ ಸ್ಕೋರ್‌ಗಳ ಜೊತೆಗೆ ಬೇಸ್‌ಲೈನ್ ರಿವಾರ್ಡ್‌ನಲ್ಲಿ (ಪರಿಶೀಲಿಸಬಹುದಾದ QA ಮತ್ತು ರೂಬಿಕ್ ತೃಪ್ತಿ) ಸ್ಥಿರ ಸುಧಾರಣೆಯನ್ನು ತೋರಿಸುತ್ತದೆ, ಇದು ಸರಿಯಾಗುವಿಕೆ, ಅನುಸರಣೆ ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆ ಗುಣಮಟ್ಟದಲ್ಲಿ ಸ್ಥಿರ ಲಾಭಗಳನ್ನು ಸೂಚಿಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಚಿತ್ರ 3 ಯು ಟೂಲ್-ಕಾಲ್ ಆವರ್ತನ ಮತ್ತು ಉತ್ಪಾದನಾ ಉದ್ದ ಎರಡೂ ತರಬೇತಿಯಾದ್ಯಂತ ಉತ್ತಮವಾಗಿ ನಿಯಂತ್ರಿಸಲ್ಪಡುತ್ತವೆ ಎಂದು ತೋರಿಸುತ್ತದೆ. ಗಮನಾರ್ಹವಾಗಿ, ಟೂಲ್-ಕಾಲ್ ಮತ್ತು ಉದ್ದದ ದಂಡಗಳು இரண்டும் ತರಬೇತಿಯ ಕೋರ್ಸ್‌ನಲ್ಲಿ ಏಕತಾನತೆಯಿಂದ ಕಡಿಮೆಯಾಗುತ್ತವೆ, ಇದು ಹೆಚ್ಚು ಸಂಕ್ಷಿಪ್ತ ಉತ್ಪಾದನೆ ಮತ್ತು ಹೆಚ್ಚು ಆಯ್ಕೆಮಾಡಿದ ಟೂಲ್ ಇನ್ವೊಕೇಶನ್ ಕಡೆಗೆ ಮಾದರಿಯ ಪ್ರಗತಿಪರ ಹೊಂದಾಣಿಕೆಯನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಚಿತ್ರ 4 ಯು ಅಸ್ಥಿರ ಸ್ಪೈಕ್‌ಗಳನ್ನು ಹೊರತುಪಡಿಸಿ ಗ್ರೇಡಿಯಂಟ್ ನಾರ್ಮ್‌ಗಳು ಸ್ಥಿರವಾಗಿರುತ್ತವೆ ಎಂದು ತೋರಿಸುತ್ತದೆ, ಆದರೆ ತರಬೇತಿ-ಅನುಮಾನ KL ಡೈವರ್ಜೆನ್ಸ್ ಸೌಮ್ಯವಾದ ಮೇಲ್ಮುಖ ಪ್ರವೃತ್ತಿಯನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ, 1e-3 ಪ್ರಮಾಣದೊಳಗೆ ಇರುತ್ತದೆ. ಈ ಡ್ರಿಫ್ಟ್ ಮಾದರಿಯು ಇತರ RL ತರಬೇತಿ ಚೌಕಟ್ಟುಗಳಲ್ಲಿನ ಅವಲೋಕನಗಳೊಂದಿಗೆ ಸ್ಥಿರವಾಗಿದೆ; ತರಬೇತಿಯು ಉದ್ದಕ್ಕೂ ಸ್ಥಿರವಾಗಿರುವುದರಿಂದ, ನಾವು ಹೆಚ್ಚುವರಿ ಹಸ್ತಕ್ಷೇಪವಿಲ್ಲದೆ ಸಮೀಕರಣ 1 ರಲ್ಲಿ ಸರಳ IS ನಿಯಮೀಕರಣವನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತೇವೆ.

ಆಫ್‌ಲೈನ್ ಮೌಲ್ಯಮಾಪನಗಳು

ಸಾರ್ವಜನಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ಮತ್ತು ಆಂತರಿಕ Perplexity (PPLX) ಮೆಟ್ರಿಕ್‌ಗಳು ಎರಡನ್ನೂ ಒಳಗೊಂಡಿರುವ ಹುಡುಕಾಟ ನಿಖರತೆ, ವಾಸ್ತವಿಕ ವಿಶ್ವಾಸಾರ್ಹತೆ, ಇನ್‌ಸ್ಟ್ರಕ್ಷನ್ ಫಾಲೋಯಿಂಗ್ ಮತ್ತು ಸುರಕ್ಷತೆಯನ್ನು ವ್ಯಾಪಿಸಿರುವ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳ ಸೂಟ್ ಕುರಿತು ನಾವು ಫಲಿತಾಂಶಗಳನ್ನು ವರದಿ ಮಾಡುತ್ತೇವೆ. ಸಾರ್ವಜನಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ SimpleQA, FRAMES, ಮತ್ತು Facts Open ಸೇರಿವೆ.

• pplx-sbs-search: ಆಂತರಿಕ ರಿವಾರ್ಡ್ ಮಾದರಿಯನ್ನು ಬಳಸಿಕೊಂಡು ಸೈಡ್-ಬೈ-ಸೈಡ್ ಆದ್ಯತೆ ಮೌಲ್ಯಮಾಪನ. ಅಭ್ಯರ್ಥಿಗಳನ್ನು ಬಲವಾದ ಬೇಸ್‌ಲೈನ್ ವಿರುದ್ಧ ಹೋಲಿಸಲಾಗುತ್ತದೆ.
• pplx-abstention: ಯಾವುದೇ ವಿಶ್ವಾಸಾರ್ಹ ಸಾಕ್ಷ್ಯವು ಲಭ್ಯವಿಲ್ಲದಿದ್ದಾಗ ಸೂಕ್ತವಾಗಿ ನಿರಾಕರಿಸುವ ಸಾಮರ್ಥ್ಯ.
• pplx-language-mismatch: ಲಾಂಗ್-ಟೈಲ್ ಮತ್ತು ಬಹು-ಟರ್ನ್ ಸೆಟ್ಟಿಂಗ್‌ಗಳ ಅಡಿಯಲ್ಲಿ ಭಾಷೆಯ ಸ್ಥಿರತೆ.
• pplx-broken-tool-calls (↓): ಟೂಲ್-ಕಾಲ್ ಸ್ಕೀಮಾ ಅನುಸರಣೆ ಮತ್ತು ನಿರ್ಬಂಧ ಅನುಸರಣೆ, ಉದಾಹರಣೆಗೆ, tool_choice=none.

ಡೀಫಾಲ್ಟ್ ಮೌಲ್ಯಮಾಪನ ಸೆಟ್ಟಿಂಗ್‌ಗಳು. ಸಾರ್ವಜನಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಿಗಾಗಿ, ನಾವು ವೆಬ್ ಹುಡುಕಾಟ ಸಾಧನವನ್ನು ಮಾತ್ರ ಅನುಮತಿಸುತ್ತೇವೆ, ಪ್ರತಿ ಉದಾಹರಣೆಗೆ 5 ಟೂಲ್ ಕಾಲ್‌ಗಳವರೆಗೆ ಮತ್ತು ಪ್ರತಿ ಕಲ್‌ಗೆ 10 ಫಲಿತಾಂಶಗಳವರೆಗೆ ಬಜೆಟ್ ಇರುತ್ತದೆ, ತಾಪಮಾನ 0.6 ರಲ್ಲಿ 8192 ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳವರೆಗೆ ಉತ್ಪಾದಿಸಲಾಗುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಕೋಷ್ಟಕ 2 ಯು Qwen3.5-Large-SFT-RL ಯು ಸಾರ್ವಜನಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಾದ್ಯಂತ ಬಲವಾದ ಹುಡುಕಾಟ ನಿಖರತೆಯನ್ನು ಸಾಧಿಸುತ್ತದೆ ಎಂದು ತೋರಿಸುತ್ತದೆ, ಹೋಲಿಸಬಹುದಾದ ಟೂಲ್ ಬಜೆಟ್‌ಗಳನ್ನು ಬಳಸುವಾಗ FRAMES ಮತ್ತು Facts Open ಮೇಲೆ gpt-5.4 ಗೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ ಅಥವಾ ಮೀರಿದೆ. ಬೇಸ್ ಮಾದರಿಗೆ ಹೋಲಿಸಿದರೆ, ನಮ್ಮ ವಿಧಾನವು ಆಂತರಿಕ ಮೆಟ್ರಿಕ್‌ಗಳಲ್ಲಿ, ವಿಶೇಷವಾಗಿ ಆದ್ಯತೆ (pplx-sbs-search: 0.602 → 0.742), ಭಾಷಾ ಸ್ಥಿರತೆ ಮತ್ತು ಅಬ್ಸ್ಟೆಂಕ್ಷನ್‌ನಲ್ಲಿ ಗಣನೀಯ ಲಾಭಗಳನ್ನು ನೀಡುತ್ತದೆ, ಹುಡುಕಾಟ ಸಾಮರ್ಥ್ಯವನ್ನು ರಾಜಿ ಮಾಡಿಕೊಳ್ಳದೆ ಎರಡು ಹಂತದ ಪೈಪ್‌ಲೈನ್ ಪರಿಣಾಮಕಾರಿಯಾಗಿ ನಿಯೋಜನೆ-ನಿರ್ಣಾಯಕ ನಡವಳಿಕೆಗಳನ್ನು ಸುಧಾರಿಸುತ್ತದೆ ಎಂದು ಇದು ತೋರಿಸುತ್ತದೆ.

ಟೂಲ್ ಯುಸ್ ಎಫಿಷಿಯನ್ಸಿ ಮೌಲ್ಯಮಾಪನಗಳು

ಇದನ್ನು ಅಳೆಯಲು, ನಾವು ಬಜೆಟ್-ಫೋರ್ಸ್ಡ್ ಮೌಲ್ಯಮಾಪನ ಪ್ರೋಟೋಕಾಲ್ ಅನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸುತ್ತೇವೆ. ಪ್ರತಿ ಮಾದರಿಗೆ ವೆಬ್ ಹುಡುಕಾಟ ಸಾಧನ (search_web) ಮತ್ತು ಅನುಮತಿಸಲಾದ ಟೂಲ್ ಕಾಲ್‌ಗಳ ಸಂಖ್ಯೆಯ ಮೇಲೆ ಕಠಿಣ ಕ್ಯಾಪ್ ಅನ್ನು ನಿರ್ದಿಷ್ಟಪಡಿಸುವ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ (“ಬಜೆಟ್”) ಪ್ರವೇಶವನ್ನು ನೀಡಲಾಗುತ್ತದೆ. ನಾವು ಈ ಬಜೆಟ್ ಅನ್ನು 0 ರಿಂದ (ಯಾವುದೇ ಸಾಧನ ಬಳಕೆ ಇಲ್ಲ, ಶುದ್ಧ ಪ್ಯಾರಾಮೆಟ್ರಿಕ್ ಜ್ಞಾನ) 10 ಕ್ಕೆ (ಉದಾರ ಬಹು-ಹಂತದ ಹಿಂಪಡೆಯುವಿಕೆ) ಸ್ವೀಪ್ ಮಾಡುತ್ತೇವೆ, ಪ್ರತಿ ಮಟ್ಟದಲ್ಲಿ ನಿಖರತೆಯನ್ನು ದಾಖಲಿಸುತ್ತೇವೆ. ಇದು ಟೂಲ್-ಎಫಿಷಿಯನ್ಸಿ ಕರ್ವ್ ಅನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ: ಮಾದರಿಗೆ ಅನುಮತಿಸಲಾದ ಹಿಂಪಡೆಯುವಿಕೆ ಬಜೆಟ್‌ನ ಕಾರ್ಯವಾಗಿ ಮಾದರಿಯ ಸ್ಕೋರ್. ನಾವು ಎರಡು ವಾಸ್ತವಿಕ QA ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಾದ FRAMES ಮತ್ತು Facts Open ನಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ.

ವಿಸ್ತರಿಸಿ

ಈ ಎರಡು ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಿಂದ ಹಲವಾರು ಮಾದರಿಗಳು ಎದ್ದು ಕಾಣುತ್ತವೆ:

• ನಮ್ಮ ಪೋಸ್ಟ್-ಟ್ರೈನ್ಡ್ Qwen3.5-397B-SFT-RL ಎರಡೂ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ ಅತ್ಯುತ್ತಮ ಹುಡುಕಾಟ ನಿಖರತೆಯನ್ನು ಸಾಧಿಸುತ್ತದೆ. ಒಂದೇ ಟೂಲ್ ಕಾಲ್‌ನೊಂದಿಗೆ ಸಹ, ಇದು FRAMES ನಲ್ಲಿ 57.3% ಅನ್ನು ಸ್ಕೋರ್ ಮಾಡುತ್ತದೆ, GPT-5.4 ಗಿಂತ 5.7 ಅಂಕಗಳು ಮತ್ತು Sonnet 4.6 ಗಿಂತ 4.7 ಅಂಕಗಳು ಮೇಲಿದೆ.
  • ಮಧ್ಯಮ ಬಜೆಟ್‌ಗಳಲ್ಲಿ (b=2-7) ಅನುಕೂಲವು ಹೆಚ್ಚು ಸ್ಪಷ್ಟವಾಗಿದೆ, ಇದು ಉತ್ಪಾದನಾ ನಿಯೋಜನೆಗಳಿಗೆ ಪ್ರಾಯೋಗಿಕ ಕಾರ್ಯಾಚರಣಾ ಶ್ರೇಣಿಯಾಗಿದೆ.
• ನಮ್ಮ ಪೋಸ್ಟ್-ಟ್ರೈನಿಂಗ್ ರೆಸಿಪಿ (SFT + RL) ಬೇಸ್ ಚೆಕ್‌ಪಾಯಿಂಟ್ಗಿಂತ ಟೂಲ್-ಯುಸ್ ದಕ್ಷತೆಯನ್ನು ಗಣನೀಯವಾಗಿ ಸುಧಾರಿಸುತ್ತದೆ; ಚಿತ್ರ 5 ರಲ್ಲಿ ಸಾಲಿಡ್ ಲೈನ್‌ಗಳು (ಪೋಸ್ಟ್-ಟ್ರೈನ್ಡ್) vs. ಡ್ಯಾಶ್ಡ್ ಲೈನ್‌ಗಳನ್ನು (ಪ್ರಾರಂಭಿಕ ಚೆಕ್‌ಪಾಯಿಂಟ್) ನೋಡಿ.
• ಎಲ್ಲಾ ಮಾದರಿಗಳಿಗೆ, ಬಜೆಟ್=7 ರ ಸುತ್ತ diminishing returns ಅನ್ನು ನಾವು ಗಮನಿಸುತ್ತೇವೆ, ಇದು ಎರಡು ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ಮತ್ತು ಎಲ್ಲಾ ಮಾದರಿಗಳಾದ್ಯಂತ ಸ್ಥಿರವಾಗಿದೆ, ಇದು ಮಾದರಿಗಳಿಗಿಂತ ಫ್ಯಾಕ್ಚುಯಾಲಿಟಿ-ಸೀಕಿಂಗ್ ಕಾರ್ಯಗಳ ಆಸ್ತಿಯಾಗಿದೆ ಎಂದು ಸೂಚಿಸುತ್ತದೆ.

Qwen3.5-397B-SFT-RL ಕಡಿಮೆ ಟೂಲ್ ಕಾಲ್‌ಗಳೊಂದಿಗೆ ಹೆಚ್ಚಿನ ನಿಖರತೆಯನ್ನು ಸಾಧಿಸುತ್ತದೆ ಎಂದು ಮೇಲಿನ ಫಲಿತಾಂಶಗಳು ತೋರಿಸುತ್ತವೆ. ಆದರೆ ಇದು ನಿಜವಾದ ವೆಚ್ಚಕ್ಕೆ ಹೇಗೆ ಭಾಷಾಂತರಿಸುತ್ತದೆ? ಹೋಲಿಕೆಯನ್ನು ಕಾಂಕ್ರೀಟ್ ಮಾಡಲು ನಾವು ಪ್ರಕಟಿತ API ಬೆಲೆ ನಿಗದಿಯನ್ನು (Alibaba DashScope, OpenAI, Anthropic) ಬಳಸಿ ಟೋಕನ್-ಮಟ್ಟದ ಅಳತೆಗಳನ್ನು ಡಾಲರ್ ವೆಚ್ಚಗಳಿಗೆ ಪರಿವರ್ತಿಸುತ್ತೇವೆ.

ವಿಸ್ತರಿಸಿ

ಮಧ್ಯಮ ಪ್ರೊಫೈಲ್‌ನಲ್ಲಿ (b=4), Qwen3.5-397B-SFT-RL ಯು ಪ್ರತಿ ಕ್ವೆರಿಗೆ 2.0 ಸೆಂಟ್‌ಗಳಲ್ಲಿ FRAMES ನಲ್ಲಿ 73.9% ಅನ್ನು ಸ್ಕೋರ್ ಮಾಡುತ್ತದೆ, ಆದರೆ GPT-5.4 ಯು 8.5 ಸೆಂಟ್‌ಗಳಲ್ಲಿ 67.8% ಅನ್ನು ಸ್ಕೋರ್ ಮಾಡುತ್ತದೆ ಮತ್ತು Sonnet 4.6 ಯು 15.3 ಸೆಂಟ್‌ಗಳಲ್ಲಿ 62.4% ಅನ್ನು ಸ್ಕೋರ್ ಮಾಡುತ್ತದೆ. ಅಂದರೆ GPT-5.4 ಗೆ ಹೋಲಿಸಿದರೆ 4x ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ +6 ಅಂಕಗಳ ನಿಖರತೆ, ಮತ್ತು Sonnet 4.6 ಗೆ ಹೋಲಿಸಿದರೆ 7.5x ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ +11.5 ಅಂಕಗಳು.

ಈ ಅಂದಾಜುಗಳು ಕ್ಯಾಶಿಂಗ್ ಇಲ್ಲದೆ ಪಟ್ಟಿ API ಬೆಲೆ ನಿಗದಿಯನ್ನು ಬಳಸುತ್ತವೆ. KV ಕ್ಯಾಶ್ ಮರುಬಳಕೆ, ಪ್ರಿಫಿಕ್ಸ್ ಕ್ಯಾಶಿಂಗ್ ಮತ್ತು ಕ್ವಾಂಟೈಜ್ಡ್ MoE ಸರ್ವಿಂಗ್‌ನಂತಹ (397B ಕೇವಲ 17B ಸಕ್ರಿಯ ಪ್ಯಾಮೀಟರ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ) ಇನ್-ಹೌಸ್ ಅನುಮಾನ ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಳೊಂದಿಗೆ, ಪರಿಣಾಮಕಾರಿ ವೆಚ್ಚವನ್ನು ಪಟ್ಟಿ API ಬೆಲೆ ನಿಗದಿಯ ಕೆಳಗೆ ಚೆನ್ನಾಗಿ ಕಡಿಮೆ ಮಾಡಬಹುದು.

ತೀರ್ಮಾನ

ಎರಡು ಹಂತದ SFT ಮತ್ತು RL ಪೈಪ್‌ಲೈನ್ ಮೂಲಕ ಹುಡುಕಾಟ ಆಪ್ಟಿಮೈಸೇಶನ್‌ನಿಂದ ನಿಯೋಜನೆ ಅನುಸರಣೆಯನ್ನು ಬೇರ್ಪಡಿಸುವುದು ಉತ್ಪಾದನಾ ನಿರ್ಬಂಧಗಳ ಅಡಿಯಲ್ಲಿ ಸಮರ್ಥ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹವಾದ ಮಾದರಿಯನ್ನು ನೀಡುತ್ತದೆ. ಪರಿಶೀಲಿಸಬಹುದಾದ QA ಮತ್ತು ರೂಬಿಕ್-ಆಧಾರಿತ ತರಬೇತಿ ಡೇಟಾದ ಸಂಯೋಜನೆಯು, ಗೇಟೆಡ್ ರಿವಾರ್ಡ್ ಅಗ್ರಿಗೇಷನ್ ಮತ್ತು ಆಂಕರ್ಡ್ ಎಫಿಷಿಯನ್ಸಿ ಶೇಪಿಂಗ್‌ನೊಂದಿಗೆ, ಹುಡುಕಾಟ ನಿಖರತೆ ಅಥವಾ ಗಾರ್ಡ್‌ರೈಲ್ ಅನುಸರಣೆಯನ್ನು ತ್ಯಾಗ ಮಾಡದೆ ಸ್ಥಿರ ಬಹು-ಉದ್ದೇಶದ ಆಪ್ಟಿಮೈಸೇಶನ್ ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ.

ಇನ್ನಷ್ಟು ಪರಿಶೀಲನೆಗೆ ಹಲವಾರು ದಿಕ್ಕುಗಳು ಯೋಗ್ಯವಾಗಿವೆ. ಆಕೃತಿ 4ರಲ್ಲಿ ಗಮನಿಸಿದಂತೆ, ತರಬೇತಿ–ಅನುಮಾನ KL ವ್ಯತ್ಯಾಸವು ವಿಸ್ತೃತ ತರಬೇತಿ ಹಂತಗಳಲ್ಲಿ ನಿರಂತರ ಮೇಲ್ಮುಖ ಚಲನವಲನವನ್ನು ತೋರಿಸುತ್ತದೆ. ನಮ್ಮ ಪ್ರಸ್ತುತ ಸ್ಥಿತಿಯಲ್ಲಿ ಟೋಕನ್-ಮಟ್ಟದ IS ತಿದ್ದುಪಡಿ ಸಾಕಾಗುತ್ತದಾದರೂ, ಇದು ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿಯೂ ಸತ್ಯವಾಗಿರುತ್ತದೆಯೇ ಎಂಬುದು ಸ್ಪಷ್ಟವಿಲ್ಲ; ಮೂಲಸೌಕರ್ಯ-ಮಟ್ಟದ ವ್ಯತ್ಯಾಸಗಳು ಮತ್ತು MoE ರೌಟಿಂಗ್‌ನಂತಹ ವಾಸ್ತುಶಿಲ್ಪ-ನಿರ್ದಿಷ್ಟ ಅಂಶಗಳನ್ನು ಒಳಗೊಂಡ, ಈ ಅಸಮತೋಲನಕ್ಕೆ ಹೆಚ್ಚು ಸೈದ್ಧಾಂತಿಕವಾದ ಸಮರ್ಥನೆಗೆ ಜೊತೆಗೆ ಶಮನ ತಂತ್ರಗಳ ಪ್ರಮಾಣಾತ್ಮಕ ಪ್ರಾಯೋಗಿಕ ಹೋಲಿಕೆಗಳು ಇನ್ನೂ ಪ್ರಮುಖ ಮುಕ್ತ ಪ್ರಶ್ನೆಯಾಗಿವೆ. ವಿಶೇಷವಾಗಿ ಬಹು-ಉದ್ದೇಶ RLಗಾಗಿ, ಭರವಸೆಯ ಮಾರ್ಗಗಳಲ್ಲಿ ಕ್ರಮಿಕ ತರಬೇತಿ (Zeng et al., 2026) ಮತ್ತು ಆನ್-ಪಾಲಿಸಿ ಡಿಸ್ಟಿಲೇಶನ್ ಅನ್ನು ಹಂತಗಳಾಗಿ ಉದ್ದೇಶಗಳನ್ನು ಸುಧಾರಿಸಲು, ಜೊತೆಗೆ ವಿನಾಶಕಾರಿ ಮರೆವುದನ್ನು ತಗ್ಗಿಸಲು; ಹಾಗೆಯೇ ಕಾರ್ಯ-ನಿರ್ದಿಷ್ಟ ಆಪ್ಟಿಮೈಸೇಶನ್ ಅನ್ನು ಸಾಮರ್ಥ್ಯ ಸಂಕಲನದಿಂದ ಬೇರ್ಪಡಿಸಲು ಮಾದರಿ ವಿಲೀನ (Fu et al., 2025; Yang et al., 2026) ಸೇರಿವೆ. ಅಂತಿಮವಾಗಿ, ದೀರ್ಘ-ಅವಧಿಯ ಪಥಗಳೊಂದಿಗೆ ವಾಸ್ತವಿಕ ಬಹು-ಉಪಕರಣ ಕಾರ್ಯಪ್ರವಾಹಗಳಿಗೆ ಮಾಪನಗೊಳಿಸುವುದು ಇನ್ನೂ ಪ್ರಮುಖ ಮುಕ್ತ ಸವಾಲಾಗಿದ್ದು, ಇದಕ್ಕೆ ಉತ್ತಮ ಕ್ರೆಡಿಟ್‌ಗಳು ಹಂಚಿಕೆ, ಭಾಗಶಃ ರೋಲ್‌ಔಟ್‌ಗಳಿಗೆ ಬೆಂಬಲ, ಮತ್ತು ಮೌಲ್ಯಮಾಪನಗಳು ಅಗತ್ಯವಾಗುವ ಸಾಧ್ಯತೆ ಇದೆ.

ಉಲ್ಲೇಖಗಳು

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Published Jan 6, 2026. Accessed: 2026-03-04.

J. Duchi and H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

ಉಲ್ಲೇಖ

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}