தேடல்-மேம்படுத்தப்பட்ட மொழி மாதிரிகளை மேம்படுத்துதல்

எல்லைக்கோட்டு வலைத் தேடல் முகவர்களைப் பயிற்றுவிப்பதற்குப் பல நோக்கங்களைச் சேர்த்து மேம்படுத்துவது தேவைப்படுகிறது: உண்மைத் துல்லியம், பாதைத் திறன் மற்றும் பயனர் விருப்பப் பொருத்தம். எனினும், ஏதேனும் ஒரு பரிமாணத்தை மட்டும் தனித்து மேம்படுத்துவது மற்றவற்றைப் பெரும்பாலும் பாதிக்கிறது: துல்லியத்திற்காக மட்டுமே பயிற்றுவிக்கப்பட்ட மாதிரிகள் கருவிகளை அதிகமாகப் பயன்படுத்த முனைகின்றன, அதே நேரத்தில் சுருக்கத்திற்காக உகந்ததாக்கப்பட்ட மாதிரிகள் நம்பகத்தன்மை அல்லது முழுமையைப் বলি கொடுக்கக்கூடும். Perplexity-ல், எந்த முடிவும் ஏற்றுக்கொள்ளத்தக்கது அல்ல.

திறந்த மூல மாதிரிகளின் அடிப்படையில் அதிநவீன வலைத் தேடல் முகவர்களை உருவாக்குவதற்கான Perplexity-ன் பிந்தைய பயிற்சி பைப்லைனை இந்தக் கட்டுரை விவரிக்கிறது. தேடல் முகவர் பயிற்சியில், தரவு குணப்படுத்துதல் மற்றும் வெகுமதி வடிவமைப்பு ஆகியவை இணைந்து வடிவமைக்கப்பட வேண்டும் என்பதே ஒரு முக்கியக் கருத்தாகும்: எந்த நடத்தைகள் கவனிக்கத்தக்கவை மற்றும் சரிபார்க்கத்தக்கவை என்பதைத் தரவு தீர்மானிக்கிறது, மேலும் அந்த சமிக்ஞைகள் எவ்வாறு உகப்பாக்கச் சமிக்ஞையாக மாற்றப்படுகின்றன என்பதை வெகுமதி தீர்மானிக்கிறது. இந்தக் கொள்கையானது எங்களது இரு-நிலை பைப்லைனைத் தூண்டுகிறது: நாங்கள் முதலில் கொள்கை மாதிரியைத் தொடங்க மேற்பார்வையிடப்பட்ட ஃபைன்-டியூனிங் (SFT) வார்ம்-அப்பை நடத்துகிறோம், பின்னர் ஒரு குணப்படுத்தப்பட்ட தரவுத்தொகுப்பு மற்றும் கவனமாக வடிவமைக்கப்பட்ட வெகுமதிகள் மீது வலுவூட்டல் கற்றலைப் (RL) பயன்படுத்தி கொள்கை மாதிரியை செம்மைப்படுத்துகிறோம். இந்த இரு-நிலை அணுகுமுறை உற்பத்தி வரம்புகளின் கீழ் துல்லியம், திறன் மற்றும் பதில் தரத்தில் நம்பகமான லாபத்தைச் செயல்படுத்துகிறது.

நாங்கள் முதலில் எங்களது இரு-நிலை பயிற்சி பைப்லைனை (SFT → ஆன்-பாலிசி RL) விவரிக்கிறோம், அதைத் தொடர்ந்து சரிபார்க்கக்கூடிய தேடல் முகவர் கேள்வி-பதில் மற்றும் ரூப்ரிக் அடிப்படையிலான பொது அரட்டை ஆகிய இரண்டையும் உள்ளடக்கிய எங்களது RL பயிற்சி தரவு கட்டுமானத்தை விவரிக்கிறோம். பின்னர், இந்த பன்முகத்தன்மை கொண்ட தரவு அமைப்பிலிருந்து பெறப்பட்ட ஒரு கலப்பு வெகுமதி வடிவமைப்பை நாங்கள் வழங்குகிறோம், இது வெகுமதி ஹேக்கிங்கைக் குறைக்கும் அதே வேளையில் தரத்தையும் திறனையும் சமநிலைப்படுத்துகிறது. இறுதியாக, பயிற்சி இயக்கவியல் மற்றும் பெஞ்ச்மார்க் முடிவுகளை நாங்கள் பகுப்பாய்வு செய்கிறோம்.

நாங்கள் இரு-நிலை பிந்தைய பயிற்சி செய்முறையைப் பின்பற்றுகிறோம்: (i) காவற்கற்கள் (எ.கா., விலகல்), அறிவுறுத்தல் பின்பற்றுதல் மற்றும் மொழி நிலைத்தன்மை போன்ற வரிசைப்படுத்தல்-முக்கியமான நடத்தைகளை நிறுவ SFT, மற்றும் (ii) முதல் நிலையிலிருந்து நடத்தைகளைப் பாதுகாக்கும் அதே வேளையில், பதில் துல்லியம் மற்றும் கருவி-பயன்பாட்டுத் திறன் உட்பட தேடல் திறனை மேம்படுத்த ஆன்-பாலிசி RL.

ஏன் இரண்டு நிலைகள்? தேடல் தரம் மற்றும் வரிசைப்படுத்தல் கட்டுப்பாடுகளை ஒரே RL நிலைக்குள் jointly optimize செய்வது குறைந்தபட்சம் ஒரு நோக்கத்தையாவது சமரசம் செய்யாமல் கடினமாக உள்ளது. அனுபவப்பூர்வமாக, RL-மட்டுமே பயிற்சி தேடல் செயல்திறனை மேம்படுத்துகிறது ஆனால் வரிசைப்படுத்தல் காவற்கற்களில் குறைவாக செயல்பட முனைகிறது, அதே நேரத்தில் SFT தேடல் செயல்திறனின் விலையில் இணக்கத்தை மேம்படுத்துகிறது. நோக்கங்களைப் பிரிப்பது SFT நிலையை முதலில் பேச்சுவார்த்தைக்குட்படுத்த முடியாத தேவைகளை நிவர்த்தி செய்ய அனுமதிக்கிறது, அதன் பிறகு RL முக்கியமாக தேடல் திறனை மேம்படுத்துவதில் கவனம் செலுத்தலாம்.

நாங்கள் Qwen3 குடும்ப மாதிரிகளிலிருந்து (Qwen3.5-122B-A10B மற்றும் Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5 வலைப்பதிவு) தொடங்குகிறோம் மற்றும் அடிப்படை மாதிரியின் பொதுவான தேடல் திறனைப் பாதுகாக்கும் அதே வேளையில், மேலே விவரிக்கப்பட்ட வரிசைப்படுத்தல்-முக்கியமான நடத்தைகளை இலக்காகக் கொண்ட இரு-கூறு SFT கலப்பு தரவுத்தொகுப்பை உருவாக்குகிறோம்.

விருப்பம் சார்ந்த எடுத்துக்காட்டுகள். தொனி, மொழி நிலைத்தன்மை, தெளிவு மற்றும் வடிவமைப்பை இலக்காகக் கொண்ட அறிவுறுத்தல்-பின்பற்றுதல் மற்றும் பாணி-மையப்படுத்தப்பட்ட எடுத்துக்காட்டுகளை நாங்கள் குணப்படுத்துகிறோம். இந்த எடுத்துக்காட்டுகள் ஒரு தனித்துவமான உண்மை நிலையை ஒப்புக்கொள்ள வேண்டிய அவசியமில்லை; மாறாக, அவை தயாரிப்பு எழுதுதல் தேவைகளைப் பிரதிபலிக்கும் வகையிலும், பல்வேறு வினவல் வகைகளில் பாணி நிலைத்தன்மையை உறுதி செய்யும் வகையிலும் தேர்ந்தெடுக்கப்படுகின்றன.

உற்பத்தி-வடிவ கருவி-பயன்பாட்டுப் பாதைகள். அனுபவப்பூர்வமாக, கவனமாக தரவுத்தொகுப்பு குணப்படுத்துதல் இல்லாமல் SFT செய்வது அடிப்படை மாதிரியின் தேடல் திறனை கணிசமாக சிதைக்கும் என்பதை நாங்கள் காண்கிறோம். இதைக் குறைக்க, பல்வேறு தொடர்பு வடிவங்களில் (ஒற்றை, இரண்டு மற்றும் பல-திருப்பம்) வினவல்கள் மற்றும் உள் பணிகளை நாங்கள் மாதிரி செய்து, எங்களது கருவி-அழைப்பு சேணத்துடன் அவற்றை விளக்குகிறோம்.

SFT செக்பாயிண்டிலிருந்து தொடங்கி, தேடல் துல்லியத்தையும் திறனையும் மேம்படுத்த ஆன்-பாலிசி RL ஐப் பயன்படுத்துகிறோம். குழு உறவினர் கொள்கை உகப்பாக்கத்தைப் (GRPO) பயன்படுத்தி கொள்கை மாதிரியை மேம்படுத்துகிறோம் (Shao et al., 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

இங்கு $G$ என்பது குழுவின் அளவு, $o_{i}$ என்பது $i$ -வது மாதிரி வெளியீட்டைக் குறிக்கிறது, மற்றும் $\hat{A}_{i, t} = \hat{A}_{i}$ என்பது அட்வான்டேஜ் ஆகும். வெகுமதி வடிவமைப்பு வெகுமதி வடிவமைப்பு பிரிவில் விவரிக்கப்பட்டுள்ளது; சுருக்கமாக, அடிப்படை சரியான தன்மையை விருப்பம் சார்ந்த மற்றும் நங்கூரமிடப்பட்ட திறன் வடிவமைப்புடன் இணைக்கிறோம். முந்தைய பணியைப் பின்பற்றி (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), பயிற்சிக்கும் அனுமானத்துக்கும் இடையிலான பொருத்தமின்மையைச் சரிசெய்ய டோக்கன்-நிலை முக்கிய மாதிரி எடுப்பை (IS) பயன்படுத்துகிறோம்:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

வரிசை-நிலை IS (Zheng et al., 2025b), ரூட்டிங் ரீபிளே (Ma et al., 2025; Zheng et al., 2025b), மற்றும் பயிற்சியின் போது இன்ஃபரன்ஸ் இன்ஜினின் கர்னலை ஒருங்கிணைக்கும் பிட்வைஸ் நிலையான பயிற்சி (vLLM மற்றும் TorchTitan Teams, 2025) உள்ளிட்ட பயிற்சி-இன்ஃபரன்ஸ் பொருத்தமின்மையைத் தணிப்பதற்கான பல அணுகுமுறைகளை நாங்கள் மதிப்பீடு செய்கிறோம். அனுபவப்பூர்வமாக, எங்களது ஆன்-பாலிசி அமைப்பின் கீழ், டோக்கன்-நிலை IS ஆனது பயிற்சி சிதைவைத் தடுக்க போதுமானதாக இருப்பதைக் காண்கிறோம், அதே நேரத்தில் செயல்படுத்த எளிதாக உள்ளது; இது Zheng et al (2025a) இன் கண்டுபிடிப்புகளுடன் ஒத்துப்போகிறது.

எங்களது RL பயிற்சி தரவு இரண்டு நிரப்பு கூறுகளைக் கொண்டுள்ளது: பொதுவான தேடல் திறனை இலக்காகக் கொண்ட சரிபார்க்கக்கூடிய தேடல்-முகவர் கேள்வி-பதில், மற்றும் RL பயிற்சி கட்டத்தின் போது பின்னடைவைத் தடுக்க வரிசைப்படுத்தல் காவற்கற்களை வெளிப்படையாக வலுப்படுத்தும் ரூப்ரிக் அடிப்படையிலான பொது அரட்டை.

தரவுத்தொகுப்பு உருவாக்கம். தொடர்ச்சியான விரிவாக்க முறையைப் பின்பற்றி (Tao et al., 2025), க்யூரேட்டட் அறிவு வரைபடத்தை நம்பாமல் உள் விதை வினவல்களிலிருந்து ஒரு உள் செயற்கை கேள்வி-பதில் தரவுத்தொகுப்பை உருவாக்குகிறோம், பைப்லைனை இலகுவாகவும் புதுப்பிக்க எளிதாகவும் வைத்திருக்கிறோம். ஒவ்வொரு செயற்கை எடுத்துக்காட்டும் பின்வரும் படிகள் மூலம் உருவாக்கப்படுகிறது:

விதை தேர்வு. விதை வினவல்களுக்கான ஆவணங்களை நாங்கள் மீட்டெடுத்து, பல-மூல உண்மை உறுதிப்படுத்தலுடன் கூடிய நிறுவனங்களை தொடக்கப் புள்ளிகளாகத் தேர்ந்தெடுத்து, அவற்றைப் பற்றிய அணுக்க அறிக்கைகளைப் பிரித்தெடுக்கிறோம்.
பல-ஹாப் சங்கிலி கட்டுமானம். விதை நிறுவனத்தின் அறிக்கைகளிலிருந்து, இரண்டாவது நிறுவனத்தை அறிமுகப்படுத்துபதைத் தேர்ந்தெடுக்கிறோம் (எ.கா., “The Mom Test” விதைக்கு, “written by Rob Fitzpatrick” என்ற அறிக்கை ஆசிரியரை அடுத்த நிறுவனமாக அறிமுகப்படுத்துகிறது). இந்த இணைப்புச் சுழற்சியை 2-4 முறை மீண்டும் செய்கிறோம், ஒவ்வொரு நிறுவனமும் தனித்துவமானது என்பதை உறுதிசெய்கிறோம் மற்றும் எந்த ஒற்றை அறிக்கையும் இறுதிப் பதிலை எளிதில் வெளிப்படுத்தாது
பெயர்-இல்லாத கேள்வி உருவாக்கம். நிறுவனப் பெயர்களை அவற்றின் இணைக்கும் அறிக்கைகளால் மீளுருவாக்கம் செய்வதன் மூலம் நிறுவனச் சங்கிலியை ஒரு கேள்வியாக மாற்றுகிறோம், இது பல-ஹாப் பகுத்தறிவு தேவைப்படும் கூடு கட்டப்பட்ட கேள்சியை உருவாக்குகிறது
சரிபார்ப்பு. பல சுயாதீனமான வலை-இயக்கப்பட்ட தீர்வு செய்பவர்களால் சரிபார்க்கப்பட்ட தனித்துவமான பதில்களைக் கொண்ட கேள்விகளை மட்டுமே நாங்கள் தக்க வைத்துக் கொள்கிறோம்.

விதை வினவல் “The Mom Test” ஐக் கவனியுங்கள். ஆவணங்களை மீட்டெடுத்து இந்த புத்தகத்தை விதை நிறுவனமாக அடையாளம் காண்கிறோம், பின்னர் அணுக்க உண்மை அறிக்கைகளைப் பிரித்தெடுத்து மீண்டும் மீண்டும் ஒரு நிறுவனச் சங்கிலியை உருவாக்குகிறோம்: (i) The Mom Test ஆனது Rob Fitzpatrick ஆல் எழுதப்பட்டது, இது Rob Fitzpatrick ஐ அறிமுகப்படுத்துகிறது; (ii) Rob Fitzpatrick இன் முதல் ஸ்டார்ட்அப் Y Combinator (கோடை 2007) வழியாகச் சென்றது, இது Y Combinator ஐ அறிமுகப்படுத்துகிறது; (iii) Y Combinator மார்ச் 2005 இல் தொடங்கப்பட்டது. ஒவ்வொரு நிறுவனப் பெயரையும் அதன் விளக்கத்தால் மீளுருவாக்கம் செய்வது பெயர்-இல்லாத கேள்வியைத் தருகிறது: “மார்ச் 2005 இல் தொடங்கப்பட்ட ஆக்சிலரேட்டர் அதன் கோடை 2007 கோஹார்ட்டில் சென்ற முதல் ஸ்டார்ட்அப்பைக் கொண்ட நபரால் எந்தப் புத்தகம் எழுதப்பட்டது?” பதில் “The Mom Test”.

வடிவ-பன்முகத்தன்மை பெருக்குதல். மூல செயற்கை கேள்வி-பதில் மீது மட்டுமே பயிற்றுவிக்கப்பட்ட மாதிரிகள் வடிவமைப்புக் விருப்பங்களைப் புறக்கணிக்க முனைகின்றன மற்றும் வினவல் எவ்வாறு வடிவமைக்கப்பட்டுள்ளது என்பதைப் பொருட்படுத்தாமல் நிலையான பதில் கட்டமைப்பிற்கு இயல்புநிலையாக மாறுகின்றன. வடிவ பன்முகத்தன்மையை மேம்படுத்த, வெளிப்படையான வடிவமைப்புக் குறிப்புகளை உள்ளடக்கிய வினவல்களுடன் (எ.கா., “ஒரு பட்டியலைக் காட்டுங்கள் . . . ” அல்லது “அட்டவணையில் சுருக்கவும் . . . ”) தரவுத்தொகுப்பைப் பெருக்குகிறோம், அதே நேரத்தில் அடிப்படை பதிலை மாற்றாமல் வைத்திருக்கிறோம்.

பொது சரிபார்க்கக்கூடிய கேள்வி-பதில் (அடிப்படை). தரமான வடிகட்டுதலுடன் எங்களது பெரிதாக்கப்பட்ட ப்ராம்ட் வடிவத்தின் கீழ் ஒருங்கிணைக்கப்பட்ட ஐந்து திறந்த மூல தரவுத்தொகுப்புகளிலிருந்து (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025) ஒரு அடிப்படை சரிபார்க்கக்கூடிய கேள்வி-பதில் தரவுத்தொகுப்பை உருவாக்குகிறோம். இந்த கலவையானது எங்கள் சரிபார்ப்பு சோதனைகளில் முதன்மைக் குறிப்பானாகச் செயல்படுகிறது. கட்டுப்படுத்தப்பட்ட ஒப்பீடுகளுக்கு, எங்களது உள் செயற்கை கேள்வி-பதில் தரவுத்தொகுப்பின் அளவை இந்த திறந்த மூல கலவையுடன் பொருத்துகிறோம்.

விரைவான சரிபார்ப்பு. விரைவான மறு செய்கையை இயக்க Qwen3-30B-A3B-Instruct-2507 ஐப் பயன்படுத்தி இந்தப் பைப்லைனின் செயல்திறனைச் சரிபார்க்கிறோம்; முடிவுகள் அட்டவணை 1 இல் சுருக்கப்பட்டுள்ளன.

செயற்கை சரிபார்க்கக்கூடிய கேள்வி-பதில் தரவுத்தொகுப்பின் சரிபார்ப்பு

சரிபார்க்கக்கூடிய கேள்வி-பதில் தேடல்-மையப்படுத்தப்பட்ட வினவல்களுக்குச் சுத்தமான பயிற்சிச் சமிக்ஞையை வழங்கும் அதே வேளையில், உற்பத்திப் போக்குவரத்தில் கணிசமான பகுதி தனித்துவமாகச் சரிபார்க்கத்தக்கது அல்ல (எ.கா., மாற்றுவது, திட்டமிடுதல் மற்றும் திறந்த உதவி). அத்தகைய வினவல்களை RL இலிருந்து விலக்குவது நிஜமான பயனர் தொடர்புகளுக்குக் கொள்கையை குறைவாக உகந்ததாக்கிவிடும். மேலும், SFT நிலை வரிசைப்படுத்தல்-முக்கியமான காவற்கற்களை நிறுவுகிறது என்றாலும், தரவுகளால் வெளிப்படையாக வலுப்படுத்தப்பட்டால் ஒழிய RL அவற்றில் பின்வாங்கக்கூடும்.

வரிசைப்படுத்தல்-முக்கியமான தேவைகள்—அறிவுறுத்தல் பின்பற்றுதல், வடிவமைப்புக் கட்டுப்பாடுகள் மற்றும் பாதுகாப்பு மரபுகள்—ஆகியவற்றை ரூப்ரிக்ஸாக மாற்றுவதன் மூலம் சரிபார்க்க முடியாத வினவல்களை RL பயிற்சியில் இணைக்கிறோம்: ஒரு பதில் திருப்திப்படுத்த வேண்டிய அணுக்க, புறநிலை ரீதியாக சரிபார்க்கக்கூடிய அளவுகோல்கள். ரூப்ரிக் அடிப்படையிலான தரவு கட்டுமானத்தை ஏற்றுக்கொள்கிறோம் (Gunjal et al., 2025; Liu et al., 2025b), ஒரு வினவலுக்கு ரூப்ரிக் தொகுப்புகளை உருவாக்குகிறோம்.

ரூப்ரிக் உருவாக்கம். முழு உரையாடல் வரலாற்றையும் கருத்தில் கொண்டு, ஒரு குறிப்பு பதிலையும் அதற்கேற்ப ரூப்ரிக் தொகுப்பையும் உருவாக்க LLM ஐத் தூண்டுகிறோம். ரூப்ரிக்ஸ் ஒரு நிலையான முன்னுரிமை வரிசையின் கீழ் பெறப்படுகின்றன: பயனரால் வெளிப்படையாகக் கூறப்படும் தேவைகளுக்கு முன்னுரிமை அளிக்கப்படுகிறது, அதைத் தொடர்ந்து உள் கட்டுப்பாடுகள், மற்றும் இறுதியாக குறிப்பு பதிலிலிருந்து ஊகிக்கப்படும் அவசியமான உள்ளடக்க தேவைகள். ஒவ்வொரு ரூப்ரிக் பின்வருவனவாக இருக்க வேண்டும்:

அணுக்கம்: ஒற்றை, நன்கு வரையறுக்கப்பட்ட சோதனை;
புறநிலை: அகநிலை தீர்ப்பு இல்லாமல் சரிபார்க்கக்கூடியது;
அவசியம்: வினவலுக்கு பதிலளிக்கத் தேவையானது, ஸ்டைலிஸ்டிக் விருப்பம் மட்டுமல்ல.

வினவல்.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

ரூப்ரிக்ஸ்.

பதில் ஆங்கிலத்தில் எழுதப்பட்டுள்ளது.
திருத்தப்பட்ட சொற்களில் "lodging" மற்றும் "boarding" என்ற சொற்கள் உள்ளன.
"man power" என்பதற்குப் பதிலாக திருத்தப்பட்ட சொற்கள் "manpower" ஐ ஒற்றைச் சொல்லாகப் பயன்படுத்துகின்றன (எடுத்துக்காட்டாக, "manpower plan" அல்லது "manpower planning").
திருத்தப்பட்ட சொற்களில் முறைசாரா குறுக்கீட்டு டோக்கன்கள் "u" அல்லது "Plz" இல்லை, மேலும் அதில் ஆம்பர்சண்ட் எழுத்து "&" இல்லை.
பதிலில் \[type:idx\] வடிவத்தின் மேற்கோள் குறிப்பான்கள் இல்லை, இங்கு type தரவு மூலத்தைக் குறிக்கிறது (எடுத்துக்காட்டாக, web, chart, memory, attached_file).

ரூப்ரிக் அளவுத்திருத்தம். மிகவும் கடுமையான அல்லது மிகவும் அனுமதியளிக்கும் ரூப்ரிக் தொகுப்புகளைத் தவிர்க்க, pass@4 வடிப்பானைப் பயன்படுத்துகிறோம். ஒவ்வொரு வினவலுக்கும், நான்கு சுயாதீனமான பதில்களை மாதிரி செய்து, அறிவுறுத்தல்-பின்தொடர்தல் நடுவரைக் கொண்டு முழு ரூப்ரிக் தொகுப்பிற்கும் எதிராக அவற்றை மதிப்பீடு செய்கிறோம். எந்தப் பதிலும் ரூப்ரிக் தொகுப்பைத் திருப்திப்படுத்தாத அல்லது அனைத்துப் பதில்களும் திருப்திப்படுத்தும் வினவல்களை நாங்கள் நிராகரிக்கிறோம், தகவல் தரும் பயிற்சிச் சமிக்ஞையை அளிப்பவற்றை மட்டும் தக்க வைத்துக் கொள்கிறோம்.

பன்முக-நோக்க RL இல் ஒரு நடைமுறைச் சவாலானது தரவுக் கூறுகளில் மாறுபாடு சமநிலையின்மையாகும் (Duchi மற்றும் Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). சரிபார்க்கக்கூடிய கேள்வி-பதில் மற்றும் ரூப்ரிக் அடிப்படையிலான தரவு இரண்டும் இரும வெகுமதிகளைத் தந்தாலும், அவை பணி சிரமத்தில் கணிசமாக வேறுபடுகின்றன: பயிற்சியின் ஆரம்பத்தில் ரூப்ரிக் திருப்தியை அடைவது பொதுவாக எளிதானது, இது பெரிய மற்றும் அடிக்கடி வரும் கிரேடியன்ட் புதுப்பிப்புகளை உருவாக்குகிறது, இது கடினமான சரிபார்க்கக்கூடிய கேள்வி-பதில் சமிக்ஞையுடன் ஒப்பிடும்போது கொள்கை உகப்பாக்கத்தை விகிதமின்றிக் கட்டுப்படுத்தலாம். இதை நிவர்த்தி செய்ய, கூறுகளில் உகப்பாக்கச் சமிக்ஞையைச் சமநிலைப்படுத்த, சரிபார்க்கக்கூடிய கேள்வி-பதிலிலிருந்து 90% மற்றும் ரூப்ரிக் அடிப்படையிலான தரவிலிருந்து 10% மாதிரி செய்து, தரவுத்தொகுப்பு மட்டத்தில் ப்ராம்ட் கலவையை மீண்டும் எடைபோடுகிறோம்.

எங்களது வெகுமதி வடிவமைப்பு மேலே விவரிக்கப்பட்ட தரவு கட்டுமானத்திலிருந்து நேரடியாகப் பின்பற்றப்படுகிறது. சரிபார்க்கக்கூடிய கேள்வி-பதில் மற்றும் ரூப்ரிக் பணிகள் இரண்டையும் கொண்டிருந்தாலும், அனைத்து பயிற்சி தரவுகளும் பொதுவான அடிப்படை வெகுமதி கட்டமைப்பைப் பகிர்ந்து கொள்கின்றன: QA பணிகளுக்குச் சரியான பதிலைத் தந்தாலோ அல்லது பொது அரட்டைக்கான குறிப்பிட்ட அனைத்து ரூப்ரிக்ஸ்களையும் திருப்திப்படுத்தினாலோ ஒரு ரோல்அவுட் கிரெடிட்களைப் பெறுகிறது. இந்த பகிரப்பட்ட அடித்தளத்தைக் கட்டியெழுப்பி, விருப்பம் சார்ந்த ஸ்கோரிங் மற்றும் திறன் வடிவமைப்பை இணைக்க ஒரு கலப்பு வெகுமதியை உருவாக்குகிறோம்.

ஆரம்பகால சோதனைகளில் காணப்பட்ட ஒரு முக்கிய சவாலானது வெகுமதி ஹேக்கிங் ஆகும்: வெகுமதிகளின் எளிய நேரியல் கலவையானது வலுவான விருப்பச் சமிக்ஞைகள் உண்மை அல்லது அறிவுறுத்தல் தோல்விகளுக்கு ஈடுகட்ட அனுமதிக்கிறது. எனவே நாங்கள் கேட்டட் அக்ரிகேஷன் ஐ ஒரு முக்கிய வடிவமைப்பு கொள்கையாக ஏற்றுக்கொள்கிறோம், இது முறையே பின்வருமாறு வரையறுக்கப்படுகிறது:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

இங்கு $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ என்பது QA சரியான தன்மை அல்லது ரூப்ரிக் திருப்தியைக் குறிக்கிறது, $s(\tau_i)\in[0,1]$ என்பது விருப்ப மதிப்பெண் ஆகும், மற்றும் $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ என்பது நங்கூரமிடப்பட்ட திறன் அபராதம் ஆகும். இது விருப்பக் கிரெடிட்களைப் பெறுவதற்குச் சரியான தன்மையை ஒரு அவசியமான நிபந்தனையாக ஆக்குகிறது, அதே நேரத்தில் தேவையற்ற கருவி பயன்பாடு மற்றும் சொற்பொழிவைத் தடுக்கிறது. படம் 1 முழு வெகுமதி பைப்லைனைக் காட்டுகிறது, அதன் கூறுகளை கீழே விவரிக்கிறோம்:

வெகுமதி வடிவமைப்பு கண்ணோட்டம். நாங்கள் ஒரு அடிப்படை சரியான தன்மை சமிக்ஞையை (சரிபார்க்கக்கூடியது/ரூப்ரிக்), பிராட்லி-டெர்ரி விருப்ப மதிப்பெண் மற்றும் நங்கூரமிடப்பட்ட திறன் அபராதங்களை இணைக்கிறோம். வெகுமதி ஹேக்கிங்கைத் தடுக்க விருப்பமானது அடிப்படைச் சரியான தன்மையால் கேட் செய்யப்படுகிறது.

பணிச் சரியான தன்மை அல்லது அறிவுறுத்தல் இணக்கத்தைப் படம்பிடிக்கும் இரும அடிப்படைச் சமிக்ஞை ஐ வரையறுக்கிறோம். சரிபார்க்கக்கூடிய தேடல்-முகவர் தரவுக்காக, இறுதிப் பதில் உண்மை நிலையுடன் பொருந்தினால் , இல்லையெனில் . ரூப்ரிக் அடிப்படையிலான பொது அரட்டை தரவுக்காக, அனைத்து ரூப்ரிக்ஸ்களும் திருப்திப்படுத்தப்பட்டால் , இல்லையெனில் . இந்த அடிப்படை நிபந்தனை திரட்டல் விதி சமன்பாடு 2 இல் கடினமான கேட்டாகச் செயல்படுகிறது. $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ $r_{\mathrm{base}}(\tau_i)=1$ $0$ $r_{\mathrm{base}}(\tau_i)=1$ $0$

பதில் தரம் குறித்த பயனர்களின் மறைமுக விருப்பங்களுடன் கொள்கை மாதிரியை சீரமைப்பதை நாங்கள் நோக்கமாகக் கொண்டுள்ளோம்—தகவல் தன்மை, தெளிவு மற்றும் தொழில்முறை தொனி—இவற்றை LLM-நடுவர் ப்ராம்ட்கள் மூலம் படம்பிடிப்பது கடினம். எனவே இந்த பண்புகளை நேரடியாக மதிப்பிடுவதற்குப் பயிற்சி பெற்ற விருப்ப வெகுமதி மாதிரியைப் பயிற்றுவிக்கிறோம்.

பிராட்லி-டெர்ரி கட்டமைப்பின் கீழ் விருப்பக் கற்றலை உருவாக்குகிறோம். சூழல் $x$ மற்றும் இரண்டு வேட்பாளர் பதில்கள் $y_a, y_b$ கொடுக்கப்பட்டால், மாதிரி அளவுகோல் மதிப்பெண்கள் $s_{\theta}(x, y) \in \mathbb{R}$ ஐ உருவாக்கி குறைக்கின்றது,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

இங்கு $r \in \{0, 1\}$ என்பது $y_a$ விரும்பப்படுகிறதா என்பதைக் குறிக்கிறது. நிலைச் சார்பைத் அகற்ற, ஒவ்வொரு பயிற்சி ஜோடியும் இரண்டு வரிசைகளுடன் பெருக்குப்பட்டு சமச்சீராக உகந்ததாக்கப்படுகிறது,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

இன்ஃபரன்ஸ் நேரத்தில், இரண்டு மாற்றீடுகளையும் சராசரியாகக் கணக்கிடுவதன் மூலம் நிலை-சாராத விருப்ப மதிப்பெண்ணைப் பெறுகிறோம்:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

ரோல்அவுட் விருப்ப மதிப்பெண் பின்னர் $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ என வரையறுக்கப்படுகிறது, அதாவது அதே ப்ராம்ட்டிற்கான குறிப்பு மாதிரி ரோல்அவுட்டை விட கொள்கை ரோல்அவுட் $y_i$ விரும்பப்படுவதற்கான நிகழ்தகவு ஆகும்.

விருப்ப மாதிரி உருவாக்குவதற்கான பயிற்சி தரவு க்யூரேட்டட் திறந்த மூல தரவுத்தொகுப்புகள், பயனர் பக்க-பக்க கருத்துகள் மற்றும் உள் குறிப்புகளிலிருந்து பெறப்படுகிறது. லேபிள் சத்தத்தை நிவர்த்தி செய்ய, Datbench (DatologyAI, 2026) ஆல் ஈர்க்கப்பட்ட இலகுரக வடிகட்டுதல் மற்றும் அளவுத்திருத்த பைப்லைனைப் பயன்படுத்துகிறோம், நிலையான குறுக்கு-மாதிரி உடன்பாட்டுடன் கூடிய எடுத்துக்காட்டுகளை மட்டுமே தக்க வைத்துக் கொள்கிறோம். வெகுமதி மாதிரியும் கொள்கை மாதிரியின் அதே பேக்போனைப் பகிர்ந்துகொள்கிறது, மொழி மாடலிங் தலைக்கு பதிலாக மதிப்புத் தலை உள்ளது. சிறிய வெகுமதி மாதிரிகள் ஒப்பிடக்கூடிய ஹோல்ட்-அவுட் துல்லியத்தை அடைந்தாலும், அவை நுண்ணிய விருப்பங்களைப் படம்பிடிக்கத் தவறிவிடுகின்றன மற்றும் தேவையற்ற கொள்கை நடத்தைகளை வலுப்படுத்தக்கூடும் என்று அனுபவப்பூர்வமாகக் காண்கிறோம்.

வெளிப்படையான திறன் வடிவமைப்பு இல்லாத பட்சத்தில், எளிய ப்ராம்ட்களிலும் கூட கொள்கை கருவிகளை அதிகமாகப் பயன்படுத்த முனைகிறது. நிபந்தனையற்ற அபராதங்கள் (எ.கா., கருவி-அழைப்பு எண்ணிக்கை அல்லது வெளியீட்டு நீளத்துடன் நேரியல் முறையில் அளவிடுபவை) ஒரு இயற்கையான அடிப்படையாகும், ஆனால் அவை அவசியமான ஆய்வை அடக்கி கற்றலைச் சிதைப்பதாக நாங்கள் காண்கிறோம். எனவே நாங்கள் ஒவ்வொரு GRPO குழுவிலும் உள்ள பயனுள்ள தீர்வுகளுடன் ஒப்பிடும்போது கருவி பயன்பாடு மற்றும் பதில் நீளத்தை ஒழுங்குபடுத்தும் குழு-உறவினர், நங்கூரமிடப்பட்ட அபராதங்களை ஏற்றுக்கொள்கிறோம். ஒரு குழு 𝑔 க்கு, வெற்றியாளர் தொகுப்பை பின்வருமாறு வரையறுக்கிறோம்:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

நங்கூரமிடப்பட்ட கருவி-அழைப்பு அபராதம். ஒவ்வொரு ரோல்அவுட் $\tau_i$ க்கும், $c_i$ கருவி அழைப்புகளின் எண்ணிக்கையையும் $e_i$ கருவி-செயல்படுத்தல் தோல்விகளின் எண்ணிக்கையையும் குறிக்கட்டும். பயனுள்ள கருவி-அழைப்பு எண்ணிக்கை $\tilde{c}_i = c_i - e_i$ ஐ வரையறுத்து, குழு அடிப்படையை சீராக மாதிரி செய்கிறோம்:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

உப்பைக் கணக்கிடுகிறோம் $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ , மற்றும் மென்மையான அபராத அளவுகோல் $p_i = 1 - \exp\!\left(-\Delta_i\right)$ ஐ வரையறுக்கிறோம். கருவி அபராதம் பின்னர்:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

நங்கூரமிடப்பட்ட நீள அபராதம். வேட்பாளர் மற்றும் குறிப்பு மாதிரி தலைமுறை டோக்கன் நீளங்களை முறையே $L_i$ மற்றும் $L_i^{\mathrm{ref}}$ குறிக்கட்டும். வடிவமைப்பு தொகுப்பு $\widehat{W}_g$ ஐ சரியானதாகவும் விரும்பத்தக்கதாகவும் இருக்கும் ரோல்அவுட்கள் என வரையறுக்கிறோம்:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

பின்னர் குழு-குறிப்பிட்ட நீள அடிப்படையைக் கணக்கிடுகிறோம்:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

நீள அபராதம் பின்வருமாறு வரையறுக்கப்படுகிறது:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

இங்கு முதல் வரி ஒரு கடினமான தொப்பியாகும்; இரண்டாவது சொற்பொழிவு வெற்றியாளர்களைத் தண்டிக்கும்; மற்றும் மூன்றாவது சுருக்கமான தோல்வியுற்றவர்களைத் தண்டிக்கும்.

கூட்டுத் திறன் அபராதம். கூட்டுத் திறன் அபராதம் என்பது இரண்டு கூறுகளின் எடையிடப்பட்ட கூட்டுத்தொகையாகும்:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

எங்களது பிந்தைய பயிற்சி பைப்லைனை இரண்டு அச்சுகளில் மதிப்பீடு செய்கிறோம்: (i) பயிற்சி இயக்கவியல், உகப்பாக்க நிலைத்தன்மையை மதிப்பிடுவதற்கும் வெகுமதி சமிக்ஞைகள் எதிர்பார்த்தபடி செயல்படுகின்றனவா என்பதைச் சரிபார்க்கவும், மற்றும் (ii) ஆஃப்லைன் பெஞ்ச்மார்க்குகள், கட்டுப்படுத்தப்பட்ட மதிப்பீட்டு அமைப்புகளின் கீழ் கீழ்நிலை தரம், பாதுகாப்பு மற்றும் திறனை அளவிட.

இயல்புநிலை பயிற்சி அமைப்புகள். கொள்கை மாதிரி வலைத் தேடல் கருவியுடன் (search_web) தொடர்பு கொள்கிறது; ஒவ்வொரு கருவி அழைப்பும் 10 முடிவுகள் வரை மீட்டெடுக்கிறது, வினவல்கள் 250 எழுத்துக்களுக்கு வரம்பிடப்பட்டுள்ளன மற்றும் ஒரு ரோல்அவுட்டுக்கு 5 வினவல்கள் வரை உள்ளன.

வெகுமதி முன்னேற்றம் மற்றும் திறன் நடத்தை ஆகியவற்றில் கவனம் செலுத்தி உகப்பாக்க இயக்கவியலை ஆராய்கிறோம். விளக்கத்தின் எளிமைக்காக Qwen3.5-397B-A11B ஐப் பயன்படுத்துகிறோம்.

பயிற்சியின் போது அடிப்படை மற்றும் விருப்பச் சமிக்ஞைகளின் பரிணாம வளர்ச்சி.

படம் 2 அடிப்படை வெகுமதியில் (சரிபார்க்கக்கூடிய கேள்வி-பதில் மற்றும் ரூப்ரிக் திருப்தி) நிலையான முன்னேற்றத்தைக் காட்டுகிறது, அதிகரித்துவரும் விருப்ப மதிப்பெண்களுடன் சேர்ந்து, சரியான தன்மை, இணக்கம் மற்றும் பதில் தரத்தில் நிலையான லாபத்தைக் குறிக்கிறது.

பயிற்சியின் போது திறன் நடத்தை மற்றும் நங்கூரமிடப்பட்ட வடிவமைப்புக் அபராதங்கள்.

படம் 3 கருவி-அழைப்பு அதிர்வெண் மற்றும் தலைமுறை நீளம் இரண்டும் பயிற்சி முழுவதும் நன்கு கட்டுப்படுத்தப்பட்டிருப்பதைக் காட்டுகிறது. குறிப்பாக, கருவி-அழைப்பு மற்றும் நீள அபராதங்கள் இரண்டும் பயிற்சியின் போக்கில் கணிசமாகக் குறைகின்றன, இது மாதிரியின் முற்போக்கான தழுவலை மிகவும் சுருக்கமான தலைமுறை மற்றும் மிகவும் தேர்ந்தெடுக்கப்பட்ட கருவி அழைப்பு நோக்கி பிரதிபலிக்கிறது.

படம் 4 தற்காலிக ஸ்பைக்குகளைத் தவிர கிரேடியன்ட் நெறிமுறைகள் நிலையாக இருப்பதைக் காட்டுகிறது, அதே நேரத்தில் பயிற்சி-இன்ஃபரன்ஸ் KL விலகல் லேசான மேல்நோக்கிய போக்கைக் காட்டுகிறது, 1e-3 அளவில் உள்ளது. இந்த டிரிஃப்ட் மாதிரி பிற RL பயிற்சி கட்டமைப்புகளில் உள்ள அவதானிப்புகளுடன் ஒத்துப்போகிறது; பயிற்சி முழுவதும் நிலையாக இருப்பதால், கூடுதல் தலையீடு இல்லாமல் சமன்பாடு 1 இல் எளிய IS ஒழுங்குமுறையைத் தக்க வைத்துக் கொள்கிறோம்.

பொது பெஞ்ச்மார்க்குகள் மற்றும் உள் Perplexity (PPLX) அளவீடுகள் இரண்டையும் உள்ளடக்கிய தேடல் துல்லியம், உண்மை நம்பகத்தன்மை, அறிவுறுத்தல் பின்பற்றுதல் மற்றும் பாதுகாப்பு ஆகியவற்றை உள்ளடக்கிய பெஞ்ச்மார்க்குகளின் தொகுப்பில் முடிவுகளைப் புகாரளிக்கிறோம். பொது பெஞ்ச்மார்க்குகளில் SimpleQA, FRAMES, மற்றும் Facts Open ஆகியவை அடங்கும்.

pplx-sbs-search: உள் வெகுமதி மாதிரியைப் பயன்படுத்தி பக்க-பக்க விருப்ப மதிப்பீடு. வேட்பாளர்கள் வலுவான அடிப்படையுடன் ஒப்பிடப்படுகிறார்கள்.
pplx-abstention: நம்பகமான சான்றுகள் இல்லாதபோது பொருத்தமாக மறுக்கும் திறன்.
pplx-language-mismatch: நீண்ட-வால் மற்றும் பல-திருப்ப அமைப்புகளின் கீழ் மொழி நிலைத்தன்மை.
pplx-broken-tool-calls (↓): கருவி-அழைப்பு ஸ்கீமா இணக்கம் மற்றும் கட்டுப்பாடு பின்பற்றுதல், எடுத்துக்காட்டாக, tool_choice=none.

இயல்புநிலை மதிப்பீட்டு அமைப்புகள். பொது பெஞ்ச்மார்க்குகளுக்கு, வலை-தேடல் கருவியை மட்டுமே அனுமதிக்கிறோம், ஒரு எடுத்துக்காட்டுக்கு 5 கருவி அழைப்புகள் மற்றும் அழைப்புக்கு 10 முடிவுகள் வரை பட்ஜெட்டுடன், வெப்பநிலை 0.6 இல் 8192 வெளியீட்டு டோக்கன்கள் வரை உருவாக்குகிறோம்.

ஆஃப்லைன் மதிப்பீட்டு முடிவுகள். அடைப்புக்குறிகளில் உள்ள எண்கள் சராசரி கருவி பயன்பாட்டைக் குறிக்கின்றன. Qwen3.5-397B-A17B ஐ Qwen3.5-Large என்றும், Qwen3.5-122B-A10B ஐ Qwen3.5-Medium என்றும் குறிப்பிடுகிறோம்.

அட்டவணை 2 Qwen3.5-Large-SFT-RL பொது பெஞ்ச்மார்க்குகளில் வலுவான தேடல் துல்லியத்தை அடைவதைக் காட்டுகிறது, ஒப்பிடக்கூடிய கருவி பட்ஜெட்டுகளைப் பயன்படுத்தும் போது FRAMES மற்றும் Facts Open இல் gpt-5.4 ஐப் பொருத்துகிறது அல்லது மீறுகிறது. அடிப்படை மாதிரியுடன் ஒப்பிடும்போது, எங்களது அணுகுமுறை உள் அளவீடுகளில் கணிசமான லாபத்தைத் தருகிறது, குறிப்பாக விருப்பம் (pplx-sbs-search: 0.602 → 0.742), மொழி நிலைத்தன்மை மற்றும் விலகல் ஆகியவற்றில், இரு-நிலை பைப்லைன் தேடல் திறனைச் சமரசம் செய்யாமல் வரிசைப்படுத்தல்-முக்கியமான நடத்தைகளை திறம்பட மேம்படுத்துகிறது என்பதை நிரூபிக்கிறது.

அளவிட, ஒரு பட்ஜெட்-கட்டாயப்படுத்தப்பட்ட மதிப்பீட்டு நெறிமுறையை வடிவமைக்கிறோம். ஒவ்வொரு மாதிரிக்கும் வலைத் தேடல் கருவி (search_web) மற்றும் அனுமதிக்கப்பட்ட கருவி அழைப்புகளின் எண்ணிக்கையில் கடுமையான தொப்பையைக் குறிப்பிடும் கணினி ப்ராம்ட் ("பட்ஜெட்") வழங்கப்படுகிறது. இந்த பட்ஜெட்டை 0 (கருவி பயன்பாடு இல்லை, தூய பாராமெட்ரிக் அறிவு) இலிருந்து 10 (தாராளமான பல-படி மீட்டெடுப்பு) வரை ஸ்வீப் செய்கிறோம், ஒவ்வொரு மட்டத்திலும் துல்லியத்தைப் பதிவு செய்கிறோம். இது ஒரு கருவி-திறன் வளைவை உருவாக்குகிறது: அனுமதிக்கப்பட்ட மீட்டெடுப்பு பட்ஜெட்டின் செயல்பாடாக மாதிரியின் மதிப்பெண். FRAMES மற்றும் Facts Open ஆகிய இரண்டு உண்மை கேள்வி-பதில் பெஞ்ச்மார்க்குகளில் மதிப்பீடு செய்கிறோம்.

பெஞ்ச்மார்க் துல்லியம் vs கருவி அழைப்புகளின் அதிகபட்ச எண்ணிக்கை.

இந்த இரண்டு பெஞ்ச்மார்க்குகளிலிருந்தும் பல வடிவங்கள் தனித்து நிற்கின்றன:

எங்களது பிந்தைய பயிற்சி பெற்ற Qwen3.5-397B-SFT-RL இரண்டு பெஞ்ச்மார்க்குகளிலும் சிறந்த தேடல் துல்லியத்தை அடைகிறது. ஒற்றை கருவி அழைப்புடன் கூட, இது FRAMES இல் 57.3% மதிப்பெண் பெறுகிறது, GPT-5.4 ஐ விட 5.7 புள்ளிகள் அதிகமாகவும், Sonnet 4.6 ஐ விட 4.7 புள்ளிகள் அதிகமாகவும் உள்ளது.
- மிதமான பட்ஜெட்டுகளில் (b=2-7) நன்மை மிகவும் உச்சரிக்கப்படுகிறது, இது உற்பத்தி வரிசைப்படுத்தல்களுக்கான நடைமுறை இயக்க வரம்பாகும்.
எங்களது பிந்தைய பயிற்சி செய்முறை (SFT + RL) அடிப்படை செக்பாயிண்ட்டை விட கருவி-பயன்பாட்டுத் திறனை கணிசமாக மேம்படுத்துகிறது; படம் 5 இல் திடமான கோடுகள் (பிந்தைய பயிற்சி பெற்றது) vs. கோடான கோடுகள் (தொடங்கும் செக்பாயிண்ட்) பார்க்கவும்.
அனைத்து மாதிரிகளுக்கும், பட்ஜெட்=7 ஐச் சுற்றி குறைந்துவரும் வருவாயைக்ண்கிறோம், இது இரண்டு பெஞ்ச்மார்க்குகள் மற்றும் அனைத்து மாதிரிகளிலும் நிலையானது, இது மாதிரிகளைக் காட்டிலும் உண்மைத் தேடும் பணிகளின் ஒரு சொத்து என்பதைக் குறிக்கிறது.

Qwen3.5-397B-SFT-RL குறைந்த கருவி அழைப்புகளுடன் அதிக துல்லியத்தை அடைகிறது என்பதை மேலே உள்ள முடிவுகள் காட்டுகின்றன. ஆனால் இது உண்மையான செலவுக்கு எவ்வாறு மொழிபெயர்க்கிறது? ஒப்பீட்டை உறுதியானதாக்க வெளியிடப்பட்ட API விலையை (Alibaba DashScope, OpenAI, Anthropic) பயன்படுத்தி டோக்கன்-நிலை அளவீடுகளை டாலர் செலவுகளாக மாற்றுகிறோம்.

நடுத்தர சுயவிவரத்தில் (b=4), Qwen3.5-397B-SFT-RL FRAMES இல் வினவலுக்கு 2.0 சென்ட்களில் 73.9% மதிப்பெண் பெறுகிறது, அதே நேரத்தில் GPT-5.4 வினவலுக்கு 8.5 சென்ட்களில் 67.8% மதிப்பெண் பெறுகிறது மற்றும் Sonnet 4.6 வினவலுக்கு 15.3 சென்ட்களில் 62.4% மதிப்பெண் பெறுகிறது. அதாவது GPT-5.4 உடன் ஒப்பிடும்போது 4x குறைந்த செலவில் +6 புள்ளிகள் துல்லியம், மற்றும் Sonnet 4.6 உடன் ஒப்பிடும்போது 7.5x குறைந்த செலவில் +11.5 புள்ளிகள்.

இந்த மதிப்பீடுகள் கேச்சிங் இல்லாமல் பட்டியல் API விலையைப் பயன்படுத்துகின்றன. KV கேஷ் மறுபயன்பாடு, முன்னொட்டு கேச்சிங் மற்றும் குவாண்டைஸ்டு MoE சர்விங் (397B 17B செயலில் உள்ள அளவுருக்களை மட்டுமே பயன்படுத்துகிறது) போன்ற உள் இன்ஃபரன்ஸ் உகப்பாக்கங்களுடன், பயனுள்ள செலவைக் பட்டியல் API விலைக்குக் கீழே குறைக்கலாம்.

இரு-நிலை SFT மற்றும் RL பைப்லைன் மூலம் வரிசைப்படுத்தல் இணக்கத்தைத் தேடல் உகப்பாக்கத்திலிருந்து பிரிப்பது உற்பத்தி வரம்புகளின் கீழ் திறன் மற்றும் நம்பகத்தன்மை கொண்ட ஒரு மாதிரியை உருவாக்குகிறது. சரிபார்க்கக்கூடிய கேள்வி-பதில் மற்றும் ரூப்ரிக் அடிப்படையிலான பயிற்சி தரவுகளின் கலவையானது, கேட்டட் வெகுமதி திரட்டல் மற்றும் நங்கூரமிடப்பட்ட திறன் வடிவமைப்புடன் இணைந்து, தேடல் துல்லியம் அல்லது காவற்கற்கள் இணக்கத்தைச் தியாகம் செய்யாமல் நிலையான பன்முக-நோக்க உகப்பாக்கத்தை செயல்படுத்துகிறது.

பல திசைகள் மேலும் விசாரணைக்குத் தகுதியானவை. படம் 4 இல் காணப்படுவது போல், பயிற்சி-இன்ஃபரன்ஸ் KL விலகல் நீட்டிக்கப்பட்ட பயிற்சி படிகளில் தொடர்ச்சியான மேல்நோக்கிய டிரிஃப்ட்டைக் காட்டுகிறது. டோக்கன்-நிலை IS திருத்தம் எங்கள் தற்போதைய அமைப்பின் கீழ் போதுமானதாக நிரூபிக்கப்பட்டாலும், பெரிய அளவில் இது உண்மைதானா என்பது தெளிவாகத் தெரியவில்லை; இந்த பொருத்தமின்மையின் மிகவும் கொள்கை ரீதியான கோட்பாட்டு მკურნალობა — உள்கட்டமைப்பு-நிலை முரண்பாடுகள் மற்றும் MoE ரூட்டிங் போன்ற கட்டிடக்கலை-குறிப்பிட்ட காரணிகளை உள்ளடக்கியது — தணிப்பு உத்திகளின் அளவுசார்ந்த அனுபவப்பூர்வ ஒப்பீடுகளுடன், ஒரு முக்கியமான திறந்த கேள்வியாக உள்ளது. பன்முக-நோக்க RL ஐப் பொறுத்தவரை, நம்பிக்கைக்குரிய வழிகளில் தொடர் பயிற்சி (Zeng et al., 2026) பேரழிவு தரும் மறதியைத் தணிக்கும் அதே வேளையில் நிலைகளில் நோக்கங்களை உகப்பாக்க ஆன்-பாலிசி கில்டேஷனுடன் அடங்கும்; மற்றும் பணி-குறிப்பிட்ட உகப்பாக்கத்தை திறன் திரட்டலிலிருந்து பிரிக்க மாதிரி இணைத்தல் (Fu et al., 2025; Yang et al., 2026). இறுதியாக, நீண்ட-ஹொரைசன் பாதைகளுடன் யதார்த்தமான பல-கருவி பணிப்பாய்வுகளுக்கு அளவிடுவது ஒரு முக்கியமான திறந்த சவாலாக உள்ளது, இதற்கு சிறந்த கிரெடிட் ஒதுக்கீடு, பகுதி ரோல்அவுட்களுக்கான ஆதரவு மற்றும் மதிப்பீடுகள் தேவைப்படலாம்.

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Published Jan 6, 2026. Accessed: 2026-03-04.

J. Duchi மற்றும் H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, மற்றும் X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, மற்றும் S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, மற்றும் Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, மற்றும் H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, மற்றும் Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, மற்றும் F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, மற்றும் T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, மற்றும் M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, மற்றும் W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM மற்றும் TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, மற்றும் F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, மற்றும் D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, மற்றும் J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}

அறிமுகம்

இரு-நிலை பயிற்சி பைப்லைன்

SFT நிலை

RL நிலை

RL பயிற்சி தரவு

சரிபார்க்கக்கூடிய தேடல்-முகவர் தரவு

எடுத்துக்காட்டு (3-ஹாப்)

ரூப்ரிக் அடிப்படையிலான பொது அரட்டை தரவு

எடுத்துக்காட்டு

ப்ராம்ட் கலவை மற்றும் மாறுபாடு சமநிலைப்படுத்தல்

வெகுமதி வடிவமைப்பு

அடிப்படை வெகுமதி

விருப்ப மாதிரி உருவாக்கம்

திறன் அபராதம்

முக்கிய முடிவுகள்

பயிற்சி இயக்கவியல்

ஆஃப்லைன் மதிப்பீடுகள்

கருவி பயன்பாட்டுத் திறன் மதிப்பீடுகள்

முடிவுரை

குறிப்புகள்

மேற்கோள்