सर्च-वर्धित भाषा मॉडेल्सना पुढे नेणे

परिचय

फ्रंटियर वेब सर्च एजंट्सना प्रशिक्षित करण्यासाठी अनेक उद्दिष्टांचे संयुक्तपणे ऑप्टिमायझेशन करणे आवश्यक असते: तथ्यात्मक अचूकता, ट्रॅजेक्ट्री कार्यक्षमता आणि वापरकर्त्याच्या प्राधान्याशी सुसंवाद. तरीही कोणत्याही एका घटकात स्वतंत्रपणे सुधारणा केल्यास इतर घटक सहसा बिघडतात: केवळ अचूकतेसाठी प्रशिक्षित केलेले मॉडेल्स टूल्सचा अतिवापर करतात, तर संक्षिप्ततेसाठी ऑप्टिमायझ केलेली मॉडेल्स विश्वासार्हता किंवा पूर्णता यांच्याशी तडजोड करू शकतात. Perplexity मध्ये, यापैकी कोणताही परिणाम स्वीकार्य नाही.

हा लेख ओपन-सॉर्स मॉडेल्सवर आधारित अत्याधुनिक वेब सर्च एजंट्स विकसित करण्यासाठी Perplexity ची पोस्ट-ट्रेनिंग पाइपलाईनवर्णन करतो. एक मुख्य विचार असा आहे की, सर्च-एजंट प्रशिक्षणात, डेटा क्युरेशन आणि रिवॉर्ड डिझाइन एकत्र डिझाइन केले पाहिजेत: डेटा कोणती वर्तणूक निरीक्षणीय आणि पडताळणीयोग्य आहे हे ठरवतो, आणि रिवॉर्ड त्या सिग्नलचे ऑप्टिमायझेशन सिग्नलमध्ये कसे रूपांतर होते हे ठरवतो. हे तत्त्व आमच्या दोन-टप्प्यांच्या पाइपलाईनला प्रेरित करते: आम्ही प्रथम पॉलिसी मॉडेल सुरू करण्यासाठी सुपरवाइज्ड फाईन-ट्यूनिंग (SFT) वॉर्मअप आयोजित करतो, आणि नंतर क्युरेट केलेल्या डेटासेटवर आणि काळजीपूर्वक डिझाइन केलेल्या रिवॉर्ड्सवर रिइंफोर्समेंट लर्निंग (RL) वापरून पॉलिसी मॉडेल परिष्कृत करतो. हा दोन-टप्प्यांचा दृष्टिकोन उत्पादन मर्यादांनुसार अचूकता, कार्यक्षमता आणि प्रतिसादाच्या गुणवत्तेमध्ये विश्वासार्ह वाढ सक्षम करतो.

आम्ही प्रथम आमच्या दोन-टप्प्यांच्या प्रशिक्षण पाइपलाईनचे (SFT → ऑन-पॉलिसी RL) वर्णन करतो, त्यानंतर सत्यापनायोग्य सर्च-एजंट QA आणि रुब्रिक-आधारित जनरल चॅट या दोन्हीचा समावेश करून आमची RL प्रशिक्षण डेटा निर्मिती सांगतो. त्यानंतर आम्ही या विषम डेटा सेटवरून प्राप्त झालेले कंपोझिट रिवॉर्ड डिझाइन सादर करतो, ज्यामुळे रिवॉर्ड हॅकिंग कमी करताना गुणवत्ता आणि कार्यक्षमता समतोल राखली जाते. शेवटी, आम्ही प्रशिक्षण गतिशीलता आणि बेंचमार्क निकालांचे विश्लेषण करतो.

दोन-टप्प्यांची प्रशिक्षण पाइपलाईन

आम्ही दोन-टप्प्यांची पोस्ट-ट्रेनिंग कृती स्वीकारतो: (i) गार्डरिल्स (उदा., टाळणे), सूचनांचे पालन, आणि भाषा सुसंगतता यांसारखी उपयोजनासाठी अत्यंत महत्त्वाची वर्तणूक प्रस्थापित करण्यासाठी SFT, आणि (ii) पहिल्या टप्प्यातील वर्तणूक कायम ठेवत, उत्तर अचूकता आणि टूल-वापर कार्यक्षमतेसह सर्च क्षमता सुधारण्यासाठी ऑन-पॉलिसी RL.

दोन टप्पे का? किमान एका उद्दिष्टाशी तडजोड न करता एकाच RL टप्प्यात सर्च गुणवत्ता आणि उपयोजन मर्यादांचे संयुक्तपणे ऑप्टिमायझेशन करणे कठीण आहे. अनुभवानुसार, केवळ-RL प्रशिक्षण सर्च कार्यक्षमता सुधारते परंतु उपयोजन गार्डरिल्सवर कमी कामगिरी करते, तर SFT सर्च कार्यक्षमतेच्या किंमतीवर अनुपालन सुधारते. उद्दिष्टे वेगळी केल्यामुळे SFT टप्प्याला प्रथम वाटाघाटी न करता येणाऱ्या आवश्यकता पूर्ण करता येतात, त्यानंतर RL मुख्यत्वे सर्च क्षमता सुधारण्यावर लक्ष केंद्रित करू शकते.

SFT टप्पा

आम्ही Qwen3 फॅमिली मॉडेल्स (Qwen3.5-122B-A10B आणि Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5 ब्लॉगपोस्ट) पासून सुरुवात करतो आणि वरील वर्णनानुसार उपयोजनासाठी महत्त्वपूर्ण वर्तणूक लक्ष N लक्ष्य करणारा दोन-घटकांचा SFT मिश्रण डेटासेट तयार करतो, तसेच बेस मॉडेलची सामान्य सर्च क्षमता राखतो.

प्राधान्य-अनुकूल उदाहरणे. आम्ही टोन, भाषा सुसंगतता, स्पष्टता आणि फॉरमॅटिंग यांना लक्ष्य करणारी सूचना-अनुसरण आणि शैली-केंद्रित उदाहरणे क्युरेट करतो. या उदाहरणांना एकमेव ग्राउंड ट्रुथ असण्याची आवश्यकता नाही; त्याऐवजी, ते उत्पादन लेखन आवश्यकता प्रतिबिंबित करण्यासाठी आणि विविध क्वेरी प्रकारांमध्ये शैलीगत सुसंगतता सुनिश्चित करण्यासाठी निवडले जातात.

उत्पादन-स्वरूप टूल-वापर ट्रॅजेक्टरीज. अनुभवानुसार, आम्हाला आढळले की काळजीपूर्वक डेटासेट क्युरेशनशिवाय SFT बेस मॉडेलची सर्च क्षमता मोठ्या प्रमाणावर कमी करू शकते. हे कमी करण्यासाठी, आम्ही विविध परस्परसंवाद पॅटर्न (सिंगल-, टू- आणि मल्टि-टर्न) वर क्वेरी आणि अंतर्गत कार्ये नमुनाबद्ध करतो आणि आमच्या टूल-कॉलिंग हार्नेससह एनोटेट करतो.

RL टप्पा

SFT चेकपॉइंटपासून सुरुवात करून, आम्ही सर्च अचूकता आणि कार्यक्षमता सुधारण्यासाठी ऑन-पॉलिसी RL लागू करतो. आम्ही ग्रुप रिलेटिव्ह पॉलिसी ऑप्टिमायझेशन (GRPO) (Shao et al., 2024) वापरून पॉलिसी मॉडेलचे ऑप्टिमायझेशन करतो.

जेथे $G$ हा ग्रुपचा आकार आहे, $o_{i}$ हा $i$-वा नमुना आउटपुट दर्शवतो, आणि $\hat{A}_{i, t} = \hat{A}_{i}$ हा ॲडव्हान्टेज आहे. रिवॉर्ड डिझाइनचे तपशील रिवॉर्ड डिझाइन विभागात दिले आहेत; थोडक्यात, आम्ही बेसलाईन अचूकतेची प्राधान्य-आधारित आणि अँकर केलेली कार्यक्षमता शेपिंगसह जोडणी करतो. आधीच्या कामाचे अनुसरण करून (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), आम्ही प्रशिक्षण-अनुमान जुळत नसणे (mismatch) सुधारण्यासाठी टोकन-स्तरीय इम्पॉर्टन्स सॅम्पलिंग (IS) लागू करतो:

अनुमान-प्रशिक्षण जुळत नसणे दूर करण्यासाठी आम्ही अनेक दृष्टिकोनांचे मूल्यांकन करतो, ज्यामध्ये सिक्वेन्स-स्तरीय IS (Zheng et al., 2025b), रुटिंग रिप्ले (Ma et al., 2025; Zheng et al., 2025b), आणि बिटवाइज सुसंगत प्रशिक्षण समाविष्ट आहे जे प्रशिक्षणादरम्यान इन्फरन्स इंजिनचे कर्नल समाकलित करते (vLLM and TorchTitan Teams, 2025). अनुभवानुसार, आमच्या ऑन-पॉलिसी सेटिंगमध्ये, आम्हाला आढळले की टोकन-स्तरीय IS ही प्रशिक्षण कोलाॅप्स रोखण्यासाठी पुरेशी आहे आणि लागू करण्यास सोपी आहे; हे Zheng et al (2025a) च्या निष्कर्षांशी सुसंगत आहे.

RL प्रशिक्षण डेटा

आमचा RL प्रशिक्षण डेटा दोन पूरक घटकांचा बनलेला आहे: सामान्य सर्च एजंट कौशल्याला लक्ष्य करणारा सत्यापनायोग्य सर्च-एजंट QA, आणि RL प्रशिक्षण टप्प zaman दरम्यान रिग्रेशन रोखण्यासाठी उपयोजन गार्डरिल्स स्पष्टपणे बळकट करणारा रुब्रिक-आधारित जनरल चॅट.

सत्यापनायोग्य सर्च-एजंट डेटा

डेटासेट निर्मिती. अनुक्रमिक विस्तार पद्धतीचे अनुसरण करून (Tao et al., 2025), आम्ही क्युरेट केलेल्या नॉलेज ग्राफवर अवलंबून न राहता अंतर्गत सीड क्वेरींवरून इन-हाउस सिंथेटिक QA डेटासेट तयार करतो, ज्यामुळे पाइपलाईन हलकी आणि ताजी ठेवण्यास सोपी राहते. प्रत्येक सिंथेटिक उदाहरण खालील चरणांद्वारे तयार केले जाते:

1. सीड निवड. आम्ही सीड क्वेरींसाठी दस्तऐवज पुनर्प्राप्त करतो आणि सुरुवातीचे बिंदू म्हणून बहु-स्रोता तथ्य पुष्टीकरण असलेल्या घटकांची निवड करतो, त्यांच्याबद्दल आण्विक विधाने काढतो.
2. मल्टि-हॉप साखळी निर्मिती. सीड घटकाच्या विधानांमधून, आम्ही दुसरा घटक ओळखणारे एक निवडतो (उदा., “The Mom Test” सीडसाठी, “written by Rob Fitzpatrick” हे विधान लेखकाला पुढील घटक म्हणून ओळखते). प्रत्येक घटक भिन्न आहे याची खात्री करून आणि कोणतेही एकेरी विधान अंतिम उत्तर क्षुल्लकपणे उघड करत नाही याची खात्री करून आम्ही ही जोडणी प्रक्रिया 2-4 वेळा पुनरावृत्ती करतो
3. नाव-मुक्त प्रश्न संश्लेषण. आम्ही घटकांच्या साखळीला त्यांच्या जोडणाऱ्या विधानांसह घटकांची नावे पुनरावृत्तीने बदलून एका प्रश्नात रूपांतरित करतो, ज्यामुळे मल्टि-हॉप तर्क आवश्यक असलेला नेस्टेड प्रश्न तयार होतो
4. सत्यापन. आम्ही केवळ बहुविध स्वतंत्र वेब-सक्षम सॉल्व्हर्सद्वारे सत्यापित अद्वितीय उत्तरे असलेले प्रश्न राखतो.

उदाहरण (3-हॉप)

“The Mom Test” या सीड क्वेरीचा विचार करा. आम्ही दस्तऐवज पुनर्प्राप्त करतो आणि या पुस्तकाला सीड घटक म्हणून ओळखतो, नंतर आण्विक तथ्यात्मक विधाने काढतो आणि पुनरावृत्तीने घटकांची साखळी तयार करतो: (i) The Mom Test हे Rob Fitzpatrick यांनी लिहिले होते, ज्याने Rob Fitzpatrick ची ओळख करून दिली; (ii) Rob Fitzpatrick चा पहिला स्टार्टअप Y Combinator (उन्हाळा 2007) मधून गेला, ज्याने Y Combinator ची ओळख करून दिली; (iii) Y Combinator मार्च 2005 मध्ये लाँच केले गेले. प्रत्येक घटकाचे नाव त्याच्या वर्णनाने पुनरावृत्तीने बदलल्यास नाव-मुक्त प्रश्न मिळतो: “मार्च 2005 मध्ये लाँच केलेल्या एक्सीलेटरमधून ज्याचा पहिला स्टार्टअप गेला होता, त्या व्यक्तीने कोणते पुस्तक लिहिले होते, त्याच्या उन्हाळा 2007 कोहॉर्टमध्ये?” आणि उत्तर “The Mom Test” आहे.

स्वरूप-विविधता वाढ. केवळ कच्च्या सिंथेटिक QA वर प्रशिक्षित मॉडेल्स फॉरमॅटिंग प्राधान्यांकडे दुर्लक्ष करतात आणि क्वेरी कशी मांडली गेली आहे याची पर्वा न करता एका निश्चित प्रतिसाद संरचनेकडे डीफॉल्ट करतात. फॉरमॅटिंग विविधता सुधारण्यासाठी, आम्ही मूलभूत उत्तर अपरिवर्तित ठेवून, स्पष्ट फॉरमॅटिंग सूचना समाविष्ट असलेल्या क्वेरींसह (उदा., “याची यादी दाखवा . . . ” किंवा “तक्त्यात सारांश द्या . . . ”) डेटासेट वाढवतो.

सार्वजनिक सत्यापनायोग्य QA (बेसलाईन). गुणवत्ता गाळणीसह आमच्या वाढीव प्रॉम्प्ट स्वरूपाखाली एकत्रित केलेल्या पाच ओपन-सॉर्स डेटासेट्समधून (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025) आम्ही बेसलाईन सत्यापनायोग्य QA डेटासेट तयार करतो. हे मिश्रण आमच्या व्हॅलिडेशन प्रयोगांमध्ये प्राथमिक बेसलाईन म्हणून काम करते. नियंत्रित तुलनांसाठी, आम्ही आमच्या इन-हाउस सिंथेटिक QA डेटासेटचे प्रमाण या ओपन-सॉर्स मिश्रणाशी जुळवतो.

जलद व्हॅलिडेशन. जलद पुनरावृत्ती सक्षम करण्यासाठी आम्ही Qwen3-30B-A3B-Instruct-2507 वापरून या पाइपलाईनच्या प्रभावीतेचे प्रमाणीकरण करतो; निकाल तक्ता 1 मध्ये सारांशित केले आहेत.

विस्तृत करा

रुब्रिक-आधारित जनरल चॅट डेटा

सत्यापनायोग्य QA सर्च-केंद्रित क्वेरींसाठी स्वच्छ प्रशिक्षण सिग्नल प्रदान करत असताना, उत्पादन ट्रॅफिकचा एक मोठा भाग अद्वितीयपणे सत्यापनायोग्य नाही (उदा., रीरायटिंग, नियोजन आणि ओपन-एंडेड सहाय्य). अशा क्वेरी RL मधून वगळल्यास वास्तविक वापरकर्त्याच्या परस्परसंवादांसाठी पॉलिसी कमी-ऑप्टिमायझ राहिली असती. शिवाय, SFT टप्पा उपयोजनासाठी महत्त्वपूर्ण गार्डरिल्स प्रस्थापित करत असताना, डेटाद्वारे स्पष्टपणे बळकट न केल्यास RL त्यांच्यावर मागे पडू शकते.

आम्ही उपयोजनासाठी महत्त्वपूर्ण आवश्यकता—सूचनांचे पालन, फॉरमॅटिंग मर्यादा आणि सुरक्षितता नियम—रुब्रिक्समध्ये रूपांतरित करून गैर-सत्यापनायोग्य क्वेरी RL प्रशिक्षणात समाविष्ट करतो: ज्या अटी एका प्रतिसादाने पूर्ण केल्या पाहिजेत अशा आण्विक, वस्तुनिष्ठपणे तपासता येण्याजोग्या निकष. आम्ही रुब्रिक-आधारित डेटा निर्मिती स्वीकारतो (Gunjal et al., 2025; Liu et al., 2025b), प्रत्येक क्वेरीसाठी रुब्रिक संच तयार करतो.

रुब्रिक निर्मिती. संपूर्ण संभाषण इतिहास पाहता, आम्ही LLM ला संदर्भ प्रतिसाद आणि संबंधित रुब्रिक संच तयार करण्यास सांगतो. रुब्रिक्स निश्चित पूर्वप्राधान्य क्रमानुसार व्युत्पन्न केले जातात: वापरकर्त्याने स्पष्टपणे सांगितलेल्या आवश्यकतांना प्रथम प्राधान्य मिळते, त्यानंतर अंतर्गत मर्यादा, आणि शेवटी संदर्भ प्रतिसादावरून अनुमानित आवश्यक सामग्री आवश्यकता. प्रत्येक रुब्रिक खालीलप्रमाणे असणे आवश्यक आहे:

• आण्विक: एक एकल, सु-परिभाषित तपासणी;
• वस्तुनिष्ठ: व्यक्तिनिष्ठ निर्णयाशिवाय सत्यापनायोग्य;
• आवश्यक: क्वेरीचे उत्तर देण्यासाठी आवश्यक, केवळ शैलीगत प्राधान्य नाही.

उदाहरण

क्वेरी.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

रुब्रिक्स.

• प्रतिसाद इंग्रजीत लिहिला आहे.
• सुधारित शब्दावलीमध्ये "lodging" आणि "boarding" हे शब्द आहेत.
• सुधारित शब्दावली "man power" ऐवजी "manpower" हा एक शब्द म्हणून वापरते (उदाहरणार्थ, "manpower plan" किंवा "manpower planning").
• सुधारित शब्दावलीमध्ये अनौपचारिक शॉर्टहँड टोकन्स "u" किंवा "Plz" नाहीत, आणि त्यात ॲम्परसँड वर्ण "&" नाही.
• प्रतिसादामध्ये \\[type:idx\\] स्वरूपाचे उद्धरण चिन्ह नाहीत, जेथे type डेटा स्रोत दर्शवतो (उदाहरणार्थ, web, chart, memory, attached_file).

रुब्रिक कॅलिब्रेशन. अतिशय कडक किंवा अतिशय सैल रुब्रिक संच टाळण्यासाठी, आम्ही pass@4 फिल्टर लागू करतो. प्रत्येक क्वेरीसाठी, आम्ही चार स्वतंत्र प्रतिसाद नमुनाबद्ध करतो आणि सूचना-पालन करणाऱ्या न्यायाधीशाशी संपूर्ण रुब्रिक संचाविरुद्ध त्यांचे मूल्यांकन करतो. ज्या क्वेरींसाठी कोणतीही प्रतिक्रिया रुब्रिक संच पूर्ण करत नाही किंवा सर्व प्रतिक्रिया करतात अशा क्वेरी आम्ही टाकून देतो, आणि केवळ माहितीपूर्ण प्रशिक्षण सिग्नल देणाऱ्या क्वेरी राखतो.

प्रॉम्प्ट मिश्रण आणि व्हॅरियन्स बॅलन्सिंग

बहु-उद्देशीय RL मधील एक व्यावहारिक आव्हान म्हणजे डेटा घटकांमधील व्हॅरियन्स असंतुलन (Duchi and Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). सत्यापनायोग्य QA आणि रुब्रिक-आधारित डेटा दोन्ही बायनरी रिवॉर्ड्स देत असताना, ते कार्याच्या अडचणीमध्ये लक्षणीयरीत्या भिन्न असतात: रुब्रिक समाधान सामान्यत: प्रशिक्षणाच्या सुरुवातीला साध्य करणे सोपे असते, ज्यामुळे मोठे आणि अधिक वारंवार ग्रेडिएंट अपडेट्स तयार होतात जे कठीण सत्यापनायोग्य QA सिग्नलच्या तुलनेत पॉलिसी ऑप्टिमायझेशनवर विषमतेने प्रभाव टाकू शकतात. हे दूर करण्यासाठी, आम्ही घटकांवर ऑप्टिमायझेशन सिग्नल संतुलित करण्यासाठी, सत्यापनायोग्य QA मधून 90% आणि रुब्रिक-आधारित डेटा मधून 10% नमुना घेऊन, डेटासेट स्तरावर प्रॉम्प्ट मिश्रण पुन्हा वजनदार करतो.

रिवॉर्ड डिझाइन

आमचे रिवॉर्ड डिझाइन वर वर्णन केलेल्या डेटा निर्मितीवरून थेट अनुसरण करते. सत्यापनायोग्य QA आणि रुब्रिक कार्ये दोन्ही व्यापत असताना, सर्व प्रशिक्षण डेटा एक सामायिक बेसलाईन रिवॉर्ड संरचना सामायिक करतो: जर रोलआउटने QA कार्यांसाठी अचूक उत्तर दिले, किंवा सामान्य चॅटसाठी सर्व निर्दिष्ट रुब्रिक्स पूर्ण केले तर त्याला क्रेडिट्स मिळतात. या सामायिक पायावर आधारित, आम्ही प्राधान्य-आधारित स्कोअरिंग आणि कार्यक्षमता शेपिंग समाविष्ट करण्यासाठी एक कंपोझिट रिवॉर्ड तयार करतो.

प्रारंभिक प्रयोगांमध्ये निरीक्षण केलेले एक मुख्य आव्हान म्हणजे रिवॉर्ड हॅकिंग: रिवॉर्ड्सच्या साध्या रेषीय संयोजनामुळे मजबूत प्राधान्य सिग्नल तथ्यात्मक किंवा निर्देशात्मक अपयशांची भरपाई करू शकतात. म्हणून आम्ही गेटेड ॲग्रीगेशन हे एक मुख्य डिझाइन तत्त्व म्हणून स्वीकारतो, ज्याची औपचारिकता अशी परिभाषित केली आहे:

जेथे $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ QA अचूकता किंवा रुब्रिक समाधान दर्शवतो, $s(\tau_i)\in[0,1]$ हा प्राधान्य स्कोअर आहे, आणि $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ हा एक अँकर केलेली कार्यक्षमता पेनल्टी आहे. यामुळे प्राधान्य क्रेडिट्स प्राप्त करण्यासाठी अचूकता ही एक आवश्यक अट बनते, तर अनावश्यक टूल वापर आणि शब्दबाहुल्य यांना प्रतिबंध केला जातो. आकृती 1 संपूर्ण रिवॉर्ड पाइपलाईन दर्शवते, ज्याचे घटक आपण खाली वर्णन करतो:

विस्तृत करा

बेसलाईन रिवॉर्ड

आम्ही एक बायनरी बेसलाईन सिग्नल परिभाषित करतो जो कार्याची अचूकता किंवा सूचना अनुपालन कॅप्चर करतो. सत्यापनायोग्य सर्च-एजंट डेटासाठी, जर अंतिम उत्तर ग्राउंड ट्रुथशी जुळले तर , आणि अन्यथा . रुब्रिक-आधारित जनरल चॅट डेटासाठी, जर सर्व रुब्रिक्स पूर्ण झाले तर , आणि अन्यथा . ही बेसलाईन सशर्त ॲग्रीगेशन नियम Eq. 2 मध्ये हार्ड गेट म्हणून काम करते.$r_{\mathrm{base}}(\tau_i) \in \{0,1\}$$r_{\mathrm{base}}(\tau_i)=1$$0$$r_{\mathrm{base}}(\tau_i)=1$$0$

प्राधान्य मॉडेलिंग

प्रतिसादाच्या गुणवत्तेवरील—माहितीपूर्णता, स्पष्टता आणि व्यावसायिक टोन—वापरकर्त्यांच्या ल्युटंट प्राधान्यांशी पॉलिसी मॉडेल संरेखित करणे हा आमचा उद्देश आहे, जे LLM-न्यायाधीश प्रॉम्प्ट्सद्वारे कॅप्चर करणे कठीण आहे. म्हणून आम्ही या गुणधर्मांचे थेट स्कोअर करण्यासाठी एक शिकलेले प्राधान्य रिवॉर्ड मॉडेल प्रशिक्षित करतो.

आम्ही ब्रॅडली-टेरी फ्रेमवर्क अंतर्गत प्राधान्य शिक्षण तयार करतो. संदर्भ $x$ आणि दोन उमेदवार प्रतिसाद $y_a, y_b$ दिले असता, मॉडेल अदिश स्कोअर $s_{\theta}(x, y) \in \mathbb{R}$ तयार करतो आणि किमान करतो,

जेथे $r \in \{0, 1\}$ दर्शवतो की $y_a$ प्राधान्य दिले गेले आहे की नाही. पोझिशनायझल बायस काढून टाकण्यासाठी, प्रत्येक प्रशिक्षण जोडी दोन्ही क्रमाने वाढवली जाते आणि सममितीयरीत्या ऑप्टिमायझ केली जाते,

इन्फरन्स वेळेस, आम्ही दोन्ही पर्म्युटेशन्सची सरासरी काढून पोझिशन-अॅग्नोस्टिक प्राधान्य स्कोअर प्राप्त करतो:

रोलआउट प्राधान्य स्कोअर नंतर $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ म्हणून परिभाषित केला जातो, म्हणजेच त्याच प्रॉम्प्टसाठी संदर्भ मॉडेल रोलआउटपेक्षा पॉलिसी रोलआउट $y_i$ ला प्राधान्य मिळण्याची संभाव्यता.

प्राधान्य मॉडेलिंगसाठी प्रशिक्षण डेटा क्युरेट केलेले ओपन-सॉर्स डेटासेट, वापरकर्त्याचा साईड-बाय-साईड अभिप्राय आणि अंतर्गत एनोटेशनमधून घेतला जातो. लेबल नॉइजचे निराकरण करण्यासाठी, आम्ही Datbench (DatologyAI, 2026) द्वारे प्रेरित एक हलके गाळणी आणि कॅलिब्रेशन पाइपलाईन लागू करतो, ज्यामध्ये केवळ सुसंगत क्रॉस-मॉदल करारासह उदाहरणे राखली जातात. रिवॉर्ड मॉडेल पॉलिसी मॉडेलसारखाच बॅकबोन्स सामायिक करतो, ज्यामध्ये भाषा मॉडेलिंग हेड व्हॅल्यू हेडने बदलले जाते. लहान रिवॉर्ड मॉडेल्स तुलनात्मक राखून ठेवलेली अचूकता साध्य करत असताना, आम्हाला अनुभवानुसार आढळले की ते बारीक-सारिक प्राधान्ये कॅप्चर करण्यात अपयशी ठरतात आणि अवांछित पॉलिसी वर्तणूक बळकट करू शकतात.

कार्यक्षमता पेनल्टी

स्पष्ट कार्यक्षमता शेपिंगच्या अभावामुळे, पॉलिसी साध्या प्रॉम्प्टवर देखील टूल्सचा अतिवापर करते. बिनशर्त पेनल्टी (उदा., टूल-कॉल काऊंट किंवा आउटपुट लांबीसह रेषीयरीत्या मोजमाप करणाऱ्या) ही एक नैसर्गिक बेसलाईन आहे, परंतु आम्हाला आढळले की त्या आवश्यक अन्वेषण दडपतात आणि शिक्षण निकृष्ट करतात. म्हणून आम्ही ग्रुप-रिलेटीव्ह, अँकर केलेल्या पेनल्टी स्वीकारतो ज्या प्रत्येक GRPO ग्रुपमधील प्रभावी उपायांच्या तुलनेत टूल वापर आणि प्रतिसादाची लांबी नियमित करतात. ग्रुप 𝑔 साठी, आम्ही विजेता संच असा परिभाषित करतो:

अँकर केलेले टूल-कॉल पेनल्टी. प्रत्येक रोलआउट $\tau_i$ साठी, $c_i$ हे टूल कॉल्सची संख्या आणि $e_i$ हे टूल-एक्झिक्युशन अपयशांची संख्या दर्शवू द्या. आम्ही प्रभावी टूल-कॉल काऊंट $\tilde{c}_i = c_i - e_i$ परिभाषित करतो आणि समान रीतीने ग्रुप बेसलाईन नमुनाबद्ध करतो:

आम्ही अतिरेक $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ मोजतो, आणि एक गुळगुळीत पेनल्टी स्केलर $p_i = 1 - \exp\!\left(-\Delta_i\right)$ परिभाषित करतो. त्यानंतर टूल पेनल्टी खालीलप्रमाणे आहे:

अँकर केलेले लांबी पेनल्टी. उमेदवार आणि संदर्भ मॉडेल जनरेशनची टोकन लांबी अनुक्रमे $L_i$ आणि $L_i^{\mathrm{ref}}$ असू द्या. आम्ही शेपिंग संच $\widehat{W}_g$ हे अचूक आणि प्राधान्य दिलेले दोन्ही रोलआउट्स म्हणून परिभाषित करतो:

त्यानंतर आम्ही ग्रुप-विशिष्ट लांबी बेसलाईन मोजतो:

लांबी पेनल्टी अशी परिभाषित केली जाते:

जेथे पहिली ओळ एक कठोर मर्यादा आहे; दुसरी शब्दबाहुल्या विजेत्यांना पेनल्टी देते; आणि तिसरी अल्पभाषी पराभूत व्यक्तींना पेनल्टी देते.

संयुक्त कार्यक्षमता पेनल्टी. संयुक्त कार्यक्षमता पेनल्टी ही दोन्ही घटकांची भारित बेरीज आहे:

मुख्य परिणाम

आम्ही दोन अक्षांवर आमच्या पोस्ट-ट्रेनिंग पाइपलाईनचे मूल्यांकन करतो: (i) प्रशिक्षण गतिशीलता, ऑप्टिमायझेशन स्थिरता आणि रिवॉर्ड सिग्नल अपेक्षेप्रमाणे वागतात की नाही याचे मूल्यांकन करण्यासाठी, आणि (ii) ऑफलाइन बेंचमार्क, नियंत्रित मूल्यमापन सेटिंग्ज अंतर्गत डाउनस्ट्रीम गुणवत्ता, सुरक्षितता आणि कार्यक्षमता मोजण्यासाठी.

डीफॉल्ट प्रशिक्षण सेटिंग्ज. पॉलिसी मॉडेल वेब सर्च टूल (search_web) सह परस्परसंवाद करते; प्रत्येक टूल कॉल 10 पर्यंत परिणाम पुनर्प्राप्त करतो, ज्यामध्ये क्वेरी 250 वर्णांवर मर्यादित असतात आणि प्रति रोलआउट 5 पर्यंत क्वेरी असतात.

प्रशिक्षण गतिशीलता

रिवॉर्ड प्रगती आणि कार्यक्षमता वर्तनावर लक्ष केंद्रित करून, आम्ही ऑप्टिमायझेशन गतिशीलता तपासतो. उदाहरणाच्या साधेपणासाठी आम्ही Qwen3.5-397B-A11B वापरतो.

विस्तृत करा

आकृती 2 वाढत्या प्राधान्य स्कोअरसह बेसलाईन रिवॉर्डमध्ये (सत्यापनायोग्य QA आणि रुब्रिक समाधान) सतत सुधारणा दर्शवते, जी अचूकता, अनुपालन आणि प्रतिसादाच्या गुणवत्तेमध्ये सुसंगत वाढ दर्शवते.

विस्तृत करा

आकृती 3 प्रदर्शित करते की प्रशिक्षणादरम्यान टूल-कॉल वारंवारता आणि जनरेशन लांबी दोन्ही चांगल्या प्रकारे नियंत्रित राहतात. विशेष म्हणजे, टूल-कॉल आणि लांबी पेनल्टी दोन्ही प्रशिक्षणादरम्यान एकतर्फी कमी होतात, जे अधिक संक्षिप्त जनरेशन आणि अधिक निवडक टूल आमंत्रणाकडे मॉडेलचे प्रगतीशील अनुकलन प्रतिबिंबित करते.

विस्तृत करा

आकृती 4 दर्शवते की तात्पुरते स्पाइक्स वगळता ग्रेडिएंट नॉर्मा स्थिर राहतात, तर प्रशिक्षण-अनुमान KL डायव्हर्जन्स 1e-3 स्केलच्या आत राहून सौम्य वरच्या दिशेने ट्रेंड दर्शवतो. हा ड्राईफ्ट पॅटर्न इतर RL प्रशिक्षण फ्रेमवर्कमधील निरीक्षणांशी सुसंगत आहे; संपूर्ण प्रशिक्षणात स्थिरता कायम राहिल्यामुळे, आम्ही कोणत्याही अतिरिक्त हस्तक्षेपाशिवाय Eq. 1 मध्ये एक साधे IS नियमितीकरण राखतो.

ऑफलाइन मूल्यमापन

आम्ही सर्च अचूकता, तथ्यात्मक विश्वासार्हता, सूचना पालन आणि सुरक्षितता यांसारख्या बेंचमार्कच्या संचावर परिणाम कळवतो, ज्यामध्ये सार्वजनिक बेंचमार्क आणि अंतर्गत Perplexity (PPLX) मेट्रिक्स दोन्ही समाविष्ट आहेत. सार्वजनिक बेंचमार्क मध्ये SimpleQA, FRAMES, आणि Facts Open समाविष्ट आहेत.

• pplx-sbs-search: अंतर्गत रिवॉर्ड मॉडेल वापरून साईड-बाय-साईड प्राधान्य मूल्यमापन. उमेदवारांची मजबूत बेसलाईनशी तुलना केली जाते.
• pplx-abstention: जेव्हा कोणताही विश्वासार्ह पुरावा उपलब्ध नसतो तेव्हा योग्यरित्या नाकारण्याची क्षमता.
• pplx-language-mismatch: लाँग-टेल आणि मल्टि-टर्न सेटिंग्ज अंतर्गत भाषा सुसंगतता.
• pplx-broken-tool-calls (↓): टूल-कॉल स्कीमा अनुपालन आणि मर्यादा पालन, उदाहरणार्थ, tool_choice=none.

डीफॉल्ट मूल्यमापन सेटिंग्ज. सार्वजनिक बेंचमार्कसाठी, आम्ही केवळ वेब-सर्च टूलला अनुमती देतो, ज्यामध्ये प्रति उदाहरण 5 टूल कॉल्स आणि प्रति कॉल 10 परिणामांपर्यंत बजेट असते, आणि तापमान 0.6 वर 8192 आउटपुट टोकन्सपर्यंत जनरेट केले जातात.

विस्तृत करा

तक्ता 2 दर्शवते की Qwen3.5-Large-SFT-RL सार्वजनिक बेंचमार्कवर मजबूत सर्च अचूकता साध्य करतो, तुलनात्मक टूल बजेट वापरताना FRAMES आणि Facts Open वर gpt-5.4 शी जुळतो किंवा ओलांडतो. बेस मॉडेलच्या तुलनेत, आमचा दृष्टिकोन अंतर्गत मेट्रिक्सवर, विशेषतः प्राधान्य (pplx-sbs-search: 0.602 → 0.742), भाषा सुसंगतता आणि टाळणे यावर महत्त्वपूर्ण वाढ देतो, ज्यामुळे हे सिद्ध होते की दोन-टप्प्यांची पाइपलाईन सर्च क्षमतेशी तडजोड न करता उपयोजनासाठी महत्त्वपूर्ण वर्तणूक प्रभावीपणे सुधारते.

टूल वापर कार्यक्षमता मूल्यमापन

हे मोजण्यासाठी, आम्ही बजेट-सक्तीचे मूल्यमापन प्रोटोकॉल डिझाइन करतो. प्रत्येक मॉडेलला वेब सर्च टूल (search_web) आणि एक प्रणाली प्रॉम्प्ट दिला जातो जो परवानगी असलेल्या टूल कॉल्सच्या संख्येवर कठोर मर्यादा निर्दिष्ट करतो ("बजेट"). आम्ही हे बजेट 0 (कोणताही टूल वापर नाही, शुद्ध पॅरामीट्रीक ज्ञान) वरून 10 (उदार मल्टि-स्टेप पुनर्प्राप्ती) पर्यंत फिरवतो, प्रत्येक स्तरावर अचूकता रेकॉर्ड करतो. यामुळे एक टूल-कार्यक्षमता वक्र तयार होतो: परवानगी असलेल्या पुनर्प्राप्ती बजेटचे कार्य म्हणून मॉडेलचा स्कोअर. आम्ही FRAMES आणि Facts Open या दोन तथ्यात्मक QA बेंचमार्कवर मूल्यांकन करतो.

विस्तृत करा

या दोन बेंचमार्कवरून अनेक पॅटर्न्स समोर येतात:

• आमचे पोस्ट-प्रशिक्षित Qwen3.5-397B-SFT-RL दोन्ही बेंचमार्कवर सर्वोत्तम सर्च अचूकता साध्य करते. एकाच टूल कॉलसहही, ते FRAMES वर 57.3% गुण मिळवते, GPT-5.4 पेक्षा 5.7 गुणांनी पुढे आणि Sonnet 4.6 पेक्षा 4.7 गुणांनी पुढे.
  • मध्यम बजेटवर (b=2-7) फायदा सर्वात जास्त स्पष्ट होतो, जे उत्पादन उपयोजनासाठी व्यावहारिक ऑपरेटिंग श्रेणी आहे.
• आमची पोस्ट-ट्रेनिंग कृती (SFT + RL) बेस चेकपॉइंटपेक्षा टूल-वापर कार्यक्षमता मोठ्या प्रमाणावर सुधारते; आकृती 5 मधील सलग रेषा (पोस्ट-प्रशिक्षित) वि. डॅश केलेल्या रेषा (सुरुवातीचे चेकपॉइंट) पहा.
• सर्व मॉडेल्ससाठी, आम्हाला बजेट=7 जवळ घटणारे रिटर्न दिसून येतात, जे दोन बेंचमार्क आणि सर्व मॉडेल्समध्ये सुसंगत आहेत, जे दर्शवते की हे मॉडेल्सऐवजी तथ्य-शोधक कार्यांचे वैशिष्ट्य आहे.

वरील परिणाम दर्शवतात की Qwen3.5-397B-SFT-RL कमी टूल कॉल्ससह उच्च अचूकता साध्य करते. परंतु यामुळे वास्तविक खर्चावर कसा परिणाम होतो? तुलना ठोस करण्यासाठी आम्ही प्रकाशित API किंमती (Alibaba DashScope, OpenAI, Anthropic) वापरून टोकन-स्तरीय मोजमापांचे डॉलर किमतीत रूपांतर करतो.

विस्तृत करा

मध्यम प्रोफाइलवर (b=4), Qwen3.5-397B-SFT-RL FRAMES वर प्रति क्वेरी 2.0 सेंटवर 73.9% गुण मिळवते, तर GPT-5.4 8.5 सेंटवर 67.8% गुण मिळवते आणि Sonnet 4.6 15.3 सेंटवर 62.4% गुण मिळवते. म्हणजेच GPT-5.4 च्या तुलनेत 4x कमी खर्चात +6 गुण अचूकता, आणि Sonnet 4.6 च्या तुलनेत 7.5x कमी खर्चात +11.5 गुण.

हे अंदाज कॅशिंगशिवाय सूची API किंमत वापरतात. KV कॅश पुनर्वापर, प्रीफिक्स कॅशिंग आणि क्वांटाइज्ड MoE सर्व्हिंग (397B केवळ 17B सक्रिय पॅरामीटर्स वापरते) यांसारख्या इन-हाउस इन्फरन्स ऑप्टिमायझेशनसह, प्रभावी खर्च सूची API किंमतीपेक्षा कितीतरी खाली कमी केला जाऊ शकतो.

निष्कर्ष

द्वि-टप्प्यांच्या SFT आणि RL पाइपलाईनद्वारे सर्च ऑप्टिमायझेशनपासून उपयोजन अनुपालन वेगळे केल्यामुळे असे मॉडेल तयार होते जे उत्पादन मर्यादांनुसार सक्षम आणि विश्वासार्ह दोन्ही आहे. सत्यापनायोग्य QA आणि रुब्रिक-आधारित प्रशिक्षण डेटाचे संयोजन, गेटेड रिवॉर्ड ॲग्रीगेशन आणि अँकर केलेल्या कार्यक्षमता शेपिंगसह, सर्च अचूकता किंवा गार्डरिल अनुपालनाशी तडजोड न करता स्थिर बहु-उद्देशीय ऑप्टिमायझेशन सक्षम करते.

अनेक दिशांवर पुढील तपासणी करणे आवश्यक आहे. आकृती 4 मध्ये निरीक्षण केल्याप्रमाणे, विस्तारित प्रशिक्षण चरणांवर प्रशिक्षण-अनुमान KL डायव्हर्जन्स सतत वरच्या दिशेने ड्राईफ्ट दर्शवतो. टोकन-स्तरीय IS सुधारणा आमच्या सध्याच्या सेटिंगमध्ये पुरेशी सिद्ध होत असताना, मोठ्या प्रमाणावर हे खरे राहते की नाही हे अस्पष्ट आहे; या जुळत नसलेल्या समस्येचे अधिक तत्त्ववादी तात्विक उपचार—ज्यामध्ये इन्फ्रास्ट्रक्चर-स्तरीय विसंगती आणि आर्किटेक्चर-विशिष्ट घटक जसे की MoE रुटिंग यांचा समावेश आहे—शमन धोरणांच्या परिमाणवाचक अनुभवजन्य तुलनांसह, एक महत्त्वाची खुली समस्या आहे. विशेषतः बहु-उद्देशीय RL साठी, आशादायक मार्गांमध्ये हे समाविष्ट आहे: आपत्तीजनक विसरणे कमी करताना टप्प्याटप्प्याने उद्दिष्टांचे ऑप्टिमायझेशन करण्यासाठी ऑन-पॉलिसी डिस्टिलेशनसह सिक्वेन्सियल प्रशिक्षण (Zeng et al., 2026); आणि कार्य-विशिष्ट ऑप्टिमायझेशनला क्षमता एकत्र करण्यापासून वेगळे करण्यासाठी मॉडेल मर्गिंग (Fu et al., 2025; Yang et al., 2026). शेवटी, लाँग-क्षितिज ट्रॅजेक्टरीजसहवास्तववादी मल्टि-टूल वर्कफ्लो पर्यंत स्केल करणे हे एक महत्त्वपूर्ण खुले आव्हान आहे, ज्यासाठी शक्यतो उत्तम क्रेडिट ॲझायन्मेंट, आंशिक रोलआउट्ससाठी समर्थन आणि मूल्यमापनांची आवश्यकता आहे.

संदर्भ

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Published Jan 6, 2026. Accessed: 2026-03-04.

J. Duchi and H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

उद्धरण

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}