সার্চ-অগমেন্টেড ভাষার মডেলের অগ্রগতি

ভূমিকা

ফ্রন্টিয়ার ওয়েব সার্চ এজেন্টদের প্রশিক্ষণ দেওয়ার জন্য একসাথে একাধিক উদ্দেশ্য অপ্টিমাইজ করা প্রয়োজন: তথ্যের নির্ভুলতা, ট্র্যাজেক্টরি কার্যকারিতা এবং ব্যবহারকারীর পছন্দের সাথে সামঞ্জস্যতা। তবুও এককভাবে কোনো একটি মাত্র দিক উন্নত করতে গেলে প্রায়শই অন্য দিকগুলো ক্ষতিগ্রস্ত হয়: শুধুমাত্র নির্ভুলতার জন্য প্রশিক্ষিত মডেলগুলো টুলগুলোর অতিরিক্ত ব্যবহার করে, অন্যদিকে সংক্ষিপ্ততার জন্য অপ্টিমাইজ করা মডেলগুলো নির্ভরযোগ্যতা বা পূর্ণতা বিসর্জন দিতে পারে। Perplexity-তে, কোনো ফলাফলই গ্রহণযোগ্য নয়।

এই নিবন্ধটি ওপেন সোর্স মডেলের উপর ভিত্তি করে সর্বাধুনিক ওয়েব সার্চ এজেন্ট বিকাশের জন্য Perplexity-এর পোস্ট-ট্রেনিং পাইপলাইন বর্ণনা করে। একটি মূল ধারণা হলো যে, সার্চ-এজেন্ট প্রশিক্ষণে, ডেটা কিউরেশন এবং রিওয়ার্ড ডিজাইন একসাথে ডিজাইন করা উচিত: ডেটা নির্ধারণ করে কোন আচরণগুলো পর্যবেক্ষণযোগ্য এবং যাচাইযোগ্য, এবং রিওয়ার্ড নির্ধারণ করে কীভাবে সেই সংকেতগুলো অপ্টিমাইজেশন সংকেতে রূপান্তরিত হয়। এই নীতিটি আমাদের দুই-পর্যায়ের পাইপলাইনকে অনুপ্রাণিত করে: আমরা প্রথমে পলিসি মডেল শুরু করার জন্য একটি সুপারভাইজড ফাইন-টিউনিং (SFT) ওয়ার্মআপ পরিচালনা করি, এবং তারপরে আমরা একটি কিউরেটেড ডেটাসেট এবং সাবধানে ডিজাইন করা রিওয়ার্ডের উপর রেইনফোর্সমেন্ট লার্নিং (RL) ব্যবহার করে পলিসি মডেলটিকে পরিমার্জন করি। এই দুই-পর্যায়ের পদ্ধতিটি উৎপাদনের সীমাবদ্ধতার অধীনে নির্ভুলতা, কার্যকারিতা এবং প্রতিক্রিয়ার মানের নির্ভরযোগ্য অগ্রগতি সক্ষম করে।

আমরা প্রথমে আমাদের দুই-পর্যায়ের প্রশিক্ষণ পাইপলাইন (SFT → অন-পলিসি RL) বর্ণনা করি, তারপরে যাচাইযোগ্য সার্চ-এজেন্ট QA এবং রুব্রিক-ভিত্তিক সাধারণ চ্যাট উভয়কেই কভার করে আমাদের RL প্রশিক্ষণ ডেটা নির্মাণ বর্ণনা করি। এরপর আমরা এই বৈচিত্র্যময় ডেটা সেটিং থেকে প্রাপ্ত একটি কম্পোজিট রিওয়ার্ড ডিজাইন উপস্থাপন করি, যা রিওয়ার্ড হ্যাকিং কমানোর সাথে সাথে গুণমান এবং কার্যকারিতার মধ্যে ভারসাম্য বজায় রাখে। অবশেষে, আমরা প্রশিক্ষণের গতিশীলতা এবং বেঞ্চমার্ক ফলাফল বিশ্লেষণ করি।

দুই-পর্যায়ের প্রশিক্ষণ পাইপলাইন

আমরা একটি দুই-পর্যায়ের পোস্ট-ট্রেনিং রেসিপি গ্রহণ করি: (i) গার্ড্রেইল (যেমন, বিরত থাকা), নির্দেশ অনুসরণ এবং ভাষা সামঞ্জস্যতার মতো স্থাপনের জন্য গুরুত্বপূর্ণ আচরণগুলি প্রতিষ্ঠা করতে SFT, এবং (ii) প্রথম পর্যায় থেকে আচরণগুলি সংরক্ষণ করার সাথে সাথে উত্তরের নির্ভুলতা এবং টুল-ব্যবহারের কার্যকারিতা সহ অনুসন্ধান ক্ষমতা উন্নত করতে অন-পলিসি RL।

কেন দুটি পর্যায়? অন্তত একটি উদ্দেশ্যকে আপস না করে একক RL পর্যায়ের মধ্যে অনুসন্ধানের গুণমান এবং স্থাপনের সীমাবদ্ধতাগুলি যৌথভাবে অপ্টিমাইজ করা কঠিন। পরীক্ষামূলকভাবে, শুধুমাত্র-RL প্রশিক্ষণ অনুসন্ধানের কার্যক্ষমতা উন্নত করে কিন্তু স্থাপনের গার্ড্রেইলে কম পারফর্ম করতে থাকে, অন্যদিকে SFT অনুসন্ধানের কার্যক্ষমতার মূল্যে সম্মতি উন্নত করে। উদ্দেশ্যগুলিকে আলাদা করা SFT পর্যায়টিকে প্রথমে অ-আলোচনাযোগ্য প্রয়োজনীয়তাগুলি সমাধান করার অনুমতি দেয়, যার পরে RL মূলত অনুসন্ধানের ক্ষমতা উন্নত করার দিকে মনোনিবেশ করতে পারে।

SFT পর্যায়

আমরা Qwen3 পরিবারের মডেলগুলি (Qwen3.5-122B-A10B এবং Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5 blogpost) থেকে শুরু করি এবং বেস মডেলের সাধারণ অনুসন্ধান ক্ষমতা সংরক্ষণ করার সাথে সাথে উপরে বর্ণিত স্থাপনের জন্য গুরুত্বপূর্ণ আচরণগুলিকে লক্ষ্য করে একটি দুই-উপাদান বিশিষ্ট SFT মিশ্রণ ডেটাসেট তৈরি করি।

পছন্দ-ভিত্তিক উদাহরণ। আমরা সুর, ভাষা সামঞ্জস্যতা, স্পষ্টতা এবং বিন্যাসকে লক্ষ্য করে নির্দেশ-অনুসরণকারী এবং শৈলী-কেন্দ্রিক উদাহরণগুলি কিউরেট করি। এই উদাহরণগুলির একটি অনন্য গ্রাউন্ড ট্রুথের অনুমতি দেওয়ার প্রয়োজন নেই; বরং, এগুলি পণ্য লেখার প্রয়োজনীয়তা প্রতিফলিত করতে এবং বিভিন্ন ধরণের প্রশ্নের মধ্যে শৈলীগত সামঞ্জস্য নিশ্চিত করতে নির্বাচন করা হয়।

প্রোডাকশন-ফরম্যাট টুল-ব্যবহারের ট্র্যাজেক্টরি। পরীক্ষামূলকভাবে, আমরা দেখতে পেয়েছি যে সাবধানে ডেটাসেট কিউরেশন ছাড়া SFT বেস মডেলের অনুসন্ধান ক্ষমতা উল্লেখযোগ্যভাবে হ্রাস করতে পারে। এটি প্রশমিত করার জন্য, আমরা বিভিন্ন ইন্টারেকশন প্যাটার্ন (এক-, দুই-, এবং বহু-টার্ন) জুড়ে প্রশ্ন এবং অভ্যন্তরীণ কাজগুলি নমুনা করি এবং আমাদের টুল-কলিং হারনেস দিয়ে সেগুলিতে টীকা দিই।

RL পর্যায়

SFT চেকপয়েন্ট থেকে শুরু করে, আমরা অনুসন্ধানের নির্ভুলতা এবং দক্ষতা উন্নত করতে অন-পলিসি RL প্রয়োগ করি। আমরা গ্রুপ রিলেটিভ পলিসি অপ্টিমাইজেশন (GRPO) (Shao et al., 2024) ব্যবহার করে পলিসি মডেলটিকে অপ্টিমাইজ করি।

যেখানে $G$ হল গ্রুপের আকার, $o_{i}$ $i$-তম নমুনা আউটপুট নির্দেশ করে, এবং $\hat{A}_{i, t} = \hat{A}_{i}$ হল সুবিধা। রিওয়ার্ড ডিজাইন রিওয়ার্ড ডিজাইন বিভাগে বিস্তারিত আছে; সংক্ষেপে, আমরা বেসলাইন সঠিকতাকে পছন্দ-ভিত্তিক এবং অ্যাংকর্ড দক্ষতা শেপিংয়ের সাথে একত্রিত করি। পূর্ববর্তী কাজের (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a) অনুসরণ করে, আমরা প্রশিক্ষণ-অনুমান অমিল সংশোধন করতে টোকেন-স্তরের গুরুত্ব নমুনা (IS) প্রয়োগ করি:

আমরা সিকোয়েন্স-স্তরের IS (Zheng et al., 2025b), রাউটিং রিপ্লে (Ma et al., 2025; Zheng et al., 2025b), এবং বিটওয়াইজ সামঞ্জস্যপূর্ণ প্রশিক্ষণ যা প্রশিক্ষণের সময় অনুমান ইঞ্জিনের কার্নেলকে একীভূত করে (vLLM and TorchTitan Teams, 2025) সহ প্রশিক্ষণ-অনুমান অমিল প্রশমিত করার জন্য বেশ কয়েকটি পদ্ধতির মূল্যায়ন করি। পরীক্ষামূলকভাবে, আমাদের অন-পলিসি সেটিংয়ের অধীনে, আমরা দেখতে পাই যে টোকেন-স্তরের IS বাস্তবায়ন করা সহজ রেখে প্রশিক্ষণ পতন রোধ করার জন্য যথেষ্ট; এটি Zheng et al (2025a)-এর ফলাফলগুলির সাথে সামঞ্জস্যপূর্ণ।

RL প্রশিক্ষণ ডেটা

আমাদের RL প্রশিক্ষণ ডেটা দুটি পরিপূরক উপাদান নিয়ে গঠিত: সাধারণ অনুসন্ধান দক্ষতাকে লক্ষ্য করে যাচাইযোগ্য সার্চ-এজেন্ট QA, এবং RL প্রশিক্ষণ পর্যায়ের সময় রিগ্রেশন প্রতিরোধ করার জন্য স্থাপনের গার্ড্রেইলগুলিকে স্পষ্টভাবে শক্তিশালী করে এমন রুব্রিক-ভিত্তিক সাধারণ চ্যাট।

যাচাইযোগ্য সার্চ-এজেন্ট ডেটা

ডেটাসেট নির্মাণ। অনুক্রমিক সম্প্রসারণ পদ্ধতি (Tao et al., 2025) অনুসরণ করে, আমরা একটি কিউরেটেড নলেজ গ্রাফের উপর নির্ভর না করে অভ্যন্তরীণ বীজ প্রশ্নগুলি থেকে একটি ইন-হাউস সিন্থেটিক QA ডেটাসেট তৈরি করি, পাইপলাইনটিকে হালকা এবং রিফ্রেশ করা সহজ রাখি। প্রতিটি সিন্থেটিক উদাহরণ নিম্নলিখিত পদক্ষেপগুলির মাধ্যমে তৈরি করা হয়:

1. বীজ নির্বাচন। আমরা বীজ প্রশ্নের জন্য নথিগুলি পুনরুদ্ধার করি এবং শুরু করার পয়েন্ট হিসাবে বহু-উৎস তথ্য নিশ্চিতকরণ সহ সত্তা নির্বাচন করি, সেগুলির সম্পর্কে পারমাণবিক বিবৃতি বের করি।
2. বহু-হপ চেইন নির্মাণ। বীজ সত্তার বিবৃতি থেকে, আমরা এমন একটি নির্বাচন করি যা দ্বিতীয় সত্তার সাথে পরিচয় করিয়ে দেয় (যেমন, বীজ "The Mom Test" এর জন্য, "written by Rob Fitzpatrick" বিবৃতিটি লেখককে পরবর্তী সত্তা হিসাবে পরিচয় করিয়ে দেয়)। আমরা এই লিঙ্কিং প্রক্রিয়াটি ২-৪ বার পুনরাবৃত্তি করি, নিশ্চিত করি যে প্রতিটি সত্তা স্বতন্ত্র এবং কোনো একক বিবৃতি তুচ্ছভাবে চূড়ান্ত উত্তর প্রকাশ করে না
3. নাম-মুক্ত প্রশ্ন সংশ্লেষণ। আমরা সত্তার নামগুলিকে তাদের সংযোগকারী বিবৃতি দিয়ে পুনরাবৃত্তিমূলকভাবে প্রতিস্থাপন করে সত্তার শৃঙ্খলকে একটি প্রশ্নে রূপান্তর করি, একটি নেস্টেড প্রশ্ন তৈরি করি যার জন্য বহু-হপ যুক্তি প্রয়োজন
4. যাচাইকরণ। আমরা একাধিক স্বাধীন ওয়েব-সক্ষম সমাধানকারী দ্বারা যাচাইকৃত অনন্য উত্তর সহ প্রশ্নগুলিই রেখে দেই।

উদাহরণ (3-হপ)

বীজ কোয়েরি "The Mom Test" বিবেচনা করুন। আমরা নথিগুলি পুনরুদ্ধার করি এবং এই বইটিকে বীজ সত্তা হিসাবে চিহ্নিত করি, তারপরে পারমাণবিক বাস্তবসম্মত বিবৃতিগুলি বের করি এবং পুনরাবৃত্তিমূলকভাবে একটি সত্তা চেইন তৈরি করি: (i) The Mom Test লিখেছেন Rob Fitzpatrick, Rob Fitzpatrick এর সাথে পরিচয় করিয়ে দেওয়া; (ii) Rob Fitzpatrick-এর প্রথম স্টার্টআপ Y Combinator (সামার ২০০৭) এর মাধ্যমে গেছে, Y Combinator এর সাথে পরিচয় করিয়ে দেওয়া; (iii) Y Combinator মার্চ ২০০৫ সালে চালু হয়েছিল। প্রতিটি সত্তার নাম তার বর্ণনাকারী দিয়ে পুনরাবৃত্তিমূলকভাবে প্রতিস্থাপন করলে নাম-মুক্ত প্রশ্ন পাওয়া যায়: "কোন বইটি সেই ব্যক্তির দ্বারা লেখা হয়েছে যার প্রথম স্টার্টআপ মার্চ ২০০৫ সালে চালু হওয়া অ্যাক্সেলারেটরটির মধ্য দিয়ে গিয়েছিল, এর সামার ২০০৭ কোহর্টে?" উত্তর "The Mom Test"।

ফরম্যাট-বৈচিত্র্য বৃদ্ধি। শুধুমাত্র কাঁচা সিন্থেটিক QA-তে প্রশিক্ষিত মডেলগুলি ফরম্যাটিং পছন্দ উপেক্ষা করে এবং কোয়েরি যেভাবেই লেখা হোক না কেন, একটি নির্দিষ্ট প্রতিক্রিয়া কাঠামোই ডিফল্ট হিসেবে ব্যবহার করে। ফরম্যাটের বৈচিত্র্য বাড়াতে আমরা ডেটাসেটে এমন কোয়েরি যোগ করি যেগুলিতে স্পষ্ট ফরম্যাটিং নির্দেশনা থাকে (যেমন, “. . . এর একটি তালিকা দেখান” বা “একটি টেবিলে . . . সংক্ষেপে উপস্থাপন করুন”), আর অন্তর্নিহিত উত্তর অপরিবর্তিত রাখি।

পাবলিক যাচাইযোগ্য QA (বেসলাইন)। আমরা গুণমান ফিল্টারিং সহ আমাদের বর্ধিত প্রম্পট বিন্যাসের অধীনে একীভূত, পাঁচটি ওপেন-সোর্স ডেটাসেট (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025) থেকে একটি বেসলাইন যাচাইযোগ্য QA ডেটাসেট তৈরি করি। এই মিশ্রণটি আমাদের বৈধতা পরীক্ষায় প্রাথমিক বেসলাইন হিসেবে কাজ করে। নিয়ন্ত্রিত তুলনা করার জন্য, আমরা এই ওপেন-সোর্স মিশ্রণের সাথে আমাদের ইন-হাউস সিন্থেটিক QA ডেটাসেটের স্কেল মেলাই।

দ্রুত বৈধতা। আমরা দ্রুত পুনরাবৃত্তি সক্ষম করতে Qwen3-30B-A3B-Instruct-2507 ব্যবহার করে এই পাইপলাইনের কার্যকারিতা যাচাই করি; ফলাফল সারণী ১-এ সংক্ষিপ্ত করা হয়েছে।

বড় করুন

রুব্রিক-ভিত্তিক সাধারণ চ্যাট ডেটা

যদিও যাচাইযোগ্য QA অনুসন্ধান-কেন্দ্রিক প্রশ্নগুলির জন্য একটি পরিষ্কার প্রশিক্ষণ সংকেত প্রদান করে, প্রোডাকশন ট্রাফিকের একটি উল্লেখযোগ্য অংশ অনন্যভাবে যাচাইযোগ্য নয় (যেমন, পুনর্লিখন, পরিকল্পনা এবং উন্মুক্ত সহায়তা)। RL থেকে এই ধরনের প্রশ্নগুলি বাদ দিলে নীতিটি বাস্তব ব্যবহারকারীর মিথস্ক্রিয়ার জন্য কম-অপ্টিমাইজড থেকে যাবে। তদুপরি, SFT পর্যায় স্থাপনের জন্য গুরুত্বপূর্ণ গার্ড্রেইল স্থাপন করলেও, ডেটা দ্বারা স্পষ্টভাবে শক্তিশালী না করা হলে RL সেগুলিতে রিগ্রেস করতে পারে।

আমরা স্থাপনের জন্য গুরুত্বপূর্ণ প্রয়োজনীয়তাগুলিকে—নির্দেশ অনুসরণ, বিন্যাস সংক্রান্ত সীমাবদ্ধতা এবং সুরক্ষা কনভেনশন—রুব্রিকে রূপান্তর করে RL প্রশিক্ষণে অ-যাচাইযোগ্য প্রশ্নগুলিকে অন্তর্ভুক্ত করি: পারমাণবিক, উদ্দেশ্যমূলকভাবে পরীক্ষাযোগ্য মানদণ্ড যা একটি প্রতিক্রিয়া অবশ্যই পূরণ করবে। আমরা রুব্রিক-ভিত্তিক ডেটা নির্মাণ (Gunjal et al., 2025; Liu et al., 2025b) গ্রহণ করি, প্রতি কোয়েরিতে রুব্রিক সেট তৈরি করি।

রুব্রিক প্রজন্ম। সম্পূর্ণ কথোপকথনের ইতিহাস প্রদত্ত, আমরা একটি রেফারেন্স প্রতিক্রিয়া এবং একটি সংশ্লিষ্ট রুব্রিক সেট তৈরি করতে একটি LLM কে প্রম্পট করি। রুব্রিকগুলি একটি নির্দিষ্ট পূর্ববর্তী আদেশের অধীনে উদ্ভূত হয়: ব্যবহারকারী দ্বারা স্পষ্টভাবে জানানো প্রয়োজনীয়তাগুলি অগ্রাধিকার নেয়, তারপরে অভ্যন্তরীণ সীমাবদ্ধতা এবং অবশেষে রেফারেন্স প্রতিক্রিয়া থেকে অনুমান করা প্রয়োজনীয় সামগ্রীর প্রয়োজনীয়তা। প্রতিটি রুব্রিক অবশ্যই হতে হবে:

• পারমাণবিক: একটি একক, সুসংজ্ঞায়িত চেক;
• উদ্দেশ্যমূলক: বিষয়ভিত্তিক বিচার ছাড়াই যাচাইযোগ্য;
• প্রয়োজনীয়: শুধুমাত্র একটি শৈলীগত পছন্দ নয়, কোয়েরির উত্তর দেওয়ার জন্য প্রয়োজন।

উদাহরণ

কোয়েরি।

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

রুব্রিক।

• প্রতিক্রিয়াটি ইংরেজিতে লেখা।
• সংশোধিত শব্দে "lodging" এবং "boarding" শব্দগুলি রয়েছে।
• সংশোধিত শব্দে "man power" এর পরিবর্তে একটি একক শব্দ হিসাবে "manpower" (উদাহরণস্বরূপ, "manpower plan" বা "manpower planning") ব্যবহার করা হয়েছে।
• সংশোধিত শব্দে অনানুষ্ঠানিক শর্টহ্যান্ড টোকেন "u" বা "Plz" নেই, এবং এতে অ্যামপারস্যান্ড অক্ষর "&" নেই।
• প্রতিক্রিয়াটিতে \\[type:idx\\] ফর্মের উদ্ধৃতি চিহ্নিতকারী নেই, যেখানে type একটি ডেটা সোর্স বোঝায় (উদাহরণস্বরূপ, web, chart, memory, attached_file)।

রুব্রিক ক্রমাঙ্কন। অতিরিক্ত কঠোর বা অতিরিক্ত অনুমোদিত রুব্রিক সেট এড়াতে, আমরা একটি pass@4 ফিল্টার প্রয়োগ করি। প্রতিটি কোয়েরির জন্য, আমরা চারটি স্বাধীন প্রতিক্রিয়া নমুনা করি এবং একটি নির্দেশ-অনুসরণকারী বিচারকের সাথে সম্পূর্ণ রুব্রিক সেটের বিপরীতে সেগুলি মূল্যায়ন করি। আমরা সেই কোয়েরিগুলি বাতিল করি যার জন্য কোনো প্রতিক্রিয়া রুব্রিক সেট পূরণ করে না বা সমস্ত প্রতিক্রিয়া পূরণ করে, শুধুমাত্র তথ্যপূর্ণ প্রশিক্ষণ সংকেত প্রদান করে এমনগুলি রেখে দেই।

প্রম্পট মিশ্রণ এবং বৈচিত্র্য ভারসাম্য

বহু-উদ্দেশ্যমূলক RL-এ একটি ব্যবহারিক চ্যালেঞ্জ হল ডেটা উপাদান জুড়ে বৈচিত্র্যের ভারসাম্যহীনতা (Duchi and Namkoong, 2016; Liu et al., 2026; Qi et al., 2026)। যদিও যাচাইযোগ্য QA এবং রুব্রিক-ভিত্তিক ডেটা উভয়ই বাইনারি রিওয়ার্ড দেয়, তবে তারা কাজের অসুবিধায় যথেষ্ট আলাদা: রুব্রিক সন্তুষ্টি সাধারণত প্রশিক্ষণের শুরুতে অর্জন করা সহজ, যা বড় এবং আরও ঘন ঘন গ্রেডিয়েন্ট আপডেট তৈরি করে যা কঠিন যাচাইযোগ্য QA সংকেতের সাপেক্ষে পলিসি অপ্টিমাইজেশানকে অনুপযুক্তভাবে আধিপত্য করতে পারে। এটি সমাধান করার জন্য, আমরা ডেটাসেট স্তরে প্রম্পট মিশ্রণটি পুনরায় ওজন করি, উপাদান জুড়ে অপ্টিমাইজেশান সংকেতের ভারসাম্য বজায় রাখতে যাচাইযোগ্য QA থেকে ৯০% এবং রুব্রিক-ভিত্তিক ডেটা থেকে ১০% নমুনা নিই।

রিওয়ার্ড ডিজাইন

আমাদের রিওয়ার্ড ডিজাইন উপরে বর্ণিত ডেটা নির্মাণ থেকে সরাসরি অনুসরণ করে। যাচাইযোগ্য QA এবং রুব্রিক কাজ উভয়কেই বিস্তৃত করা সত্ত্বেও, সমস্ত প্রশিক্ষণ ডেটা একটি সাধারণ বেসলাইন রিওয়ার্ড কাঠামো ভাগ করে নেয়: QA কাজের জন্য সঠিক উত্তর তৈরি করলে, বা সাধারণ চ্যাটের জন্য সমস্ত নির্দিষ্ট রুব্রিক সন্তুষ্ট করলে একটি রোলআউট ক্রেডিট পায়। এই যৌথ ভিত্তির উপর বিল্ডিং, আমরা পছন্দ-ভিত্তিক স্কোরিং এবং দক্ষতা শেপিং অন্তর্ভুক্ত করতে একটি কম্পোজিট রিওয়ার্ড তৈরি করি।

প্রাথমিক পরীক্ষায় পরিলক্ষিত একটি মূল চ্যালেঞ্জ ছিল রিওয়ার্ড হ্যাকিং: রিওয়ার্ডের একটি সাধারণ রৈখিক সমন্বয় শক্তিশালী পছন্দ সংকেতগুলিকে তথ্যগত বা শিক্ষণীয় ত্রুটির জন্য ক্ষতিপূরণ দেওয়ার অনুমতি দেয়। তাই আমরা মূল নকশা নীতি হিসেবে গেটেড অ্যাগ্রিগেশন গ্রহণ করি, যা আনুষ্ঠানিকভাবে সংজ্ঞায়িত করা হয়েছে:

যেখানে $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ QA নির্ভুলতা বা রুব্রিক সন্তুষ্টি নির্দেশ করে, $s(\tau_i)\in[0,1]$ হল পছন্দের স্কোর, এবং $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ হল একটি অ্যাংকর্ড দক্ষতা পেনাল্টি। এটি অপ্রয়োজনীয় টুল ব্যবহার এবং শব্দবাহুল্য নিরুৎসাহিত করার সময় নির্ভুলতাকে পছন্দ ক্রেডিট পাওয়ার একটি প্রয়োজনীয় শর্ত করে তোলে। চিত্র ১ সম্পূর্ণ রিওয়ার্ড পাইপলাইনটি চিত্রিত করে, যার উপাদানগুলি আমরা নিচে বর্ণনা করছি:

বড় করুন

বেসলাইন রিওয়ার্ড

আমরা একটি বাইনারি বেসলাইন সংকেত সংজ্ঞায়িত করি যা কাজের নির্ভুলতা বা নির্দেশিকা সম্মতি ধারণ করে। যাচাইযোগ্য সার্চ-এজেন্ট ডেটার জন্য, চূড়ান্ত উত্তর গ্রাউন্ড ট্রুথের সাথে মিলে গেলে , এবং অন্যথায় । রুব্রিক-ভিত্তিক সাধারণ চ্যাট ডেটার জন্য, সমস্ত রুব্রিক সন্তুষ্ট হলে , এবং অন্যথায় । এই বেসলাইনটি শর্তসাপেক্ষ সমষ্টিগত নিয়ম সমীকরণ ২-এ হার্ড গেট হিসেবে কাজ করে।$r_{\mathrm{base}}(\tau_i) \in \{0,1\}$$r_{\mathrm{base}}(\tau_i)=1$$0$$r_{\mathrm{base}}(\tau_i)=1$$0$

পছন্দ মডেলিং

আমাদের লক্ষ্য প্রতিক্রিয়া মানের ওপর ব্যবহারকারীদের সুপ্ত পছন্দের সাথে পলিসি মডেলকে সারিবদ্ধ করা—তথ্যপূর্ণতা, স্পষ্টতা এবং পেশাদার সুর—যা LLM-বিচারক প্রম্পটের মাধ্যমে ক্যাপচার করা কঠিন। তাই আমরা এই বৈশিষ্ট্যগুলোকে সরাসরি স্কোর করার জন্য একটি শেখা পছন্দ রিওয়ার্ড মডেল প্রশিক্ষণ দিই।

আমরা ব্র্যাডলি-টেরি কাঠামোর অধীনে পছন্দ শেখার প্রণয়ন করি। একটি প্রসঙ্গ $x$ এবং দুটি প্রার্থী প্রতিক্রিয়া $y_a, y_b$ দেওয়া হলে, মডেলটি স্কেলার স্কোর $s_{\theta}(x, y) \in \mathbb{R}$ তৈরি করে এবং ন্যূনতম করে,

যেখানে $r \in \{0, 1\}$ নির্দেশ করে যে $y_a$ পছন্দ করা হয়েছে কিনা। পজিশনাল বায়াস দূর করার জন্য, প্রতিটি প্রশিক্ষণ জোড়া উভয় অর্ডারিংয়ের সাথে পরিপূরক হয় এবং প্রতিসাম্যভাবে অপ্টিমাইজ করা হয়,

অনুমান করার সময়, আমরা উভয় পারমুটেশন গড় করে একটি পজিশন-অ্যাগনস্টিক পছন্দ স্কোর পাই:

রোলআউট পছন্দ স্কোর তখন পলিসি রোলআউটটি একই প্রম্পটের জন্য রেফারেন্স মডেল রোলআউটের চেয়ে পছন্দ করার সম্ভাবনা হিসাবে সংজ্ঞায়িত করা হয়, অর্থাৎ ।$s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$$y_i$

পছন্দ মডেলিংয়ের জন্য প্রশিক্ষণ ডেটা কিউরেটেড ওপেন-সোর্স ডেটাসেট, ব্যবহারকারী সাইড-বাই-সাইড ফিডব্যাক এবং অভ্যন্তরীণ টীকা থেকে নেওয়া হয়। লেবেল শব্দ ঠিকানা করতে, আমরা Datbench (DatologyAI, 2026) দ্বারা অনুপ্রাণিত একটি হালকা ফিল্টারিং এবং ক্রমাঙ্কন পাইপলাইন প্রয়োগ করি, শুধুমাত্র সামঞ্জস্যপূর্ণ ক্রস-মডেল চুক্তি সহ উদাহরণ বজায় রাখি। রিওয়ার্ড মডেলটি পলিসি মডেলের মতো একই ব্যাকবোন ভাগ করে নেয়, ভাষার মডেলিং হেড একটি ভ্যালু হেড দ্বারা প্রতিস্থাপিত হয়। ছোট রিওয়ার্ড মডেলগুলি তুলনীয় হোল্ড-আউট নির্ভুলতা অর্জন করলেও, আমরা পরীক্ষামূলকভাবে দেখতে পাই যে তারা সূক্ষ্ম পছন্দগুলি ক্যাপচার করতে ব্যর্থ হয় এবং অবাঞ্ছিত নীতি আচরণকে শক্তিশালী করতে পারে।

দক্ষতা পেনাল্টি

স্পষ্ট দক্ষতা শেপিংয়ের অনুপস্থিতিতে, পলিসিটি সাধারণ প্রম্পটেও টুল অতিরিক্ত ব্যবহার করার ঝোঁক রাখে। অশর্ত পেনাল্টি (যেমন, টুল-কল গণনা বা আউটপুট দৈর্ঘ্যের সাথে রৈখিকভাবে স্কেলিং করা) একটি স্বাভাবিক বেসলাইন, তবে আমরা দেখতে পাই যে তারা প্রয়োজনীয় অন্বেষণ দমন করে এবং শিক্ষাকে অবমূল্যায়ন করে। তাই আমরা গ্রুপ-সম্পর্কিত, অ্যাংকর্ড পেনাল্টি গ্রহণ করি যা প্রতিটি GRPO গ্রুপের মধ্যে কার্যকর সমাধানের সাপেক্ষে টুল ব্যবহার এবং প্রতিক্রিয়ার দৈর্ঘ্য নিয়মিত করে। একটি গ্রুপ 𝑔 এর জন্য, আমরা বিজয়ী সেটটিকে এভাবে সংজ্ঞায়িত করি:

অ্যাংকর্ড টুল-কল পেনাল্টি। প্রতিটি রোলআউট $\tau_i$-এর জন্য, $c_i$ কে টুল কলের সংখ্যা এবং $e_i$ কে টুল-এক্সিকিউশন ব্যর্থতার সংখ্যা হতে দিন। আমরা কার্যকর টুল-কল গণনা $\tilde{c}_i = c_i - e_i$ সংজ্ঞায়িত করি এবং সমানভাবে একটি গ্রুপ বেসলাইন নমুনা করি:

আমরা অতিরিক্ত $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ গণনা করি, এবং একটি মসৃণ পেনাল্টি স্কেলার $p_i = 1 - \exp\!\left(-\Delta_i\right)$ সংজ্ঞায়িত করি। টুল পেনাল্টি তখন:

অ্যাংকর্ড দৈর্ঘ্য পেনাল্টি। প্রার্থী এবং রেফারেন্স মডেল জেনারেশনের টোকেন দৈর্ঘ্য যথাক্রমে $L_i$ এবং $L_i^{\mathrm{ref}}$ হতে দিন। আমরা শেপিং সেট $\widehat{W}_g$ কে সঠিক এবং পছন্দ উভয় রোলআউট হিসাবে সংজ্ঞায়িত করি:

তারপরে আমরা গ্রুপ-নির্দিষ্ট দৈর্ঘ্যের বেসলাইন গণনা করি:

দৈর্ঘ্য পেনাল্টি হিসাবে সংজ্ঞায়িত করা হয়:

যেখানে প্রথম লাইনটি একটি হার্ড ক্যাপ; দ্বিতীয়টি শব্দবহুল বিজয়ীদের পেনাল্টি দেয়; এবং তৃতীয়টি সংক্ষিপ্ত পরাজয়কারীদের পেনাল্টি দেয়।

সংযুক্ত দক্ষতা পেনাল্টি। যৌথ দক্ষতা পেনাল্টি উভয় উপাদানের একটি ওজনযুক্ত যোগফল:

প্রধান ফলাফল

আমরা দুটি অক্ষে আমাদের পোস্ট-ট্রেনিং পাইপলাইন মূল্যায়ন করি: (i) প্রশিক্ষণের গতিশীলতা, অপ্টিমাইজেশান স্থায়িত্ব মূল্যায়ন করতে এবং রিওয়ার্ড সংকেতগুলি প্রত্যাশিত হিসাবে আচরণ করে কিনা, এবং (ii) অফলাইন বেঞ্চমার্ক, নিয়ন্ত্রিত মূল্যায়ন সেটিংসের অধীনে ডাউনস্ট্রিম গুণমান, নিরাপত্তা এবং দক্ষতা পরিমাপ করতে।

ডিফল্ট প্রশিক্ষণ সেটিংস। পলিসি মডেলটি একটি ওয়েব অনুসন্ধান টুলের (search_web) সাথে ইন্টারঅ্যাক্ট করে; প্রতিটি টুল কল ১০টি পর্যন্ত ফলাফল পুনরুদ্ধার করে, প্রশ্নগুলি ২৫০টি অক্ষরে সীমাবদ্ধ এবং প্রতি রোলআউটে ৫টি পর্যন্ত প্রশ্ন থাকে।

প্রশিক্ষণের গতিশীলতা

আমরা রিওয়ার্ড অগ্রগতি এবং দক্ষতার আচরণের উপর ফোকাস করে অপ্টিমাইজেশান গতিশীলতা পরীক্ষা করি। উদাহরণের সরলতার জন্য আমরা Qwen3.5-397B-A11B ব্যবহার করি।

বড় করুন

চিত্র ২ বর্ধিত পছন্দ স্কোরের পাশাপাশি বেসলাইন রিওয়ার্ডে (যাচাইযোগ্য QA এবং রুব্রিক সন্তুষ্টি) স্থির উন্নতি দেখায়, যা সঠিকতা, সম্মতি এবং প্রতিক্রিয়ার মানের ধারাবাহিক লাভ নির্দেশ করে।

বড় করুন

চিত্র ৩ প্রদর্শন করে যে প্রশিক্ষণের সময় টুল-কল ফ্রিকোয়েন্সি এবং জেনারেশনের দৈর্ঘ্য উভয়ই ভালভাবে নিয়ন্ত্রিত থাকে। বিশেষ করে, টুল-কল এবং দৈর্ঘ্য উভয় পেনাল্টিই প্রশিক্ষণের কোর্সে একঘেয়েভাবে হ্রাস পায়, যা আরও সংক্ষিপ্ত জেনারেশন এবং আরও নির্বাচনী টুল আহ্বানের দিকে মডেলের ক্রমবর্ধমান অভিযোজন প্রতিফলিত করে।

বড় করুন

চিত্র ৪ দেখায় যে ক্ষণস্থায়ী স্পাইক বাদে গ্রেডিয়েন্ট নর্মগুলি স্থিতিশীল থাকে, অন্যদিকে প্রশিক্ষণ-অনুমান KL ডাইভারজেন্স 1e-3 স্কেলের মধ্যে থাকার সময় একটি মৃদু ঊর্ধ্বমুখী প্রবণতা প্রদর্শন করে। এই ড্রিফ্ট প্যাটার্নটি অন্যান্য RL প্রশিক্ষণ কাঠামোর পর্যবেক্ষণের সাথে সামঞ্জস্যপূর্ণ; যেহেতু প্রশিক্ষণ জুড়ে স্থিতিশীল থাকে, আমরা অতিরিক্ত হস্তক্ষেপ ছাড়াই সমীকরণ ১-এ একটি সাধারণ IS নিয়মিতকরণ বজায় রাখি।

অফলাইন মূল্যায়ন

আমরা অনুসন্ধান নির্ভুলতা, তথ্যের নির্ভরযোগ্যতা, নির্দেশ অনুসরণ এবং সুরক্ষা, উভয় পাবলিক বেঞ্চমার্ক এবং অভ্যন্তরীণ Perplexity (PPLX) মেট্রিক সমন্বিত বেঞ্চমার্কের একটি স্যুট সম্পর্কে ফলাফল রিপোর্ট করি। পাবলিক বেঞ্চমার্কের মধ্যে রয়েছে SimpleQA, FRAMES, এবং Facts Open।

• pplx-sbs-search: একটি অভ্যন্তরীণ রিওয়ার্ড মডেল ব্যবহার করে সাইড-বাই-সাইড পছন্দ মূল্যায়ন। প্রার্থীদের একটি শক্তিশালী বেসলাইনের সাথে তুলনা করা হয়।
• pplx-abstention: কোনো নির্ভরযোগ্য প্রমাণ উপলব্ধ না থাকলে যথাযথভাবে অস্বীকার করার ক্ষমতা।
• pplx-language-mismatch: লং-টেইল এবং মাল্টি-টার্ন সেটিংসের অধীনে ভাষা সামঞ্জস্যতা।
• pplx-broken-tool-calls (↓): টুল-কল স্কিমা সম্মতি এবং সীমাবদ্ধতা অনুসরণ, উদাহরণস্বরূপ, tool_choice=none।

ডিফল্ট মূল্যায়ন সেটিংস। পাবলিক বেঞ্চমার্কের জন্য, আমরা শুধুমাত্র ওয়েব-সার্চ টুলের অনুমতি দিই, প্রতি উদাহরণের জন্য ৫টি পর্যন্ত টুল কল এবং প্রতি কলে ১০টি পর্যন্ত ফলাফল সহ বাজেট, তাপমাত্রা ০.৬-এ ৮১৯২টি পর্যন্ত আউটপুট টোকেন তৈরি করে।

বড় করুন

সারণী ২ দেখায় যে Qwen3.5-Large-SFT-RL তুলনামূলক টুল বাজেট ব্যবহার করার সময় FRAMES এবং Facts Open-এ gpt-5.4-এর সাথে মিল রেখে বা অতিক্রম করে পাবলিক বেঞ্চমার্ক জুড়ে শক্তিশালী অনুসন্ধান নির্ভুলতা অর্জন করে। বেস মডেলের সাপেক্ষে, আমাদের পদ্ধতি অভ্যন্তরীণ মেট্রিকগুলিতে যথেষ্ট লাভ দেয়, বিশেষ করে পছন্দে (pplx-sbs-search: 0.602 → 0.742), ভাষা সামঞ্জস্যতা, এবং বিরত থাকাতে, যা প্রদর্শন করে যে দুই-পর্যায়ের পাইপলাইন অনুসন্ধান ক্ষমতা সাথে আপস না করে স্থাপনের জন্য গুরুত্বপূর্ণ আচরণগুলি কার্যকরভাবে উন্নত করে।

টুল ব্যবহারের দক্ষতা মূল্যায়ন

এটি পরিমাপ করার জন্য, আমরা একটি বাজেট-বাধ্যতামূলক মূল্যায়ন প্রোটোকল ডিজাইন করি। প্রতিটি মডেলকে একটি ওয়েব অনুসন্ধান টুলের অ্যাক্সেস দেওয়া হয় (search_web) এবং একটি সিস্টেম প্রম্পট দেওয়া হয় যা অনুমোদিত টুল কলের সংখ্যার উপর একটি হার্ড ক্যাপ নির্দিষ্ট করে ("বাজেট")। আমরা ০ (কোনো টুল ব্যবহার নেই, বিশুদ্ধ প্যারামেট্রিক জ্ঞান) থেকে ১০ (উদার বহু-ধাপ পুনরুদ্ধার) পর্যন্ত এই বাজেটটি সোয়াইপ করি, প্রতিটি স্তরে নির্ভুলতা রেকর্ড করি। এটি একটি টুল-দক্ষতা বক্ররেখা তৈরি করে: এটিকে অনুমোদিত পুনরুদ্ধারের বাজেটের ফাংশন হিসাবে মডেলের স্কোর। আমরা দুটি তথ্যগত QA বেঞ্চমার্ক, FRAMES এবং Facts Open-এ মূল্যায়ন করি।

বড় করুন

এই দুটি বেঞ্চমার্ক থেকে বেশ কয়েকটি প্যাটার্ন দাঁড়িয়েছে:

• আমাদের পোস্ট-ট্রেনড Qwen3.5-397B-SFT-RL উভয় বেঞ্চমার্কেই সেরা অনুসন্ধান নির্ভুলতা অর্জন করে। এমনকি একটি একক টুল কল সহ, এটি FRAMES-এ ৫৭.৩% স্কোর করে, GPT-5.4-এর চেয়ে ৫.৭ পয়েন্ট উপরে এবং Sonnet 4.6-এর চেয়ে ৪.৭ পয়েন্ট উপরে।
  • মাঝারি বাজেটে (b=2-7) সুবিধাটি সবচেয়ে বেশি উচ্চারিত হয়, যা প্রোডাকশন স্থাপনের জন্য ব্যবহারিক অপারেটিং পরিসর।
• আমাদের পোস্ট-ট্রেনিং রেসিপি (SFT + RL) বেস চেকপয়েন্টের চেয়ে টুল-ব্যবহারের দক্ষতা যথেষ্ট পরিমাণে উন্নত করে; চিত্র ৫-এ সলিড লাইন (পোস্ট-ট্রেনড) বনাম ড্যাশড লাইন (শুরু করার চেকপয়েন্ট) দেখুন।
• সমস্ত মডেলের জন্য, আমরা বাজেট=৭ এর কাছাকাছি হ্রাসকারী রিটার্ন লক্ষ্য করি, যা দুটি বেঞ্চমার্ক এবং সমস্ত মডেল জুড়ে সামঞ্জস্যপূর্ণ, যা নির্দেশ করে যে এটি মডেলগুলির পরিবর্তে সত্যতা-সন্ধানী কাজের একটি সম্পত্তি।

উপরের ফলাফলগুলি দেখায় যে Qwen3.5-397B-SFT-RL কম টুল কল সহ উচ্চ নির্ভুলতা অর্জন করে। কিন্তু এটি কীভাবে প্রকৃত খরচে রূপান্তরিত হয়? তুলনাটিকে নির্দিষ্ট করতে আমরা প্রকাশিত API মূল্য (Alibaba DashScope, OpenAI, Anthropic) ব্যবহার করে টোকেন-স্তরের পরিমাপকে ডলার খরচে রূপান্তর করি।

বড় করুন

মাঝারি প্রোফাইলে (b=4), Qwen3.5-397B-SFT-RL প্রতি কোয়েরিতে ২.০ সেন্টে FRAMES-এ ৭৩.৯% স্কোর করে, যখন GPT-5.4 ৮.৫ সেন্টে ৬৭.৮% স্কোর করে এবং Sonnet 4.6 ১৫.৩ সেন্টে ৬২.৪% স্কোর করে। এটি GPT-5.4 এর তুলনায় ৪ গুণ কম খরচে +৬ পয়েন্ট নির্ভুলতা এবং Sonnet 4.6 এর তুলনায় ৭.৫ গুণ কম খরচে +১১.৫ পয়েন্ট।

এই অনুমানগুলি ক্যাশিং ছাড়াই তালিকা API মূল্য ব্যবহার করে। KV ক্যাশ পুনর্ব্যবহার, প্রিফিক্স ক্যাশিং, এবং পরিমাণগত MoE পরিবেশন (397B শুধুমাত্র 17B সক্রিয় প্যারামিটার ব্যবহার করে) এর মতো ইন-হাউস অনুমান অপ্টিমাইজেশানের সাথে, কার্যকর খরচ তালিকা API মূল্যের অনেক নিচে হ্রাস করা যেতে পারে।

উপসংহার

একটি দুই-পর্যায়ের SFT এবং RL পাইপলাইনের মাধ্যমে অনুসন্ধান অপ্টিমাইজেশান থেকে স্থাপন সম্মতি বিচ্ছিন্ন করা এমন একটি মডেল দেয় যা প্রোডাকশন সীমাবদ্ধতার অধীনে সক্ষম এবং নির্ভরযোগ্য উভয়ই। যাচাইযোগ্য QA এবং রুব্রিক-ভিত্তিক প্রশিক্ষণ ডেটার সংমিশ্রণ, গেটেড রিওয়ার্ড অ্যাগ্রিগেশন এবং অ্যাংকর্ড দক্ষতা শেপিংয়ের সাথে, অনুসন্ধানের নির্ভুলতা বা গার্ড্রেইল সম্মতি বলিদান ছাড়াই স্থিতিশীল বহু-উদ্দেশ্য অপ্টিমাইজেশান সক্ষম করে।

বেশ কয়েকটি দিক আরও তদন্তের যোগ্য। চিত্র ৪-এ যেমন লক্ষ করা গেছে, প্রশিক্ষণ-অনুমান KL ডাইভারজেন্স বর্ধিত প্রশিক্ষণ ধাপে একটি স্থায়ী ঊর্ধ্বমুখী ড্রিফ্ট প্রদর্শন করে। যদিও টোকেন-স্তরের IS সংশোধন আমাদের বর্তমান সেটিংয়ের অধীনে যথেষ্ট প্রমাণিত হয়, তবে এটি বৃহত্তর স্কেলে সত্য থাকে কিনা তা স্পষ্ট নয়; এই অমিলের একটি আরও নীতিগত তাত্ত্বিক চিকিৎসা—পরিকাঠামো-স্তরের অসঙ্গতি এবং MoE রাউটিং এর মতো আর্কিটেকচার-নির্দিষ্ট কারণগুলিকে অন্তর্ভুক্ত করা—শমিতকরণ কৌশলগুলির পরিমাণগত পরীক্ষামূলক তুলনার পাশাপাশি, একটি গুরুত্বপূর্ণ উন্মুক্ত প্রশ্ন রয়ে গেছে। বিশেষ করে বহু-উদ্দেশ্যমূলক RL-এর জন্য, প্রতিশ্রুতিশীল উপায়গুলির মধ্যে রয়েছে বিপর্যয়মূলক ভুলে যাওয়া প্রশমিত করার সাথে সাথে পর্যায়ক্রমে উদ্দেশ্যগুলিকে অপ্টিমাইজ করার জন্য অন-পলিসি পাতন সহ ক্রমিক প্রশিক্ষণ (Zeng et al., 2026); এবং ক্ষমতা একত্রীকরণ থেকে কার্য-নির্দিষ্ট অপ্টিমাইজেশান ডিকাপল করতে মডেল মার্জ করা (Fu et al., 2025; Yang et al., 2026)। অবশেষে, দীর্ঘ-দিগন্তের ট্র্যাজেক্টরি সহ বাস্তবসম্মত বহু-টুল ওয়ার্কফ্লোতে স্কেলিং করা একটি গুরুত্বপূর্ণ উন্মুক্ত চ্যালেঞ্জ রয়ে গেছে, যার জন্য সম্ভবত আরও ভালো ক্রেডিট অ্যাসাইনমেন্ট, আংশিক রোলআউটের জন্য সমর্থন এবং মূল্যায়ন প্রয়োজন।

তথ্যসূত্র

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Published Jan 6, 2026. Accessed: 2026-03-04.

J. Duchi and H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

উদ্ধৃতি

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}