శోధన-మెరుగైన భాషా మోడళ్లను ముందుకు తీసుకెళ్లడం

ఫ్రాంటియర్ వెబ్ సెర్చ్ ఏజెంట్‌లకు శిక్షణ ఇవ్వడానికి బహుళ లక్ష్యాలను సంయుక్తంగా ఆప్టిమైజ్ చేయడం అవసరం: వాస్తవిక ఖచ్చితత్వం, ట్రెజెక్టరీ సామర్థ్యం మరియు వినియోగదారు ప్రాధాన్యత సమలేఖనం. అయినప్పటికీ, ఏ ఒక్క పరిమాణాన్ని విడిగా మెరుగుపరచడం తరచుగా ఇతరులను దిగజార్చుతుంది: కేవలం ఖచ్చితత్వం కోసం శిక్షణ పొందిన మోడల్‌లు సాధనాలను అతిగా ఉపయోగించే ధోరణిని కలిగి ఉంటాయి, అయితే సంక్షిప్తత కోసం ఆప్టిమైజ్ చేయబడిన మోడల్స్ విశ్వసనీయతను లేదా సంపూర్ణతను త్యాగం చేయవచ్చు. Perplexityలో, ఏ ఫలితమూ ఆమోదయోగ్యం కాదు.

ఈ కథనం ఓపెన్-సోర్స్ మోడల్‌ల ఆధారంగా అత్యాధునిక వెబ్ సెర్చ్ ఏజెంట్‌లను అభివృద్ధి చేయడం కోసం Perplexity యొక్క పోస్ట్-ట్రైనింగ్ పైప్‌లైన్‌ను వివరిస్తుంది. సెర్చ్-ఏజెంట్ శిక్షణలో, డేటా క్యూరేషన్ మరియు రివార్డ్ డిజైన్ సహ-రూపకల్పన చేయబడాలని ఒక కీలకమైన ఆలోచన ఉంది: డేటా ఏ ప్రవర్తనలు గమనించదగినవి మరియు ధృవీకరించదగినవి అని నిర్ణయిస్తుంది, మరియు రివార్డ్ ఆ సంకేతాలు ఆప్టిమైజేషన్ సిగ్నల్‌గా ఎలా అనువదించబడతాయో నిర్ణయిస్తుంది. ఈ సూత్రం మా రెండు-దశల పైప్‌లైన్‌ను ప్రేరేపిస్తుంది: మేము మొదట పాలసీ మోడల్‌ను ప్రారంభించడానికి పర్యవేక్షించబడిన ఫైన్-ట్యూనింగ్ (SFT) వార్మప్‌ను నిర్వహిస్తాము, ఆపై క్యూరేటెడ్ డేటాసెట్ మరియు జాగ్రత్తగా రూపొందించబడిన రివార్డ్‌లపై రీన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ (RL) ఉపయోగించి పాలసీ మోడల్‌ను మెరుగుపరుస్తాము. ఈ రెండు-దశల విధానం ప్రొడక్షన్ పరిమితుల క్రింద ఖచ్చితత్వం, సామర్థ్యం మరియు ప్రతిస్పందన నాణ్యతలో విశ్వసనీయమైన లాభాలను అందిస్తుంది.

మేము మొదట మా రెండు-దశల శిక్షణ పైప్‌లైన్‌ను (SFT → ఆన్-పాలసీ RL) వివరిస్తాము, దాని తర్వాత ధృవీకరించదగిన సెర్చ్-ఏజెంట్ QA మరియు రూబ్రిక్-ఆధారిత జనరల్ చాట్ రెండింటినీ కవర్ చేస్తూ మా RL శిక్షణ డేటా నిర్మాణాన్ని అందిస్తాము. ఆపై మేము ఈ భిన్నమైన డేటా సెట్టింగ్ నుండి తీసుకోబడిన సమ్మేళన రివార్డ్ డిజైన్‌ను అందిస్తాము, రివార్డ్ హ్యాకింగ్‌ను తగ్గించేటప్పుడు నాణ్యత మరియు సామర్థ్యాన్ని సమతుల్యం చేస్తాము. చివరగా, మేము శిక్షణ గతిశీలత మరియు బెంచ్‌మార్క్ ఫలితాలను విశ్లేషిస్తాము.

మేము రెండు-దశల పోస్ట్-ట్రైనింగ్ రెసిపీని అనుసరిస్తాము: (i) గార్డ్‌రైల్స్ (ఉదా., విరమణ), ఇన్‌స్ట్రక్షన్ ఫాలోయింగ్, మరియు లాంగ్వేజ్ కన్సిస్టెన్సీ వంటి డిప్లాయ్‌మెంట్-క్రిటికల్ ప్రవర్తనలను ఏర్పాటు చేయడానికి SFT, మరియు (ii) మొదటి దశ నుండి ప్రవర్తనలను సంరక్షించేటప్పుడు, సమాధాన ఖచ్చితత్వం మరియు టూల్-యూస్ సామర్థ్యంతో సహా శోధన సామర్థ్యాన్ని మెరుగుపరచడానికి ఆన్-పాలసీ RL.

రెండు దశలు ఎందుకు? కనీసం ఒక లక్ష్యాన్ని రాజీ పడకుండా ఒకే RL దశలో శోధన నాణ్యతను మరియు డిప్లాయ్‌మెంట్ పరిమితులను సంయుక్తంగా ఆప్టిమైజ్ చేయడం కష్టం. అనుభవపూర్వకంగా, RL-మాత్రమే శిక్షణ శోధన పనితీరును మెరుగుపరుస్తుంది కానీ డిప్లాయ్‌మెంట్ గార్డ్‌రైల్స్‌పై తక్కువ పనితీరు కనబరుస్తుంది, అయితే SFT శోధన పనితీరు ఖర్చుతో సమ్మతిని మెరుగుపరుస్తుంది. లక్షణాలను విడదీయడం వలన SFT దశ మొదట చర్చించలేని అవసరాలను పరిష్కరించడానికి అనుమతిస్తుంది, ఆ తర్వాత RL ప్రధానంగా శోధన సామర్థ్యాన్ని మెరుగుపరచడంపై దృష్టి పెట్టవచ్చు.

మేము Qwen3 కుటుంబ మోడల్‌ల (Qwen3.5-122B-A10B మరియు Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5 blogpost) నుండి ప్రారంభిస్తాము మరియు బేస్ మోడల్ యొక్క సాధారణ శోధన సామర్థ్యాన్ని సంరక్షించేటప్పటికీ, పైన పేర్కొన్న డిప్లాయ్‌మెంట్-క్రిటికల్ ప్రవర్తనలను లక్ష్యంగా చేసుకునే రెండు-కాంపొనెంట్ SFT మిశ్రమం డేటాసెట్‌ను నిర్మిస్తాము.

ప్రాధాన్యత-ఆధారిత ఉదాహరణలు. టోన్, లాంగ్వేజ్ కన్సిస్టెన్సీ, స్పష్టత మరియు ఫార్మాటింగ్‌ను లక్ష్యంగా చేసుకునే ఇన్‌స్ట్రక్షన్-ఫాలోయింగ్ మరియు స్టైల్-కేంద్రీకృత ఉదాహరణలను మేము క్యూరేట్ చేస్తాము. ఈ ఉదాహరణలు ప్రత్యేకమైన గ్రౌండ్ ట్రూత్‌ను అంగీకరించాల్సిన అవసరం లేదు; బదులుగా, అవి ఉత్పత్తి వ్రాత అవసరాలను ప్రతిబింబించడానికి మరియు విభిన్న ప్రశ్న రకాలలో శైలీకృత స్థిరత్వాన్ని నిర్ధారించడానికి ఎంపిక చేయబడతాయి.

ప్రొడక్షన్-ఫార్మాట్ టూల్-యూస్ ట్రాజెక్టరీలు. అనుభవపూర్వకంగా, జాగ్రత్తగా డేటాసెట్ క్యూరేషన్ లేకుండా SFT బేస్ మోడల్ యొక్క శోధన సామర్థ్యాన్ని గణనీయంగా దిగజార్చుతుందని మేము కనుగొన్నాము. దీన్ని తగ్గించడానికి, మేము విభిన్న ఇంటరాక్షన్ నమూనాల (సింగిల్, టూ, మరియు మల్టీ-టర్న్) అంతటా ప్రశ్నలు మరియు అంతర్గత టాస్క్‌లను శాంపిల్ చేస్తాము మరియు మా టూల్-కాల్వింగ్ హార్నెస్‌తో వాటికి యానోటేట్ చేస్తాము.

SFT చెక్‌పాయింట్ నుండి ప్రారంభించి, శోధన ఖచ్చితత్వాన్ని మరియు సామర్థ్యాన్ని మెరుగుపరచడానికి మేము ఆన్-పాలసీ RLని వర్తింపజేస్తాము. మేము గ్రూప్ రిలేటివ్ పాలసీ ఆప్టిమైజేషన్ (GRPO) (Shao et al., 2024) ఉపయోగించి పాలసీ మోడల్‌ను ఆప్టిమైజ్ చేస్తాము.

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

ఇక్కడ $G$ అనేది గ్రూప్ పరిమాణం, $o_{i}$ అనేది $i$ -వ శాంపిల్ చేయబడిన అవుట్‌పుట్‌ను సూచిస్తుంది, మరియు $\hat{A}_{i, t} = \hat{A}_{i}$ అనేది అడ్వాంటేజ్. రివార్డ్ డిజైన్ రివార్డ్ డిజైన్ విభాగంలో వివరంగా వివరించబడింది; సంక్షిప్తంగా, మేము బేస్‌లైన్ కరెక్ట్‌నెస్‌ను ప్రాధాన్యత-ఆధారిత మరియు యాంకర్డ్ ఎఫిషియెన్సీ షేపింగ్‌తో మిళితం చేస్తాము. మునుపటి పని (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a)ని అనుసరించి, శిక్షణ-ఇన్ఫరెన్స్ మిస్‌మ్యాచ్‌ను సరి చేయడానికి మేము టోకెన్-స్థాయి ఇంపార్టెన్స్ శాంపిలింగ్ (IS)ని వర్తింపజేస్తాము:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

సీక్వెన్స్-స్థాయి IS (Zheng et al., 2025b), రూటింగ్ రిప్లే (Ma et al., 2025; Zheng et al., 2025b), మరియు శిక్షణ సమయంలో ఇన్‌ఫరెన్స్ ఇంజిన్ యొక్క కర్నల్‌ను ఏకీకృతం చేసే బిట్‌వైజ్ స్థిరమైన శిక్షణ (vLLM and TorchTitan Teams, 2025)తో సహా శిక్షణ-ఇన్ఫరెన్స్ మిస్‌మ్యాచ్‌ను తగ్గించడానికి మేము అనేక విధానాలను మూల్యాంకనం చేస్తాము. అనుభవపూర్వకంగా, మా ఆన్-పాలసీ సెట్టింగ్ కింద, అమలు చేయడానికి సులభంగా ఉండేటప్పుడు శిక్షణ పతనాన్ని నిరోధించడానికి టోకెన్-స్థాయి IS సరిపోతుందని మేము కనుగొన్నాము; ఇది Zheng et al (2025a) నుండి కనుగొన్న వాటికి అనుగుణంగా ఉంటుంది.

మా RL శిక్షణ డేటా రెండు పరిపూరకరమైన భాగాలను కలిగి ఉంటుంది: సాధారణ శోధన సామర్థ్యాన్ని లక్ష్యంగా చేసుకునే ధృవీకరించదగిన సెర్చ్-ఏజెంట్ QA, మరియు RL శిక్షణ దశలో రిగ్రెషన్‌ను నిరోధించడానికి డిప్లాయ్‌మెంట్ గార్డ్‌రైల్స్‌ను స్పష్టంగా బలపరిచే రూబ్రిక్-ఆధారిత జనరల్ చాట్.

డేటాసెట్ నిర్మాణం. సీక్వెన్షియల్ ఎక్స్‌పాన్షన్ పద్ధతిని (Tao et al., 2025) అనుసరించి, క్యూరేటెడ్ నాలెడ్జ్ గ్రాఫ్‌పై ఆధారపడకుండా అంతర్గత సీడ్ ప్రశ్నల నుండి మేము ఇన్-హౌస్ సింథటిక్ QA డేటాసెట్‌ను నిర్మిస్తాము, పైప్‌లైన్‌ను తేలికగా మరియు రిఫ్రెష్ చేయడానికి సులభంగా ఉంచుతాము. ప్రతి సింథటిక్ ఉదాహరణ క్రింది దశల ద్వారా సృష్టించబడుతుంది:

సీడ్ ఎంపిక. మేము సీడ్ ప్రశ్నల కోసం డాక్యుమెంట్‌లను రిట్రీవ్ చేస్తాము మరియు ప్రారంభ బిందువులుగా బహుళ-మూలాల వాస్తవ నిర్ధారణతో ఎంటిటీలను ఎంచుకుంటాము, వాటి గురించి అణు ప్రకటనలను సేకరిస్తాము.
మల్టీ-హాప్ చైన్ నిర్మాణం. సీడ్ ఎంటిటీ యొక్క స్టేట్‌మెంట్‌ల నుండి, రెండవ ఎంటిటీని పరిచయం చేసేదాన్ని మేము ఎంచుకుంటాము (ఉదా., "The Mom Test" సీడ్ కోసం, రచయితను తదుపరి ఎంటిటీగా పరిచయం చేసే "written by Rob Fitzpatrick" స్టేట్‌మెంట్). ప్రతి ఎంటిటీ భిన్నంగా ఉండేలా మరియు ఏ ఒక్క స్టేట్‌మెంట్ చివరి సమాధానాన్ని తక్కువగా బహిర్గతం చేయకుండా చూసుకుంటూ, మేము ఈ లింకింగ్ ప్రక్రియను 2–4 సార్లు పునరావృతం చేస్తాము
పేరు-లేని ప్రశ్న సంశ్లేషణ. మల్టీ-హాప్ తార్కికం అవసరమయ్యే నెస్టెడ్ ప్రశ్నను ఉత్పత్తి చేస్తూ, ఎంటిటీ పేర్లను వాటి కనెక్టింగ్ స్టేట్‌మెంట్‌లతో పునరావృతంగా భర్తీ చేయడం ద్వారా మేము ఎంటిటీ చైన్‌ను ప్రశ్నగా మారుస్తాము
ధృవీకరణ. బహుళ స్వతంత్ర వెబ్-ప్రారంభించబడిన సాల్వర్‌ల ద్వారా ధృవీకరించబడిన ప్రత్యేక సమాధానాలతో కూడిన ప్రశ్నలను మాత్రమే మేము ఉంచుతాము.

సీడ్ ప్రశ్న "The Mom Test"ని పరిగణించండి. మేము డాక్యుమెంట్‌లను రిట్రీవ్ చేస్తాము మరియు ఈ పుస్తకాన్ని సీడ్ ఎంటిటీగా గుర్తిస్తాము, ఆపై అణు వాస్తవిక ప్రకటనలను సేకరించి ఎంటిటీ చైన్‌ను పునరావృతంగా నిర్మిస్తాము: (i) The Mom Test రాబ్ ఫిట్జ్‌ప్రిక్ చేత వ్రాయబడింది, ఇది రాబ్ ఫిట్జ్‌ప్రిక్‌ను పరిచయం చేస్తుంది; (ii) రాబ్ ఫిట్జ్‌ప్రిక్ మొదటి స్టార్టప్ వై కాంబినేటర్ (సమ్మర్ 2007) ద్వారా వెళ్ళింది, ఇది వై కాంబినేటర్‌ను పరిచయం చేస్తుంది; (iii) వై కాంబినేటర్ మార్చి 2005లో ప్రారంభించబడింది. ప్రతి ఎంటిటీ పేరును దాని డిస్క్రిప్టర్‌తో పునరావృతంగా భర్తీ చేయడం ద్వారా పేరు-లేని ప్రశ్న వస్తుంది: "మార్చి 2005లో ప్రారంభించబడిన యాక్సిలరేటర్ ద్వారా దాని సమ్మర్ 2007 కోహార్ట్‌లో వెళ్ళిన వ్యక్తి చేత ఏ పుస్తకం వ్రాయబడింది?" "The Mom Test" సమాధానంతో.

ఫార్మాట్-వైవిధ్య మెరుగుదల. ముడి సింథటిక్ QA పై మాత్రమే శిక్షణ పొందిన మోడల్‌లు ప్రశ్న ఎలా రూపొందించబడిందారితో సంబంధం లేకుండా, ఫార్మాటింగ్ ప్రాధాన్యతలను విస్మరించడానికి మరియు స్థిరమైన ప్రతిస్పందన నిర్మాణానికి డిఫాల్ట్ అవుతాయి. ఫార్మాట్ వైవిధ్యాన్ని మెరుగుపరచడానికి, అంతర్లీన సమాధానాన్ని మార్చకుండా ఉంచేటప్పుడు, మేము స్పష్టమైన ఫార్మాటింగ్ సూచనలను (ఉదా., ". . . జాబితాను చూపించు" లేదా "ఒక పట్టికలో . . . సారాంశం ఇవ్వు") కలిగి ఉన్న ప్రశ్నలతో డేటాసెట్‌ను మెరుగుపరుస్తాము.

పబ్లిక్ ధృవీకరించదగిన QA (బేస్‌లైన్). నాణ్యత ఫిల్టరింగ్‌తో మా మెరుగైన ప్రాంప్ట్ ఫార్మాట్ క్రింద ఏకం చేయబడిన ఐదు ఓపెన్-సోర్స్ డేటాసెట్‌ల (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025) నుండి మేము బేస్‌లైన్ ధృవీకరించదగిన QA డేటాసెట్‌ను నిర్మిస్తాము. ఈ మిశ్రమం మా ధృవీకరణ ప్రయోగాలలో ప్రాథమిక బేస్‌లైన్‌గా పనిచేస్తుంది. నియంత్రిత పోలికల కోసం, మేము మా ఇన్-హౌస్ సింథటిక్ QA డేటాసెట్ పరిమాణాన్ని ఈ ఓపెన్-సోర్స్ మిశ్రమంతో సరిపోల్చుతాము.

త్వరిత ధృవీకరణ. వేగవంతమైన పునరావృతాన్ని ప్రారంభించడానికి మేము Qwen3-30B-A3B-Instruct-2507ని ఉపయోగించి ఈ పైప్‌లైన్ యొక్క ప్రభావాన్ని ధృవీకరిస్తాము; ఫలితాలు పట్టిక 1లో సంక్షిప్తీకరించబడ్డాయి.

సింథటిక్ ధృవీకరించదగిన QA డేటాసెట్ యొక్క ధృవీకరణ

ధృవీకరించదగిన QA శోధన-కేంద్రీకృత ప్రశ్నల కోసం శుభ్రమైన శిక్షణ సిగ్నల్‌ను అందిస్తుంది, ఉత్పత్తి ట్రాఫిక్‌లో గణనీయమైన భాగం ప్రత్యేకంగా ధృవీకరించదగినది కాదు (ఉదా., రీరైటింగ్, ప్లానింగ్, మరియు ఓపెన్-ఎండెడ్ సహాయం). RL నుండి అటువంటి ప్రశ్నలను మినహాయించడం వలన పాలసీ నిజమైన వినియోగదారు పరస్పర చర్యల కోసం తక్కువ-ఆప్టిమైజ్ చేయబడుతుంది. అంతేకాకుండా, SFT దశ డిప్లాయ్‌మెంట్-క్రిటికల్ గార్డ్‌రైల్స్‌ను ఏర్పాటు చేసినప్పటికీ, డేటా ద్వారా స్పష్టంగా బలపరచబడితే తప్ప RL వాటిపై రిగ్రెట్ అవ్వవచ్చు.

డిప్లాయ్‌మెంట్-క్రిటికల్ అవసరాలను—ఇన్‌స్ట్రక్షన్ ఫాలోయింగ్, ఫార్మాటింగ్ పరిమితులు, మరియు సేఫ్టీ కన్వెన్షన్‌లు—రూబ్రిక్‌లుగా మార్చడం ద్వారా మేము RL శిక్షణలో ధృవీకరించలేని ప్రశ్నలను చేర్చుతాము: ప్రతిస్పందన సంతృప్తి పరచాల్సిన అణు, నిష్పాక్షికంగా తనిఖీ చేయదగిన ప్రమాణాలు. మేము రూబ్రిక్-ఆధారిత డేటా నిర్మాణాన్ని (Gunjal et al., 2025; Liu et al., 2025b) అనుసరిస్తాము, ప్రతి ప్రశ్నకు రూబ్రిక్ సెట్‌లను సృష్టిస్తాము.

రూబ్రిక్ ఉత్పత్తి. పూర్తి సంభాషణ చరిత్రను బట్టి, ఒక రిఫరెన్స్ రెస్పాన్స్ మరియు సంబంధిత రూబ్రిక్ సెట్‌ను ఉత్పత్తి చేయడానికి మేము LLMని ప్రాంప్ట్ చేస్తాము. స్థిరమైన ప్రాధాన్యత క్రమం క్రింద రూబ్రిక్‌లు తీసుకోబడతాయి: వినియోగదారు ద్వారా స్పష్టంగా పేర్కొన్న అవసరాలు ప్రాధాన్యతను తీసుకుంటాయి, ఆ తర్వాత అంతర్గత పరిమితులు, మరియు చివరకు రిఫరెన్స్ రెస్పాన్స్ నుండి ఊహించబడిన అవసరమైన కంటెంట్ అవసరాలు. ప్రతి రూబ్రిక్ తప్పనిసరిగా ఉండాలి:

అణు (Atomic): ఒకే, బాగా నిర్వచించబడిన తనిఖీ;
ఆబ్జెక్టివ్: ఆబ్జెక్టివ్ తీర్పు లేకుండా ధృవీకరించదగినది;
అవసరం (Necessary): ప్రశ్నను సమాధానం ఇవ్వడానికి అవసరం, కేవలం శైలీకృత ప్రాధాన్యత కాదు.

ప్రశ్న.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

రూబ్రిక్స్.

ప్రతిస్పందన ఆంగ్లంలో వ్రాయబడింది.
సవరించిన పదజాలం "lodging" మరియు "boarding" అనే పదాలను కలిగి ఉంది.
సవరించిన పదజాలం "man power" కాకుండా ఒకే పదంగా "manpower"ని (ఉదాహరణకు, "manpower plan" లేదా "manpower planning") ఉపయోగిస్తుంది.
సవరించిన పదజాలం అనధికారిక షార్ట్‌హ్యాండ్ టోకెన్‌లు "u" లేదా "Plz"ని కలిగి ఉండదు, మరియు ఇది ఆంప్రశాంత్ అక్షరం "&"ని కలిగి ఉండదు.
ప్రతిస్పందన \\[type:idx\\] రూపంలోని ఉల్లేఖన గుర్తులను కలిగి ఉండదు, ఇక్కడ type డేటా మూలాన్ని సూచిస్తుంది (ఉదాహరణకు, web, chart, memory, attached_file).

రూబ్రిక్ కాలిబ్రేషన్. అతిగా కఠినమైన లేదా అతిగా అనుమతించే రూబ్రిక్ సెట్‌లను నివారించడానికి, మేము pass@4 ఫిల్టర్‌ను వర్తింపజేస్తాము. ప్రతి ప్రశ్నకు, మేము నాలుగు స్వతంత్ర ప్రతిస్పందనలను శాంపిల్ చేస్తాము మరియు ఇన్‌స్ట్రక్షన్-ఫాలోయింగ్ జడ్జ్‌తో పూర్తి రూబ్రిక్ సెట్‌కు వ్యతిరేకంగా వాటిని మూల్యాంకనం చేస్తాము. సమాచార శిక్షణ సిగ్నల్‌ను అందించే వాటిని మాత్రమే ఉంచుతూ, ఏ ప్రతిస్పందన రూబ్రిక్ సెట్‌ను సంతృప్తిపరచని లేదా అన్ని ప్రతిస్పందనలు సంతృప్తిపరిచే ప్రశ్నలను మేము తీసివేస్తాము.

బహుళ-లక్ష్య RLలో ఆచరణాత్మక సవాలు డేటా భాగాల అంతటా వేరియన్స్ అసమతుల్యత (Duchi and Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). ధృవీకరించదగిన QA మరియు రూబ్రిక్-ఆధారిత డేటా రెండూ బైనరీ రివార్డ్‌లను అందించినప్పటికీ, అవి టాస్క్ కఠినతలో గణనీయంగా భిన్నంగా ఉంటాయి: రూబ్రిక్ సంతృప్తి సాధారణంగా శిక్షణ ప్రారంభంలో సాధించడం సులభం, కష్టతరమైన ధృవీకరించదగిన QA సిగ్నల్‌తో పోలిస్తే పాలసీ ఆప్టిమైజేషన్‌ను అసమానంగా ఆధిపత్యం చేసే పెద్ద మరియు మరింత తరచుగా జరిగే గ్రేడియంట్ అప్‌డేట్‌లను ఉత్పత్తి చేస్తుంది. దీన్ని పరిష్కరించడానికి, మేము డేటాసెట్ స్థాయిలో ప్రాంప్ట్ మిశ్రమాన్ని రీవెయిట్ చేస్తాము, భాగాల అంతటా ఆప్టిమైజేషన్ సిగ్నల్‌ను సమతుల్యం చేయడానికి ధృవీకరించదగిన QA నుండి 90% మరియు రూబ్రిక్-ఆధారిత డేటా నుండి 10% శాంపిల్ చేస్తాము.

మా రివార్డ్ డిజైన్ పైన వివరించిన డేటా నిర్మాణం నుండి నేరుగా అనుసరిస్తుంది. ధృవీకరించదగిన QA మరియు రూబ్రిక్ టాస్క్‌లు రెండింటినీ విస్తరించినప్పటికీ, అన్ని శిక్షణ డేటా సాధారణ బేస్‌లైన్ రివార్డ్ నిర్మాణాన్ని పంచుకుంటాయి: QA టాస్క్‌ల కోసం సరైన సమాచారాన్ని ఉత్పత్తి చేస్తే, లేదా సాధారణ చాట్ కోసం పేర్కొన్న అన్ని రూబ్రిక్‌లను సంతృప్తిపరిస్తే రోల్‌అవుట్ క్రెడిట్‌ను అందుకుంటుంది. ఈ భాగస్వామ్య ఫౌండేషన్‌పై నిర్మించడం ద్వారా, మేము ప్రాధాన్యత-ఆధారిత స్కోరింగ్ మరియు సామర్థ్య ఆకృతిని చేర్చడానికి ఒక సమ్మేళన రివార్డ్‌ను నిర్మిస్తాము.

ప్రారంభ ప్రయోగాలలో గమనించిన కీలకమైన సవాలు రివార్డ్ హ్యాకింగ్: రివార్డ్‌ల సరళ కలయిక బలమైన ప్రాధాన్యత సిగ్నల్స్ వాస్తవిక లేదా బోధనా వైఫల్యాలను భర్తీ చేయడానికి అనుమతించింది. అందువల్ల మేము గేటెడ్ అగ్రిగేషన్ను ప్రధాన డిజైన్ సూత్రంగా స్వీకరిస్తాము, దీనిని అధికారికంగా ఇలా నిర్వచించవచ్చు:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

ఇక్కడ $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ QA ఖచ్చితత్వాన్ని లేదా రూబ్రిక్ సంతృప్తిని సూచిస్తుంది, $s(\tau_i)\in[0,1]$ అనేది ప్రాధాన్యత స్కోర్, మరియు $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ అనేది యాంకర్డ్ ఎఫిషియెన్సీ పెనాల్టీ. ఇది ప్రాధాన్యత క్రెడిట్‌ను స్వీకరించడానికి ఖచ్చితత్వాన్ని అవసరమైన షరతుగా చేస్తుంది, అదే సమయంలో అనవసరమైన సాధన వాడకాన్ని మరియు వెర్బోసిటీని నిరుత్సాహపరుస్తుంది. చిత్రం 1 పూర్తి రివార్డ్ పైప్‌లైన్‌ను వివరిస్తుంది, దీని భాగాలను మేము క్రింద వివరిస్తాము:

రివార్డ్ డిజైన్ అవలోకనం. మేము బేస్‌లైన్ కరెక్ట్‌నెస్ సిగ్నల్ (ధృవీకరించదగిన/రూబ్రిక్), బ్రాడ్లీ-టెర్రీ ప్రాధాన్యత స్కోర్, మరియు యాంకర్డ్ ఎఫిషియెన్సీ పెనాల్టీలను మిళితం చేస్తాము. రివార్డ్ హ్యాకింగ్‌ను నిరోధించడానికి ప్రాధాన్యత బేస్‌లైన్ కరెక్ట్‌నెస్ ద్వారా గేట్ చేయబడుతుంది.

మేము ఒక ద్విమాన బేస్‌లైన్ సిగ్నల్ ను నిర్వచిస్తాము, ఇది పనిది సరైనదా లేదా ఆదేశ అనుసరణనా అనే అంశాన్ని పట్టిస్తుంది. ధృవీకరించగల సెర్చ్-ఏజెంట్ డేటా కోసం, తుది సమాధానం గ్రౌండ్ ట్రూత్‌తో సరిపోతే , లేదంటే . రూబ్రిక్-ఆధారిత సాధారణ చాట్ డేటా కోసం, అన్ని రూబ్రిక్స్ నెరవేరితే , లేదంటే . ఈ బేస్‌లైన్ షరతు-ఆధారిత సమీకరణ నియమం Eq. 2లో కఠిన గేట్‌గా పనిచేస్తుంది. $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ $r_{\mathrm{base}}(\tau_i)=1$ $0$ $r_{\mathrm{base}}(\tau_i)=1$ $0$

ప్రతిస్పందన నాణ్యతపై వినియోగదారుల గుప్త ప్రాధాన్యతలతో పాలసీ మోడల్‌ను సమలేఖనం చేయాలని మేము లక్ష్యంగా పెట్టుకున్నాము—సమాచార సమృద్ధి, స్పష్టత, మరియు వృత్తిపరమైన టోన్—వీటిని LLM-జడ్జ్ ప్రాంప్ట్‌ల ద్వారా క్యాప్చర్ చేయడం కష్టం. అందువల్ల ఈ గుణాలను నేరుగా స్కోర్ చేయడానికి మేము నేర్చుకున్న ప్రాధాన్యత రివార్డ్ మోడల్‌కు శిక్షణ ఇస్తాము.

బ్రాడ్లీ-టెర్రీ ఫ్రేమ్‌వర్క్ క్రింద ప్రాధాన్యత అభ్యాసాన్ని మేము రూపొందిస్తాము. ఒక సందర్భం $x$ మరియు రెండు అభ్యర్థి ప్రతిస్పందనలు $y_a, y_b$ ఇచ్చినప్పుడు, మోడల్ స్కేలార్ స్కోర్‌లను $s_{\theta}(x, y) \in \mathbb{R}$ ఉత్పత్తి చేస్తుంది మరియు కనిష్టీకరిస్తుంది,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

ఇక్కడ $r \in \{0, 1\}$ అనేది $y_a$ ప్రాధాన్యత ఇవ్వబడిందో లేదో సూచిస్తుంది. స్థాన పక్షపాతాన్ని తొలగించడానికి, ప్రతి శిక్షణ జంట రెండు ఆర్డరింగ్‌లతో మెరుగుపరచబడుతుంది మరియు సమరూపంగా ఆప్టిమైజ్ చేయబడుతుంది,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

ఇన్‌ఫరెన్స్ సమయంలో, రెండు ప్రస్తారణలను సగటున చేయడం ద్వారా మేము స్థాన-అజ్ఞాత ప్రాధాన్యత స్కోర్‌ను పొందుతాము:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

రోల్‌అవుట్ ప్రాధాన్యత స్కోర్ అప్పుడు $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ వలె నిర్వచించబడుతుంది, అనగా, అదే ప్రాంప్ట్ కోసం రిఫరెన్స్ మోడల్ రోల్‌అవుట్ కంటే పాలసీ రోల్‌అవుట్ $y_i$ ఇష్టపడే సంభావ్యత.

ప్రాధాన్యత మోడలింగ్ కోసం శిక్షణ డేటా, క్యూరేట్ చేయబడిన ఓపెన్-సోర్స్ డేటాసెట్లు, వినియోగదారు సైడ్-బై-సైడ్ అభిప్రాయం, మరియు అంతర్గత వ్యాఖ్యానాల నుంచి తీసుకోబడుతుంది. లేబుల్ నాయిస్‌ను ఎదుర్కొనేందుకు, Datbench (DatologyAI, 2026) నుండి ప్రేరణ పొందిన తేలికపాటి ఫిల్టరింగ్ మరియు క్యాలిబ్రేషన్ పైప్‌లైన్‌ను మేము వర్తింపజేస్తాము, మోడళ్ల మధ్య అనుకూలంగా ఏకరీతిగా ఉన్న ఉదాహరణలను మాత్రమే ఉంచుతాము. రివార్డ్ మోడల్ పాలసీ మోడల్‌తో అదే బ్యాక్‌బోన్‌ను పంచుకుంటుంది, అయితే భాషా మోడలింగ్ హెడ్డు విలువ హెడ్తో భర్తీ చేయబడుతుంది. చిన్న రివార్డ్ మోడళ్లు పోల్చదగిన హెల్డ్-అవుట్ ఖచ్చితత్వాన్ని సాధించినప్పటికీ, అవి సూక్ష్మ స్థాయి అభిరుచులను పట్టించలేవని మరియు అనవసర పాలసీ ప్రవర్తనలను బలపరచగలవని మేము అనుభవపూర్వకంగా కనుగొన్నాము.

స్పష్టమైన సామర్థ్య షేపింగ్ లేకపోతే, పాలసీ సాధారణ ప్రాంప్ట్‌లపైనా సాధనాలను అధికంగా ఉపయోగించడానికి మొగ్గు చూపుతుంది. షరతుల్లేని శిక్షలు (ఉదా., సాధన కాల్ సంఖ్య లేదా అవుట్‌పుట్ పొడవుతో రేఖీయంగా స్కేలు అయ్యే శిక్షలు) సహజమైన బేస్‌లైన్ అయినప్పటికీ, అవి అవసరమైన అన్వేషణను అణచివేసి అభ్యాసాన్ని దెబ్బతీస్తాయని మేము కనుగొన్నాము. అందువల్ల, ప్రతి GRPO గ్రూప్‌లోని ప్రభావవంతమైన పరిష్కారాల సాపేక్షంగా సాధన వినియోగం మరియు ప్రతిస్పందన పొడవును నియంత్రించే గ్రూప్-సాపేక్ష, యాంకర్ చేయబడిన శిక్షలను మేము స్వీకరిస్తాము. ఒక గ్రూప్ 𝑔 కోసం, విజేత సమితిని ఇలా నిర్వచిస్తాము:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

యాంకర్ చేయబడిన సాధన-కాల్ శిక్ష. ప్రతి రోలౌట్ $\tau_i$ కోసం, $c_i$ అనేది సాధన కాల్స్ సంఖ్యను, మరియు $e_i$ అనేది సాధన-నిర్వహణ వైఫల్యాల సంఖ్యను సూచిస్తాయి. మేము ప్రభావవంతమైన సాధన-కాల్ సంఖ్య $\tilde{c}_i = c_i - e_i$ ను నిర్వచించి, సమగ్రంగా ఒక గ్రూప్ బేస్‌లైన్‌ను యాదృచ్ఛికంగా నమూనా చేస్తాము:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

మేము అదనాన్ని $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ గా లెక్కించి, స్మూత్ శిక్షా స్కేలర్ $p_i = 1 - \exp\!\left(-\Delta_i\right)$ ను నిర్వచిస్తాము. తరువాత సాధన శిక్ష ఇలా ఉంటుంది:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

యాంకర్ చేయబడిన పొడవు శిక్ష. అభ్యర్థి మరియు రిఫరెన్స్ మోడల్ జనరేషన్ల టోకెన్ పొడవులను వరుసగా $L_i$ మరియు $L_i^{\mathrm{ref}}$ సూచిస్తాయి. మేము షేపింగ్ సమితి $\widehat{W}_g$ ను సరైనదిగా ఉండి, ప్రాధాన్యం పొందిన రోలౌట్‌లుగా నిర్వచిస్తాము:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

మేము సమూహ- నిర్దిష్ట పొడవు బేస్‌లైన్‌లను లెక్కిస్తాము:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

పొడవు పెనాల్టీ ఇలా నిర్వచించబడింది:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

ఇక్కడ మొదటి పంక్తి హార్డ్ క్యాప్; రెండవది వెర్బోస్ విజేతలను శిక్షిస్తుంది; మరియు మూడవది టెర్స్ ఓడిపోయినవారిని శిక్షిస్తుంది.

మిశ్రమ సామర్థ్య పెనాల్టీ. మిశ్రమ సామర్థ్య పెనాల్టీ అనేది రెండు భాగాల బరువున్న మొత్తం:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

మేము మా పోస్ట్-ట్రైనింగ్ పైప్‌లైన్‌ను రెండు అక్షాల వెంట మూల్యాంకనం చేస్తాము: (i) శిక్షణ గతిశీలత, ఆప్టిమైజేషన్ స్థిరత్వాన్ని అంచనా వేయడానికి మరియు రివార్డ్ సిగ్నల్స్ ఆశించిన విధంగా ప్రవర్తిస్తున్నాయో లేదో అంచనా వేయడానికి, మరియు (ii) ఆఫ్‌లైన్ బెంచ్‌మార్క్‌లు, నియంత్రిత మూల్యాంకన సెట్టింగ్‌ల క్రింద డౌన్‌స్ట్రీమ్ నాణ్యత, భద్రత మరియు సామర్థ్యాన్ని కొలవడానికి.

డిఫాల్ట్ శిక్షణ సెట్టింగ్‌లు. పాలసీ మోడల్ వెబ్ శోధన సాధనంతో (search_web) పరస్పర చర్య చేస్తుంది; ప్రతి టూల్ కాల్ 10 ఫలితాల వరకు రిట్రీవ్ చేస్తుంది, ప్రశ్నలు 250 అక్షరాలకు మరియు రోల్‌అవుట్‌కు గరిష్టంగా 5 ప్రశ్నలకు పరిమితం చేయబడతాయి.

మేము ఆప్టిమైజేషన్ గతిశీలతను పరిశీలిస్తాము, రివార్డ్ పురోగతి మరియు సామర్థ్య ప్రవర్తనపై దృష్టి పెడతాము. ఉదాహరణ సరళత కోసం మేము Qwen3.5-397B-A11B ని ఉపయోగిస్తాము.

శిక్షణ సమయంలో బేస్‌లైన్ మరియు ప్రాధాన్యత సిగ్నల్స్ యొక్క పరిణామం.

చిత్రం 2 పెరిగే ప్రాధాన్యత స్కోర్‌లతో పాటు బేస్‌లైన్ రివార్డ్‌లో (ధృవీకరించదగిన QA మరియు రూబ్రిక్ సంతృప్తి) స్థిరమైన మెరుగుదలను చూపుతుంది, ఇది ఖచ్చితత్వం, సమ్మతి మరియు ప్రతిస్పందన నాణ్యతలో స్థిరమైన లాభాలను సూచిస్తుంది.

శిక్షణ సమయంలో సామర్థ్య ప్రవర్తన మరియు యాంకర్డ్ షేపింగ్ పెనాల్టీలు.

చిత్రం 3 టూల్-కాల్ ఫ్రీక్వెన్సీ మరియు జనరేషన్ పొడవు రెండూ శిక్షణ అంతటా బాగా నియంత్రించబడతాయని ప్రదర్శిస్తుంది. ముఖ్యంగా, టూల్-కాల్ మరియు పొడవు పెనాల్టీలు రెండూ శిక్షణ కోర్సులో మోనోటోనికల్లీ తగ్గుతాయి, ఇది మరింత సంక్షిప్త ఉత్పత్తి మరియు మరింత సెలెక్టివ్ టూల్ ఇన్‌వోకేషన్ వైపు మోడల్ యొక్క ప్రగతిశీల అనుసరణను ప్రతిబింబిస్తుంది.

గ్రేడియంట్ నార్మ్‌లు తాత్కాలిక స్పైక్‌లను మినహాయించి స్థిరంగా ఉంటాయని చిత్రం 4 చూపుతుంది, అయితే శిక్షణ-ఇన్ఫరెన్స్ KL డైవర్జెన్స్ తేలికపాటి పైకి ట్రెండ్‌ను ప్రదర్శిస్తుంది, 1e-3 స్కేల్ లోపల ఉంటుంది. ఈ డ్రిఫ్ట్ నమూనా ఇతర RL శిక్షణ ఫ్రేమ్‌వర్క్‌లలోని పరిశీలనలకు అనుగుణంగా ఉంటుంది; శిక్షణ అంతటా స్థిరంగా ఉంటుంది కాబట్టి, మేము అదనపు జోక్యం లేకుండా Eq. 1లో సరళమైన IS క్రమబద్ధీకరణను ఉంచుతాము.

శోధన ఖచ్చితత్వం, వాస్తవిక విశ్వసనీయత, ఇన్‌స్ట్రక్షన్ ఫాలోయింగ్, మరియు భద్రతను విస్తరించే బెంచ్‌మార్క్‌ల సూట్‌లో మేము ఫలితాలను నివేదిస్తాము, ఇందులో పబ్లిక్ బెంచ్‌మార్క్‌లు మరియు అంతర్గత Perplexity (PPLX) మెట్రిక్‌లు రెండూ ఉన్నాయి. పబ్లిక్ బెంచ్‌మార్క్‌లలో SimpleQA, FRAMES, మరియు Facts Open ఉన్నాయి.

pplx-sbs-search: అంతర్గత రివార్డ్ మోడల్‌ని ఉపయోగించి సైడ్-బై-సైడ్ ప్రాధాన్యత మూల్యాంకనం. అభ్యర్థులు బలమైన బేస్‌లైన్‌తో పోల్చబడతారు.
pplx-abstention: నమ్మదగిన ఆధారాలు అందుబాటులో లేనప్పుడు తగిన విధంగా తిరస్కరించే సామర్థ్యం.
pplx-language-mismatch: లాంగ్-టైల్ మరియు మల్టీ-టర్న్ సెట్టింగ్‌ల క్రింద భాషా స్థిరత్వం.
pplx-broken-tool-calls (↓): టూల్-కాల్ స్కీమా సమ్మతి మరియు కన్స్రైంట్ ఫాలోయింగ్, ఉదాహరణకు, tool_choice=none.

డిఫాల్ట్ మూల్యాంకన సెట్టింగ్‌లు. పబ్లిక్ బెంచ్‌మార్క్‌ల కోసం, మేము వెబ్-సెర్చ్ సాధనాన్ని మాత్రమే అనుమతిస్తాము, ఉదాహరణకు ప్రతి ఉదాహరణకు గరిష్టంగా 5 టూల్ కాల్‌లు మరియు ప్రతి కాల్‌కు గరిష్టంగా 10 ఫలితాల బడ్జెట్‌తో, ఉష్ణోగ్రత 0.6 వద్ద గరిష్టంగా 8192 అవుట్‌పుట్ టోకెన్‌లను ఉత్పత్తి చేస్తాము.

ఆఫ్‌లైన్ మూల్యాంకన ఫలితాలు. బ్రాకెట్లలోని సంఖ్యలు సగటు టూల్ వాడకాన్ని సూచిస్తాయి. మేము Qwen3.5-397B-A17Bని Qwen3.5-Largeగా, మరియు Qwen3.5-122B-A10Bని Qwen3.5-Mediumగా సూచిస్తాము.

పట్టిక 2 Qwen3.5-Large-SFT-RL పబ్లిక్ బెంచ్‌మార్క్‌లలో బలమైన శోధన ఖచ్చితత్వాన్ని సాధిస్తుందని చూపుతుంది, పోల్చదగిన టూల్ బడ్జెట్‌లను ఉపయోగిస్తున్నప్పుడు FRAMES మరియు Facts Openపై gpt-5.4తో సరిపోలింది లేదా మించింది. బేస్ మోడల్‌తో పోలిస్తే, మా విధానం అంతర్గత మెట్రిక్‌లపై గణనీయమైన లాభాలను ఇస్తుంది, ప్రత్యేకించి ప్రాధాన్యత (pplx-sbs-search: 0.602 → 0.742), భాషా స్థిరత్వం మరియు అబ్‌స్టెన్షన్పై, రెండు-దశల పైప్‌లైన్ శోధన సామర్థ్యాన్ని రాజీ పడకుండా డిప్లాయ్‌మెంట్-క్రిటికల్ ప్రవర్తనలను సమర్థవంతంగా మెరుగుపరుస్తుందని ప్రదర్శిస్తుంది.

దీన్ని కొలవడానికి, మేము ఒక బడ్జెట్-ఫోర్స్‌డ్ మూల్యాంకన ప్రోటోకాల్‌ను రూపకల్పన చేస్తాము. ప్రతి మోడల్‌కు వెబ్ శోధన సాధనం (search_web) మరియు అనుమతించబడిన టూల్ కాల్‌ల సంఖ్యపై హార్డ్ క్యాప్‌ను పేర్కొనే సిస్టమ్ ప్రాంప్ట్ ("బడ్జెట్") ఇవ్వబడుతుంది. మేము ఈ బడ్జెట్‌ను 0 (టూల్ వాడకం లేదు, స్వచ్ఛమైన పారామెట్రిక్ జ్ఞానం) నుండి 10 (ఉదారమైన మల్టీ-స్టెప్ రిట్రీవల్) వరకు స్వీప్ చేస్తాము, ప్రతి స్థాయిలో ఖచ్చితత్వాన్ని రికార్డ్ చేస్తాము. ఇది ఒక టూల్-ఎఫిషియెన్సీ కర్వ్ను ఉత్పత్తి చేస్తుంది: మోడల్ అనుమతించబడిన రిట్రీవల్ బడ్జెట్ యొక్క ఫంక్షన్‌గా దాని స్కోర్. మేము రెండు వాస్తవిక QA బెంచ్‌మార్క్‌లు, FRAMES మరియు Facts Openలపై మూల్యాంకనం చేస్తాము.

బెంచ్‌మార్క్ ఖచ్చితత్వం వర్సెస్ గరిష్ట టూల్ కాల్‌ల సంఖ్య.

ఈ రెండు బెంచ్‌మార్క్‌ల నుండి అనేక నమూనాలు నిలుస్తాయి:

మా పోస్ట్-ట్రైన్డ్ Qwen3.5-397B-SFT-RL రెండు బెంచ్‌మార్క్‌లలో అత్య ఉత్తమ శోధన ఖచ్చితత్వాన్ని సాధిస్తుంది. ఒకే టూల్ కాల్‌తో కూడా, ఇది FRAMESపై 57.3% స్కోర్ చేస్తుంది, GPT-5.4 కంటే 5.7 పాయింట్లు మరియు Sonnet 4.6 కంటే 4.7 పాయింట్లు ఎక్కువ.
- మధ్యస్థ బడ్జెట్‌లలో (b=2-7) ఈ ప్రయోజనం చాలా స్పష్టంగా కనిపిస్తుంది, ఇది ప్రొడక్షన్ డిప్లాయ్‌మెంట్‌ల కోసం ఆచరణాత్మక ఆపరేటింగ్ పరిధి.
మా పోస్ట్-ట్రైనింగ్ రెసిపీ (SFT + RL) బేస్ చెక్‌పాయింట్ కంటే టూల్-యూస్ సామర్థ్యాన్ని గణనీయంగా మెరుగుపరుస్తుంది; చిత్రం 5లోని ఘన పంక్తులు (పోస్ట్-ట్రైన్డ్) వర్సెస్ డాష్ చేయబడిన పంక్తులు (ప్రారంభ చెక్‌పాయింట్) చూడండి.
అన్ని మోడళ్ల కోసం, బడ్జెట్=7 చుట్టూ క్షీణిస్తున్న రాబడులను మేము గమనిస్తాము, ఇది రెండు బెంచ్‌మార్క్‌లు మరియు అన్ని మోడళ్లలో స్థిరంగా ఉంటుంది, ఇది మోడల్‌ల కంటే ఫ్యాక్టువాలిటీ-సీకింగ్ టాస్క్‌ల యొక్క లక్షణం అని సూచిస్తుంది.

పై ఫలితాలు Qwen3.5-397B-SFT-RL తక్కువ టూల్ కాల్‌లతో ఎక్కువ ఖచ్చితత్వాన్ని సాధిస్తుందని చూపుతున్నాయి. కానీ ఇది వాస్తవ ఖర్చుకు ఎలా అనువదిస్తుంది? పోలికను స్పష్టం చేయడానికి మేము ప్రచురించిన API ధరలను (Alibaba DashScope, OpenAI, Anthropic) ఉపయోగించి టోకెన్-స్థాయి కొలతలను డాలర్ ఖర్చులుగా మారుస్తాము.

ప్రతి ప్రశ్నకు ఖర్చు వర్సెస్ ఖచ్చితత్వం.

మీడియం ప్రొఫైల్ (b=4) వద్ద, Qwen3.5-397B-SFT-RL FRAMESపై ప్రతి ప్రశ్నకు 2.0 సెంట్లకు 73.9% స్కోర్ చేస్తుంది, అయితే GPT-5.4 ప్రతి ప్రశ్నకు 8.5 సెంట్లకు 67.8% మరియు Sonnet 4.6 ప్రతి ప్రశ్నకు 15.3 సెంట్లకు 62.4% స్కోర్ చేస్తుంది. ఇది GPT-5.4 తో పోలిస్తే 4x తక్కువ ఖర్చుతో +6 పాయింట్ల ఖచ్చితత్వం, మరియు Sonnet 4.6 తో పోలిస్తే 7.5x తక్కువ ఖర్చుతో +11.5 పాయింట్లు.

ఈ అంచనాలు కాషింగ్ లేకుండా జాబితా API ధరలను ఉపయోగిస్తాయి. KV కాష్ రీయూజ్, ప్రిఫిక్స్ కాషింగ్, మరియు క్వాంటైజ్డ్ MoE సర్వింగ్ (397B కేవలం 17B క్రియాశీల పారామితులను మాత్రమే ఉపయోగిస్తుంది) వంటి ఇన్-హౌస్ ఇన్‌ఫరెన్స్ ఆప్టిమైజేషన్‌లతో, ప్రభావవంతమైన ధర జాబితా API ధర కంటే చాలా తక్కువకు తగ్గించబడుతుంది.

రెండు-దశల SFT మరియు RL పైప్‌లైన్ ద్వారా శోధన ఆప్టిమైజేషన్ నుండి డిప్లాయ్‌మెంట్ సమ్మతిని విడదీయడం వలన ప్రొడక్షన్ పరిమితుల క్రింద సామర్థ్యం మరియు విశ్వసనీయత రెండూ ఉన్న మోడల్ లభిస్తుంది. ధృవీకరించదగిన QA మరియు రూబ్రిక్-ఆధారిత శిక్షణ డేటా కలయిక, గేటెడ్ రివార్డ్ అగ్రిగేషన్ మరియు యాంకర్డ్ ఎఫిషియెన్సీ షేపింగ్‌తో పాటు, శోధన ఖచ్చితత్వాన్ని లేదా గార్డ్‌రైల్ సమ్మతిని త్యాగం చేయకుండా స్థిరమైన బహుళ-లక్ష్య ఆప్టిమైజేషన్‌ను ప్రారంభిస్తుంది.

అధిక పరిశోధన అవసరమయ్యే అనేక దిశలు ఉన్నాయి. చిత్రం 4లో గమనించినట్లుగా, శిక్షణ-ఇన్ఫరెన్స్ KL డైవర్జెన్స్ పొడిగించిన శిక్షణ దశలలో నిరంతర పైకి డ్రిఫ్ట్‌ను ప్రదర్శిస్తుంది. టోకెన్-స్థాయి IS సరిదిద్దడం మా ప్రస్తుత సెట్టింగ్ క్రింద సరిపోతుందని రుజువు అయినప్పటికీ, పెద్ద స్థాయిలో ఇది నిజమో కాదో స్పష్టంగా లేదు; ఈ మిస్‌మ్యాచ్ యొక్క మరింత సూత్రబద్ధమైన సిద్ధాంతపరమైన చికిత్స—ఇన్‌ఫ్రాస్ట్రక్చర్-స్థాయి అసమతుల్యతలు మరియు MoE రూటింగ్ వంటి ఆర్కిటెక్చర్-నిర్దిష్ట కారకాలను కలిగి ఉంటుంది—తగ్గింపు వ్యూహాల పరిమాణాత్మక అనుభవపూర్వక పోలికలతో పాటు, ఒక ముఖ్యమైన బహిరంగ ప్రశ్నగా మిగిలిపోయింది. ప్రత్యేకించి బహుళ-లక్ష్య RL కోసం, ఆశాజనక మార్గాలలో వినాశకరమైన మరువడాన్ని తగ్గించేటప్పుడు దశలవారీగా లక్ష్యాలను ఆప్టిమైజ్ చేయడానికి ఆన్-పాలసీ డిస్టిలేషన్‌తో సీక్వెన్షియల్ శిక్షణ (Zeng et al., 2026); మరియు సామర్థ్య సమూహనం నుండి టాస్క్-నిర్దిష్ట ఆప్టిమైజేషన్‌ను డీకపుల్ చేయడానికి మోడల్ మర్జింగ్ (Fu et al., 2025; Yang et al., 2026) ఉన్నాయి. చివరగా, సుదీర్ఘ-హరైజన్ ట్రాజెక్టరీలతో వాస్తవిక బహుళ-టూల్ వర్క్‌ఫ్లోలకు స్కేలింగ్ చేయడం ఒక ముఖ్యమైన బహిరంగ సవాలుగా మిగిలిపోయింది, దీనికి మెరుగైన క్రెడిట్ అసైన్‌మెంట్, పాక్షిక రోల్‌అవుట్‌ల మద్దతు మరియు మూల్యాంకనాలు అవసరమవుతాయి.

DatologyAI. Datbench: విభజనాత్మక, నమ్మదగిన మరియు సమర్థవంతమైన దృష్టి-భాషా మోడల్ మూల్యాంకనాలు. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Jan 6, 2026న ప్రచురించబడింది. యాక్సెస్ చేయబడింది: 2026-03-04.

J. Duchi and H. Namkoong. కన్వెక్స్ లక్ష్యాలతో వేరియన్స్-ఆధారిత క్రమబద్ధీకరణ. arXiv ప్రిప్రింట్ arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. మల్టీ-టాస్క్ లెర్నింగ్ కోసం శిక్షణ-రహిత llm మర్జింగ్. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. రివార్డులుగా రూబ్రిక్స్: ధృవీకరించదగిన డొమైన్‌లకు మించి రీన్‌ఫోర్స్‌మెంట్ లెర్నింగ్. arXiv ప్రిప్రింట్ arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. వేగం స్థిరత్వాన్ని చంపినప్పుడు: శిక్షణ-ఇన్ఫరెన్స్ మిస్‌మ్యాచ్ నుండి rl పతనాన్ని డీమిస్టిఫై చేయడం. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: బహుళ-రివార్డ్ rl ఆప్టిమైజేషన్ కోసం గ్రూప్ రివార్డ్-డీకపుల్డ్ నార్మలైజేషన్ పాలసీ ఆప్టిమైజేషన్. arXiv ప్రిప్రింట్ arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: రివార్డ్ మోడలింగ్ మరియు llm సమలేఖనం కోసం స్కేలబుల్ సింథటిక్ రూబ్రిక్ ఉత్పత్తి వైపు. arXiv ప్రిప్రింట్ arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: నాలెడ్జ్ గ్రాఫ్‌లు మరియు మల్టీ-టర్న్ rl తో డీప్ సెర్చ్ ఏజెంట్‌లను ముందుకు తీసుకెళ్లడం. arXiv ప్రిప్రింట్ arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. శిక్షణ మరియు ఇన్ఫరెన్స్ రౌటర్‌లను సమలేఖనం చేయడం ద్వారా moe రీన్‌ఫోర్స్‌మెంట్ లెర్నింగ్‌ను స్థిరీకరించడం. arXiv ప్రిప్రింట్ arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: శోధన-మెరుగైన భాషా మోడళ్లలో తార్కికం కోసం బార్‌ను పెంచడం. arXiv ప్రిప్రింట్ arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. భాషా మోడళ్లలో కంపోజిషనాలిటీ గ్యాప్‌ను కొలవడం మరియు కుదించడం. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. llm రీన్‌ఫోర్స్‌మెంట్ లెర్నింగ్‌లో ట్రస్ట్ రీజియన్‌ను పునరాలోచించడం. arXiv ప్రిప్రింట్ arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: ఓపెన్ లాంగ్వేజ్ మోడళ్లలో గణిత తార్కిక పరిమితులను నెట్టడం. arXiv ప్రిప్రింట్ arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: సమాచార-అన్వేషణ లాంఛనీకరణ ద్వారా ఏజెంటికల్ డేటా సింథసిసింగ్. arXiv ప్రిప్రింట్ arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. ఇకపై రైన్-ఇన్ఫరెన్స్ మిస్‌మ్యాచ్ లేదు: vLLM మరియు TorchTitan తో బిట్‌వైజ్ స్థిరమైన ఆన్-పాలసీ రీన్‌ఫోర్స్‌మెంట్ లెర్నింగ్. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: వెబ్ ట్రావెర్సల్‌లో llmలను బెంచ్‌మార్కింగ్ చేయడం, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 సాంకేతిక నివేదిక. arXiv ప్రిప్రింట్ arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. llmలు, mllmలు మరియు అంతకు మించి మోడల్ మర్జింగ్: పద్ధతులు, సిద్ధాంతాలు, అనువర్తనాలు మరియు అవకాశాలు. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. మీ సమర్థవంతమైన rl ఫ్రేమ్‌వర్క్ రహస్యంగా మీకు ఆఫ్‌పాలసీ rl శిక్షణను తెస్తుంది, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: వైబ్ కోడింగ్ నుండి ఏజెంటిక్ ఇంజనీరింగ్ వరకు. arXiv ప్రిప్రింట్ arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. llmలతో రీన్‌ఫోర్స్‌మెంట్ లెర్నింగ్‌ను స్థిరీకరించడం: సూత్రం మరియు అభ్యాసాలు. arXiv ప్రిప్రింట్ arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. గ్రూప్ సీక్వెన్స్ పాలసీ ఆప్టిమైజేషన్. arXiv ప్రిప్రింట్ arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}

పరిచయం

రెండు-దశల శిక్షణ పైప్‌లైన్

SFT దశ

RL దశ

RL శిక్షణ డేటా

ధృవీకరించదగిన సెర్చ్-ఏజెంట్ డేటా

ఉదాహరణ (3-హాప్)

రూబ్రిక్-ఆధారిత జనరల్ చాట్ డేటా

ఉదాహరణ

ప్రాంప్ట్ మిశ్రమం మరియు వేరియన్స్ బ్యాలెన్సింగ్

రివార్డ్ డిజైన్

బేస్‌లైన్ రివార్డ్

ప్రాధాన్యత మోడలింగ్

సామర్థ్య పెనాల్టీ

ప్రధాన ఫలితాలు

శిక్షణ గతిశీలత

ఆఫ్‌లైన్ మూల్యాంకనాలు

టూల్ యూజ్ ఎఫిషియెన్సీ మూల్యాంకనాలు

ముగింపు

ఉదాహరణలు

ఉదాహరణ