Søkeutvidede språkmodeller i fremmarsj

Introduksjon

Å trene banebrytende nettsøkagenter krever at man samtidig optimaliserer flere mål: faktisk nøyaktighet, baneeffektivitet og tilpasning til brukerens preferanser. Likevel fører ofte forbedring av én enkelt dimensjon isolert sett til at andre forringes: modeller som trenes utelukkende for nøyaktighet, har en tendens til å overbruke verktøy, mens modeller som er optimalisert for kortfattethet, kan offere pålitelighet eller fullstendighet. Hos Perplexity er ingen av utfallene akseptable.

Denne artikkelen beskriver Perplexitys ettertreningspipelinen for å utvikle toppmoderne nettsøkagenter basert på åpen kildekode-modeller. En nøkkelidé er at datakuratering og belønningsdesign må samutvikles ved trening av søkagenter: dataene avgjør hvilke atferdsmønstre som er observerbare og verifiserbare, og belønningen avgjør hvordan disse signalene omsettes til optimaliseringssignaler. Dette prinsippet motiverer vår totrinnspipeline: vi utfører først en veiledet finjusterings-oppvarming (SFT) for å initialisere policy-modellen, og deretter foredler vi policy-modellen ved hjelp av forsterkende læring (RL) over et kuratert datasett og nøye utformede belønninger. Denne totrinnstilnærmingen muliggjør pålitelige gevinster i nøyaktighet, effektivitet og svarvalg under produksjonsbegrensninger.

Vi beskriver først vår totrinnstreningspipeline (SFT → on-policy RL), etterfulgt av konstruksjonen av våre RL-treningsdata, som dekker både verifiserbare søkagent-spørsmål og svar (QA) og rubrikkbasert generell Chat. Deretter presenterer vi et sammensatt belønningsdesign avledet fra dette heterogene datamiljøet, som balanserer kvalitet og effektivitet samtidig som det demper belønningshacking. Til slutt analyserer vi treningsdynamikken og benchmark-resultatene.

Totrinnstreningspipeline

Vi bruker en totrinnsoppskrift for ettertrening: (i) SFT for å etablere distribusjonskritiske atferdsmønstre som sikkerhetsrekkverk (f.eks. avståelse), instruksjonslydighet og språkkonsistens, og (ii) on-policy RL for å forbedre søkekapasiteten, inkludert svarnøyaktighet og verktøybrukseffektivitet, samtidig som atferdsmønstrene fra trinn én bevares.

Hvorfor to trinn? Det er vanskelig å samtidig optimalisere søkekvalitet og distribusjonsbegrensninger innenfor et enkelt RL-trinn uten å kompromittere minst ett mål. Empirisk sett forbedrer RL-eneste trening søkeytelsen, men har en tendens til å prestere svakt på distribusjonssikkerhetsrekkverk, mens SFT forbedrer etterlevelsen på bekostning av søkeytelsen. Å atskille målene gjør at SFT-trinnet kan løse ikke-forhandlingsbare krav først, og deretter kan RL fokusere hovedsakelig på å forbedre søkekapasiteten.

SFT-trinn

Vi initialiserer fra Qwen3-modellfamilien (Qwen3.5-122B-A10B og Qwen3.5-397B-A17B) (Yang et al., 2025, Qwen3.5-blogginnlegg) og konstruerer et SFT-blandingsdatasett med to komponenter som retter seg mot de distribusjonskritiske atferdsmønstrene beskrevet ovenfor, samtidig som basismodellens generelle søkekapasitet bevares.

Preferanseorienterte eksempler. Vi kuraterer instruksjonslydige og stilfokuserte eksempler rettet mot tone, språkkonsistens, klarhet og formatering. Disse eksemplene trenger ikke å ha en unik fasit; de velges i stedet for å gjenspeile produktets skriveskrav og sikre stilistisk konsistens på tvers av ulike spørringstyper.

Verktøybruksbaner i produksjonsformat. Empirisk ser vi at SFT uten grundig datakuratering kan redusere basismodellens søkekapasitet betraktelig. For å redusere dette sampler vi spørringer og interne oppgaver på tvers av ulike interaksjonsmønstre (enkelt-, to- og flertrinns) og annoterer dem med vårt verktøykallrammeverk.

RL-trinn

Med utgangspunkt i SFT-sjekkpunktet bruker vi on-policy RL for å forbedre søkenøyaktighet og effektivitet. Vi optimaliserer policy-modellen ved hjelp av Group Relative Policy Optimization (GRPO) (Shao et al., 2024).

hvor $G$ er størrelsen på gruppen, $o_{i}$ betegner det $i$-te samplede utdataet, og $\hat{A}_{i, t} = \hat{A}_{i}$ er fordelen. Belønningsdesignet er detaljert i seksjonen om belønningsdesign; kort sagt kombinerer vi grunnleggende korrekthet med preferansebasert og forankret effektivitetsforming. I tråd med tidligere arbeid (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a) bruker vi token-nivå Importance Sampling (IS) for å korrigere for misforholdet mellom trening og inferens:

Vi evaluerer flere tilnærminger for å dempe misforholdet mellom trening og inferens, inkludert sekvensnivå IS (Zheng et al., 2025b), routing replay (Ma et al., 2025; Zheng et al., 2025b), og bitvis konsistent trening som integrerer inferensmotorens kernel under trening (vLLM- og TorchTitan-teamene, 2025). Empirisk, under vår on-policy-innstilling, finner vi at token-nivå IS er tilstrekkelig for å forhindre treningskollaps samtidig som det forblir enkelt å implementere; dette er i tråd funnene fra Zheng et al (2025a).

RL-treningsdata

Våre RL-treningsdata består av to utfyllende komponenter: verifiserbare søkagent-QA rettet mot generell søkekapasitet, og rubrikkbasert generell Chat som eksplisitt forsterker distribusjonssikkerhetsrekkverk for å forhindre regresjon under RL-treningstrinnet.

Verifiserbare søkagentdata

Datasettskonstruksjon. I tråd med metoden for sekvensiell utvidelse (Tao et al., 2025) konstruerer vi et internt syntetisk QA-datasett fra interne startspørringer uten å stole på en kuratert kunnskapsgraf, noe som holder pipelinen lett og enkel å oppdatere. Hvert syntetiske eksempel genereres gjennom følgende trinn:

1. Utvalg av startspørringer. Vi henter inn dokumenter for startspørringer og velger enheter med faktubekreftelse fra flere kilder som utgangspunkter, og trekker ut atomære påstander om dem.
2. Flertrinnskjedekonstruksjon. Fra startenhetens utsagn velger vi ett som introduserer en andre enhet (f.eks. for startpunktet «The Mom Test» introduserer utsagn «written by Rob Fitzpatrick» forfatteren som neste enhet). Vi gjentar denne koblingsprosessen 2–4 ganger, og sørger for at hver enhet er distinkt, og at ingen enkelt utsagn røper fasiten på en enkel måte
3. Navneløs spørsmålssyntese. Vi konverterer enhetskjeden til et spørsmål ved rekursivt å erstatte enhetsnavn med tilhørende utsagn, noe som produserer et nøstet spørsmål som krever flertrinnsresonnering
4. Verifisering. Vi beholder bare spørsmål med unike svar verifisert av flere uavhengige nettklarerte løsere.

Eksempel (3-hop)

Vurder startspørringen «The Mom Test». Vi henter dokumenter og identifiserer denne boken som startenheten, trekker deretter ut atomære faktapåstander og bygger iterativt en enhetskjede: (i) The Mom Test ble skrevet av Rob Fitzpatrick, og introduserte Rob Fitzpatrick; (ii) Rob Fitzpatricks første oppstartsselskap gikk gjennom Y Combinator (sommeren 2007), og introduserte Y Combinator; (iii) Y Combinator ble lansert i mars 2005. Å rekursivt erstatte hvert enhetsnavn med sin beskrivelse gir det navneløse spørsmålet: «Hvilken bok ble skrevet av personen hvis første oppstartsselskap gikk gjennom akseleratoren lansert i mars 2005, i sommer 2007-kohorten?» med svar «The Mom Test».

Formatmangfoldsforsterkning. Modeller som kun trenes på rå syntetiske QA, har en tendens til å ignorere formateringspreferanser og falle tilbake på en fast svarstruktur, uavhengig av hvordan spørringen er formulert. For å forbedre formatmangfoldet utvider vi datasettet med spørringer som inkluderer eksplisitte formateringsinstruksjoner (f.eks. «Vis en liste over . . . » eller «Oppsummer . . . i en tabell»), samtidig som vi holder det underliggende svaret uendret.

Offentlig verifiserbar QA (baseline). Vi konstruerer et baseline verifiserbart QA-datasett fra fem datasett med åpen kildekode (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), forent under vårt utvidede ledetekstformat med kvalitetsfiltrering. Denne blandingen fungerer som den primære baselinjen i våre valideringseksperimenter. For kontrollerte sammenligninger samsvarer vi omfanget av vårt interne syntetiske QA-datasett med denne åpne kildekodeblandingen.

Rask validering. Vi validerer effektiviteten til denne pipelinen ved hjelp av Qwen3-30B-A3B-Instruct-2507 for å muliggjøre rask iterering; resultatene er oppsummert i tabell 1.

Forstørr

Rubrikkbaserte generelle Chat-data

Selv om verifiserbar QA gir et rent treningssignal for søkesentriske spørringer, er en vesentlig brøkdel av produksjonstrafikken ikke unikt verifiserbar (f.eks. omskriving, planlegging og åpen assistanse). Å utelate slike spørringer fra RL ville gjøre at policyen forble underoptimalisert for ekte brukerinteraksjoner. Siden SFT-trinnet i tillegg etablerer distribusjonskritiske sikkerhetsrekkverk, kan RL regrediere på disse med mindre de eksplisitt forsterkes av dataene.

Vi innlemmer ikke-verifiserbare spørringer i RL-trening ved å konvertere distribusjonskritiske krav – instruksjonslydighet, formateringsbegrensninger og sikkerhetskonvensjoner – til rubrikker: atomære, objektivt kontrollerbare kriterier som et svar må oppfylle. Vi tar i bruk rubrikkbasert datakonstruksjon (Gunjal et al., 2025; Liu et al., 2025b), og genererer rubrikksett per spørring.

Rubrikkgenerering. Gitt hele samtaleloggen ber vi en LLM om å produsere et et referansesvar og et tilsvarende rubrikksett. Rubrikker utledes under en fast prioriteringsrekkefølge: krav som eksplisitt er angitt av brukeren prioriteres, etterfulgt av interne begrensninger og til slutt nødvendige innholdskrav utledet fra referansesvaret. Hver rubrikk må være:

• Atomær: en enkelt, godt definert sjekk;
• Objektiv: verifiserbar uten subjektiv vurdering;
• Nødvendig: kreves for å besvare spørringen, ikke bare en stilistisk preferanse.

Eksempel

Spørring.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubrikker.

• Svaret er skrevet på engelsk.
• Den korrigerte ordlyden inneholder ordene "lodging" og "boarding".
• Den korrigerte ordlyden bruker "manpower" som et enkelt ord (for eksempel "manpower plan" eller "manpower planning") i stedet for "man power".
• Den korrigerte ordlyden inneholder ikke de uformelle forkortelsestokene "u" eller "Plz", og den inneholder ikke et-tegn-tegn ("&").
• Svaret inneholder ikke siteringsmarkører på formen \\[type:idx\\], der type betegner en datakilde (for eksempel web, chart, memory, attached_file).

Rubrikkalibrering. For å unngå altfor strenge eller altfor tillatende rubrikksett bruker vi et pass@4-filter. For hver spørring sampler vi fire uavhengige svar og evaluerer dem mot hele rubrikksettet med en instruksjonslydig dommer. Vi forkaster spørringer der ingen svar oppfyller rubrikksettet eller der alle svar gjør det, og beholder bare de som gir et informativt treningssignal.

Ledetekstblanding og variansbalansering

En praktisk utfordring ved RL med flere mål er variansubalanse på tvers av datakomponenter (Duchi og Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Selv om både verifiserbar QA og rubrikkbaserte data gir binære belønninger, er de betydelig forskjellige i oppgavevanskelighetsgrad: rubrikkoppfyllelse er generelt enklere å oppnå tidlig i treningen, noe som produserer større og hyppigere gradientoppdateringer som uforholdsmessig kan dominere policy-optimaliseringen i forhold til det vanskeligere verifiserbare QA-signalet. For å løse dette vekter vi ledetekstblandingen på nytt på datasettnivå, og sampler 90 % fra verifiserbar QA og 10 % fra rubrikkbaserte data for å balanseere optimaliseringssignalet på tvers av komponenter.

Belønningsdesign

Vårt belønningsdesign følger direkte fra datakonstruksjonen beskrevet ovenfor. Til tross for at det spenner over både verifiserbare QA- og rubrikkoppgaver, deler alle treningsdata en felles baseline-belønningsstruktur: en kjøring mottar kreditter hvis den produserer et korrekt svar for QA-oppgaver, eller oppfyller alle angitte rubrikker for generell Chat. Med utgangspunkt i dette felles fundamentet konstruerer vi en sammensatt belønning for å innlemme preferansebasert poengsum og effektivitetsforming.

En nøkkelutfordring som ble observert i tidlige eksperimenter, var belønningshacking: en enkel lineær kombinasjon av belønninger gjorde at sterke preferansesignaler kunne kompensere for faktuelle eller instruksjonsmessige feil. Vi tar derfor i bruk portet aggregering som et kjerneprinsipp for design, formelt definert som:

hvor $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ betegner QA-korrekthet eller rubrikkoppfyllelse, $s(\tau_i)\in[0,1]$ er preferansescoren, og $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ er en forankret effektivitetsstraff. Dette gjør korrekthet til en nødvendig betingelse for å motta preferansekreditter, samtidig som det motvirker unødvendig verktøybruk og ordrikdom. Figur 1 illustrerer hele belønningspipelinen, hvis komponenter vi beskriver nedenfor:

Forstørr

Baseline-belønning

Vi definerer et binært baseline-signal $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ som fanger opp oppgavekorrekthet eller instruksjonsefterlevelse. For verifiserbare søkagentdata, $r_{\mathrm{base}}(\tau_i)=1$ hvis det endelige svaret samsvarer med fasiten, og $0$ ellers. For rubrikkbaserte generelle Chat-data, $r_{\mathrm{base}}(\tau_i)=1$ hvis alle rubrikker er oppfylt, og $0$ ellers. Denne baselinjen fungerer som den harde porten i den betingede aggregeringsregelen likn. 2.

Preferansemodellering

Vi tar sikte på å tilpasse policy-modellen til brukernes latente preferanser for svarvalg – informativitet, klarhet og profesjonell tone – som er vanskelige å fange opp via LLM-dommerledetekster. Vi trener derfor en innlært preferansebelønningsmodell for å score disse attributtene direkte.

Vi formulerer preferanselæring under Bradley-Terry-rammeverket. Gitt en kontekst $x$ og to kandidatesvar $y_a, y_b$, produserer modellen skalarscorer $s_{\theta}(x, y) \in \mathbb{R}$ og minimerer,

hvor $r \in \{0, 1\}$ indikerer om $y_a$ foretrekkes. For å eliminere posisjonsbias blir hvert treningspar utvidet med begge rekkefølger og optimalisert symmetrisk,

Ved inferenstid oppnår vi en posisjonsuavhengig preferansescore ved å ta gjennomsnittet av begge permutasjoner:

Kjøringens preferansescore defineres deretter som $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$, dvs. sannsynligheten for at policy-kjøringen $y_i$ foretrekkes fremfor referansemodellens kjøring for den samme ledeteksten.

Treningsdata for preferansemodellering hentes fra kuraterte datasett med åpen kildekode, bruker-side-ved-side-tilbakemeldinger og interne annoteringer. For å håndtere støy i etiketter bruker vi en lettfiltrerings- og kalibreringstipeline inspirert av Datbench (DatologyAI, 2026), som bare beholder eksempler med konsistent enighet på tvers av modeller. Belønningsmodellen deler den samme ryggraden som policy-modellen, der språkmodelleringshodet er erstattet med et verdihode. Selv om mindre belønningsmodeller oppnår sammenlignbar hold-out-nøyaktighet, ser vi empirisk at de ikke klarer å fange opp finkornede preferanser og kan forsterke uønsket policy-atferd.

Effektivitetsstraff

I mangel av eksplisitt effektivitetsforming har policyen en tendens til å overbruke verktøy selv ved enkle ledetekster. Ubetingede straffer (f.eks. de som skalerer lineært med antall verktøykall eller utdatalengde) er en naturlig baseline, men vi finner at de undertrykker nødvendig utforskning og forringer læringen. Vi tar derfor i bruk grupperelaterte, forankrede straffer som regulariserer verktøybruk og svarlengde i forhold til effektive løsninger innenfor hver GRPO-gruppe. For en gruppe 𝑔 definerer vi vinnerhovedsettet som:

Forankret verktøykallsstraff. For hver kjøring $\tau_i$, la $c_i$ betegne antall verktøykall og $e_i$ antall verktøyutførelsesfeil. Vi definerer det effektive verktøykallantallet $\tilde{c}_i = c_i - e_i$ og sampler uniformt en gruppe-baseline:

Vi beregner overskuddet $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$, og definerer en jevn straffeskalar $p_i = 1 - \exp\!\left(-\Delta_i\right)$. Verktøystraffen blir da:

Forankret lengdestraff. La $L_i$ og $L_i^{\mathrm{ref}}$ betegne token-lengdene til henholdsvis kandidat- og referansemodellgenereringene. Vi definerer formingssettet $\widehat{W}_g$ som kjøringer som både er korrekte og foretrukket:

Vi beregner deretter gruppespesifikke lengdebaselinjer:

Lengdestraffen er definert som:

hvor den første linjen er et hardt tak; den andre straffer ordrike vinnere; og den tredje straffer knappe tapere.

Kombinert effektivitetsstraff. Den kombinerte effektivitetsstraffen er en vektet sum av begge komponentene:

Hovedresultater

Vi evaluerer ettertreningspipelinen langs to akser: (i) treningsdynamikk, for å vurdere optimaliseringsstabilitet og om belønningssignalene oppfører seg som forventet, og (ii) frakoblede benchmark-tester, for å måle nedstrømskvalitet, sikkerhet og effektivitet under kontrollerte evalueringsinnstillinger.

Standard treningsinnstillinger. Policy-modellen samhandler med et nettsøkeverktøy (search_web); hvert verktøykall henter opptil 10 resultater, med spørringer begrenset til 250 tegn og opptil 5 spørringer per kjøring.

Treningsdynamikk

Vi undersøker optimaliseringsdynamikken, med fokus på belønningsprogresjon og effektivitetsadferd. Vi bruker Qwen3.5-397B-A11B for enkel illustrasjon.

Forstørr

Figur 2 viser jevn forbedring i baseline-belønningen (verifiserbar QA og rubrikkoppfyllelse) sammen med økende preferanseskorer, noe som indikerer konsistente gevinster i korrekthet, etterlevelse og svarvalg.

Forstørr

Figur 3 viser at både verktøykallsfrekvens og genereringslengde forblir godt kontrollert gjennom hele treningen. Spesielt minker både verktøykalls- og lengdestraffene monotont i løpet av treningsforløpet, noe som gjenspeiler modellens progresjon mot mer konsis generering og mer selektiv verktøypåkalling.

Forstørr

Figur 4 viser at gradientnormer forblir stabile bortsett fra forbigående topper, mens KL-divergensen mellom trening og inferens viser en mild oppadgående trend, og holder seg innenfor 1e-3-skalaen. Dette avviksmønsteret er i tråd med observasjoner i andre RL-treningsrammeverk; ettersom treningen forblir stabil hele veien, beholder vi en enkel IS-regularisering i likn. 1 uten ytterligere tiltak.

Frakoblede evalueringer

Vi rapporterer resultater på en rekke benchmark-tester som spenner over søkenøyaktighet, faktuell pålitelighet, instruksjonslydighet og sikkerhet, og som omfatter både offentlige benchmark-tester og interne Perplexity (PPLX)-metrikker. Offentlige benchmark-tester inkluderer SimpleQA, FRAMES og Facts Open.

• pplx-sbs-search: Side-ved-side-preferanseevaluering ved bruk av en intern belønningsmodell. Kandidater sammenlignes med en sterk baseline.
• pplx-abstention: Evne til å avstå på en hensiktsmessig måte når ingen pålitelig dokumentasjon er tilgjengelig.
• pplx-language-mismatch: Språkkonsistens under langhale- og flertrinnsinnstillinger.
• pplx-broken-tool-calls (↓): Overholdelse av verktøykallskjema og begrensninger, for eksempel tool_choice=none.

Standard evalueringsinnstillinger. For offentlige benchmark-tester tillater vi bare nettsøkeverktøyet, med et budsjett på opptil 5 verktøykall per eksempel og opptil 10 resultater per kall, og genererer opptil 8192 utdatatokener ved temperatur 0,6.

Forstørr

Tabell 2 viser at Qwen3.5-Large-SFT-RL oppnår sterk søkenøyaktighet på tvers av offentlige benchmark-tester, og matcher eller overgår gpt-5.4 på FRAMES og Facts Open samtidig som den bruker sammenlignbare verktøybudsjetter. I forhold til basismodellen gir vår tilnærming betydelige gevinster på interne metrikker, spesielt på preferanse (pplx-sbs-search: 0,602 → 0,742), språkkonsistens og avståelse, noe som viser at totrinnspipelinen effektivt forbedrer distribusjonskritiske atferdsmønstre uten å kompromittere søkekapasiteten.

Evalueringer av verktøybrukseffektivitet

For å måle dette designer vi en evalueringsprotokoll med budsjettbegrensning, budget-forced. Hver modell får tilgang til et nettbasert søkeverktøy (search_web) og en systemprompt som angir en hard grense for antallet tillatte verktøykall («budsjettet»). Vi varierer dette budsjettet fra 0 (ingen bruk av verktøy, ren parametrisk kunnskap) til 10 (sjenerøs flertrinnshenting), og registrerer nøyaktigheten på hvert nivå. Dette gir en verktøyeffektivitetskurve: modellens poengsum som en funksjon av hentebudsjettet den har tillatelse til. Vi evaluerer på to faktiske QA-benchmarks, FRAMES og Facts Open.

Forstørr

Flere mønstre peker seg ut fra disse to benchmark-testene:

• Vår ettertrente Qwen3.5-397B-SFT-RL oppnår den beste søkenøyaktigheten på begge benchmark-testene. Selv med et enkelt verktøykall oppnår den 57,3 % på FRAMES, 5,7 poeng over GPT-5.4 og 4,7 poeng over Sonnet 4.6.
  • Fordelen er mest uttalt ved moderate budsjetter (b=2–7), som er det praktiske driftsområdet for produksjonsdistribusjoner.
• Vår ettertreningsoppskrift (SFT + RL) forbedrer verktøybrukseffektiviteten betraktelig i forhold til basesjekkpunktet; se heltrukne linjer (ettertrent) vs. stiplede linjer (startende sjekkpunkt) i figur 5.
• For alle modeller observerer vi avtakende avkastning rundt budsjett=7, konsistent på tvers av to benchmark-tester og alle modeller, noe som tyder på at det er en egenskap ved de faktum-søkende oppgavene snarere enn modellene.

Resultatene ovenfor viser at Qwen3.5-397B-SFT-RL oppnår høyere nøyaktighet med færre verktøykall. Men hvordan omsettes dette til faktisk kostnad? Vi konverterer token-nivåmålinger til dollarkostnader ved hjelp av publiserte API-priser (Alibaba DashScope, OpenAI, Anthropic) for å gjøre sammenligningen konkret.

Forstørr

Med medium-profilen (b=4) oppnår Qwen3.5-397B-SFT-RL 73,9 % på FRAMES til 2,0 cent per spørring, mens GPT-5.4 oppnår 67,8 % til 8,5 cent og Sonnet 4.6 oppnår 62,4 % til 15,3 cent. Det er +6 poengs nøyaktighet til 4x lavere kostnad sammenlignet med GPT-5.4, og +11,5 poeng til 7,5x lavere kostnad sammenlignet med Sonnet 4.6.

Disse anslagene bruker listepriser for API uten caching. Med interne inferensoptimaliseringer som gjenbruk av KV-cache, prefiks-caching og kvantisert MoE-betjening (397B bruker bare 17B aktive parametere), kan den effektive kostnaden reduseres et godt stykke under listeprisene for API.

Konklusjon

Å atskille distribusjonsefterlevelse fra søkeoptimalisering via en totrinns SFT- og RL-pipeline gir en modell som både er kapabel og pålitelig under produksjonsbegrensninger. Kombinasjonen av verifiserbar QA- og rubrikkbasert treningsdata, sammen med portet belønningsaggregering og forankret effektivitetsforming, muliggjør stabil optimalisering med flere mål uten å offere søkenøyaktighet eller etterlevelse av sikkerhetsrekkverk.

Flere retninger fortjener videre undersøkelse. Som observert i figur 4 viser KL-divergensen mellom trening og inferens en vedvarende oppadgående drift ved lengre treningstrinn. Selv om IS-korrigering på token-nivå er tilstrekkelig under vår nåværende innstilling, er det uklart om dette fortsatt vil være sant i større skala; en mer prinsipielt fundert teoretisk behandling av dette misforholdet — som omfatter avvik på infrastruktur-nivå og arkitekturspesifikke faktorer som MoE-routing — sammen med kvantitative empiriske sammenligninger av avbøtende strategier, forblir et viktig åpent spørsmål. For RL med flere mål spesifikt inkluderer lovende veier sekvensiell trening (Zeng et al., 2026) med on-policy-destillasjon for å optimalisere mål i etapper samtidig som katastrofal glemsel begrenses; og modellfletting (Fu et al., 2025; Yang et al., 2026) for å frikoble oppgavespesifikk optimalisering fra kapasitetsaggregasjon. Til slutt er skalering til realistiske arbeidsflyter med flere verktøy og langhorisonttrajektorier fortsatt en viktig åpen utfordring, som sannsynligvis vil kreve bedre kredittildeling, støtte for delvise rollouts og evalueringer.

Referanser

DatologyAI. Datbench: Diskriminerende, trofast og effektiv evaluering av synsspråksmodeller. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, jan. 2026. Publisert 6. jan. 2026. Lest: 2026-03-04.

J. Duchi og H. Namkoong. Variansbasert regularisering med konvekse mål. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng og X. Zhao. Treningsfri LLM-fletting for flerlagsoppgavelæring. I Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), sider 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu og S. Hendryx. Rubrikker som belønninger: Forsterkende læring utover verifiserbare domener. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu og Y. Shen. Når hastighet dreper stabilitet: Avmystifisering av RL-kollaps fra treff-inferens-misforholdet. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao og H. Wang. Openrubrics: Mot skalerbar syntetisk rubrikkgenerering for belønningsmodellering og LLM-tilpasning. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang og Y. Dong. Deepdive: Avanserte dype søkagenter med kunnskapsgrafer og flertrinns RL. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui og F. Luo. Stabilisering av MoE-forsterkende læring ved å tilpasse trenings- og inferensroutere. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng og T. Vu. Sealqa: Heving av listen for resonnering i søkeutvidede språkmodeller. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith og M. Lewis. Måling og innsnevring av komposisjonalitetsgapet i språkmodeller. I Findings of the Association for Computational Linguistics: EMNLP 2023, sider 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin og W. S. Lee. Gjenopptenking av tillitsregionen i LLM-forsterkende læring. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu et al. Deepseekmath: Flytting av grensene for matematisk resonnering i åpne språkmodeller. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang et al. Webshaper: Agenteffektiv datasyntese via informasjonssøkende formalisering. arXiv preprint arXiv:2507.15061, 2025.

vLLM- og TorchTitan-teamene. Ikke mer trenings-inferens-misforhold: Bitvis konsistent on-policy forsterkende læring med vLLM og TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov. 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie og F. Huang. Webwalker: Benchmarking av LLMer i nettnavigasjon, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv et al. Qwen3 teknisk rapport. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang og D. Tao. Modellfletting i LLMer, MLLMer og utover: Metoder, teorier, applikasjoner og muligheter. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang og J. Gao. Ditt effektive RL-rammeverk gir deg i hemmelighet off-policy RL-trening, aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang et al. Glm-5: fra vibe-koding til agentisk ingeniørkunst. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu et al. Stabilisering av forsterkende læring med LLMer: Formulering og praksis. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

Sitat

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}