Unaprjeđenje jezičnih modela obogaćenih pretraživanjem

Treniranje naprednih web agenata za pretraživanje zahtijeva zajedničku optimizaciju više ciljeva: činjenične točnosti, učinkovitosti putanje i usklađenosti s korisničkim željama. Ipak, poboljšanje bilo koje pojedinačne dimenzije izolovano često pogoršava druge: modeli trenirani isključivo za točnost skloni su prekomjernom korištenju alata, dok modeli optimizirani za sažetost mogu žrtvovati pouzdanost ili potpunost. U Perplexityju nijedan ishod nije prihvatljiv.

Ovaj članak opisuje Perplexityjev cjevovod nakon treniranja za razvoj vrhunskih web agenata za pretraživanje temeljenih na open-source modelima. Ključna ideja je da se u treniranju agenata za pretraživanje kuriranje podataka i dizajn nagrada moraju zajednički dizajnirati: podaci određuju koja su ponašanja prom树ljiva i provjerljiva, a nagrada određuje kako se ti signali prevode u signal optimizacije. Ovo načelo potiče naš cjevovod u dvije faze: prvo provodimo zagrijavanje nadziranog finog podešavanja (SFT) kako bismo inicijalizirali model politike, a zatim ga preciziramo pomoću učenja s potkrepljenjem (RL) nad kuriranim skupom podataka i pomno dizajniranim nagradama. Ovaj dvofazni pristup omogućuje pouzdane dobitke u točnosti, učinkovitosti i kvaliteti odgovora unutar proizvodnih ograničenja.

Prvo opisujemo naš dvofazni cjevovod treniranja (SFT → on-policy RL), nakon čega slijedi izgradnja naših RL podataka za treniranje, koja obuhvaća QA za provjerljive agente za pretraživanje i opći Chat temeljen na rubrikama. Zatim predstavljamo složeni dizajn nagrada izveden iz ove heterogene postavke podataka, balansirajući kvalitetu i učinkovitost uz ublažavanje hakiranja nagrada. Na kraju analiziramo dinamiku treniranja i rezultate u benchmark testovima.

Usvajamo recept za post-treniranje u dvije faze: (i) SFT za uspostavljanje ponašanja kritičnih za primjenu, kao što su zaštitne mjere (npr. suzdržavanje), slijeđenje uputa i dosljednost jezika, i (ii) on-policy RL za poboljšanje sposobnosti pretraživanja, uključujući točnost odgovora i učinkovitost korištenja alata, uz očuvanje ponašanja iz prve faze.

Zašto dvije faze? Zajednička optimizacija kvalitete pretraživanja i ograničenja primjene unutar jedne RL faze teška je bez narušavanja barem jednog cilja. Empirički, treniranje samo s RL-om poboljšava performanse pretraživanja, ali obično daje slabije rezultate u zaštitnim mjerama primjene, dok SFT poboljšava usklađenost po cijenu performansi pretraživanja. Razdvajanje ciljeva omogućuje SFT fazi da prvo riješi zahtjeve o kojima se ne pregovara, nakon čega se RL može usredotočiti uglavnom na poboljšanje sposobnosti pretraživanja.

Inicijaliziramo iz obitelji modela Qwen3 (Qwen3.5-122B-A10B i Qwen3.5-397B-A17B) (Yang i sur., 2025., objava na blogu za Qwen3.5) i konstruiramo SFT mješoviti skup podataka s dvije komponente usmjeren na gore opisana ponašanja kritična za primjenu, uz očuvanje opće sposobnosti pretraživanja osnovnog modela.

Primjeri usmjereni na preferencije. Kuriramo primjere usmjerene na slijeđenje uputa i stil, ciljajući ton, dosljednost jezika, jasnoću i formatiranje. Ti primjeri ne moraju imati jedinstvenu temeljnu istinu; umjesto toga, odabrani su tako da odražavaju zahtjeve pisanja proizvoda i osiguraju stilsku dosljednost u različitim vrstama upita.

Putanje korištenja alata u formatu za produkciju. Empirički otkrivamo da SFT bez pomnog kuriranja skupa podataka može značajno narušiti sposobnost pretraživanja osnovnog modela. Kako bismo to ublažili, uzorkujemo upite i interne zadatke kroz različite obrasce interakcije (jednosmjerne, dvosmjerne i višekratne) i označavamo ih pomoću našeg okvira za pozivanje alata.

Polazeći od SFT točke provjere, primjenjujemo on-policy RL za poboljšanje točnosti i učinkovitosti pretraživanja. Optimiziramo model politike pomoću optimizacije politike relativne grupi (GRPO) (Shao i sur., 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

gdje je $G$ veličina grupe, $o_{i}$ označava $i$ -ti uzorkovani izlaz, a $\hat{A}_{i, t} = \hat{A}_{i}$ je prednost. Dizajn nagrada detaljno je opisan u odjeljku o dizajnu nagrada; ukratko, kombiniramo osnovnu točnost s oblikovanjem učinkovitosti temeljenom na preferencijama i sidrenim oblikovanjem. Prateći prethodni rad (Liu i sur., 2025a; Yao i sur., 2025; Zheng i sur., 2025a), primjenjujemo važnosno uzorkovanje (IS) na razini tokena kako bismo ispravili neusklađenost između treniranja i zaključivanja:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Procjenjujemo nekoliko pristupa za ublažavanje neusklađenosti između treniranja i zaključivanja, uključujući IS na razini sekvence (Zheng i sur., 2025b), usmjeravanje ponavljanja (Ma i sur., 2025; Zheng i sur., 2025b) i bitovno dosljedno treniranje koje integrira kernel stroja za zaključivanje tijekom treniranja (vLLM i timovi TorchTitan, 2025). Empirički, pod našom on-policy postavkom, utvrđujemo da je IS na razini tokena dovoljan za sprječavanje urušavanja treniranja uz zadržavanje jednostavnosti implementacije; to je u skladu s nalazima iz Zheng i sur. (2025a).

Naši RL podaci za treniranje sastojat se od dviju komplementarnih komponenti: QA-a provjerljivih agenata za pretraživanje usmjerenog na opću sposobnost pretraživanja i općeg Chat-a temeljenog na rubrikama koji eksplicitno pojačava zaštitne mjere primjene kako bi se spriječila regresija tijekom faze RL treniranja.

Izgradnja skupa podataka. Slijedeći metodu sekvencijalnog proširenja (Tao i sur., 2025), konstruiramo vlastiti sintetički QA skup podataka iz internih početnih upita bez oslanjanja na kurirani graf znanja, održavajući cjevovod laganim i jednostavnim za osvježavanje. Svaki sintetički primjer generira se kroz sljedeće korake:

Odabir početnih upita (seed). Dohvaćamo dokumente za početne upite i odabiremo entitete s potvrdom činjenica iz više izvora kao polazne točke, izdvajajući atomske izjave o njima.
Izgradnja lanca s više skokova. Iz izjava početnog entiteta odabiremo onu koja uvodi drugi entitet (npr. za početni entitet „The Mom Test”, izjava „napisao Rob Fitzpatrick” uvodi autora kao sljedeći entitet). Ponavljamo ovaj proces povezivanja 2–4 puta, osigurajući da je svaki entitet zaseban i da nijedna pojedinačna izjava trivijalno ne otkriva konačni odgovor
Sinteza pitanja bez imena. Pretvaramo lanac entiteta u pitanje rekurzivnom zamjenom imena entiteta njihovim povezujućim izjavama, stvarajući ugniježđeno pitanje koje zahtijeva zaključivanje u više skokova
Provjera. Zadržavamo samo pitanja s jedinstvenim odgovorima potvrđenim od strane višestrukih neovisnih rješavača koji podržavaju web.

Razmotrimo početni upit „The Mom Test”. Dohvaćamo dokumente i prepoznajemo ovu knjigu kao početni entitet, zatim izdvajamo atomske činjenične izjave i iterativno gradimo lanac entiteta: (i) The Mom Test napisao je Rob Fitzpatrick, čime se uvodi Rob Fitzpatrick; (ii) prvi startup Roba Fitzpatricka prošao je kroz Y Combinator (ljeto 2007.), čime se uvodi Y Combinator; (iii) Y Combinator je pokrenut u ožujku 2005. Rekurzivna zamjena imena svakog entiteta njegovim opisnikom daje pitanje bez imena: „Koja je knjiga napisana od strane osobe čiji je prvi startup prošao kroz akcelerator pokrenut u ožujku 2005., u njegovoj kohorti za ljeto 2007.?” s odgovorom „The Mom Test”.

Povećanje raznolikosti formata. Modeli trenirani isključivo na sirovim sintetičkim QA podacima skloni su ignoriranju preferencija formatiranja i zadavanju fiksne strukture odgovora, bez obzira na to kako je upit formuliran. Kako bismo poboljšali raznolikost formata, obogaćujemo skup podataka upitima koji uključuju eksplicitne upute za formatiranje (npr. „Prikaži popis . . . ” ili „Sažmi . . . u tablicu”), uz ostavljanje temeljnog odgovora nepromijenjenim.

Javni provjerljivi QA (osnovna linija). Konstruiramo osnovnu liniju skupa provjerljivih QA podataka iz pet open-source skupova podataka (Lu i sur., 2025; Pham i sur., 2025; Press i sur., 2023; Tao i sur., 2025; Wu i sur., 2025), ujedinjenih pod našim obogaćenim formatom upita s filtriranjem kvalitete. Ova mješavina služi kao primarna osnovna linija u našim eksperimentima provjere valjanosti. Za kontrolirane usporedbe, usklađujemo razmjer našeg vlastitog sintetičkog QA skupa podataka s ovom open-source mješavinom.

Brza provjera valjanosti. Validiramo učinkovitost ovog cjevovoda koristeći Qwen3-30B-A3B-Instruct-2507 kako bismo omogućili brzu iteraciju; rezultati su sažeti u Tablici 1.

Validacija sintetičkog skupa provjerljivih QA podataka

Iako provjerljivi QA pruža jasan signal za treniranje upita usmjerenih na pretraživanje, značajan dio produkcijskog prometa nije jedinstveno provjerljiv (npr. prepisivanje, planiranje i otvorena pomoć). Isključivanje takvih upita iz RL-a ostavilo bi politiku nedovoljno optimiziranom za stvarne korisničke interakcije. Štoviše, iako SFT faza uspostavlja zaštitne mjere kritične za primjenu, RL može nazadovati na njima osim ako ih podaci izričito ne pojačaju.

Uključujemo neprovjerljive upite u RL treniranje pretvaranjem zahtjeva kritičnih za primjenu – slijeđenja uputa, ograničenja formatiranja i sigurnosnih konvencija – u rubrike: atomske, objektivno provjerljive kriterije koje odgovor mora zadovoljiti. Usvajamo izgradnju podataka temeljenu na rubrikama (Gunjal i sur., 2025; Liu i sur., 2025b), generirajući skupove rubrika po upitu.

Generiranje rubrika. S obzirom na cijelu povijest razgovora, potičemo LLM da generira referentni odgovor i odgovarajući skup rubrika. Rubrike se izvode pod fiksnim redoslijedom prvenstva: zahtjevi koje je korisnik izričito naveo imaju prioritet, slijede ih interni uvjeti i na kraju nužni zahtjevi sadržaja izvedeni iz referentnog odgovora. Svaka rubrika mora biti:

Atomska: pojedinačna, dobro definirana provjera;
Objektivna: provjerljiva bez subjektivne procjene;
Nužna: potrebna za odgovor na upit, a ne samo stilska preferencija.

Upit.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubrike.

Odgovor je napisan na engleskom jeziku.
Ispravljena formulacija sadrži riječi "lodging" i "boarding".
Ispravljena formulacija koristi "manpower" kao jednu riječ (na primjer, "manpower plan" ili "manpower planning"), a ne "man power".
Ispravljena formulacija ne sadrži neformalne kratice "u" ili "Plz" i ne sadrži znak ampersanda "&".
Odgovor ne sadrži oznake citiranja u obliku \\[type:idx\\], gdje type označava izvor podataka (na primjer, web, chart, memory, attached_file).

Kalibracija rubrika. Kako bismo izbjegli pretjerano stroge ili pretjerano dopuštajuće skupove rubrika, primjenjujemo pass@4 filter. Za svaki upit uzorkujemo četiri neovisna odgovora i ocjenjujemo ih u odnosu na cijeli skup rubrika sa sucem za slijeđenje uputa. Odbacujemo upite za koje nijedan odgovor ne zadovoljava skup rubrika ili ih zadovoljavaju svi, zadržavajući samo one koji daju informativni signal za treniranje.

Praktični izazov u RL-u s više ciljeva je neravnoteža varijance među komponentama podataka (Duchi i Namkoong, 2016; Liu i sur., 2026; Qi i sur., 2026). Iako i provjerljivi QA i podaci temeljeni na rubrikama daju binarne nagrade, oni se značajno razlikuju u težini zadatka: zadovoljenje rubrika općenito je lakše postići na početku treniranja, stvarajući veća i češća ažuriranja gradijenta koja mogu nerazmjerno dominirati optimizacijom politike u odnosu na teži signal provjerljivog QA-a. Kako bismo to riješili, ponovno težinski usklađujemo mješavinu upita na razini skupa podataka, uzorkujući 90% iz provjerljivog QA-a i 10% iz podataka temeljenih na rubrikama kako bismo uravnotežili signal optimizacije među komponentama.

Naš dizajn nagrada izravno proizlazi iz gore opisane izgradnje podataka. Unatoč obuhvaćanju i provjerljivog QA-a i zadataka s rubrikama, svi podaci za treniranje dijele zajedničku osnovnu strukturu nagrada: isporuka (rollout) prima kredite ako proizvede točan odgovor za QA zadatke ili zadovolji sve navedene rubrike za opći chat. Gradeći na ovoj zajedničkoj osnovi, konstruiramo složenu nagradu koja uključuje bodovanje temeljeno na preferencijama i oblikovanje učinkovitosti.

Ključni izazov uočen u ranim eksperimentima bilo je hakiranje nagrada: jednostavna linearna kombinacija nagrada omogućila je snažnim signalima preferencija da nadoknade činjenične ili obrazovne pogreške. Stoga usvajamo usklađeno filtriranje (gated aggregation) kao temeljno načelo dizajna, formalno definirano kao:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

gdje $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ označava točnost QA-a ili zadovoljenje rubrika, $s(\tau_i)\in[0,1]$ je rezultat preferencije, a $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ je sidrena kazna učinkovitosti. To čini točnost nužnim uvjetom za primanje kredita za preferenciju, istovremeno odvraćajući od nepotrebne upotrebe alata i opširnosti. Slika 1 ilustrira cjeloviti cjevovod nagrada, čije komponente opisujemo u nastavku:

Pregled dizajna nagrada. Kombiniramo osnovni signal točnosti (provjerljiv/rubrika), Bradley-Terryjev rezultat preferencije i sidrene kazne učinkovitosti. Preferencija je filtrirana osnovnom točnošću kako bi se spriječilo hakiranje nagrada.

Definiramo binarni osnovni signal $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ koji bilježi točnost zadatka ili usklađenost s uputama. Za podatke provjerljivih agenata za pretraživanje, $r_{\mathrm{base}}(\tau_i)=1$ ako konačni odgovor odgovara temeljenoj istini, a $0$ inače. Za podatke općeg chata temeljene na rubrikama, $r_{\mathrm{base}}(\tau_i)=1$ ako su zadovoljene sve rubrike, a $0$ inače. Ova osnovna linija služi kao čvrsta prepreka u pravilu uvjetne agregacije (Jedn. 2).

Cilj nam je uskladiti model politike s latentnim preferencijama korisnika u pogledu kvalitete odgovora – informativnosti, jasnoće i profesionalnog tona – koje je teško uhvatiti putem promptova LLM-succa. Stoga treniramo naučeni model nagrađivanja preferencija za izravno bodovanje ovih atributa.

Formuliramo učenje preferenci u okviru Bradley-Terryjevog okvira. S obzirom na kontekst $x$ i dva kandidata za odgovor $y_a, y_b$ , model daje skalarne rezultate $s_{\theta}(x, y) \in \mathbb{R}$ i minimalizira,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

gdje $r \in \{0, 1\}$ označava je li $y_a$ preferirano. Kako bi se uklonila pozicijska pristranost, svaki par za treniranje obogaćen je s oba redoslijeda i simetrično optimiziran,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

U vrijeme zaključivanja dobivamo rezultat preferencije neovisan o položaju utvrđivanjem prosjeka obiju permutacija:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Rezultat preferencije isporuke tada se definira kao $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ , tj. vjerojatnost da je isporuka politike $y_i$ preferirana u odnosu na isporuku referentnog modela za isti prompt.

Podaci za treniranje za modeliranje preferenci preuzeti su iz kuriranih open-source skupova podataka, korisničkih povratnih informacija licem u lice i internih anotacija. Kako bismo se pozabavili šumom oznaka, primjenjujemo lagani cjevovod filtriranja i kalibracije inspiriran s Datbench (DatologyAI, 2026), zadržavajući samo primjere s dosljednim međumodelnim slaganjem. Model nagrađivanja dijeli istu okosnicu kao i model politike, s glavu modeliranja jezika zamijenjenom glavu vrijednosti. Iako manji modeli nagrađivanja postižu usporedivu točnost na izdvojenim podacima, empirički nalazimo da ne uspijevaju uhvatiti fine preferencije i mogu pojačati nepoželjna ponašanja politike.

U nedostatku eksplicitnog oblikovanja učinkovitosti, politika je sklona prekomjernom korištenju alata čak i na jednostavnim upitima. Bezuvjetne kazne (npr. one koje se skaliraju linearno s brojem poziva alata ili duljinom izlaza) prirodna su osnovna linija, ali utvrđujemo da potiskuju nužno istraživanje i narušavaju učenje. Stoga usvajamo grupno relativne, sidrene kazne koje reguliraju upotrebu alata i duljinu odgovora u odnosu na učinkovita rješenja unutar svake GRPO grupe. Za grupu 𝑔, definiramo skup pobjednika kao:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Sidrena kazna za pozivanje alata. Za svaku isporuku $\tau_i$ , neka $c_i$ označava broj poziva alata, a $e_i$ broj neuspjeha izvršavanja alata. Definiramo učinkovit broj poziva alata $\tilde{c}_i = c_i - e_i$ i ravnomjerno uzorkujemo osnovnu liniju grupe:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Izračunavamo višak $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ i definiramo glatki skalarni koeficijent kazne $p_i = 1 - \exp\!\left(-\Delta_i\right)$ . Kazna za alat tada je:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Sidrena kazna za duljinu. Neka $L_i$ i $L_i^{\mathrm{ref}}$ označavaju duljine tokena generiranja kandidata i referentnog modela, redom. Definiramo skup oblikovanja $\widehat{W}_g$ kao isporuke koje su i točne i preferirane:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Zatim izračunavamo osnovne linije duljine specifične za grupu:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Kazna za duljinu definira se kao:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

gdje je prvi redak strogo ograničenje; drugi kažnjava opširne pobjednike; a treći kažnjava škrte gubitnike.

Kombinirana kazna učinkovitosti. Kombinirana kazna učinkovitosti je ponderirani zbroj obje komponente:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Procjenjujemo naš cjevovod nakon treniranja duž dviju osi: (i) dinamika treniranja, radi procjene stabilnosti optimizacije i ponašaju li se signali nagrada očekivano, i (ii) izvanmrežne referentne vrijednosti (benchmarki), radi mjerenja naknadne kvalitete, sigurnosti i učinkovitosti pod kontroliranim postavkama procjene.

Zadane postavke treniranja. Model politike stupa u interakciju s alatom za pretraživanje weba (search_web); svaki poziv alata dohvaća do 10 rezultata, s upitima ograničenim na najviše 250 znakova i do 5 upita po isporuci.

Ispitujemo dinamiku optimizacije, usredotočujući se na napredovanje nagrada i ponašanje učinkovitosti. Koristimo Qwen3.5-397B-A11B radi jednostavnosti ilustracije.

Evolucija osnovnih signala i signala preferencija tijekom treniranja.

Slika 2 pokazuje stabilno poboljšanje osnovne nagrade (provjerljivi QA i zadovoljenje rubrika) uz povećanje rezultata preferencija, što ukazuje na dosljedna poboljšanja u točnosti, usklađenosti i kvaliteti odgovora.

Ponašanje učinkovitosti i sidrene kazne oblikovanja tijekom treniranja.

Slika 3 pokazuje da i učestalost poziva alata i duljina generiranja ostaju dobro kontrolirane tijekom cijelog treniranja. Valja istaknuti da i kazne za poziv alata i za duljinu opadaju monotonim tonom tijekom tijeka treniranja, odražavajući progresivnu prilagodbu modela prema sažetijem generiranju i selektivnijem pozivanju alata.

Slika 4 pokazuje da norme gradijenta ostaju stabilne osim prolaznih skokova, dok Kullback-Leiblerova divergencija (KL) između treniranja i zaključivanja pokazuje blagi uzlazni trend, ostajući unutar ljestvice 1e-3. Ovaj uzorak pomaka u skladu je s opažanjima u drugim okviri za treniranje RL-a; budući da treniranje ostaje stabilno tijekom cijelog procesa, zadržavamo jednostavnu IS regularizaciju u Jedn. 1 bez dodatne intervencije.

Izvješćujemo o rezultatima na skupu benchmark testova koji obuhvaćaju točnost pretraživanja, činjeničnu pouzdanost, slijeđenje uputa i sigurnost, a koji se sastoje od javnih benchmark testova i internih metrika za Perplexity (PPLX). Javni benchmark testovi uključuju SimpleQA, FRAMES i Facts Open.

pplx-sbs-search: Procjena preferencija metodom licem u licem (side-by-side) korištenjem internog modela nagrađivanja. Kandidati se uspoređuju s jakim referentnim modelom.
pplx-abstention: Sposobnost prikladnog odbijanja kada nema pouzdanih dokaza.
pplx-language-mismatch: Dosljednost jezika u postavkama s dugim repom i višekratnim izmjenama.
pplx-broken-tool-calls (↓): Usklađenost sa shemom poziva alata i slijeđenje ograničenja, na primjer, tool_choice=none.

Zadane postavke procjene. Za javne benchmark testove dopuštamo samo alat za pretraživanje weba, s proračunom do 5 poziva alata po primjeru i do 10 rezultata po pozivu, generirajući do 8192 izlaznih tokena pri temperaturi 0,6.

Rezultati izvanmrežne procjene. Brojevi u zagradama označavaju prosječnu upotrebu alata. Bilježimo Qwen3.5-397B-A17B kao Qwen3.5-Large, a Qwen3.5-122B-A10B kao Qwen3.5-Medium.

Tablica 2 pokazuje da Qwen3.5-Large-SFT-RL postiže visoku točnost pretraživanja na javnim benchmark testovima, izjednačujući se ili nadmašujući gpt-5.4 na FRAMES i Facts Open dok koristi usporedive proračune alata. U odnosu na osnovni model, naš pristup donosi značajne dobitke na internim metrikama, posebno u pogledu preferencija (pplx-sbs-search: 0,602 → 0,742), jezične dosljednosti i suzdržavanja, čime se dokazuje da dvofazni cjevovod učinkovito poboljšava ponašanja kritična za primjenu bez narušavanja sposobnosti pretraživanja.

Kako bismo to izmjerili, dizajniramo protokol procjene s prisilnim proračunom. Svaki model dobiva pristup alatu za pretraživanje weba (search_web) i sistemskom promptu koji određuje strogo ograničenje broja dopuštenih poziva alata ("proračun"). Prolazimo kroz ovaj proračun od 0 (bez korištenja alata, čisto parametarsko znanje) do 10 (izdašno dohvaćanje u više koraka), bilježeći točnost na svakoj razini. To proizvodi krivulju učinkovitosti alata: rezultat modela kao funkciju proračuna dohvaćanja koji mu je dopušten. Vršimo procjenu na dva činjenična QA benchmark testa, FRAMES i Facts Open.

Točnost benchmark testa u odnosu na Max broj poziva alata.

Nekoliko se obrazaca ističe iz ova dva benchmark testa:

Naš naknadno trenirani Qwen3.5-397B-SFT-RL postiže najbolju točnost pretraživanja na oba benchmark testa. Čak i s jednim pozivom alata, ostvaruje rezultat od 57,3% na FRAMES-u, 5,7 bodova iznad GPT-5.4 i 4,7 bodova iznad Sonnet 4.6.
- Prednost je najizraženija kod umjerenih proračuna (b=2-7), što je praktični radni raspon za produkcijske primjene.
Naš recept za post-treniranje (SFT + RL) značajno poboljšava učinkovitost korištenja alata u odnosu na osnovnu točku provjere; pogledajte pune linije (naknadno trenirane) naspram isprekidanih linija (polazna točka provjere) na slici 5.
Za sve modele primjećujemo opadajuće povrate oko proračuna=7, dosljedno kroz dva benchmark testa i sve modele, što sugerira da je to svojstvo zadataka traženja činjenica, a ne modela.

Gornji rezultati pokazuju da Qwen3.5-397B-SFT-RL postiže veću točnost uz manje poziva alata. No, kako se to prevodi u stvarne troškove? Pretvaramo mjerenja razine tokena u troškove u dolarima koristeći objavljene cijene API-ja (Alibaba DashScope, OpenAI, Anthropic) kako bismo usporedbu učinili konkretnom.

Pri srednjem profilu (b=4), Qwen3.5-397B-SFT-RL postiže 73,9% na FRAMES-u uz cijenu od 2,0 centa po upitu, dok GPT-5.4 postiže 67,8% uz 8,5 centi, a Sonnet 4.6 postiže 62,4% uz 15,3 centa. To je +6 bodova točnosti uz 4 puta niži trošak u usporedbi s GPT-5.4, i +11,5 bodova uz 7,5 puta niži trošak u usporedbi s Sonnet 4.6.

Ove procjene koriste cjenik API-ja bez predmemoriranja. S internim optimizacijama zaključivanja kao što su ponovna upotreba KV predmemorije, predmemoriranje prefiksa i posluživanje kvantiziranog MoE-a (397B koristi samo 17B aktivnih parametara), stvarni trošak može se smanjiti znatno ispod kataloških cijena API-ja.

Razdvajanje usklađenosti primjene od optimizacije pretraživanja putem dvofaznog SFT i RL cjevovoda daje model koji je i sposoban i pouzdan pod produkcijskim ograničenjima. Kombinacija provjerljivog QA-a i podataka za treniranje temeljenih na rubrikama, zajedno s agregacijom nagrada s filtriranjem i sidrenim oblikovanjem učinkovitosti, omogućuje stabilnu optimizaciju s više ciljeva bez žrtvovanja točnosti pretraživanja ili usklađenosti sa zaštitnim mjerama.

Nekoliko smjerova zaslužuje daljnje istraživanje. Kao što je primjećeno na slici 4, Kullback-Leiblerova divergencija (KL) između treniranja i zaključivanja pokazuje uporan uzlazni pomak u proširenim koracima treniranja. Iako se ispravak IS-a na razini tokena pokazao dovoljnim u našoj trenutnoj postavkama, ostaje nejasno hoće li to vrijediti i pri većim razmjerima; teoretski tretman ove neusklađenosti utemeljen na načelima – koji obuhvaća nesrazmjere na razini infrastrukture i čimbenike specifične za arhitekturu kao što je MoE usmjeravanje – uz kvantitativne empiričke usporedbe strategija ublažavanja, ostaje važno otvoreno pitanje. Konkretno za RL s više ciljeva, obećavajući putevi uključuju sekvencijalno treniranje (Zeng i sur., 2026) s on-policy destilacijom radi optimizacije ciljeva u fazama uz ublažavanje katastrofalnog zaboravljanja; i spajanje modela (Fu i sur., 2025; Yang i sur., 2026) radi razdvajanja optimizacije specifične za zadatak od agregacije sposobnosti. Konačno, skaliranje na realistične tijekove rada s više alata s putanjama dugog horizonta ostaje važan otvoreni izazov, koji vjerojatno zahtijeva bolje dodjeljivanje kredita, podršku za djelomične isporuke i procjene.

DatologyAI. Datbench: Diskriminativne, vjerne i učinkovite procjene modela vida i jezika. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, sij. 2026. Objavljeno 6. siječnja 2026. Pristupljeno: 2026-03-04.

J. Duchi i H. Namkoong. Regularizacija temeljena na varijanci s konveksnim ciljevima. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng i X. Zhao. Spajanje LLM-a bez treniranja za učenje s više zadataka. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu i S. Hendryx. Rubrike kao nagrade: Učenje s potkrepljenjem izvan provjerljivih domena. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu i Y. Shen. Kada brzina ubija stabilnost: Demistificiranje urušavanja RL-a uslijed neusklađenosti treniranja i zaključivanja. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng i sur. Gdpo: Optimizacija politike normalizacije s razdvojenom nagradom grupe za RL optimizaciju s više nagrada. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao i H. Wang. Openrubrics: Prema skalabilnom generiranju sintetičkih rubrika za modeliranje nagrada i usklađivanje LLM-a. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang i Y. Dong. Deepdive: Unaprjeđenje dubokih agenata za pretraživanje s grafovima znanja i višekratnim RL-om. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui i F. Luo. Stabilizacija MoE učenja s potkrepljenjem usklađivanjem usmjerivača za treniranje i zaključivanje. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng i T. Vu. Sealqa: Postavljanje viših standarda za zaključivanje u jezičnim modelima obogaćenim pretraživanjem. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith i M. Lewis. Mjerenje i sužavanje jaza kompozicionalnosti u jezičnim modelima. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin i W. S. Lee. Promišljanje pouzdane regije u učenju s potkrepljenjem kod LLM-a. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu i sur. Deepseekmath: Pomicanje granica matematičkog zaključivanja u otvorenim jezičnim modelima. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang i sur. Webshaper: Agentsko sintetiziranje podataka putem formalizacije traženja informacija. arXiv preprint arXiv:2507.15061, 2025.

vLLM i timovi TorchTitan. Nema više neusklađenosti između treniranja i zaključivanja: Bitovno dosljedno on-policy učenje s potkrepljenjem s vLLM-om i TorchTitanom. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie i F. Huang. Webwalker: Ocjenjivanje LLM-ova u prelaženju weba, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv i sur. Tehničko izvješće za Qwen3. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang i D. Tao. Spajanje modela u LLM-ovima, MLLM-ovima i šire: Metode, teorije, primjene i prilike. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang i J. Gao. Vaš učinkoviti RL okvir potajno vam donosi off-policy RL treniranje, kol. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang i sur. Glm-5: od pisanja kodova uz osjećaj do agentskog inženjerstva. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu i sur. Stabilizacija učenja s potkrepljenjem s LLM-ovima: Formulacija i prakse. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang i sur. Optimizacija politike grupne sekvence. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}

Uvod

Dvofazni cjevovod treniranja

SFT faza

RL faza

RL podaci za treniranje

Podaci provjerljivih agenata za pretraživanje

Primjer (3 skoka)

Opći Chat podaci temeljeni na rubrikama

Primjer

Mješavina upita i balansiranje varijance

Dizajn nagrada

Osnovna nagrada

Modeliranje preferenci

Kazna učinkovitosti

Glavni rezultati

Dinamika treniranja

Izvanmrežne procjene

Procjene učinkovitosti korištenja alata

Zaključak

Reference

Citiranje