Pokročilé jazykové modely s podporou vyhľadávania

Trénovanie špičkových agentov na vyhľadávanie na webe si vyžaduje spoločné optimalizovanie viacerých cieľov: faktickej presnosti, efektivity trajektórie a zosúladenia s preferenciami používateľa. Zlepšenie čo i len jedného rozmeru izolovane však často zhoršuje ostatné: modely trénované výlučne na presnosť majú tendenciu nadužívať nástroje, zatiaľ čo modely optimalizované na stručnosť môžu obetovať spoľahlivosť alebo úplnosť. V spoločnosti Perplexity nie je ani jeden výsledok prijateľný.

Tento článok opisuje post-tréningový kanál spoločnosti Perplexity na vývoj najmodernejších agentov na vyhľadávanie na webe založených na open-source modeloch. Kľúčovou myšlienkou je, že pri trénovaní vyhľadávacích agentov sa spracovanie údajov a návrh odmien musia navrhovať spoločne: údaje určujú, ktoré správanie je pozorovateľné a overiteľné, a odmena určuje, ako sa tieto signály premenia na optimalizačný signál. Tento princíp motivuje náš dvojfázový kanál: najprv vykonáme zahriatie pomocou riadeného dolaďovania (SFT) na inicializáciu modelu politiky a potom model politiky vylepšíme pomocou posilňovania učenia (RL) nad vybranou množinou údajov a starostlivo navrhnutými odmenami. Tento dvojfázový prístup umožňuje spoľahlivé prírastky presnosti, efektivity a kvality odpovedí za výrobných podmienok.

Najprv opíšeme náš dvojfázový tréningový kanál (SFT → on-policy RL), po ktorom nasleduje tvorba trénovacích údajov RL, pričom pokryjeme overiteľné QA vyhľadávacieho agenta aj všeobecný chat založený na rubrikách. Potom predstavíme zložený návrh odmeny odvodený z tohto heterogénneho nastavenia údajov, ktorý vyvažuje kvalitu a efektivitu a zároveň zmierňuje obchádzanie odmien (reward hacking). Na záver analyzujeme tréningovú dynamiku a výsledky porovnávacích testov.

Prijímame dvojfázový recept po tréningu: (i) SFT na stanovenie správania kritického pre nasadenie, ako sú bezpečnostné zábrany (napr. zdržanie sa hlasovania), dodržiavanie pokynov a jazyková konzistencia, a (ii) on-policy RL na zlepšenie schopnosti vyhľadávania vrátane presnosti odpovedí a efektivity používania nástrojov pri zachovaní správania z prvej fázy.

Prečo dve fázy? Spoločné optimalizovanie kvality vyhľadávania a obmedzení nasadenia v rámci jednej fázy RL je náročné bez toho, aby sa neohrozil aspoň jeden cieľ. Empiricky platí, že trénovanie iba pomocou RL zlepšuje výkonnosť vyhľadávania, ale má tendenciu podávať horšie výsledky pri bezpečnostných zábranách nasadenia, zatiaľ čo SFT zlepšuje súlad za cenu výkonnosti vyhľadávania. Oddelenie cieľov umožňuje, aby fáza SFT najskôr vyriešila nevyhnutné požiadavky, po ktorých sa RL môže zamerať najmä na zlepšenie schopnosti vyhľadávania.

Inicializujeme z rodiny modelov Qwen3 (Qwen3.5-122B-A10B a Qwen3.5-397B-A17B) (Yang et al., 2025, blogový príspevok Qwen3.5) a vytvárame dvojzložkovú zmiešanú množinu údajov SFT zameranú na správanie kritické pre nasadenie opísané vyššie, pričom zachovávame všeobecnú schopnosť vyhľadávania základného modelu.

Príklady orientované na preferencie. Kurátorsky vyberáme príklady zamerané na dodržiavanie pokynov a štýl, ktoré sa zameriavajú na tón, jazykovú konzistenciu, jasnosť a formátovanie. Tieto príklady nemusia pripúšťat jedinečnú základnú pravdu (ground truth); sú vybrané tak, aby odrážali požiadavky na písanie produktov a zabezpečili štylistickú konzistenciu naprieč rôznymi typmi dopytov.

Trajektórie používania nástrojov vo výrobnom formáte. Empiricky zistujeme, že SFT bez starostlivého kurátorstva množiny údajov môže podstatne zhoršiť schopnosť vyhľadávania základného modelu. Na zmiernenie tohto problému vzorkujeme dopyty a interné úlohy naprieč rôznymi vzormi interakcií (jednokolové, dvojkolové a viacnásobné) a anotujeme ich pomocou nášho nástroja na volanie nástrojov.

Počnúc kontrolným bodom SFT aplikujeme on-policy RL na zlepšenie presnosti a efektivity vyhľadávania. Model politiky optimalizujeme pomocou optimalizácie relatívnej politiky skupiny (GRPO) (Shao et al., 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

kde $G$ je veľkosť skupiny, $o_{i}$ označuje $i$ -ty vzorkovaný výstup a $\hat{A}_{i, t} = \hat{A}_{i}$ je výhoda. Návrh odmeny je podrobne opísaný v časti o návrhu odmeny; v skratke, kombinujeme základnú správnost s tvarovaním efektívnosti na základe preferencií a ukotvením. V nadväznosti na predchádzajúcu prácu (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a) aplikujeme dôležitostné vzorkovanie (IS) na úrovni tokenov na korekciu nezhody medzi tréningom a inferenciou:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Vyhodnocujeme niekoľko prístupov na zmiernenie nezhody medzi tréningom a inferenciou, vrátane IS na úrovni sekvencií (Zheng et al., 2025b), smerovania opakovania (Ma et al., 2025; Zheng et al., 2025b) a bitovo konzistentného trénovania, ktoré integruje jadro inferenčného enginu počas trénovania (tímy vLLM a TorchTitan, 2025). Empiricky zistujeme, že v našom on-policy nastavení je IS na úrovni tokenov dostatočná na zabránenie kolapsu trénovania a zároveň zostáva jednoduchá na implementáciu; to je v súlade so zisteniami z Zheng et al. (2025a).

Naše tréningové údaje RL pozostávajú z dvoch doplňujúcich sa komponentov: overiteľného QA vyhľadávacieho agenta zameraného na všeobecnú schopnosť vyhľadávania a všeobecného chatu založeného na rubrikách, ktorý explicitne posilňuje bezpečnostné zábrany nasadenia, aby sa predišlo regresii počas fázy trénovania RL.

Tvorba množiny údajov. V nadväznosti na metódu sekvenčného rozširovania (Tao et al., 2025) vytvárame internú syntetickú množinu údajov QA z interných počiatočných dopytov (seed queries) bez toho, aby sme sa spoliehali na spravovaný znalostný graf, čím udržiavame kanál nenáročný a ľahko obnoviteľný. Každý syntetický príklad sa generuje prostredníctvom nasledujúcich krokov:

Výber počiatočných položiek (seed selection). Získavame dokumenty pre počiatočné dopyty a vyberáme entity s potvrdením faktov z viacerých zdrojov ako počiatočné body, z ktorých extrahujeme atómové vyhlásenia.
Tvorba viacskokového reťazca. Z vyhlásení počiatočnej entity vyberieme takú, ktorá zavádza druhú entitu (napr. pre počiatočnú entitu „The Mom Test“, vyhlásenie „napísal Rob Fitzpatrick“ zavádza autora ako nasledujúcu entitu). Tento proces prepojenia opakujeme 2–4-krát, pričom zabezpečujeme, aby bola každá entita odlišná a aby žiadne jedno vyhlásenie triviálne neodhaľovalo konečnú odpoveď.
Syntéza otázok bez názvov. Reťazec entít konvertujeme na otázku rekurzívnou náhradou názvov entít ich prepojovacími vyhláseniami, čím vzniká vnorená otázka vyžadujúca viacskokové uvažovanie.
Overenie. Ponechávame si iba otázky s jedinečnými odpoveďami overenými viacerými nezávislými riešiteľmi s podporou webu.

Zvážte počiatočný dopyt „The Mom Test“. Získavame dokumenty a identifikujeme túto knihu ako počiatočnú entitu, potom extrahujeme atómové faktické vyhlásenia a iteratívne budeme stavať reťazec entít: (i) The Mom Test napísal Rob Fitzpatrick, čím sa zavádza Rob Fitzpatrick; (ii) prvý startup Roba Fitzpatricka prešiel programom Y Combinator (leto 2007), čím sa zavádza Y Combinator; (iii) Y Combinator bol spustený v marci 2005. Rekurzívna náhrada každej entity jej popisovačom prináša otázku bez názvu: „Ktorú knihu napísala osoba, ktorej prvý startup prešiel akcelerátorom spusteným v marci 2005, v jeho letnej kohorte 2007?“ s odpoveďou „The Mom Test“.

Rozšírenie o rôznorodosť formátov. Modely trénované výlučne na surových syntetických QA majú tendenciu ignorovať preferencie formátovania a predvolene používajú pevnú štruktúru odpovedí bez ohľadu na to, ako je dopyt formulovaný. Na zlepšenie rôznorodosti formátov rozširujeme množinu údajov o dopyty, ktoré zahŕňajú explicitné pokyny na formátovanie (napr. „Zobrazte zoznam . . .“ alebo „Zhrňte . . . v tabuľke“), pričom základná odpoveď zostáva nezmenená.

Verejné overiteľné QA (základná línia). Vytvárame základnú overiteľnú množinu údajov QA z piatich open-source množín údajov (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), zjednotených pod naším rozšíreným formátom výzvy s filtrovaním kvality. Táto zmes slúži ako primárna základná línia v našich validačných experimentoch. Pre kontrolované porovnania prispôsobujeme rozsah našej internej syntetickej množiny údajov QA tejto open-source zmesi.

Rýchle overenie. Účinnosť tohto kanála overujeme pomocou Qwen3-30B-A3B-Instruct-2507, aby sme umožnili rýchlu iteráciu; výsledky sú zhrnuté v tabuľke 1.

Overenie syntetickej overiteľnej množiny údajov QA

Zatiaľ čo overiteľné QA poskytuje čistý tréningový signál pre dopyty zamerané na vyhľadávanie, podstatná časť produkčnej premávky nie je jednoznačne overiteľná (napr. prepisovanie, plánovanie a asistencia s otvoreným koncom). Vylúčenie takýchto dopytov z RL by ponechalo politiku nedostatočne optimalizovanú pre reálne interakcie používateľov. Navyše, hoci fáza SFT stanovuje bezpečnostné zábrany kritické pre nasadenie, RL v nich môže ustúpiť, pokiaľ nie sú explicitne posilnené údajmi.

Do trénovania RL začleňujeme neoveriteľné dopyty konverziou požiadaviek kritických pre nasadenie – dodržiavanie pokynov, obmedzenia formátovania a bezpečnostné konvencie – do rubrík: atómové, objektívne kontrolovateľné kritériá, ktoré musí odpoveď spĺňať. Prijímame tvorbu údajov založenú na rubrikách (Gunjal et al., 2025; Liu et al., 2025b), pričom generujeme sady rubrík na jeden dopyt.

Generovanie rubrík. Vzhľadom na úplnú históriu konverzácie vyzveme LLM, aby vytvorilo referenčnú odpoveď a zodpovedajúcu sadu rubrík. Rubriky sa odvozujú v rámci pevného poradia prednosti: požiadavky výslovne uvedené používateľom majú prioritu, nasledujú interné obmedzenia a nakoniec nevyhnutné požiadavky na obsah odvodené z referenčnej odpovede. Každá rubrika musí byť:

Atómová: jediná, jasne definovaná kontrola;
Objektívna: overiteľná bez subjektívneho posúdenia;
Nevyhnutná: potrebná na zodpovedanie dopytu, nejde len o štylistickú preferenciu.

Dopyt.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubriky.

Odpoveď je napísaná v angličtine.
Opravené znenie obsahuje slová "lodging" a "boarding".
Opravené znenie používa slovo "manpower" ako jedno slovo (napríklad "manpower plan" alebo "manpower planning") namiesto "man power".
Opravené znenie neobsahuje neformálne skratky "u" ani "Plz" a neobsahuje znak ampersand "&".
Odpoveď neobsahuje značky citácie vo forme \\[type:idx\\], kde type označuje zdroj údajov (napríklad web, chart, memory, attached_file).

Kalibrácia rubrík. Aby sme sa vyhli príliš prísnym alebo príliš benevolentným sadám rubrík, používame filter pass@4. Pre každý dopyt vzorkujeme štyri nezávislé odpovede a vyhodnocujeme ich oproti kompletnej sade rubrík pomocou hodnotiaceho nástroja na dodržiavanie pokynov. Odhadzujeme dopyty, pre ktoré žiadna odpoveď nespĺňa sadu rubrík alebo ich spĺňajú všetky, pričom zachovávame iba tie, ktoré prinášajú informatívny tréningový signál.

Praktickou výzvou pri viaccieľovom RL je nerovnováha variancie naprieč komponentmi údajov (Duchi a Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Hoci overiteľné QA aj údaje založené na rubrikách prinášajú binárne odmeny, podstatne sa líšia v náročnosti úloh: splnenie rubrík je vo všeobecnosti jednoduchšie dosiahnuť na začiatku trénovania, čo produkujú väčšie a častejšie aktualizácie gradientov, ktoré môžu neúmerne dominovať optimalizácii politiky relatívne k ťažšiemu signálu overiteľného QA. Na vyriešenie tohto problému prepočítavame zmes výziev na úrovni množiny údajov, pričom vzorkujeme 90 % z overiteľného QA a 10 % z údajov založených na rubrikách, aby sme vyvážili optimalizačný signál naprieč komponentmi.

Náš návrh odmeny priamo vychádza z vyššie opísanej tvorby údajov. Napriek tomu, že pokrýva overiteľné QA aj úlohy s rubrikami, všetky tréningové údaje zdieľajú spoločnú základnú štruktúru odmeny: roll-out získava kredity, ak vytvorí správnu odpoveď pre úlohy QA, alebo splní všetky zadané rubriky pre všeobecný chat. Na základe tohto spoločného základu zostavujeme zloženú odmenu na začlenenie bodovania založeného na preferenciách a tvarovania efektívnosti.

Kľúčovou výzvou pozorovanou v skorých experimentoch bolo obchádzanie odmien (reward hacking): jednoduchá lineárna kombinácia odmien umožnila silným signálom preferencií kompenzovať faktické alebo inštruktážne zlyhania. Preto prijímame ohraničenú agregáciu (gated aggregation) ako core princíp návrhu, formálne definovaný ako:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

kde $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ označuje správnosť QA alebo splnenie rubriky, $s(\tau_i)\in[0,1]$ je skóre preferencie a $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ je ukotvená penalizácia za efektivitu. Vďaka tomu je správnosť nevyhnutnou podmienkou na získanie kreditov za preferencie a zároveň sa odrádza od zbytočného používania nástrojov a ukecanosti. Obrázok 1 znázorňuje celý kanál odmien, ktorého komponenty opisujeme nižšie:

Prehľad návrhu odmien. Kombinujeme signál základnej správnosti (overiteľné/rubrika), preferenčné skóre podľa Bradleyho–Terryho a ukotvené sankcie za efektivitu. Preferencia je riadená správnosťou základnej línie, aby sa predišlo obchádzaniu odmien.

Definujeme binárny signál základnej línie $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ , ktorý zachytáva správnosť úlohy alebo dodržiavanie pokynov. Pre údaje overiteľného vyhľadávacieho agenta, $r_{\mathrm{base}}(\tau_i)=1$ ak sa konečná odpoveď zhoduje so základnou pravdou, a $0$ inak. Pre údaje všeobecného chatu založeného na rubrikách, $r_{\mathrm{base}}(\tau_i)=1$ ak sú splnené všetky rubriky, a $0$ inak. Táto základná línia slúži ako pevná brána v pravidle podmienenej agregácie rovn. 2.

Naším cieľom je prispôsobiť model politiky latentným preferenciám používateľov týkajúcim sa kvality odpovedí – informatívnosti, jasnosti a profesionálneho tónu –, ktoré sa ťažko zachytávajú pomocou výziev LLM hodnotiaceho nástroja. Preto trénujeme naučený model odmien preferencií na priame bodovanie týchto atrubútov.

Formulujeme učenie preferencií v rámci rámca Bradley–Terry. Vzhľadom na kontext $x$ a dve kandidátske odpovede $y_a, y_b$ model produkuje skalárne skóre $s_{\theta}(x, y) \in \mathbb{R}$ a minimalizuje,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

kde $r \in \{0, 1\}$ označuje, či je preferovaná $y_a$ . Aby sa eliminovalo pozičné skreslenie, každý tréningový pár je rozšírený o oba poradia a optimalizovaný symetricky,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

V čase inferencie získavame pozične agnostické skóre preferencie spriemerovaním oboch permutácií:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Skóre preferencie roll-outu je potom definované ako $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ , t. j. pravdepodobnosť, že roll-out politiky $y_i$ je preferovaný pred roll-outom referenčného modelu pre rovnakú výzvu.

Tréningové údaje pre modelovanie preferencií pochádzajú z vybraných open-source množín údajov, spätnej väzby používateľov typu side-by-side a interných anotácií. Na riešenie šumu v štítkoch aplikujeme ľahký filter a kalibračný kanál inšpirovaný nástrojom Datbench (DatologyAI, 2026), pričom zachovávame iba príklady s konzistentnou zhodou medzi modelmi. Model odmien zdieľa rovnakú chrbtovú kosť ako model politiky, pričom hlava modelovania jazyka je nahradená hlavou hodnoty. Zatiaľ čo menšie modely odmien dosahujú porovnateľnú presnosť na oddelených údajoch, empiricky zisťujeme, že nedokážu zachytiť jemnozrnné preferencie a môžu posilňovať nežiaduce správanie politiky.

Ak chýba explicitné tvarovanie efektívnosti, politika má tendenciu nadužívať nástroje aj pri jednoduchých výzvach. Bezpodmienečné sankcie (napr. tie, ktoré sa škálujú lineárne s počtom volaní nástrojov alebo dĺžkou výstupu) sú prirodzenou základnou líniou, ale zistili sme, že potláčajú potrebný prieskum a zhoršujú učenie. Preto prijímame skupinovo-relatívne, ukotvené sankcie, ktoré regularizujú používanie nástrojov a dĺžku odpovedí vzhľadom na účinné riešenia v rámci každej skupiny GRPO. Pre skupinu 𝑔 definujeme množinu víťazov ako:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Ukotvená penalizácia za volanie nástrojov. Pre každý roll-out $\tau_i$ nech $c_i$ označuje počet volaní nástrojov a $e_i$ počet zlyhaní pri vykonávaní nástrojov. Definujeme efektívny počet volaní nástrojov $\tilde{c}_i = c_i - e_i$ a rovnomerne vzorkujeme základnú líniu skupiny:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Vypočítame prebytok $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ a definujeme hladký skalár penalizácie $p_i = 1 - \exp\!\left(-\Delta_i\right)$ . Penalizácia nástroja je potom:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Ukotvená penalizácia za dĺžku. Nech $L_i$ a $L_i^{\mathrm{ref}}$ označujú dĺžky tokenov generácií kandidátskeho a referenčného modelu. Definujeme množinu tvarovania $\widehat{W}_g$ ako roll-outy, ktoré sú správne aj preferované:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Potom vypočítame dĺžkové základné línie špecifické pre danú skupinu:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Penalizácia za dĺžku je definovaná ako:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

kde prvý riadok je pevný strop; druhý penalizuje ukecaných víťazov; a tretí penalizuje príliš stručných porazených.

Kombinovaná penalizácia za efektivitu. Kombinovaná penalizácia za efektivitu je vážený súčet oboch komponentov:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Vyhodnocujeme náš post-tréningový kanál pozdĺž dvoch osí: (i) tréningová dynamika na posúdenie stability optimalizácie a toho, či sa signály odmien chovajú podľa očakávaní, a (ii) offline benchmarky na meranie kvality, bezpečnosti a efektivity v nadväznosti za kontrolovaných podmienok vyhodnotenia.

Predvolené tréningové nastavenia. Model politiky interaguje s nástrojom na vyhľadávanie na webe (search_web); každé volanie nástroja získava až 10 výsledkov, pričom dopyty sú obmedzené na 250 znakov a najviac 5 dopytov na roll-out.

Skúmame optimalizačnú dynamiku so zameraním na progresiu odmien a správanie efektívnosti. Pre jednoduchosť ilustrácie používame Qwen3.5-397B-A11B.

Vývoj základnej línie a preferenčných signálov počas trénovania.

Obrázok 2 ukazuje stabilné zlepšenie základnej odmeny (overiteľné QA a splnenie rubriky) popri zvyšujúcich sa skóre preferencií, čo naznačuje konzistentné prírastky v správnosti, súlade a kvalite odpovedí.

Správanie efektívnosti a ukotvené sankcie tvarovania počas trénovania.

Obrázok 3 demonštruje, že frekvencia volaní nástrojov aj dĺžka generovania zostávajú počas celého trénovania dobre kontrolované. Pozoruhodné je, že penalizácie za volania nástrojov aj za dĺžku klesajú monotónne v priebehu trénovania, čo odráža progresívnu adaptáciu modelu smerom k stručnejšej generácii a selektívnejšiemu vyvolávaniu nástrojov.

Obrázok 4 ukazuje, že normy gradientu zostávajú stabilné okrem prechodných špičiek, zatiaľ čo divergencia KL medzi trénovaním a inferenciou vykazuje mierny vzostupný trend, pričom zostáva v rámci mierky 1e-3. Tento vzor driftu je konzistentný s pozorovaniami v iných tréningových rámcoch RL; keďže trénovanie zostáva počas celého procesu stabilné, zachovávame jednoduchú regularizáciu IS v rovn. 1 bez dodatočných zásahov.

Uvádzame výsledky na súbore benchmarkov zahŕňajúcich presnosť vyhľadávania, faktickú spoľahlivosť, dodržiavanie pokynov a bezpečnosť, ktoré zahŕňajú verejné benchmarky aj interné metriky Perplexity (PPLX). Verejné benchmarky zahŕňajú SimpleQA, FRAMES a Facts Open.

pplx-sbs-search: Vyhodnotenie preferencií typu side-by-side (strana vedľa strany) pomocou interného modelu odmien. Kandidáti sa porovnávajú so silnou základnou líniou.
pplx-abstention: Schopnosť primerane odmietnuť, keď nie sú k dispozícii žiadne spoľahlivé dôkazy.
pplx-language-mismatch: Jazyková konzistencia v nastaveniach s dlhým chvostom a viacerými kolami.
pplx-broken-tool-calls (↓): Súlad schémy volania nástrojov a dodržiavanie obmedzení, napríklad tool_choice=none.

Predvolené nastavenia vyhodnotenia. Pre verejné benchmarky povoľujeme iba nástroj na vyhľadávanie na webe s rozpočtom až 5 volaní nástrojov na príklad a až 10 výsledkov na volanie, pričom generujeme až 8192 výstupných tokenov pri teplote 0,6.

Výsledky offline vyhodnotenia. Čísla v zátvorkách označujú priemerné využitie nástrojov. Qwen3.5-397B-A17B označujeme ako Qwen3.5-Large a Qwen3.5-122B-A10B ako Qwen3.5-Medium.

Tabuľka 2 ukazuje, že Qwen3.5-Large-SFT-RL dosahuje silnú presnosť vyhľadávania naprieč verejnými benchmarkmi, pričom sa vyrovnáva alebo prekonáva gpt-5.4 na FRAMES a Facts Open pri použití porovnateľných rozpočtov nástrojov. Relatívne k základnému modelu prináša náš prístup podstatné prírastky v interných metrikách, najmä v oblasti preferencií (pplx-sbs-search: 0,602 → 0,742), jazykovej konzistencie a zdržania sa hlasovania, čo dokazuje, že dvojfázový kanál efektívne zlepšuje správanie kritické pre nasadenie bez ohrozenia schopnosti vyhľadávania.

Na meranie tohto javu navrhujeme protokol vyhodnotenia s vynúteným rozpočtom (budget-forced). Každému modelu je udelený prístup k nástroju na vyhľadávanie na webe (search_web) a systémovej výzve, ktorá špecifikuje pevný strop pre povolený počet volaní nástrojov ("rozpočet"). Tento rozpočet meníme od 0 (žiadne použitie nástroja, čisté parametrické znalosti) do 10 (veľkorysé viac krokové vyhľadávanie), pričom zaznamenávame presnosť na každej úrovni. To vytvára krivku efektivity nástrojov: skóre modelu ako funkciu rozpočtu na vyhľadávanie, ktorý má povolený. Vyhodnocujeme na dvoch faktických QA benchmarkoch, FRAMES a Facts Open.

Presnosť benchmarku vs. maximálny počet volaní nástrojov.

Z týchto dvoch benchmarkov vyniká niekoľko vzorov:

Náš post-trénovaný model Qwen3.5-397B-SFT-RL dosahuje najlepšiu presnosť vyhľadávania na oboch benchmarkoch. Dokonca aj s jediným volaním nástroja dosahuje skóre 57,3 % na FRAMES, čo je o 5,7 bodu viac ako GPT-5.4 a o 4,7 bodu viac ako Sonnet 4.6.
- Výhoda je najvýraznejšia pri miernych rozpočtoch (b=2-7), čo je praktický rozsah prevádzky pre produkčné nasadenia.
Náš post-tréningový recept (SFT + RL) podstatne zlepšuje efektivitu používania nástrojov oproti základnému kontrolnému bodu; pozrite si plné čiary (post-trénované) vs. prerušované čiary (počiatočný kontrolný bod) na obrázku 5.
U všetkých modelov pozorujeme klesajúcu návratnosť okolo rozpočtu b=7, čo je konzistentné naprieč dvoma benchmarkmi a všetkými modelmi, čo naznačuje, že ide o vlastnosť úloh zameraných na zisťovanie faktov, a nie modelov.

Vyššie uvedené výsledky ukazujú, že Qwen3.5-397B-SFT-RL dosahuje vyššiu presnosť s menším počtom volaní nástrojov. Ako sa to však prejaví na skutočných nákladoch? Aby bolo porovnanie konkrétne, prevádzame merania na úrovni tokenov na dolárové náklady pomocou zverejnených cien API (Alibaba DashScope, OpenAI, Anthropic).

Pri strednom profile (b=4) dosahuje Qwen3.5-397B-SFT-RL skóre 73,9 % na FRAMES pri nákladoch 2,0 centa na dopyt, zatiaľ čo GPT-5.4 dosahuje skóre 67,8 % pri 8,5 centoch a Sonnet 4.6 dosahuje skóre 62,4 % pri 15,3 centoch. To je o 6 bodov vyššia presnosť pri 4-krát nižších nákladoch v porovnaní s GPT-5.4 a o 11,5 bodu vyššia pri 7,5-krát nižších nákladoch v porovnaní so Sonnet 4.6.

Tieto odhady používajú cenníkové ceny API bez vyrovnávacej pamäte (caching). S internými optimalizáciami inferencie, ako je opätovné použitie vyrovnávacej pamäte KV, predponová vyrovnávacia pamäť a kvantované servovanie MoE (397B používa iba 17B aktívnych parametrov), je možné efektívne náklady znížiť výrazne pod cenníkové ceny API.

Oddelenie súladu s nasadením od optimalizácie vyhľadávania prostredníctvom dvojfázového kanála SFT a RL prináša model, ktorý je schopný aj spoľahlivý za výrobných podmienok. Kombinácia overiteľného QA a trénovacích údajov založených na rubrikách spolu s ohraničenou agregáciou odmien a ukotveným tvarovaním efektívnosti umožňuje stabilnú viaccieľovú optimalizáciu bez obetovania presnosti vyhľadávania alebo dodržiavania bezpečnostných zábran.

Napríklad niekoľko smerov si zaslúži ďalšie skúmanie. Ako bolo pozorované na obrázku 4, divergencia KL medzi trénovaním a inferenciou vykazuje pretrvávajúci vzostupný drift pri predĺžených tréningových krokoch. Zatiaľ čo korekcia IS na úrovni tokenov sa v našom súčasnom nastavení ukazuje ako dostatočná, nie je jasné, či to platí aj vo väčšom rozsahu; dôležitou otvorenou otázkou zostáva zásadnejšie teoretické ošetrenie tejto nezhody – zahŕňajúce nesúlad na úrovni infraštruktúry a faktory špecifické pre architektúru, ako je smerovanie MoE – popri kvantitatívnych empirických porovnaniach stratégií zmiernenia. Špeciálne pre viaccieľové RL medzi sľubné cesty patrí sekvenčné trénovanie (Zeng et al., 2026) s on-policy destiláciou na optimalizáciu cieľov v fázach a zároveň zmiernenie katastrofického zabúdania; a zlučovanie modelov (Fu et al., 2025; Yang et al., 2026) na oddelenie optimalizácie špecifickej pre úlohu od agregácie schopností. Nakoniec, škálovanie na realistické pracovné postupy s viacerými nástrojmi s dlhodobými trajektóriami zostáva dôležitou otvorenou výzvou, ktorá si pravdepodobne vyžaduje lepšie priradenie kreditov, podporu pre čiastočné roll-outy a vyhodnotenia.

DatologyAI. Datbench: Diskriminačné, verné a efektivne vyhodnotenia modelov videnia a jazyka. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, jan. 2026. Publikované 6. jan. 2026. Prístup: 2026-03-04.

J. Duchi a H. Namkoong. Regularizácia založená na variancii s konvexnými cieľmi. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng a X. Zhao. Zlučovanie LLM bez trénovania na učenie viacerých úloh. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu a S. Hendryx. Rubriky ako odmeny: Posilňovanie učenia za hranicami overiteľných domén. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu a Y. Shen. Keď rýchlosť zabíja stabilitu: Demystifikácia kolapsu RL z nezhody medzi trénovaním a inferenciou. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao a H. Wang. Openrubrics: Smerom k škálovateľnému generovaniu syntetických rubrík pre modelovanie odmien a zarovnanie LLM. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang a Y. Dong. Deepdive: Pokročilé hlboké vyhľadávacie agenty so znalostnými grafmi a viacnásobným RL. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui a F. Luo. Stabilizácia posilňovania učenia MoE zarovnaním tréningových a inferenčných smerovačov. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng a T. Vu. Sealqa: Zvyšovanie latky pre uvažovanie v jazykových modeloch rozšírených o vyhľadávanie. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith a M. Lewis. Meranie a zúženie medzery kompozicionality v jazykových modeloch. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin a W. S. Lee. Prehodnotenie oblasti dôvery v posilňovaní učenia LLM. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Posúvanie hraníc matematického uvažovania v open jazykových modeloch. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentické syntetizovanie údajov prostredníctvom formalizácie hľadania informácií. arXiv preprint arXiv:2507.15061, 2025.

Tímy vLLM a TorchTitan. Žiadna nezhoda medzi trénovaním a inferenciou: Bitovo konzistentné on-policy posilňovanie učenia s vLLM a TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie a F. Huang. Webwalker: Benchmarking LLMs v prechádzaní webu, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Technická správa Qwen3. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang a D. Tao. Zlučovanie modelov v LLM, MLLM a mimo nich: Metódy, teórie, aplikácie a príležitosti. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang a J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: od vibe kódovania k agentickému inžinierstvu. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizácia posilňovania učenia pomocou LLM: Formulácia a postupy. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Optimalizácia politiky skupinových sekvencií. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}

Úvod

Dvojfázový tréningový kanál

Fáza SFT

Fáza RL

Tréningové údaje RL

Overiteľné údaje vyhľadávacieho agenta

Príklad (3-skokový)

Údaje všeobecného chatu založené na rubrikách

Príklad

Zmes výziev a vyváženie variancie

Návrh odmeny

Základná odmena

Modelovanie preferencií

Penalizácia za efektivitu

Hlavné výsledky

Tréningová dynamika

Offline vyhodnotenia

Vyhodnotenia efektivity používania nástrojov

Záver

Referencie

Citácia