Kereséssel kiegészített nyelvi modellek fejlesztése

A legkorszerűbb webes keresőügynökök betanítása több szempont egyidejű optimalizálását igényli: ténybeli pontosság, útvonalhatékonyság és a felhasználói elvárásokhoz való igazodás. Az egyes dimenziók önálló fejlesztése azonban gyakran ront a többin: a kizárólag a pontosságra betanított modellek túlzottan használják az eszközöket, míg a tömörségre optimalizált modellek a megbízhatóság vagy a teljesség rovására mehetnek. A Perplexitynél egyik eredmény sem elfogadható.

Ez a cikk a Perplexity nyílt forráskódú modelleken alapuló, legkorszerűbb webes keresőügynökök fejlesztésére szolgáló betanítás utáni (post-training) folyamatát írja le. Kulcsfontosságú elv, hogy a keresőügynökök betanítása során az adatkurálásnak és a jutalomtervezésnek kéz a kézben kell járnia: az adatok határozzák meg, hogy mely viselkedések megfigyelhetők és ellenőrizhetők, a jutalom pedig azt, hogy ezek a jelek hogyan alakulnak át optimalizálási jellé. Ez az elv indokolja a kétlépcsős folyamatunkat: először egy felügyelt finomhangolási (SFT) bemelegítést hajtunk végre a házirendmodell (policy model) inicializálásához, majd megerősítéses tanulással (RL) finomítjuk a házirendmodellt egy kurált adatkészlet és gondosan megtervezett jutalmak alapján. Ez a kétlépcsős megközelítés megbízható javulást tesz lehetővé a pontosságban, a hatékonyságban és a válaszminőségben a gyártási korlátok között.

Először ismertetjük a kétlépcsős betanítási folyamatunkat (SFT → on-policy RL), majd az RL betanítási adatok összeállítását, kitérve az ellenőrizhető keresőügynök-QA-ra és a rubrikákon alapuló általános csevegésre. Ezt követően bemutatunk egy ezen heterogén adatkörnyezetből származó összetett jutalomtervet, amely egyensúlyt teremt a minőség és a hatékonyság között, miközben csökkenti a jutalomkijátszás (reward hacking) esélyét. Végül elemezzük a betanítás dinamikáját és a benchmark eredményeket.

Kétlépcsős utólagos betanítási receptet alkalmazunk: (i) SFT-t a bevezetés szempontjából kritikus viselkedések, például a korlátok (pl. tartózkodás), az utasítások követése és a nyelvi konzisztencia kialakítására, valamint (ii) on-policy RL-t a keresési képesség – beleértve a válaszpontosságot és az eszközhasználat hatékonyságát – javítására, miközben megőrizzük az első szakasz viselkedéseit.

Miért van szükség két szakaszra? A keresési minőség és a bevezetési korlátok egyetlen RL-szakaszon belüli, egyidejű optimalizálása nehéz anélkül, hogy legalább az egyik szempont ne sérülne. Tapasztalataink szerint a kizárólag RL-alapú betanítás javítja a keresési teljesítményt, de hajlamos alulteljesíteni a bevezetési korlátok terén, míg az SFT javítja a megfelelést a keresési teljesítmény rovására. A célok szétválasztása lehetővé teszi, hogy az SFT szakasz először a nem tárgyalható követelményekkel foglalkozzon, ami után az RL elsősorban a keresési képesség javítására koncentrálhat.

A Qwen3 modellcsaládból (Qwen3.5-122B-A10B és Qwen3.5-397B-A17B) (Yang és tsai., 2025, Qwen3.5 blogbejegyzés) indulunk ki, és egy kétkomponensű SFT keveréken alapuló adatkészletet állítunk össze, amely a fent leírt, bevezetés szempontjából kritikus viselkedéseket célozza, miközben megőrzi az alapmodell általános keresési képességét.

Preferencia-orientált példák. Olyan utasításkövető és stílusközpontú példákat válogatunk össze, amelyek a tónusra, a nyelvi konzisztenciára, az érthetőségre és a formázásra irányulnak. Ezeknek a példáknak nem kell egyedi igazsággal rendelkezniük; sokkal inkább úgy vannak kiválasztva, hogy tükrözzék a termékre vonatkozó írási követelményeket, és biztosítsák a stilisztikai egységességet a különböző lekérdezéstípusok között.

Gyártási formátumú eszközhasználati útvonalak. Tapasztalataink szerint az SFT gondos adatkészlet-kurálás nélkül jelentősen ronthatja az alapmodell keresési képességét. Ennek enyhítésére lekérdezéseket és belső feladatokat mintavételezünk a különböző interakciós minták (egykörös, kétkörös és többfázisú) mentén, és annotáljuk őket az eszközmeghívó keretrendszerünkkel.

Az SFT ellenőrzőpontból (checkpoint) kiindulva on-policy RL-t alkalmazunk a keresési pontosság és hatékonyság javítására. A házirendmodellt a Group Relative Policy Optimization (GRPO) segítségével optimalizáljuk (Shao és tsai., 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

ahol $G$ a csoport mérete, $o_{i}$ az $i$ -adik mintavételezett kimenetet jelöli, és $\hat{A}_{i, t} = \hat{A}_{i}$ az előny (advantage). A jutalomtervezést a jutalomtervezésről szóló szakasz részletezi; röviden összefoglalva, az alaphelyzetbeli helyességet kombináljuk a preferenciákon alapuló és horgonyzott hatékonyságformálással. Korábbi munkákat követve (Liu és tsai., 2025a; Yao és tsai., 2025; Zheng és tsai., 2025a), token szintű fontossági mintavételezést (Importance Sampling – IS) alkalmazunk a betanítás és a következtetés (inference) közötti eltérés korrigálására:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Számos megközelítést értékelünk a betanítás és a következtetés közötti eltérés enyhítésére, beleértve a szekvencia szintű IS-t (Zheng és tsai., 2025b), az útvonal-újrajátszást (Ma és tsai., 2025; Zheng és tsai., 2025b), valamint a bithelyesen konzisztens betanítást, amely magába foglalja a következtetési motor kerneljét a betanítás során (vLLM és TorchTitan Teams, 2025). Tapasztalataink szerint az on-policy beállításunk mellett a token szintű IS önmagában is elegendő a betanítási összeomlás megakadályozására, miközben egyszerűen implementálható; ez összhangban van Zheng és tsai. (2025a) megállapításaival.

Az RL betanítási adataink két kiegészítő összetevőből állnak: ellenőrizhető keresőügynök-QA-ból, amely az általános keresési képességet célozza, valamint rubrikákon alapuló általános csevegésből, amely kifejezetten megerősíti a bevezetési korlátokat a regresszió megelőzése érdekében az RL betanítási szakaszban.

Adatkészlet összeállítása. A szekvenciális bővítési módszert követve (Tao és tsai., 2025) saját, házon belüli szintetikus QA-adatkészletet hozunk létre belső kiindulási lekérdezésekből (seed queries), anélkül, hogy kurált tudásgráfra támaszkodnánk, így a folyamat kis súlyú és könnyen frissíthető marad. Minden egyes szintetikus példa a következő lépésekkel generálódik:

Kiindulópont kiválasztása. Dokumentumokat kérünk le a kiindulási lekérdezésekhez, és kiindulópontként többszörös forrásból megerősített tényekkel rendelkező entitásokat választunk ki, majd atomi állításokat nyerünk ki róluk.
Többlépcsős lánc felépítése. A kiindulási entitás állításaiból kiválasztunk egy olyan állítást, amely egy második entitást vezet be (pl. a „The Mom Test” kiindulópont esetén a „written by Rob Fitzpatrick” állítás szerzőként vezeti be a következő entitást). Ezt a összekapcsolási folyamatot 2–4 alkalommal megismételjük, biztosítva, hogy minden entitás eltérő legyen, és hogy egyetlen állítás se fedje fel triviálisan a végső választ.
Név nélküli kérdésszintézis. Az entitásláncot kérdéssé alakítjuk az entitásnevek rekurzív helyettesítésével a kapcsolódó állításaikkal, így olyan beágyazott kérdést hozunk létre, amely többlépcsős következtetést igényel.
Ellenőrzés. Csak azokat a kérdéseket tartjuk meg, amelyek egyedi válaszait több független, webes keresésre képes megoldó ellenőrizte.

Tekintsük a kezdő lekérdezést: „The Mom Test”. Dokumentumokat keresünk vissza, és ezt a könyvet azonosítjuk kezdő entitásként, majd kivonjuk az atomikus tényállításokat, és iteratívan felépítünk egy entitásláncot: (i) The Mom Test-et Rob Fitzpatrick írta, ami bevezeti Rob Fitzpatricket; (ii) Rob Fitzpatrick első startupja átment a Y Combinatoron (Summer 2007), ami bevezeti a Y Combinatort; (iii) a Y Combinatort 2005 márciusában indították el. Ha rekurzívan minden entitásnevet a leírásával helyettesítünk, név nélküli kérdéshez jutunk: „Melyik könyvet írta az a személy, akinek az első startupja átment a 2005 márciusában elindított gyorsítón, annak Summer 2007-es kohorszában?”; a válasz: „The Mom Test”.

Formátumdiverzitás növelése. A kizárólag nyers szintetikus QA-val betanított modellek hajlamosak figyelmen kívül hagyni a formázási preferenciákat, és a lekérdezés megfogalmazásától függetlenül egy rögzített válaszstruktúrát alapértelmezni. A formátumdiverzitás javítása érdekében az adatkészletet olyan lekérdezésekkel egészítjük ki, amelyek explicit formázási utasításokat tartalmaznak (pl. „Mutasd be a következők listáját: . . . ” vagy „Összegzd . . . egy táblázatban”), miközben az alaptulajdonságú választ változatlanul hagyjuk.

Nyilvános ellenőrizhető QA (alapvonal). Alapvonalul szolgáló, ellenőrizhető QA-adatkészletet hozunk létre öt nyílt forráskódú adatkészletből (Lu és tsai., 2025; Pham és tsai., 2025; Press és tsai., 2023; Tao és tsai., 2025; Wu és tsai., 2025), minőségi szűréssel és a kiegészített promptformátumunk szerint egységesítve. Ez a keverék szolgál elsődleges alapvonalul a validációs kísérleteinkben. Az ellenőrzött összehasonlítások érdekében a házon belüli szintetikus QA-adatkészletünk méretét ehhez a nyílt forráskódú keverékhez igazítjuk.

Gyors validálás. E folyamat hatékonyságát a Qwen3-30B-A3B-Instruct-2507 használatával validáljuk a gyors iteráció érdekében; az eredményeket az 1. táblázat összegezi.

Szintetikus ellenőrizhető QA-adatkészlet validálása

Míg az ellenőrizhető QA tiszta betanítási jelet biztosít a keresésközpontú lekérdezésekhez, a gyártási forgalom jelentős hányada nem ellenőrizhető egyértelműen (pl. átírás, tervezés és nyitott végű segítségnyújtás). Az ilyen lekérdezések kizárása az RL-ből a házirendet aluloptimalizálttá tenné a valós felhasználói interakciók szempontjából. Ráadásul, bár az SFT szakasz kialakítja a bevezetés szempontjából kritikus korlátokat, az RL visszaesést okozhat ezekben, hacsak az adatok nem erősítik meg őket kifejezetten.

A nem ellenőrizhető lekérdezéseket az RL-betanításba úgy építjük be, hogy a bevezetés szempontjából kritikus követelményeket – az utasításkövetést, a formázási korlátokat és a biztonsági konvenciókat – rubrikákká alakítjuk: atomi, objektíven ellenőrizhető kritériumokká, amelyeknek egy válasznak meg kell felelnie. Rubrikákon alapuló adatfelépítést alkalmazunk (Gunjal és tsai., 2025; Liu és tsai., 2025b), lekérdezésenkénti rubrikakészleteket generálva.

Rubrikagenerálás. A teljes beszélgetési előzmény alapján egy nagy nyelvi modellt (LLM) kérünk fel egy referenciaszöveg és egy ahhoz tartozó rubrikakészlet előállítására. A rubrikák származtatása rögzített prioritási sorrendben történik: a felhasználó által kifejezetten megadott követelmények élveznek elsőbbséget, ezt követik a belső korlátok, majd végül a referenciaszövegből levezetett szükséges tartalmi követelmények. Minden rubrikának a következő tulajdonságokkal kell rendelkeznie:

Atomi: egyetlen, jól meghatározott ellenőrzés;
Objektív: szubjektív ítélet nélkül ellenőrizhető;
Szükséges: a lekérdezés megválaszolásához kötelező, nem csupán stilisztikai preferencia.

Lekérdezés.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubrikák.

A válasz angol nyelvű.
A helyesbített megfogalmazás tartalmazza a „lodging” és „boarding” szavakat.
A helyesbített megfogalmazás a „manpower” szót egyetlen szóként használja (például „manpower plan” vagy „manpower planning”) a „man power” helyett.
A helyesbített megfogalmazás nem tartalmazza az informális „u” vagy „Plz” rövidítéseket, és nem tartalmazza az ampersand („&”) karaktert.
A válasz nem tartalmaz \\[type:idx\\] formátumú hivatkozási jelölőket, ahol a type adatforrást jelöl (például web, chart, memory, attached_file).

Rubrikakalibráció. A túl szigorú vagy túl megengedő rubrikakészletek elkerülése érdekében pass@4 szűrőt alkalmazunk. Minden egyes lekérdezéshez négy független választ mintavételezünk, és egy utasításkövető bíráló segítségével értékeljük őket a teljes rubrikakészlettel szemben. Elvetjük azokat a lekérdezéseket, amelyekre egyetlen válasz sem felel meg a rubrikakészletnek, vagy amelyekre az összes válasz megfelel, és csak azokat tartjuk meg, amelyek informatív betanítási jelet eredményeznek.

A többfeladatos RL egyik gyakorlati kihívása az adatok összetevői közötti variancia-kiegyensúlyozatlanság (Duchi és Namkoong, 2016; Liu és tsai., 2026; Qi és tsai., 2026). Bár mind az ellenőrizhető QA, mind a rubrikákon alapuló adatok bináris jutalmakat eredményeznek, lényegesen eltérnek a feladat nehézségében: a rubrikáknak való megfelelés általában könnyebben elérhető a betanítás korai szakaszában, így nagyobb és gyakibb gradiens-frissítéseket produkálnak, amelyek aránytalanul dominálhatják a házirend optimalizálását a nehezebb ellenőrizhető QA-jelhez képest. Ennek kezelésére az adatkészlet szintjén súlyozzuk újra a promptkeveréket: a lekérdezések 90%-át az ellenőrizhető QA-ból, 10%-át pedig a rubrikákon alapuló adatokból mintavételezzük, hogy egyensúlyba hozzuk az optimalizálási jelet az összetevők között.

Jutalomtervezésünk közvetlenül a fent leírt adatfelépítésből következik. Annak ellenére, hogy mind az ellenőrizhető QA-, mind a rubrikás feladatokat felöleli, az összes betanítási adatra közös alapjutalom-struktúra jellemző: egy generálás (rollout) akkor kap kreditet, ha QA-feladatok esetén helyes választ ad, vagy az általános csevegés során az összes megadott rubrikának megfelel. Ezen a közös alapon felépítve összetett jutalmat alakítunk ki a preferenciákon alapuló pontozás és a hatékonyságformálás beépítéséhez.

A korai kísérletek során megfigyelt kulcsfontosságú kihívás a jutalomkijátszás (reward hacking) volt: a jutalmak egyszerű lineáris kombinációja lehetővé tette, hogy az erős preferenciajelek kompenzálják a ténybeli vagy oktatási hibákat. Ezért alapvető tervezési elvként a kapuzott aggregációt (gated aggregation) alkalmazzuk, amelyet formálisan így definiálunk:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

ahol az $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ a QA helyességét vagy a rubrikának való megfelelést jelöli, az $s(\tau_i)\in[0,1]$ a preferenciapontszám, az $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ pedig a horgonyzott hatékonysági büntetés. Ezáltal a helyesség a preferenciakreditek megszerzésének feltételévé válik, miközben továbbra is elriasztja a felesleges eszközhasználatot és a bőbeszédűséget. Az 1. ábra szemlélteti a teljes jutalomfolyamatot, amelynek összetevőit az alábbiakban ismertetjük:

Jutalomtervezési áttekintés. Az alaphelyzetbeli helyességi jelet (ellenőrizhető/rubrikás), a Bradley–Terry-féle preferenciapontszámot és a horgonyzott hatékonysági büntetéseket kombináljuk. A preferenciát az alaphelyzetbeli helyesség kapuzza a jutalomkijátszás megakadályozása érdekében.

Meghatározunk egy bináris alapvonalbeli jelet ( $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ ), amely rögzíti a feladat helyességét vagy az utasítások betartását. Az ellenőrizhető keresőügynök-adatok esetében $r_{\mathrm{base}}(\tau_i)=1$ , ha a végső válasz megegyezik a valós igazsággal, és egyébként $0$ . A rubrikákon alapuló általános csevegési adatok esetében $r_{\mathrm{base}}(\tau_i)=1$ , ha minden rubrika teljesül, és egyébként $0$ . Ez az alapvonal szolgál merev kapuként a 2. egyenletben szereplő feltételes aggregációs szabályban.

Célunk, hogy a házirendmodellt a felhasználóknak a válasz minőségével (informatív jelleg, érthetőség és professzionális tónus) kapcsolatos rejtett preferenciáihoz igazítsuk, amelyeket az LLM-bíráló promptjaival nehéz rögzíteni. Ezért tanítunk egy megtanult preferenciaputalom-modellt ezen attribútumok közvetlen pontozására.

A preferenciatanulást a Bradley–Terry-keretrendszerben fogalmazzuk meg. Egy $x$ kontextus és két $y_a, y_b$ lehetséges válasz esetén a modell $s_{\theta}(x, y) \in \mathbb{R}$ skalár pontszámokat ad, és minimalizálja,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

ahol az $r \in \{0, 1\}$ azt jelzi, hogy az $y_a$ élvez-e előnyt. A pozícióból adódó torzítás kiküszöbölése érdekében minden betanítási pár mindkét sorrenddel ki van egészítve, és szimmetrikusan van optimalizálva,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

A következtetés (inference) során a pozíciótól független preferenciapontszámot a két permutáció átlagolásával kapjuk meg:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

A generálás (rollout) preferenciapontszáma ekkor $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ -ként van definiálva, azaz az annak a valószínűsége, hogy a házirend generálása ( $y_i$ ) előnyben részesül a referenciaszöveg generálásával szemben ugyanarra a prompotra.

A preferenciamodellezéshez szükséges betanítási adatokat kurált nyílt forráskódú adatkészletekből, felhasználói oldalsó (side-by-side) visszajelzésekből és belső annotációkból nyerjük. A címkezaj kezelésére a Datbench (DatologyAI, 2026) által inspirált, kis súlyú szűrési és kalibrációs folyamatot alkalmazunk, amely csak a következetes keresztmodell-egyezést mutató példákat tartja meg. A jutalommodell ugyanazt a gerincet (backbone) használja, mint a házirendmodell, azzal a különbséggel, hogy a nyelvi modellezési fej helyett egy értékfej (value head) szerepel benne. Bár a kisebb jutalommodell is hasonló visszatartott (held-out) pontosságot ér el, tapasztalataink szerint nem képes rögzíteni a finom részletekre kiterjedő preferenciákat, és erősítheti a nem kívánt házirendbeli viselkedéseket.

Explicit hatékonyságformálás hiányában a házirend még az egyszerű promptok esetén is hajlamos túlzottan használni az eszközöket. A feltétel nélküli büntetések (pl. az eszközhívások számával vagy a kimenet hosszával lineárisan skálázódók) természetes alapvonalat jelentenek, de azt tapasztaljuk, hogy elnyomják a szükséges felfedezést, és rontják a tanulást. Ezért olyan csoporthoz viszonyított, horgonyzott büntetéseket alkalmazunk, amelyek az eszközhasználatot és a válaszhosszt az egyes GRPO-csoportokon belüli hatékony megoldásokhoz képest szabályozzák. Egy 𝑔 csoport esetében a nyertesek halmazát a következőképpen definiáljuk:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Horgonyzott eszközhívási büntetés. Minden egyes $\tau_i$ generáláshoz jelölje az $c_i$ az eszközhívások számát, az $e_i$ pedig az eszközvégrehajtási hibák számát. Meghatározzuk a tényleges eszközhívások számát ( $\tilde{c}_i = c_i - e_i$ ), és egyenletesen mintavételezünk egy csoportos alapvonalat:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Kiszámítjuk a felesleget ( $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ ), és definiálunk egy sima büntetési skalárt ( $p_i = 1 - \exp\!\left(-\Delta_i\right)$ ). Az eszközbüntetés ezután a következő:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Horgonyzott hosszúsági büntetés. Jelöljék az $L_i$ és $L_i^{\mathrm{ref}}$ a lehetséges és a referenciamodell generációinak tokenben kifejezett hosszát. A formáló halmazt ( $\widehat{W}_g$ ) úgy definiáljuk, mint a helyes és előnyben részesített generálásokat:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Ezután kiszámítjuk a csoportspecifikus hosszúsági alapvonalakat:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

A hosszúsági büntetés a következőképpen van definiálva:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

ahol az első sor egy szigorú felső korlátot jelent; a második a bőbeszédű nyerteseket bünteti; a harmadik pedig a szűkszavú veszteseket.

Kombinált hatékonysági büntetés. A kombinált hatékonysági büntetés a két összetevő súlyozott összege:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

A betanítás utáni folyamatunkat két tengely mentén értékeljük: (i) betanítási dinamika, az optimalizálási stabilitás értékelésére és annak ellenőrzésére, hogy a jutalmak jelei a várt módon viselkednek-e, valamint (ii) offline benchmarkok, a downstream minőség, a biztonság és a hatékonyság mérésére ellenőrzött értékelési beállítások mellett.

Alapértelmezett betanítási beállítások. A házirendmodell egy webes keresőeszközzel (search_web) lép interakcióba; minden egyes eszközhívás legfeljebb 10 találatot kér le, a lekérdezések legfeljebb 250 karakterből állhatnak, és generálásonként legfeljebb 5 lekérdezés engedélyezett.

Megvizsgáljuk az optimalizálási dinamikát, a jutalmak alakulására és a hatékonysági viselkedésre összpontosítva. Az illusztráció egyszerűsítése érdekében a Qwen3.5-397B-A11B modellt használjuk.

Az alapvonalbeli és a preferenciális jelek alakulása a betanítás során.

A 2. ábra az alapjutalom (ellenőrizhető QA és a rubrikáknak való megfelelés) folyamatos javulását mutatja a növekvő preferenciapontszámok mellett, ami a helyesség, a megfelelés és a válaszminőség következetes növekedését jelzi.

A hatékonysági viselkedés és a horgonyzott alakító büntetések a betanítás során.

A 3. ábra azt mutatja, hogy mind az eszközhívás gyakorisága, mind a generálási hossz jól ellenőrzött marad a betanítás során. Említésre méltó, hogy mind az eszközhívási, mind a hosszúsági büntetés monoton módon csökken a betanítás folyamán, ami tükrözi a modell fokozatos alkalmazkodását a tömörebb generáláshoz és a szelektívebb eszközmeghíváshoz.

A 4. ábra azt mutatja, hogy a gradiens normák az átmeneti kiugrásokat leszámítva stabilak maradnak, míg a betanítás és a következtetés közötti KL-divergencia enyhe emelkedő tendenciát mutat, de az 1e-3 skálán belül marad. Ez a sodródási Minta összhangban van más RL-alapú betanítási keretrendszerek megfigyeléseivel; mivel a betanítás végig stabil marad, az 1. egyenletben egy egyszerű IS-regularizációt tartunk meg további beavatkozás nélkül.

A keresési pontosságot, a ténybeli megbízhatóságot, az utasításkövetést és a biztonságot felölelő benchmark-csomag eredményeit ismertetjük, amelyek nyilvános benchmarkokat és belső Perplexity (PPLX) metrikákat egyaránt tartalmaznak. A nyilvános benchmarkok közé tartozik a SimpleQA, a FRAMES és a Facts Open.

pplx-sbs-search: Oldalsó (side-by-side) preferenciájú értékelés belső jutalommodell használatával. A jelölteket egy erős alapvonallal hasonlítják össze.
pplx-abstention: A megfelelő visszautasítás képessége, ha nem áll rendelkezésre megbízható bizonyíték.
pplx-language-mismatch: Nyelvi konzisztencia hosszú farkú (long-tail) és többfázisú környezetben.
pplx-broken-tool-calls (↓): Eszközhívási séma betartása és korlátok követése, például tool_choice=none esetén.

Alapértelmezett értékelési beállítások. A nyilvános benchmarkok esetében csak a webes keresőeszközt engedélyezzük, példányonként legfeljebb 5 eszközhívásból álló kerettel és hívásonként legfeljebb 10 találattal, 0,6-os hőmérséklettel legfeljebb 8192 kimeneti tokent generálva.

Offline értékelési eredmények. A zárójelben lévő számok az átlagos eszközhasználatot jelölik. A Qwen3.5-397B-A17B modellt Qwen3.5-Large, a Qwen3.5-122B-A10B modellt pedig Qwen3.5-Medium néven jelöljük.

A 2. táblázat azt mutatja, hogy a Qwen3.5-Large-SFT-RL erős keresési pontosságot ér el a nyilvános benchmarkokon, megegyezve a gpt-5.4 teljesítményével vagy felülmúlva azt a FRAMES és a Facts Open terén, miközben összehasonlítható eszközkereteket használ. Az alapmodellhez képest a megközelítésünk jelentős javulást eredményez a belső metrikák terén, különösen a preferencia (pplx-sbs-search: 0,602 → 0,742), a nyelvi konzisztencia és a visszautasítás területén, ami bizonyítja, hogy a kétlépcsős folyamat hatékonyan javítja a bevezetés szempontjából kritikus viselkedéseket a keresési képesség feláldozása nélkül.

Ennek méréséhez egy budget-forced értékelési protokollt tervezünk. Minden modell hozzáférést kap egy webes keresőeszközhöz (search_web) és egy rendszerpromptot, amely meghatározza az engedélyezett eszközhívások számának szigorú felső határát („budget”). Ezt a budgetet 0-tól (nincs eszközhasználat, tisztán paraméteres tudás) 10-ig (bőkezű, többlépéses visszakeresés) söpörjük végig, és minden szinten rögzítjük a pontosságot. Ez egy eszközhatékonysági görbét eredményez: a modell pontszáma a számára engedélyezett visszakeresési budget függvényében. Két tényszerű QA benchmarkon, a FRAMES-en és a Facts Openen értékelünk.

Benchmark-pontosság a Max eszközhívásszám függvényében.

Számos minta emelkedik ki e két benchmarkból:

A betanított Qwen3.5-397B-SFT-RL modellünk éri el a legjobb keresési pontosságot mindkét benchmarkon. Még egyetlen eszközhívással is 57,3%-ot ér el a FRAMES-en, ami 5,7 ponttal múlja felül a GPT-5.4-et és 4,7 ponttal a Sonnet 4.6-ot.
- Az előny a mérsékelt keretek (b=2-7) esetén a legszembetűnőbb, ami a gyártási bevezetések gyakorlati működési tartománya.
Utólagos betanítási receptünk (SFT + RL) jelentősen javítja az eszközhasználat hatékonyságát az alap ellenőrzőponthoz képest; lásd az 5. ábra folytonos (betanított) és szaggatott (kiindulási ellenőrzőpont) vonalait.
Minden modell esetében a keret=7 környékén csökkenő hozamot tapasztalunk, ami mindkét benchmarkon és az összes modellen következetes, ami arra utal, hogy ez a ténykereső feladatok sajátossága, nem pedig a modelleké.

A fenti eredmények azt mutatják, hogy a Qwen3.5-397B-SFT-RL magasabb pontosságot ér el kevesebb eszközhívással. De hogyan alakul ez át a tényleges költségekre? A token alapú méréseket dollárban kifejezett költségekké alakítjuk át a közzétett API-árak (Alibaba DashScope, OpenAI, Anthropic) felhasználásával, hogy az összehasonlítás kézzelfogható legyen.

Lekérdezési költség a pontosság függvényében.

A közepes profilnál (b=4) a Qwen3.5-397B-SFT-RL 73,9%-ot ér el a FRAMES-en lekérdezésenkénti 2,0 centes költséggel, míg a GPT-5.4 67,8%-ot 8,5 centért, a Sonnet 4.6 pedig 62,4%-ot 15,3 centért. Ez +6 pontos pontosságnövekedés 4-szer alacsonyabb költség mellett a GPT-5.4-hez képest, és +11,5 pont 7,5-ször alacsonyabb költség mellett a Sonnet 4.6-hoz képest.

Ezek a becslések listabeli API-árakat használnak gyorsítótárazás nélkül. Házon belüli következtetési optimalizálásokkal, például a KV-gyorsítótár újrafelhasználásával, a prefix gyorsítótárazással és a kvantált MoE kiszolgálással (a 397B csak 17B aktív paramétert használ), a tényleges költség jócskán a listabeli API-árak alá csökkenthető.

A bevezetési megfelelés szétválasztása a keresési optimalizálástól egy kétlépcsős SFT- és RL-folyamaton keresztül olyan modellt eredményez, amely a gyártási korlátok között egyszerre képes és megbízható. Az ellenőrizhető QA és a rubrikákon alapuló betanítási adatok kombinációja, a kapuzott jutalomaggregációval és a horgonyzott hatékonyságformálással együtt, stabil többfeladatos optimalizálást tesz lehetővé a keresési pontosság vagy a korlátok betartásának feláldozása nélkül.

Számos irány érdemel további vizsgálatot. Ahogyan azt a 4. ábra mutatja, a betanítás és a következtetés közötti KL-divergencia tartós felfelé mutató sodródást mutat a kiterjesztett betanítási lépéseknél. Bár a token szintű IS-korrekció elegendőnek bizonyul a jelenlegi beállításunk mellett, nem világos, hogy ez nagyobb léptékben is így marad-e; ezen eltérés elvibb elméleti kezelése – magában foglalva az infrastruktúra szintű eltéréseket és az olyan architektúraspecifikus tényezőket, mint a MoE-útválasztás –, az enyhítési stratégiák kvantitatív empirikus összehasonlításával együtt továbbra is fontos nyitott kérdés. Kifejezetten a többfeladatos RL esetében a ígéretes utak közé tartozik a szekvenciális betanítás (Zeng és tsai., 2026) on-policy desztillációval a célok szakaszos optimalizálásához, miközben mérséklődik a katasztrofális felejtés; valamint a modell-egyesítés (Fu és tsai., 2025; Yang és tsai., 2026) a feladatspecifikus optimalizálás és a képességaggregáció szétválasztására. Végül, a valósághű, hosszú horizontú útvonalakkal rendelkező, több eszközt használó munkafolyamatokra való skálázás továbbra is fontos nyitott kihívás, amely valószínűleg jobb kreditelosztást, a részleges generálások támogatását és értékeléseket igényel.

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Megjelent: 2026. jan. 6. Elérés: 2026-03-04.

J. Duchi és H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, és X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 33111–33124. o., 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, és S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, és Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, és H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, és Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, 5687–5711. o., 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}

Bevezetés

Kétlépcsős betanítási folyamat

SFT szakasz

RL szakasz

RL betanítási adatok

Ellenőrizhető keresőügynök-adatok

Példa (3 ugrásos)

Rubrikákon alapuló általános csevegési adatok

Példa

Promptkeverék és variancia-kiegyensúlyozás

Jutalomtervezés

Alapjutalom

Preferenciamodellezés

Hatékonysági büntetés

Főbb eredmények

Betanítási dinamika

Offline értékelések

Eszközhasználat hatékonyságának értékelése

Következtetés

Hivatkozások

Hivatkozás