Rozwój modeli językowych rozszerzonych wyszukiwaniem

Szkolenie nowoczesnych agentów wyszukiwania internetowego wymaga jednoczesnej optymalizacji wielu celów: dokładności merytorycznej, efektywności trajektorii i dopasowania do preferencji użytkownika. Jednak poprawa któregokolwiek z tych wymiarów z osobna często prowadzi do pogorszenia pozostałych: modele trenowane wyłącznie pod kątem dokładności mają tendencję do nadużywania narzędzi, podczas gdy modele zoptymalizowane pod kątem zwięzłości mogą poświęcać wiarygodność lub kompletność. W firmie Perplexity żadne z tych rozwiązań nie jest akceptowalne.

Niniejszy artykuł opisuje potrenningowy potok (pipeline) firmy Perplexity służący do tworzenia najnowocześniejszych agentów wyszukiwania internetowego w oparciu o modele open-source. Kluczową ideą jest to, że w procesie szkolenia agentów wyszukiwania, selekcja danych i projektowanie nagród muszą być współprojektowane: dane określają, które zachowania są obserwowalne i weryfikowalne, a nagroda określa, w jaki sposób sygnały te są przekładane na sygnał optymalizacji. Zasada ta motywuje nasz dwuetapowy potok: najpierw przeprowadzamy rozgrzewkę w ramach uczenia nadzorowanego (SFT), aby zainicjować model polityki, a następnie udoskonalamy go za pomocą uczenia przez wzmacnianie (RL) w oparciu o wyselekcjonowany zestaw danych i starannie zaprojektowane nagrody. To dwuetapowe podejście umożliwia uzyskanie wymiernych korzyści w zakresie dokładności, efektywności i jakości odpowiedzi w ramach ograniczeń produkcyjnych.

Najpierw opisujemy nasz dwuetapowy potok szkoleniowy (SFT → RL on-policy), a następnie sposób budowania danych szkoleniowych RL, obejmujący zarówno weryfikowalne QA agenta wyszukiwania, jak i czat ogólny oparty na rubrykach. Następnie prezentujemy projekt zbiorczej nagrody wywiedziony z tego heterogenicznego zestawienia danych, równoważący jakość i wydajność przy jednoczesnym ograniczeniu manipulacji nagrodami (reward hacking). Na koniec analizujemy dynamikę szkolenia i wyniki benchmarków.

Przyjmujemy dwuetapową receptę potrenningową: (i) SFT w celu ustalenia zachowań krytycznych dla wdrożenia, takich jak zabezpieczenia (np. powstrzymywanie się od odpowiedzi), przestrzeganie instrukcji i spójność językowa, oraz (ii) RL on-policy w celu poprawy zdolności wyszukiwania, w tym dokładności odpowiedzi i wydajności korzystania z narzędzi, przy jednoczesnym zachowaniu zachowań z pierwszego etapu.

Dlaczego dwa etapy? Jednoczesna optymalizacja jakości wyszukiwania i ograniczeń wdrożeniowych w ramach jednego etapu RL jest trudna bez narażenia na szwank przynajmniej jednego z celów. Empirycznie, szkolenie wyłącznie oparte na RL poprawia wyniki wyszukiwania, ale ma tendencję do osiągania gorszych wyników w zakresie zabezpieczeń wdrożeniowych, podczas gdy SFT poprawia zgodność kosztem wydajności wyszukiwania. Rozdzielenie tych celów pozwala na to, aby etap SFT najpierw zajął się nienegocjowalnymi wymaganiami, po czym RL może skupić się głównie na poprawie zdolności wyszukiwania.

Inicjujemy proces na bazie rodziny modeli Qwen3 (Qwen3.5-122B-A10B i Qwen3.5-397B-A17B) (Yang i in., 2025, post na blogu Qwen3.5) i konstruujemy dwuskładnikowy zestaw danych mieszanych SFT, ukierunkowany na zachowania krytyczne dla wdrożenia opisane powyżej, przy jednoczesnym zachowaniu ogólnej zdolności wyszukiwania modelu bazowego.

Przykłady zorientowane na preferencje. Opracowujemy przykłady dotyczące przestrzegania instrukcji i stylu, koncentrując się na tonie, spójności językowej, przejrzystości i formatowaniu. Przykłady te nie muszą prowadzić do jednej unikalnej prawdy obiektywnej; raczej są wybierane tak, aby odzwierciedlały wymagania produktowe dotyczące pisania i zapewniały spójność stylistyczną w różnych typach zapytań.

Trajektorie korzystania z narzędzi w formacie produkcyjnym. Empirycznie stwierdzamy, że SFT bez starannej selekcji zestawu danych może znacząco obniżyć zdolność wyszukiwania modelu bazowego. Aby temu zaradzić, pobieramy próbki zapytań i zadań wewnętrznych w ramach różnych wzorców interakcji (jedno-, dwu- i wieloetapowe) i adnotujemy je za pomocą naszego systemu wywoływania narzędzi.

Zaczynając od punktu kontrolnego SFT, stosujemy RL on-policy, aby poprawić dokładność i wydajność wyszukiwania. Optymalizujemy model polityki za pomocą Group Relative Policy Optimization (GRPO) (Shao i in., 2024).

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

gdzie $G$ to rozmiar grupy, $o_{i}$ oznacza $i$ -tą próbkę wyjściową, a $\hat{A}_{i, t} = \hat{A}_{i}$ to korzyść. Projektowanie nagrody opisano szczegółowo w sekcji dotyczącej projektowania nagrody; w skrócie łączymy poprawność względem wartości bazowej z kształtowaniem opartym na preferencjach i zakotwiczonej efektywności. Za wcześniejszymi pracami (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a) stosujemy tokenowy Importance Sampling (IS), aby skorygować niedopasowanie między treningiem a inferencją:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Oceniamy kilka podejść do łagodzenia niedopasowania między szkoleniem a wnioskowaniem, w tym IS na poziomie sekwencji (Zheng i in., 2025b), routing replay (Ma i in., 2025; Zheng i in., 2025b) oraz trening bitowo spójny, który integruje jądro silnika wnioskowania podczas szkolenia (Zespoły vLLM i TorchTitan, 2025). Empirycznie, w naszym ustawieniu on-policy, stwierdzamy, że IS na poziomie tokena jest wystarczające, aby zapobiec załamaniu treningu, będąc jednocześnie prostym w implementacji; jest to zgodne z wynikami Zheng i in. (2025a).

Nasze dane szkoleniowe RL składają się z dwóch uzupełniających się komponentów: weryfikowalnego QA agenta wyszukiwania ukierunkowanego na ogólną zdolność wyszukiwania oraz czatu ogólnego opartego na rubrykach, który wyraźnie wzmacnia zabezpieczenia wdrożeniowe, aby zapobiec regresji podczas etapu szkolenia RL.

Konstrukcja zestawu danych. Podążając za metodą sekwencyjnej ekspansji (Tao i in., 2025), konstruujemy wewnętrzny syntetyczny zestaw danych QA z wewnętrznych zapytań inicjujących bez polegania na wyselekcjonowanym grafie wiedzy, utrzymując potok lekki i łatwy do odświeżenia. Każdy syntetyczny przykład jest generowany poprzez następujące kroki:

Wybór zapytań inicjujących. Pobieramy dokumenty dla zapytań inicjujących i wybieramy jednostki z potwierdzeniem faktów z wielu źródeł jako punkty wyjścia, wyodrębniając na ich temat stwierdzenia atomowe.
Budowa łańcucha wieloetapowego. Ze stwierdzeń jednostki inicjującej wybieramy jedno, które wprowadza drugą jednostkę (np. dla zapytania inicjującego „The Mom Test”, stwierdzenie „napisana przez Roba Fitzpatricka” wprowadza autora jako kolejną jednostkę). Powtarzamy ten proces łączenia 2–4 razy, upewniając się, że każda jednostka jest odrębna i że żadne pojedyncze stwierdzenie nie ujawnia trywialnie ostatecznej odpowiedzi.
Synteza pytań bez użycia nazw. Konwertujemy łańcuch jednostek na pytanie poprzez rekurencyjne zastępowanie nazw jednostek ich stwierdzeniami łączącymi, tworząc zagnieżdżone pytanie, które wymaga rozumowania wieloetapowego.
Weryfikacja. Zachowujemy tylko pytania z unikalnymi odpowiedziami zweryfikowanymi przez wielu niezależnych solwerów z dostępem do sieci.

Rozważmy zapytanie inicjujące „The Mom Test”. Pobieramy dokumenty i identyfikujemy tę książkę jako jednostkę inicjującą, następnie wyodrębniamy atomowe stwierdzenia faktyczne i iteracyjnie budujemy łańcuch jednostek: (i) The Mom Test została napisana przez Roba Fitzpatricka, wprowadzając Roba Fitzpatricka; (ii) pierwszy startup Roba Fitzpatricka przeszedł przez Y Combinator (lato 2007), wprowadzając Y Combinator; (iii) Y Combinator został uruchomiony w marcu 2005. Rekurencyjne zastąpienie każdej nazwy jednostki jej deskryptorem daje pytanie bez nazw: „Która książka została napisana przez osobę, której pierwszy startup przeszedł przez akcelerator uruchomiony w marcu 2005 roku, w kohorcie Lato 2007?” z odpowiedzią „The Mom Test”.

Wzbogacanie pod kątem różnorodności formatu. Modele trenowane wyłącznie na surowych syntetycznych danych QA mają tendencję do ignorowania preferencji formatowania i domyślnie przyjmują ustaloną strukturę odpowiedzi, niezależnie od sposobu sformułowania zapytania. Aby poprawić różnorodność formatów, wzbogacamy zestaw danych o zapytania zawierające wyraźne instrukcje formatowania (np. „Pokaż listę . . . ” lub „Podsumuj . . . w tabeli”), przy jednoczesnym zachowaniu niezmienionej odpowiedzi merytorycznej.

Publiczne weryfikowalne QA (linia bazowa). Konstruujemy bazowy weryfikowalny zestaw danych QA z pięciu publicznie dostępnych zestawów danych (Lu i in., 2025; Pham i in., 2025; Press i in., 2023; Tao i in., 2025; Wu i in., 2025), ujednoliconych w ramach naszego rozszerzonego formatu podpowiedzi z filtrowaniem jakości. Ta mieszanka służy jako główna linia bazowa w naszych eksperymentach walidacyjnych. Dla porównań kontrolowanych dopasowujemy skalę naszego wewnętrznego syntetycznego zestawu danych QA do tej mieszanki open-source.

Szybka walidacja. Walidujemy skuteczność tego potoku za pomocą Qwen3-30B-A3B-Instruct-2507, aby umożliwić szybką iterację; wyniki podsumowano w Tabeli 1.

Tabela 1 | Walidacja syntetycznego weryfikowalnego zestawu danych QA

Podczas gdy weryfikowalne QA zapewnia czysty sygnał szkoleniowy dla zapytań skoncentrowanych na wyszukiwaniu, znaczna część ruchu produkcyjnego nie jest weryfikowalna w sposób unikalny (np. przepisywanie, planowanie i pomoc otwarta). Wykluczenie takich zapytań z RL pozostawiłoby politykę niedostatecznie zoptymalizowaną pod kątem rzeczywistych interakcji użytkowników. Co więcej, chociaż etap SFT ustanawia krytyczne dla wdrożenia zabezpieczenia, RL może cofnąć te postępy, chyba że zostaną one wyraźnie wzmocnione przez dane.

Włączamy zapytania nieweryfikowalne do szkolenia RL poprzez przekształcenie wymagań krytycznych dla wdrożenia — przestrzegania instrukcji, ograniczeń formatowania i konwencji bezpieczeństwa — w rubryki: atomowe, obiektywnie sprawdzalne kryteria, które odpowiedź musi spełnić. Przyjmujemy konstrukcję danych opartą na rubrykach (Gunjal i in., 2025; Liu i in., 2025b), generując zestawy rubryk dla każdego zapytania.

Generowanie rubryk. Dysponując pełną historią rozmowy, monitujemy LLM o stworzenie odpowiedzi referencyjnej i odpowiadającego jej zestawu rubryk. Rubryki są wywodzone zgodnie z ustaloną kolejnością pierwszeństwa: wymagania wyraźnie określone przez użytkownika mają pierwszeństwo, a po nich następują ograniczenia wewnętrzne oraz ostatecznie niezbędne wymagania dotyczące treści wywnioskowane z odpowiedzi referencyjnej. Każda rubryka musi być:

Atomowa: pojedyncza, dobrze zdefiniowana kontrola;
Obiektywna: weryfikowalna bez subiektywnego osądu;
Niezbędna: wymagana do odpowiedzi na zapytanie, a nie tylko preferencja stylistyczna.

Zapytanie.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubryki.

Odpowiedź jest napisana w języku angielskim.
Poprawione sformułowanie zawiera słowa „lodging” oraz „boarding”.
Poprawione sformułowanie używa słowa „manpower” jako jednego wyrazu (na przykład „manpower plan” lub „manpower planning”) zamiast „man power”.
Poprawione sformułowanie nie zawiera nieformalnych skrótów „u” lub „Plz” i nie zawiera znaku ampersand „&”.
Odpowiedź nie zawiera znaczników cytowań w formie \[typ:indeks\], gdzie typ oznacza źródło danych (na przykład web, chart, memory, attached_file).

Kalibracja rubryk. Aby uniknąć zbyt rygorystycznych lub zbyt permisywnych zestawów rubryk, stosujemy filtr pass@4. Dla każdego zapytania pobieramy cztery niezależne odpowiedzi i oceniamy je według pełnego zestawu rubryk za pomocą sędziego przestrzegającego instrukcje. Odrzucamy zapytania, dla których żadna odpowiedź nie spełnia zestawu rubryk lub wszystkie je spełniają, zachowując tylko te, które dostarczają wartościowego sygnału szkoleniowego.

Praktycznym wyzwaniem w RL z wieloma celami jest brak równowagi wariancji między składnikami danych (Duchi i Namkoong, 2016; Liu i in., 2026; Qi i in., 2026). Chociaż zarówno weryfikowalne QA, jak i dane oparte na rubrykach przynoszą binarne nagrody, znacząco różnią się one trudnością zadania: spełnienie rubryk jest na ogół łatwiejsze do osiągnięcia na wczesnym etapie szkolenia, co powoduje większe i częstsze aktualizacje gradientu, które mogą nieproporcjonalnie zdominować optymalizację polityki w stosunku do trudniejszego sygnału weryfikowalnego QA. Aby temu zaradzić, ponownie ważymy mieszankę podpowiedzi na poziomie zestawu danych, pobierając 90% z weryfikowalnego QA i 10% z danych opartych na rubrykach, aby zrównoważyć sygnał optymalizacji między składnikami.

Nasz projekt nagrody wynika bezpośrednio z opisanej powyżej konstrukcji danych. Pomimo obejmowania zarówno zadań QA, jak i zadań opartych na rubrykach, wszystkie dane szkoleniowe dzielą wspólną strukturę bazowej nagrody: rollout otrzymuje kredyty, jeśli dostarczy poprawną odpowiedź w zadaniach QA lub spełni wszystkie określone rubryki w czacie ogólnym. Opierając się na tym fundamencie, konstruujemy zbiorczą nagrodę, aby włączyć punktację opartą na preferencjach i kształtowanie wydajności.

Kluczowym wyzwaniem zaobserwowanym w pierwszych eksperymentach było manipulowanie nagrodami (reward hacking): prosta kombinacja liniowa nagród pozwalała silnym sygnałom preferencji rekompensować błędy merytoryczne lub instruktażowe. Dlatego przyjmujemy agregację bramkowaną (gated aggregation) jako główną zasadę projektową, formalnie zdefiniowaną jako:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

gdzie $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ oznacza poprawność QA lub spełnienie rubryki, $s(\tau_i)\in[0,1]$ to wynik preferencji, a $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ to zakotwiczona kara za efektywność. Dzięki temu poprawność staje się warunkiem koniecznym uzyskania kredytu preferencyjnego, a jednocześnie nadal zniechęca do niepotrzebnego użycia narzędzi i rozwlekłości. Rysunek 1 ilustruje pełny potok nagrody, którego komponenty opisujemy poniżej:

Przegląd projektowania nagród. Łączymy bazowy sygnał poprawności (weryfikowalny/rubryka), wynik preferencji Bradleya-Terry’ego oraz zakotwiczone kary za efektywność. Preferencja jest bramkowana przez poprawność bazową, aby zapobiec manipulacji nagrodami.

Definiujemy binarny sygnał bazowy $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ , który odzwierciedla poprawność zadania lub zgodność z instrukcją. W przypadku weryfikowalnych danych dla agenta wyszukiwania, $r_{\mathrm{base}}(\tau_i)=1$ , jeśli końcowa odpowiedź zgadza się z wartością referencyjną, a $0$ w przeciwnym razie. W przypadku ogólnych danych czatu opartych na rubryce, $r_{\mathrm{base}}(\tau_i)=1$ , jeśli wszystkie rubryki są spełnione, a $0$ w przeciwnym razie. Ten sygnał bazowy służy jako twarda bramka w warunkowej regule agregacji z równania 2.

Dążymy do dostosowania modelu polityki do ukrytych preferencji użytkowników dotyczących jakości odpowiedzi — informacyjności, jasności i profesjonalnego tonu — które są trudne do uchwycenia za pomocą monity sędziowskich LLM. W związku z tym trenujemy wyuczony model nagrody za preferencje, aby oceniać te atrybuty bezpośrednio.

Formułujemy uczenie preferencji w ramach modelu Bradleya–Terry’ego. Dla kontekstu $x$ i dwóch kandydackich odpowiedzi $y_a, y_b$ model generuje skalarne wyniki $s_{\theta}(x, y) \in \mathbb{R}$ i minimalizuje,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

gdzie $r \in \{0, 1\}$ wskazuje, czy $y_a$ jest preferowane. Aby wyeliminować stronniczość pozycyjną, każda para treningowa jest uzupełniana o obie kolejności i optymalizowana symetrycznie,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

W czasie wnioskowania uzyskujemy niezależny od pozycji wynik preferencji poprzez uśrednienie obu permutacji:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Wynik preferencji rolloutu definiujemy następnie jako $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ , tj. prawdopodobieństwo, że rollout polityki $y_i$ jest preferowany względem rolloutu modelu referencyjnego dla tego samego promptu.

Dane szkoleniowe do modelowania preferencji pochodzą z wyselekcjonowanych zestawów danych open-source, opinii użytkowników typu „side-by-side” oraz wewnętrznych adnotacji. Aby zająć się szumem etykiet, stosujemy lekki potok filtrowania i kalibracji inspirowany Datbench (DatologyAI, 2026), zachowując tylko przykłady ze spójną zgodnością między modelami. Model nagrody dzieli ten sam szkielet (backbone) co model polityki, z tą różnicą, że głowa modelowania językowego została zastąpiona głową wartości. Chociaż mniejsze modele nagród osiągają porównywalną dokładność na danych testowych, empirycznie stwierdzamy, że nie udaje im się uchwycić szczegółowych preferencji i mogą wzmacniać niepożądane zachowania polityki.

Pod nieobecność wyraźnego kształtowania efektywności, polityka ma tendencję do nadużywania narzędzi nawet przy prostych monitach. Kary bezwarunkowe (np. te skalujące się liniowo z liczbą wywołań narzędzi lub długością wyjścia) są naturalną linią bazową, ale stwierdzamy, że tłumią one niezbędną eksplorację i pogarszają uczenie się. Dlatego przyjmujemy względne dla grupy, zakotwiczone kary, które regulują użycie narzędzi i długość odpowiedzi w stosunku do skutecznych rozwiązań wewnątrz każdej grupy GRPO. Dla grupy g, definiujemy zbiór zwycięzców jako:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Zakotwiczona kara za wywołania narzędzi. Dla każdego rollout $\tau_i$ niech $c_i$ oznacza liczbę wywołań narzędzi, a $e_i$ liczbę niepowodzeń wykonania narzędzi. Definiujemy efektywną liczbę wywołań narzędzi $\tilde{c}_i = c_i - e_i$ i równomiernie próbkujemy bazę grupową:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Obliczamy nadwyżkę $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ i definiujemy gładki skalar kary $p_i = 1 - \exp\!\left(-\Delta_i\right)$ . Kara za narzędzia jest następnie:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Zakotwiczona kara za długość. Niech $L_i$ oraz $L_i^{\mathrm{ref}}$ oznaczają długości tokenów wygenerowane odpowiednio przez model kandydujący i referencyjny. Definiujemy zbiór kształtujący $\widehat{W}_g$ jako rollouty, które są jednocześnie poprawne i preferowane:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Następnie obliczamy specyficzne dla grupy linie bazowe długości:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Kara za długość jest zdefiniowana jako:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

gdzie pierwsza linia jest twardym limitem; druga karze rozwlekłych zwycięzców; a trzecia karze zwięzłych przegranych.

Łączna kara za efektywność. Łączna kara za efektywność jest ważoną sumą obu składników:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Oceniamy nasz potok potrenningowy wzdłuż dwóch osi: (i) dynamiki szkolenia, aby ocenić stabilność optymalizacji i sprawdzić, czy sygnały nagrody zachowują się zgodnie z oczekiwaniami, oraz (ii) benchmarków offline, aby zmierzyć jakość końcową, bezpieczeństwo i efektywność w kontrolowanych warunkach oceny.

Domyślne ustawienia szkolenia. Model polityki wchodzi w interakcję z narzędziem wyszukiwania w sieci (search_web); każde wywołanie narzędzia pobiera do 10 wyników, przy zapytaniach ograniczonych do 250 znaków i maksymalnie 5 zapytaniach na rollout.

Analizujemy dynamikę optymalizacji, koncentrując się na progresji nagrody i zachowaniu efektywności. Używamy Qwen3.5-397B-A11B dla prostoty ilustracji.

Ewolucja sygnałów bazowych i preferencji podczas szkolenia.

Rysunek 2 pokazuje stałą poprawę nagrody bazowej (weryfikowalne QA i spełnienie rubryk) wraz z rosnącymi wynikami preferencji, co wskazuje na konsekwentne zyski w poprawności, zgodności i jakości odpowiedzi.

Zachowanie efektywności i zakotwiczone kary kształtujące podczas szkolenia.

Rysunek 3 pokazuje, że zarówno częstotliwość wywołań narzędzi, jak i długość generowania pozostają dobrze kontrolowane przez cały okres szkolenia. Warto zauważyć, że zarówno kary za wywołanie narzędzia, jak i za długość, maleją monotonicznie w trakcie szkolenia, co odzwierciedla postępującą adaptację modelu w kierunku bardziej zwięzłego generowania i bardziej selektywnego wywoływania narzędzi.

Rysunek 4 pokazuje, że normy gradientu pozostają stabilne poza przejściowymi skokami, podczas gdy dywergencja KL między szkoleniem a wnioskowaniem wykazuje łagodny trend wzrostowy, pozostając w skali 1e-3. Ten wzorzec dryfu jest zgodny z obserwacjami w innych frameworkach szkoleniowych RL; ponieważ szkolenie pozostaje stabilne, zachowujemy prostą regularyzację IS w równaniu 1 bez dodatkowej interwencji.

Raportujemy wyniki z zestawu benchmarków obejmujących dokładność wyszukiwania, wiarygodność faktyczną, przestrzeganie instrukcji i bezpieczeństwo, składającego się zarówno z publicznych benchmarków, jak i wewnętrznych metryk Perplexity (PPLX). Publiczne benchmarki obejmują SimpleQA, FRAMES oraz Facts Open.

pplx-sbs-search: Ocena preferencji metodą side-by-side przy użyciu wewnętrznego modelu nagrody. Kandydaci są porównywani z silną linią bazową.
pplx-abstention: Zdolność do odpowiedniej odmowy odpowiedzi, gdy nie są dostępne wiarygodne dowody.
pplx-language-mismatch: Spójność językowa w ustawieniach typu „long-tail” oraz wieloetapowych.
pplx-broken-tool-calls (↓): Zgodność ze schematem wywoływania narzędzi i przestrzeganie ograniczeń, na przykład tool_choice=none.

Domyślne ustawienia ewaluacji. W przypadku benchmarków publicznych zezwalamy tylko na narzędzie wyszukiwania w sieci, z budżetem do 5 wywołań narzędzi na przykład i do 10 wyników na wywołanie, generując do 8192 tokenów wyjściowych przy temperaturze 0,6.

Tabela 2 | Wyniki ewaluacji offline. Liczby w nawiasach wskazują średnie użycie narzędzi. Qwen3.5-397B-A17B oznaczamy jako Qwen3.5-Large, a Qwen3.5-122B-A10B jako Qwen3.5-Medium.

Tabela 2 pokazuje, że Qwen3.5-Large-SFT-RL osiąga wysoką dokładność wyszukiwania w benchmarkach publicznych, dorównując lub przewyższając gpt-5.4 w FRAMES i Facts Open przy użyciu porównywalnych budżetów na narzędzia. W stosunku do modelu bazowego, nasze podejście przynosi znaczne zyski w metrykach wewnętrznych, szczególnie w zakresie preferencji (pplx-sbs-search: 0.602 → 0.742), spójności językowej i powstrzymywania się od odpowiedzi, co dowodzi, że dwuetapowy potok skutecznie poprawia zachowania krytyczne dla wdrożenia bez naruszania zdolności wyszukiwania.

Aby to zmierzyć, projektujemy protokół ewaluacji z wymuszonym budżetem. Każdy model otrzymuje dostęp do narzędzia wyszukiwania w sieci (search_web) oraz systemowej podpowiedzi (system prompt), która określa twardy limit liczby dozwolonych wywołań narzędzi („budżet”). Zmieniamy ten budżet od 0 (brak użycia narzędzi, czysta wiedza parametryczna) do 10 (hojne pobieranie wieloetapowe), rejestrując dokładność na każdym poziomie. Tworzy to krzywą efektywności narzędzi: wynik modelu jako funkcja dozwolonego budżetu wyszukiwania. Oceniamy wyniki na dwóch benchmarkach QA dotyczących faktów: FRAMES i Facts Open.

Dokładność benchmarku vs. maksymalna liczba wywołań narzędzi.

Z tych dwóch benchmarków wyłania się kilka wzorców:

Nasz potrenningowy Qwen3.5-397B-SFT-RL osiąga najlepszą dokładność wyszukiwania w obu benchmarkach. Nawet przy pojedynczym wywołaniu narzędzia uzyskuje 57,3% w FRAMES, 5,7 punktu powyżej GPT-5.4 i 4,7 punktu powyżej Sonnet 4.6.
- Przewaga jest najbardziej wyraźna przy umiarkowanych budżetach (b=2-7), co stanowi praktyczny zakres operacyjny dla wdrożeń produkcyjnych.
Nasza recepta potrenningowa (SFT + RL) znacząco poprawia efektywność korzystania z narzędzi w porównaniu z bazowym punktem kontrolnym; patrz linie ciągłe (potrenningowe) vs. linie przerywane (punkt kontrolny startowy) na Rysunku 5.
Dla wszystkich modeli obserwujemy malejące zyski w okolicach budżetu=7, co jest spójne w obu benchmarkach i dla wszystkich modeli, co sugeruje, że jest to właściwość zadań poszukujących faktów, a nie samych modeli.

Wyniki powyżej pokazują, że Qwen3.5-397B-SFT-RL osiąga wyższą dokładność przy mniejszej liczbie wywołań narzędzi. Ale jak przekłada się to na faktyczny koszt? Przeliczamy pomiary na poziomie tokenów na koszty w dolarach, używając opublikowanych cenników API (Alibaba DashScope, OpenAI, Anthropic), aby uczynić porównanie konkretnym.

W profilu średnim (b=4), Qwen3.5-397B-SFT-RL uzyskuje 73,9% w FRAMES przy koszcie 2,0 centa za zapytanie, podczas gdy GPT-5.4 uzyskuje 67,8% przy 8,5 centa, a Sonnet 4.6 uzyskuje 62,4% przy 15,3 centa. Jest to +6 punktów dokładności przy 4-krotnie niższym koszcie w porównaniu z GPT-5.4 oraz +11,5 punktów przy 7,5-krotnie niższym koszcie w porównaniu z Sonnet 4.6.

Te szacunki wykorzystują listowe ceny API bez buforowania. Dzięki wewnętrznym optymalizacjom wnioskowania, takim jak ponowne wykorzystanie pamięci podręcznej KV, buforowanie prefiksów i skwantyzowana obsługa MoE (397B wykorzystuje tylko 17B aktywnych parametrów), efektywny koszt może zostać znacznie obniżony poniżej listowych cen API.

Rozdzielenie zgodności wdrożeniowej od optymalizacji wyszukiwania za pomocą dwuetapowego potoku SFT i RL daje model, który jest jednocześnie zdolny i niezawodny w warunkach produkcyjnych. Kombinacja weryfikowalnego QA i danych szkoleniowych opartych na rubrykach, wraz z bramkowaną agregacją nagród i zakotwiczonym kształtowaniem efektywności, umożliwia stabilną optymalizację wielocelową bez poświęcania dokładności wyszukiwania lub zgodności z zabezpieczeniami.

Kilka kierunków wymaga dalszych badań. Jak zaobserwowano na Rysunku 4, dywergencja KL między szkoleniem a wnioskowaniem wykazuje trwały trend wzrostowy przy zwiększonych krokach szkoleniowych. Chociaż korekta IS na poziomie tokena okazuje się wystarczająca w naszym obecnym ustawieniu, nie jest jasne, czy pozostaje to prawdą na większą skalę; bardziej pryncypialne teoretyczne ujęcie tego niedopasowania — obejmujące rozbieżności na poziomie infrastruktury i czynniki specyficzne dla architektury, takie jak routing MoE — wraz z ilościowymi porównaniami empirycznymi strategii łagodzenia, pozostaje ważnym otwartym pytaniem. W szczególności dla RL z wieloma celami, obiecujące ścieżki obejmują szkolenie sekwencyjne (Zeng i in., 2026) z destylacją on-policy w celu optymalizacji celów etapami przy jednoczesnym łagodzeniu katastroficznego zapominania; oraz łączenie modeli (Fu i in., 2025; Yang i in., 2026) w celu odsprzężenia optymalizacji specyficznej dla zadania od agregacji możliwości. Wreszcie, skalowanie do realistycznych przepływów pracy z wieloma narzędziami i długohoryzontalnymi trajektoriami pozostaje ważnym otwartym wyzwaniem, prawdopodobnie wymagającym lepszego przypisywania kredytów, wsparcia dla częściowych rolloutów i ewaluacji.

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, styczeń 2026. Opublikowano 6 stycznia 2026. Dostęp: 2026-03-04.

J. Duchi i H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng i X. Zhao. Training-free llm merging for multi-task learning. W: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), strony 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu i S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu i Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng i in. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao i H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang i Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui i F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng i T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith i M. Lewis. Measuring and narrowing the compositionality gap in language models. W: Findings of the Association for Computational Linguistics: EMNLP 2023, strony 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin i W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu i in. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang i in. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

Zespoły vLLM i TorchTitan. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, lis. 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie i F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv i in. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang i D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang i J. Gao. Your efficient rl framework secretly brings you off-policy rl training, sie. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang i in. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu i in. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang i in. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}

Wprowadzenie

Dwuetapowy potok szkoleniowy

Etap SFT

Etap RL

Dane szkoleniowe RL

Weryfikowalne dane agenta wyszukiwania

Przykład (3-hop)

Dane czatu ogólnego oparte na rubrykach

Przykład

Mieszanka podpowiedzi i równoważenie wariancji

Projekt nagrody

Nagroda bazowa

Modelowanie preferencji

Kara za efektywność

Główne wyniki

Dynamika szkolenia

Ewaluacje offline

Ewaluacje efektywności korzystania z narzędzi

Wnioski

Bibliografia

Cytat