Удосконалення мовних моделей із доповненим пошуком

Як ми донавчаємо відкриті моделі на пошукових агентів, які точніше відповідають на запити за допомогою меншої кількості викликів інструментів.

АвториPerplexity Research

Вступ

Навчання сучасних агентів веб-пошуку вимагає спільної оптимізації кількох цілей: фактичної точності, ефективності траєкторії та узгодженості з уподобаннями користувача. Проте покращення будь-якого окремого виміру ізольовано часто погіршує інші: моделі, натреновані виключно на точність, схильні надмірно використовувати інструменти, тоді як моделі, оптимізовані для лаконічності, можуть жертвувати надійністю або повнотою. Для Perplexity жоден із цих результатів є неприйнятним.

У цій статті описано конвеєр посттренінгу Perplexity для розробки передових агентів веб-пошуку на основі відкритих моделей. Ключова ідея полягає в тому, що під час навчання пошукових агентів курування даних і проєктування винагород мають розроблятися спільно: дані визначають, які поведінкові реакції є спостережуваними та перевірюваними, а винагорода визначає, як ці сигнали перетворюються на сигнал оптимізації. Цей принцип мотивує наш двохетапний конвеєр: спочатку ми проводимо розігрів за допомогою керованого тонкого настроювання (Supervised Fine-Tuning, SFT) для ініціалізації моделі політики, а потім удосконалюємо її за допомогою навчання з підкріпленням (RL) на курованому наборі даних і ретельно спроєктованих винагородах. такий двохетапний підхід забезпечує надійне зростання точності, ефективності та якості відповідей в умовах робочих обмежень.

Спочатку ми описуємо наш двохетапний конвеєр навчання (SFT → RL в межах політики), а потім створення наших даних для навчання RL, охоплюючи як перевірювані запитання й відповіді (QA) для пошукових агентів, так і загальний чат на основі критеріїв. Потім ми представляємо складовий дизайн винагороди, отриманий із цього гетерогенного набору даних, який збалансовує якість та ефективність, водночас пом'якшуючи злому винагород. Нарешті, ми аналізуємо динаміку навчання та результати бенчмарків.

Двохетапний конвеєр навчання

Ми застосовуємо двохетапний рецепт посттренінгу: (i) SFT для встановлення критично важливої для розгортання поведінки, як-от запобіжні заходи (наприклад, утримання від відповідей), дотримання інструкцій та узгодженість мови, і (ii) RL у межах політики для покращення можливостей пошуку, включаючи точність відповідей та ефективність використання інструментів, зі збереженням поведінки першого етапу.

Чому два етапи? Спільно оптимізувати якість пошуку та обмеження розгортання в межах одного етапу RL складно без компромісу щодо щонайменше однієї цілі. Емпірично навчання виключно на основі RL покращує продуктивність пошуку, але зазвичай демонструє гірші результати щодо запобіжних заходів розгортання, тоді як SFT покращує відповідність вимогам ціною продуктивності пошуку. Розділення цілей дозволяє етапу SFT спершу вирішити невідкладні вимоги, після чого RL може зосередитися переважно на вдосконаленні пошукових можливостей.

Етап SFT

Ми виконуємо ініціалізацію з сімейства моделей Qwen3 (Qwen3.5-122B-A10B та Qwen3.5-397B-A17B) (Yang et al., 2025, допис у блозі Qwen3.5) і створюємо двокомпонентний набір даних суміші SFT, орієнтований на описану вище критично важливу для розгортання поведінку, водночас зберігаючи загальні можливості пошуку базової моделі.

Приклади, орієнтовані на вподобання. Ми куруємо приклади, зосереджені на дотриманні інструкцій та стилі, які спрямовані на тон, мовну узгодженість, чіткість і форматування. Ці приклади не обов'язково повинні передбачати єдину істинну відповідь; скоріше, вони підбираються так, щоб відображати вимоги продукту до написання текстів та забезпечувати стилістичну узгодженість для різних типів запитів.

Траєкторії використання інструментів у виробничому форматі. Емпірично ми виявили, що SFT без ретельного курування набору даних може суттєво погіршити можливості пошуку базової моделі. Щоб пом'якшити це, ми вибираємо запити та внутрішні завдання за допомогою вибірки з різноманітних моделей взаємодії (одноетапні, двохетапні та багатоетапні) і анотуємо їх за допомогою нашого інструменту виклику інструментів.

Етап RL

Починаючи з контрольної точки SFT, ми застосовуємо RL у межах політики для підвищення точності та ефективності пошуку. Ми оптимізуємо модель політики за допомогою групової оптимізації відносної політики (Group Relative Policy Optimization, GRPO) (Shao et al., 2024).

JGRPO(θ)=1G∑i=1G1∣oi∣∑t=1∣oi∣ri,t(θ)A^i,t,\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

де GG — це розмір групи, oio_{i} позначає ii-й вибірковий вихід, а A^i,t=A^i\hat{A}_{i, t} = \hat{A}_{i} — перевага. Проєктування винагороди детально описано в розділі проєктування винагород; коротко кажучи, ми поєднуємо базову правильність із формуванням ефективності на основі вподобань та прив'язки. Дотримуючись попередніх робіт (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), ми застосовуємо побітове (токенне) важливе вибіркове зважування (Importance Sampling, IS), щоб виправити невідповідність між навчанням та виведенням:

ri,t(θ)=πtrain(θ)μinfer(θ).r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Ми оцінюємо кілька підходів для пом'якшення невідповідності між навчанням і виведенням, включаючи IS на рівні послідовностей (Zheng et al., 2025b), повторення маршрутизації (Ma et al., 2025; Zheng et al., 2025b) і побітово послідовне навчання, яке інтегрує ядро механізму виведення під час навчання (команди vLLM та TorchTitan, 2025). Емпірично, в умовах нашої політики ми виявили, що токенний IS є достатнім для запобігання збою навчання, залишаючись при цьому простим у реалізації; це узгоджується з висновками Zheng et al. (2025a).

Дані навчання RL

Наші дані для навчання RL складаються з двох взаємодоповнюючих компонентів: перевірюваних QA для пошукових агентів, орієнтованих на загальні можливості пошуку, і загального чату на основі критеріїв, що явно підкріплює запобіжні заходи розгортання задля запобігання регресії на етапі навчання RL.

Перевірювані дані пошукових агентів

Створення набору даних. Дотримуючись методу послідовного розширення (Tao et al., 2025), ми створюємо власний синтетичний набір даних QA з внутрішніх початкових запитів без опору на курований граф знань, зберігаючи конвеєр легким та зручним для оновлення. Кожен синтетичний приклад генерується за допомогою таких кроків:

  1. Вибір початкових даних. Ми отримуємо документи для початкових запитів і вибираємо сутності з підтвердженням фактів із кількох джерел як відправні точки, виділяючи атомарні твердження про них.
  2. Побудова багатоходового ланцюжка. З тверджень початкової сутності ми вибираємо одне, яке вводить другу сутність (наприклад, для початкового тексту «The Mom Test» твердження «написано Робем Фіцпатріком» вводить автора як наступну сутність). Ми повторюємо цей процес зв'язування 2–4 рази, гарантуючи, що кожна сутність є унікальною і що жодне окреме твердження не розкриває остаточну відповідь очевидним чином.
  3. Синтез запитань без імен. Ми перетворюємо ланцюжок сутностей на запитання шляхом рекурсивної заміни імен сутностей їх сполучними твердженнями, створюючи вкладене запитання, яке вимагає багатоходового міркування.
  4. Перевірка. Ми залишаємо лише запитання з унікальними відповідями, перевіреними кількома незалежними розв'язниками з підтримкою веб-пошуку.

Приклад (3-гоповий)

Розглянемо початковий запит «The Mom Test». Ми отримуємо документи та ідентифікуємо цю книгу як початкову сутність, після чого витягуємо атомарні фактологічні твердження та ітеративно будуємо ланцюжок сутностей: (i) The Mom Test написана Робом Фіцпатріком, що представляє Роба Фіцпатріка; (ii) перший стартап Роба Фіцпатріка пройшов через Y Combinator (літо 2007 р.), що представляє Y Combinator; (iii) Y Combinator було запущено в березні 2005 р. Рекурсивна заміна кожної назви сутності її дескриптором дає запитання без імен: «Яку книгу написала людина, чий перший стартап пройшов через акселератор, запущений у березні 2005 року, у складі його когорти за літо 2007 року?» з відповіддю «The Mom Test».

Збагачення різноманітності форматів. Моделі, натреновані виключно на сирих синтетичних QA, схильні ігнорувати вподобання щодо форматування та за замовчуванням використовувати фіксовану структуру відповіді, незалежно від того, як сформульовано запит. Для покращення різноманітності форматів ми розширюємо набір даних запитами, які містять явні інструкції щодо форматування (наприклад, «Показати список...» або «Узагальнити... в таблиці»), зберігаючи при цьому основну відповідь незмінною.

Публічні перевірювані QA (базова лінія). Ми створюємо базовий набір даних перевірюваних QA з п'яти відкритих наборів даних (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), уніфікованих під нашим розширеним форматом підказок із фільтрацією за якістю. Ця суміш слугує первинною базовою лінією в наших експериментах з валідації. Для контрольованих порівнянь ми узгоджуємо масштаб нашого власного синтетичного набору даних QA з цією сумішшю відкритих джерел.

Швидка валідація. Ми перевіряємо ефективність цього конвеєра за допомогою Qwen3-30B-A3B-Instruct-2507, щоб забезпечити швидку ітерацію; результати узагальнено в таблиці 1.

Валідація синтетичного набору даних перевірюваних QA

Дані загального чату на основі критеріїв

Хоча перевірювані QA забезпечують чіткий сигнал навчання для запитів, орієнтованих на пошук, значна частина виробничого трафіку є неунікально перевірюваною (наприклад, переписування, планування та допомога у вільній формі). Виключення таких запитів з RL залишило б політику недостатньо оптимізованою для реальних взаємодій із користувачем. Крім того, хоча етап SFT встановлює критично важливі для розгортання запобіжні заходи, RL може призвести до їх регресії, якщо вони чітко не підкріплені даними.

Ми інтегруємо неверифіковані запити в навчання RL, перетворюючи критично важливі для розгортання вимоги — дотримання інструкцій, обмеження форматування та правила безпеки — на критерії: атомарні, об'єктивно перевірювані критерії, яким має відповідати відповідь. Ми застосовуємо побудову даних на основі критеріїв (Gunjal et al., 2025; Liu et al., 2025b), генеруючи набори критеріїв для кожного запиту.

Генерація критеріїв. Маючи повну історію розмови, ми даємо моделі LLM підказку згенерувати еталонну відповідь і відповідний набір критеріїв. Критерії виводяться за фіксованим порядком пріоритетності: вимоги, явно зазначені користувачем, мають пріоритет, за ними йдуть внутрішні обмеження, і врешті-решт необхідні вимоги до вмісту, виведені з еталонної відповіді. Кожен критерій має бути:

  • Атомарним: одна чітко визначена перевірка;
  • Об'єктивним: перевірюваним без суб'єктивних суджень;
  • Необхідним: потрібним для відповіді на запит, а не просто стилістичною перевагою.

Приклад

Запит.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Критерії.

  • Відповідь написана англійською мовою.
  • Виправлене формулювання містить слова "lodging" та "boarding".
  • Виправлене формулювання використовує "manpower" як єдине слово (наприклад, "manpower plan" або "manpower planning"), а не "man power".
  • Виправлене формулювання не містить неофіційних скорочених токенів "u" чи "Plz", а також не містить символу амперсанда "&".
  • Відповідь не містить маркерів цитування формату \\[type:idx\\], де type позначає джерело даних (наприклад, web, chart, memory, attached_file).

Калібрування критеріїв. Щоб уникнути занадто суворих або занадто м'яких наборів критеріїв, ми застосовуємо фільтр pass@4. Для кожного запиту ми робимо вибірку з чотирьох незалежних відповідей і оцінюємо їх за повним набором критеріїв за допомогою судді з дотримання інструкцій. Ми відкидаємо запити, для яких жодна відповідь не задовольняє набір критеріїв або ж задовольняють усі, залишаючи лише ті, які дають інформативний сигнал навчання.

Суміш підказок і балансування дисперсії

Практичною проблемою багатоцільового RL є дисбаланс дисперсії між компонентами даних (Duchi and Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Хоча і перевірювані QA, і дані на основі критеріїв дають бінарні винагороди, вони суттєво відрізняються за складністю завдань: задоволення критеріїв зазвичай легше досягти на початку навчання, що створює більші та частіші оновлення градієнта, які можуть непропорційно домінувати в оптимізації політики порівняно зі складнішим сигналом перевірюваних QA. Для вирішення цієї проблеми ми перезважуємо суміш підказок на рівні набору даних, вибираючи 90% із перевірюваних QA та 10% з даних на основі критеріїв для збалансування сигналу оптимізації між компонентами.

Проєктування винагороди

Наш дизайн винагороди безпосередньо випливає з описаної вище побудови даних. Незважаючи на охоплення як перевірюваних QA, так і завдань за критеріями, усі навчальні дані мають спільну базову структуру винагороди: етап виконання отримує кредити, якщо він дає правильну відповідь для завдань QA або задовольняє всі зазначені критерії для загального чату. Спираючись на цей спільний фундамент, ми створюємо складову винагороду, щоб включити оцінювання на основі вподобань та формування ефективності.

Ключовою проблемою, поміченою в ранніх експериментах, був злом винагород: проста лінійна комбінація винагород дозволяла сильним сигналам вподобань компенсувати фактичні помилки або помилки інструкцій. Тому ми приймаємо шлюзовану агрегацію як ключовий принцип проєктування, формально визначений як:

R(τi)=rbase(τi)⋅s(τi)  −  pen⁡eff(τi),R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

де rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0, 1\} позначає правильність QA або виконання критеріїв, s(τi)∈[0,1]s(\tau_i)\in[0,1] — це бал вподобання, а pen⁡eff(τi)\operatorname{pen}_{\mathrm{eff}}(\tau_i) — це прив'язаний штраф за ефективність. Це робить правильність необхідною умовою для отримання кредитів за вподобання, водночас продовжуючи стримувати непотрібне використання інструментів і багатослівність. На рисунку 1 показано повний конвеєр винагород, компоненти якого ми описуємо нижче:

Огляд дизайну винагород. Ми поєднуємо базовий сигнал правильності (перевірювані/критерії), оцінку вподобань Бредлі–Террі та прив'язані штрафи за ефективність. Вподобання обмежені базовою правильністю для запобігання зламу винагород.

Базова винагорода

Ми визначаємо бінарний базовий сигнал rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0,1\}, який фіксує правильність завдання або дотримання інструкцій. Для перевірюваних даних пошукових агентів rbase(τi)=1r_{\mathrm{base}}(\tau_i)=1, якщо оставча відповідь збігається з істинними даними, і 00 інакше. Для даних загального чату на основі критеріїв rbase(τi)=1r_{\mathrm{base}}(\tau_i)=1, якщо задоволено всі критерії, і 00 інакше. Ця базова лінія слугує жорстким шлюзом у правилі умовної агрегації (рівняння 2).

Моделювання вподобань

Ми прагнемо узгодити модель політики з прихованими вподобаннями користувачів щодо якості відповідей — інформативності, чіткості та професійного тону, — які важко захопити за допомогою підказок для судді LLM. Тому ми тренуємо навчену модель винагороди за вподобаннями, щоб оцінювати ці атрибути безпосередньо.

Ми формулюємо навчання вподобанням у межах платформи Бредлі–Террі. За заданого контексту xx і двох кандидатів на відповідь ya,yby_a, y_b модель видає скалярні бали sθ(x,y)∈Rs_{\theta}(x, y) \in \mathbb{R} і мінімізує,

ℓBT(θ;x,ya,yb,r)=−[rlog⁡σ(Δθ)+(1−r)log⁡(1−σ(Δθ))],Δθ=sθ(x,ya)−sθ(x,yb)\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

де r∈{0,1}r \in \{0, 1\} вказує, чи віддається перевага yay_a. Щоб усунути позиційний упередження, кожна навчальна пара розширюється обома варіантами порядку та оптимізується симетрично,

Lsym=12 ℓBT(x,ya,yb,r)+12 ℓBT(x,yb,ya,1−r).\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

Під час виведення ми отримуємо оцінку вподобань, незалежну від позиції, шляхом усереднення обох перестановок:

Δˉθ(x,ya,yb)=12[Δθ(x,ya,yb)−Δθ(x,yb,ya)],Pˉθ(x,ya,yb)=σ(Δˉθ(x,ya,yb)).\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Оцінка вподобань генерації тоді визначається як s(τi)≜Pˉθ(x,ya,yb)∈[0,1]s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1], тобто ймовірність того, що генерація політики yiy_i є кращою за генерацію базової моделі для того самого запиту.

Навчальні дані для моделювання вподобань беруться з курованих наборів даних із відкритим кодом, зворотного зв'язку користувачів у форматі «пліч-о-пліч» та внутрішніх анотацій. Для боротьби з шумом міток ми застосовуємо легкий конвеєр фільтрації та калібрування, натхненний Datbench (DatologyAI, 2026), залишаючи лише приклади з послідовною згодою між моделями. Модель винагороди має той самий остов, що й модель політики, при цьому голова моделювання мови замінена головою значення. Хоча менші моделі винагороди досягають порівнянної точності на відкладених даних, ми емпірично виявили, що вони не вловлюють делікатні вподобання та можуть підкріплювати небажану поведінку політики.

Штраф за ефективність

За відсутності явного формування ефективності політика схильна надмірно використовувати інструменти навіть для простих запитів. Безумовні штрафи (наприклад, ті, що масштабуються лінійно з кількістю викликів інструментів або довжиною виводу) є природною базовою лінією, але ми виявили, що вони приглушують необхідне дослідження та погіршують навчання. Тому ми застосовуємо групові відносні прив'язані штрафи, які регулюють використання інструментів і довжину відповіді відносно ефективних рішень у кожній групі GRPO. Для групи 𝑔 ми визначаємо множину переможців як:

Wg={ i:rbase(τi)=1 }.W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Прив'язаний штраф за виклики інструментів. Для кожної генерації τi\tau_i нехай cic_i позначає кількість викликів інструментів, а eie_i — кількість збоїв виконання інструментів. Ми визначаємо ефективну кількість викликів інструментів c~i=ci−ei\tilde{c}_i = c_i - e_i і рівномірно беремо вибірку базової лінії групи:

bg∼Unif⁡ ⁣(min⁡j∈Wgc~j, ⌈mean⁡j∈Wgc~j⌉).b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Ми обчислюємо надлишок Δi=max⁡ ⁣(0,  c~i−bg)\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right) і визначаємо плавний скаляр штрафу pi=1−exp⁡ ⁣(−Δi)p_i = 1 - \exp\!\left(-\Delta_i\right). Тоді штраф за інструмент становить:

pen⁡tool(τi)={αwin pi,i∈Wg,αlose pi+βlose,i∉Wg,\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Прив'язаний штраф за довжину. Нехай LiL_i та LirefL_i^{\mathrm{ref}} позначають довжини токенів генерацій моделі-кандидата та базової моделі відповідно. Ми визначаємо множину формування W^g\widehat{W}_g як генерації, які є одночасно правильними та кращими:

W^g={ i∈Wg⏟correct  :  s(τi)≥0.5⏟preferred }.\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Потім ми обчислюємо специфічні для групи базові лінії довжини:

bg,win⏟avg. ref. lengthof winners=mean⁡j∈W^gLjref,bg,lose⏟avg. ref. lengthof losers=mean⁡j∉W^gLjref.\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Штраф за довжину визначається як:

pen⁡len(τi)={1,Li>max⁡jLjcmp1−exp⁡ ⁣(−max⁡ ⁣(0, Libg,win−1)),i∈W^g1−exp⁡ ⁣(−max⁡ ⁣(0, bg,loseLi−1)),i∉W^g\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

де перший рядок є жорстким обмеженням; другий карає багатослівних переможців; а третій карає занадто лаконічних невдах.

Комбінований штраф за ефективність. Комбінований штраф за ефективність є зваженою сумою обох компонентів:

pen⁡eff(τi)=λtool pen⁡tool(τi)+λlen pen⁡len(τi).\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Головні результати

Ми оцінюємо наш конвеєр посттренінгу за двома осями: (i) динаміка навчання для оцінки стабільності оптимізації та перевірки того, чи ведуть себе сигнали винагороди належним чином, і (ii) офлайн-бенчмарки для вимірювання якості на наступних етапах, безпеки та ефективності в контрольованих умовах оцінювання.

Тип налаштування навчання за замовчуванням. Модель політики взаємодіє з інструментом веб-пошуку (search_web); кожен виклик інструменту отримує до 10 результатів, причому запити обмежені 250 символами та містять до 5 запитів на одну генерацію.

Динаміка навчання

Ми досліджуємо динаміку оптимізації, зосереджуючись на прогресі винагород та поведінці ефективності. Для простоти ілюстрації ми використовуємо Qwen3.5-397B-A11B.

Еволюція базового сигналу та сигналу вподобань під час навчання.

На рисунку 2 показано стабільне покращення базової винагороди (перевірювані QA та задоволення критеріїв) поряд зі зростанням оцінок вподобань, що свідчить про послідовне зростання правильності, дотримання вимог та якості відповіді.

Поведінка ефективності та прив'язані штрафи формування під час навчання.

На рисунку 3 демонструється, що як частота викликів інструментів, так і довжина генерації залишаються добре контрольованими протягом усього навчання. Примітно, що як штрафи за виклики інструментів, так і штрафи за довжину зменшуються монотонно в ході навчання, що відображає поступову адаптацію моделі до більш лаконічної генерації та більш вибіркового виклику інструментів.

Індикатори стабільності оптимізації.

На рисунку 4 показано, що норми градієнта залишаються стабільними, за винятком тимчасових стрибків, тоді як розбіжність Кульбака–Лейблера (KL) навчання–виведення демонструє легку висхідну тенденцію, залишаючись у межах шкали 1e-3. Цей патерн дрейфу узгоджується зі спостереженнями в інших фреймворках навчання RL; оскільки навчання залишається стабільним увесь час, ми зберігаємо просту регуляризацію IS у рівнянні 1 без додаткового втручання.

Офлайн-оцінювання

Ми повідомляємо результати на наборі бенчмарків, що охоплюють точність пошуку, фактичну надійність, дотримання інструкцій і безпеку, включаючи як публічні бенчмарки, так і внутрішні метрики Perplexity (PPLX). Публічні бенчмарки включають SimpleQA, FRAMES і Facts Open.

  • pplx-sbs-search: Оцінювання вподобань «пліч-о-пліч» за допомогою внутрішньої моделі винагороди. Кандидати порівнюються з сильною базовою лінією.
  • pplx-abstention: Здатність належним чином відмовитися від відповіді, коли немає надійних доказів.
  • pplx-language-mismatch: Мовна узгодженість у довгохвостих та багатоетапних сценаріях.
  • pplx-broken-tool-calls (↓): Дотримання схеми викликів інструментів і виконання обмежень, наприклад, tool_choice=none.

Параметри оцінювання за замовчуванням. Для публічних бенчмарків ми дозволяємо лише інструмент веб-пошуку з бюджетом до 5 викликів інструментів на приклад і до 10 результатів на виклик, генеруючи до 8192 вихідних токенів при температурі 0,6.

Результати офлайн-оцінювання. Цифри в дужках вказують на середнє використання інструментів. Ми позначаємо Qwen3.5-397B-A17B як Qwen3.5-Large, а Qwen3.5-122B-A10B як Qwen3.5-Medium.

Таблиця 2 показує, що Qwen3.5-Large-SFT-RL досягає високої точності пошуку в публічних бенчмарках, зрівнюючись із gpt-5.4 на FRAMES і Facts Open або перевершуючи його, використовуючи при цьому порівнянні бюджети інструментів. Порівняно з базовою моделлю, наш підхід дає суттєві переваги за внутрішніми метриками, зокрема щодо вподобань (pplx-sbs-search: 0,602 → 0,742), мовної узгодженості та утримання від відповіді, що демонструє ефективність двохетапного конвеєра для покращення критично важливої для розгортання поведінки без шкоди для пошукових можливостей.

Оцінювання ефективності використання інструментів

Для вимірювання цього ми розробляємо протокол оцінювання з примусовим бюджетом. Кожній моделі надається доступ до інструменту веб-пошуку (search_web) і системної підказки, яка визначає жорстке обмеження на кількість дозволених викликів інструментів («бюджет»). Ми змінюємо цей бюджет від 0 (без використання інструментів, чисті параметричні знання) до 10 (щечке багатоетапне отримання даних), записуючи точність на кожному рівні. Це створює криву ефективності інструментів: оцінку моделі як функцію дозволеного їй бюджету отримання даних. Ми проводимо оцінювання на двох бенчмарках фактичних QA, FRAMES та Facts Open.

Точність бенчмарку залежно від максимальної кількості викликів інструментів.

З цих двох бенчмарків виділяється кілька закономірностей:

  • Наша натренована модель Qwen3.5-397B-SFT-RL досягає найкращої точності пошуку в обох бенчмарках. Навіть із єдиним викликом інструменту вона набирає 57,3% на FRAMES, що на 5,7 бала вище, ніж у GPT-5.4, і на 4,7 бала вище, ніж у Sonnet 4.6.
    • Перевага є найбільш вираженою за помірних бюджетів (b=2-7), що є практичним робочим діапазоном для виробничих розгортань.
  • Наш рецепт посттренінгу (SFT + RL) суттєво покращує ефективність використання інструментів порівняно з базовою контрольною точкою; дивіться суцільні лінії (після посттренінгу) порівняно з пунктирними лініями (початкова контрольна точка) на рисунку 5.
  • Для всіх моделей ми спостерігаємо спадну віддачу близько budget=7, що є стабільним для двох бенчмарків і всіх моделей, що свідчить про те, що це властивість завдань пошуку фактів, а не моделей.

Наведені вище результати показують, що Qwen3.5-397B-SFT-RL досягає вищої точності з меншою кількістю викликів інструментів. Але як це перекладається на реальну вартість? Ми конвертуємо вимірювання на рівні токенів у вартість у доларах, використовуючи опубліковані ціни API (Alibaba DashScope, OpenAI, Anthropic), щоб зробити порівняння конкретним.

Вартість за запит залежно від точності.

У середньому профілі (b=4) Qwen3.5-397B-SFT-RL отримує 73,9% на FRAMES при вартості 2,0 цента за запит, тоді як GPT-5.4 отримує 67,8% при 8,5 цента, а Sonnet 4.6 отримує 62,4% при 15,3 цента. Це на 6 пунктів вища точність при в 4 рази нижчій вартості порівняно з GPT-5.4 та на 11,5 пунктів вища при в 7,5 раза нижчій вартості порівняно з Sonnet 4.6.

Ці оцінки використовують прейскурантні ціни API без кешування. Завдяки внутрішнім оптимізаціям виведення, таким як повторне використання KV-кешу, кешування префіксів та квантоване обслуговування MoE (397B використовує лише 17B активних параметрів), ефективну вартість можна значно знизити нижче прейскурантних цін API.

Висновок

Відокремлення відповідності вимогам розгортання від оптимізації пошуку за допомогою двохетапного конвеєра SFT та RL дає модель, яка є водночас спроможною та надійною в умовах виробничих обмежень. Поєднання перевірюваних QA та навчальних даних на основі критеріїв разом зі шлюзованою агрегацією винагород та прив'язаним формуванням ефективності забезпечує стабільну багатоцільову оптимізацію без шкоди для точності пошуку чи дотримання запобіжних заходів.

Кілька напрямків заслуговують на подальше дослідження. Як помітно на рисунку 4, розбіжність KL навчання–виведення демонструє стійкий висхідний дрейф на розширених кроках навчання. Хоча токенна корекція IS виявляється достатньою в наших поточних умовах, залишається незрозумілим, чи залишиться це правдою в більшому масштабі; більш принциповий теоретичний підхід до цієї невідповідності — що охоплює розбіжності на рівні інфраструктури та специфічні для архітектури фактори, такі як маршрутизація MoE, — поряд із кількісними емпіричними порівняннями стратегій пом'якшення залишається важливим відкритим питанням. Зокрема для багатоцільового RL перспективні шляхи включають послідовне навчання (Zeng et al., 2026) з дистиляцією в межах політики для поетапної оптимізації цілей із пом'якшенням катастрофічного забування; та об’єднання моделей (Fu et al., 2025; Yang et al., 2026) для відділення оптимізації під конкретні завдання від агрегації можливостей. Нарешті, масштабування до реалістичних багатоінструментальних робочих процесів з траєкторіями на великих часових інтервалах залишається важливим відкритим викликом, який, імовірно, вимагає кращого розподілу кредитів, підтримки часткових генерацій та оцінювання.

Список літератури

DatologyAI. Datbench: Дискримінативне, точне та ефективне оцінювання моделей зору й мови. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, січ. 2026 р. Опубліковано 6 січня 2026 р. Доступно: 2026-03-04.

J. Duchi and H. Namkoong. Регуляризація на основі дисперсії з опуклими цілями. Препринт arXiv arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. Об'єднання LLM без навчання для багатозадачного навчання. У Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), стор. 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. Критерії як винагороди: Навчання з підкріпленням поза межами перевірюваних доменів. Препринт arXiv arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. Коли швидкість вбиває стабільність: Демістифікація збою RL через невідповідність між навчанням і виведенням. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Оптимізація політики нормалізації з відокремленням групових винагород для багатовірнагородової оптимізації RL. Препринт arXiv arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: До масштабованої генерації синтетичних критеріїв для моделювання винагород та вирівнювання LLM. Препринт arXiv arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: Просування глибоких пошукових агентів за допомогою графів знань і багатоетапного RL. Препринт arXiv arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Стабілізація навчання з підкріпленням MoE шляхом узгодження маршрутизаторів навчання та виведення. Препринт arXiv arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Підвищення планки міркувань у мовних моделях із доповненим пошуком. Препринт arXiv arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Вимірювання та звуження прогалини композиційності в мовних моделях. У Findings of the Association for Computational Linguistics: EMNLP 2023, стор. 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Переосмислення довіреної області в навчанні з підкріпленням LLM. Препринт arXiv arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu,. R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Розширення меж математичних міркувань у відкритих мовних моделях. Препринт arXiv arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Штучне синтезування даних через формалізацію інформаційного пошуку. Препринт arXiv arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. Край невідповідності між навчанням і виведенням: Побітово послідовне навчання з підкріпленням у межах політики з vLLM і TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, лист. 2025 р. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Оцінювання LLM у веб-навігації, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Технічний звіт про Qwen3. Препринт arXiv arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Об'єднання моделей в LLM, MLLM тощо: Методи, теорії, застосування та можливості. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Ваш ефективний фреймворк RL таємно приносить вам навчання поза політикою RL, серп. 2025 р. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: від вайб-кодингу до агентної інженерії. Препринт arXiv arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Стабілізація навчання з підкріпленням за допомогою LLM: Формулювання та практичні поради. Препринт arXiv arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Оптимізація групової послідовної політики. Препринт arXiv arXiv:2507.18071, 2025b.

Цитата

BibTeX
@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}