検索拡張言語モデルの進化

オープンモデルを、より少ないツール呼び出しでより正確に回答する検索エージェントへとポストトレーニングする方法。

著者Perplexity Research

はじめに

最先端のウェブ検索エージェントのトレーニングには、事実の正確性、軌跡の効率性、ユーザーの嗜好への整合性という複数の目的を同時に最適化する必要があります。しかし、単一の側面のみを改善しようとすると、多くの場合、他の側面が損なわれます。正確性のみを追求してトレーニングされたモデルはツールを過剰に使用する傾向があり、簡潔さを優先して最適化されたモデルは信頼性や完全性を犠牲にする可能性があります。Perplexityでは、どちらの結果も容認できません。

本稿では、オープンソースモデルに基づく最先端のウェブ検索エージェントを開発するためのPerplexityのポストトレーニングパイプラインについて説明します。重要な考え方は、検索エージェントのトレーニングにおいて、データのキュレーションと報酬設計を連携させて設計する必要があるという点です。データはどのような振る舞いが観察および検証可能かを決定し、報酬はそれらのシグナルがどのように最適化のシグナルに変換されるかを決定します。この原則に基づき、我々は2段階のパイプラインを採用しています。まず、教師ありファインチューニング（SFT）のウォームアップを行ってポリシーモデルを初期化し、次にキュレーションされたデータセットと慎重に設計された報酬を用いて、強化学習（RL）によりポリシーモデルを洗練させます。この2段階のアプローチにより、実運用環境の制約下において、正確性、効率性、応答品質を確実に向上させることが可能となります。

まず、2段階のトレーニングパイプライン（SFT → オンポリシーRL）について説明し、続いて、検証可能な検索エージェントのQAとルーブリックに基づく一般的なチャットの両方を対象とした、RLトレーニングデータの構築について詳述します。次に、この異種混合データ環境から導き出された複合的な報酬設計を提示し、報酬ハッキングを抑制しつつ品質と効率のバランスを最適化します。最後に、トレーニングのダイナミクスとベンチマーク結果を分析します。

2段階のトレーニングパイプライン

我々は、2段階のポストトレーニングレシピを採用しています。（i）SFTを用いて、ガードレール（例：回答の拒否）、指示追従、言語の一貫性といった、運用上不可欠な振る舞いを確立する。（ii）オンポリシーRLを用いて、回答の正確性やツールの使用効率を含む検索能力を向上させ、同時に第1段階で確立された振る舞いを維持する。

なぜ2段階なのか？ 検索品質と運用制約の両方を単一のRL段階で最適化することは、少なくとも一方の目的を損なうことなく実現するのは困難です。経験的に、RLのみのトレーニングは検索性能を向上させますが、運用上のガードレールに関しては性能が低下する傾向があります。一方で、SFTはコンプライアンスを向上させますが、検索性能が犠牲になります。目的を分離することで、SFT段階で妥協できない要件に先に対処し、その後、RLで主に検索能力の向上に集中することが可能になります。

SFT段階

Qwen3モデルファミリー（Qwen3.5-122B-A10BおよびQwen3.5-397B-A17B）（Yang et al., 2025, Qwen3.5 blogpost）から初期化を行い、前述の運用上不可欠な振る舞いをターゲットとしつつ、ベースモデルの一般的な検索能力を維持する2成分のSFT混合データセットを構築します。

嗜好指向の例。 トーン、言語の一貫性、明瞭さ、フォーマットをターゲットとした、指示追従およびスタイル重視の例をキュレーションします。これらの例は、単一の正解を認める必要はなく、製品の記述要件を反映し、多様なクエリタイプにわたってスタイルの整合性を確保するように選択されます。

プロダクション形式のツール使用の軌跡。 経験的に、慎重なデータセットのキュレーションを行わないSFTは、ベースモデルの検索能力を大幅に低下させる可能性があることが分かっています。これを軽減するため、多様な対話パターン（シングルターン、2ターン、マルチターン）にわたってクエリと内部タスクをサンプリングし、ツール呼び出しハーネスで注釈を付けます。

RL段階

SFTチェックポイントから開始し、オンポリシーRLを適用して検索の正確性と効率を向上させます。Group Relative Policy Optimization (GRPO) (Shao et al., 2024)を用いてポリシーモデルを最適化します。

JGRPO(θ)=1G∑i=1G1∣oi∣∑t=1∣oi∣ri,t(θ)A^i,t,\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

GG がグループのサイズであり、oio_{i} は ii 番目にサンプリングされた出力を示し、A^i,t=A^i\hat{A}_{i, t} = \hat{A}_{i} はアドバンテージです。報酬設計の詳細は報酬設計セクションに記載しています。要するに、ベースラインの正確性に、選好ベースのシェーピングとアンカー付き効率シェーピングを組み合わせています。先行研究（Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a）に従い、学習時と推論時の不一致を補正するために、トークンレベルの重要度サンプリング（IS）を適用します:

ri,t(θ)=πtrain(θ)μinfer(θ).r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

我々は、シーケンスレベルのIS (Zheng et al., 2025b)、ルーティングリプレイ (Ma et al., 2025; Zheng et al., 2025b)、およびトレーニング中に推論エンジンのカーネルを統合するビット単位の一貫性トレーニング (vLLM and TorchTitan Teams, 2025) など、トレーニングと推論の不一致を緩和するためのいくつかのアプローチを評価しています。経験的に、我々のオンポリシー設定では、トークンレベルのISはトレーニングの崩壊を防ぐのに十分であり、かつ実装が容易であることが分かりました。これは Zheng et al (2025a) の結果と一致しています。

RLトレーニングデータ

我々のRLトレーニングデータは、2つの補完的なコンポーネントで構成されています。一つは一般的な検索能力をターゲットにした検証可能な検索エージェントのQA、もう一つはRLトレーニング段階での退行を防ぐために、展開時のガードレールを明示的に補強する、ルーブリックに基づく一般的なチャットです。

検証可能な検索エージェントデータ

データセット構築。 シーケンシャル拡張手法 (Tao et al., 2025) に従い、キュレーションされた知識グラフに依存せず、パイプラインを軽量かつ更新しやすく保ちながら、内部のシードクエリから社内合成QAデータセットを構築します。各合成例は、以下のステップで生成されます。

  1. シード選択。 シードクエリのドキュメントを取得し、多ソースの事実確認が可能なエンティティを開始点として選択し、それらに関する原子的な声明を抽出します。
  2. マルチホップチェーンの構築。 シードエンティティの声明から、2番目のエンティティを導入するもの（例：「The Mom Test」というシードに対して、「Rob Fitzpatrickによって書かれた」という声明は次のエンティティとして著者を導入します）を選択します。このリンクプロセスを2〜4回繰り返し、各エンティティが一意であり、単一の声明で最終的な回答が自明にならないようにします。
  3. エンティティ名を含まない質問合成。 エンティティチェーンを再帰的に置換して質問に変換し、マルチホップ推論を必要とする入れ子状の質問を生成します。
  4. 検証。 複数の独立したウェブ対応ソルバーによって検証された一意の回答を持つ質問のみを保持します。

例 (3ホップ)

シードクエリ「The Mom Test」を検討します。ドキュメントを取得してこの書籍をシードエンティティとして特定し、原子的な事実声明を抽出してエンティティチェーンを反復的に構築します。（i）The Mom Test は Rob Fitzpatrick によって書かれ、Rob Fitzpatrick を導入する。（ii）Rob Fitzpatrick の最初のスタートアップは Y Combinator（2007年夏）を通過し、Y Combinator を導入する。（iii）Y Combinator は2005年3月に立ち上げられた。各エンティティ名をその記述子で再帰的に置換することで、エンティティ名を含まない質問が生成されます：「2005年3月に立ち上げられたアクセラレーターの2007年夏コホートを通過した最初のスタートアップを持つ人物によって書かれた本はどれか？」回答は「The Mom Test」です。

フォーマット多様性の増強。 生の合成QAのみでトレーニングされたモデルは、クエリの表現方法にかかわらず、固定の応答構造に従うようになり、フォーマットの好みを無視する傾向があります。フォーマットの多様性を向上させるため、基礎となる回答を変更せずに、明示的なフォーマット指示（「〜のリストを表示して」や「〜をテーブルにまとめて」など）を含むクエリをデータセットに追加します。

公開されている検証可能なQA (ベースライン)。 我々は、5つのオープンソースデータセット (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025) からベースラインとなる検証可能なQAデータセットを構築し、品質フィルタリングを適用した拡張プロンプト形式で統合しました。この混合データセットは、検証実験における主要なベースラインとして機能します。制御された比較のために、我々の社内合成QAデータセットの規模をこのオープンソース混合データセットに合わせています。

迅速な検証。 このパイプラインの有効性を Qwen3-30B-A3B-Instruct-2507 を使用して検証し、高速な反復を可能にしました。結果は表1に要約されています。

表1 | 合成検証可能QAデータセットの検証

ルーブリックに基づく一般的なチャットデータ

検証可能なQAは、検索中心のクエリに対してクリーンなトレーニングシグナルを提供しますが、実運用トラフィックの大部分は一意に検証可能では ありません（例：書き換え、計画、自由回答形式の支援）。そのようなクエリをRLから除外すると、実際のユーザーの対話に対してポリシーが十分に最適化されなくなります。さらに、SFT段階で展開に不可欠なガードレールが確立されても、データによって明示的に補強されない限り、RLでそれらが退行する可能性があります。

我々は、指示追従、フォーマット制約、安全性の慣習といった運用に不可欠な要件をルーブリック（応答が満たすべき客観的に確認可能な基準）に変換することで、検証不可能なクエリをRLトレーニングに組み込んでいます。我々はルーブリックに基づくデータ構築手法 (Gunjal et al., 2025; Liu et al., 2025b) を採用し、クエリごとにルーブリックセットを生成します。

ルーブリック生成。 全対話履歴を考慮し、LLMに参照応答と対応するルーブリックセットを生成するよう促します。ルーブリックは固定された優先順位に従って導出されます。ユーザーが明示的に述べた要件が優先され、次に内部制約、最後に参照応答から推論される必要なコンテンツ要件が続きます。各ルーブリックは以下である必要があります。

  • 原子的（Atomic）: 単一の明確に定義された確認項目
  • 客観的（Objective）: 主観的な判断なしで検証可能
  • 必要（Necessary）: クエリへの回答に必要であり、単なるスタイルの好みではない

例

クエリ。

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

ルーブリック。

  • 回答は英語で記述されていること。
  • 修正された文章に「lodging」および「boarding」という単語が含まれていること。
  • 修正された文章において、「man power」ではなく、「manpower plan」や「manpower planning」のように、「manpower」を1つの単語として使用していること。
  • 修正された文章に、非公式な省略形のトークンである「u」や「Plz」が含まれておらず、アンパサンド文字「&」も含まれていないこと。
  • 回答に \\[type:idx\\] 形式の引用マーカーが含まれていないこと。ここで type はデータソース（例：web、chart、memory、attached_file）を表す。

ルーブリックのキャリブレーション。 過度に厳格または過度に寛容なルーブリックセットを避けるため、pass@4フィルターを適用します。クエリごとに4つの独立した応答をサンプリングし、指示追従判定器を用いて完全なルーブリックセットに対して評価します。どの応答もルーブリックセットを満たさない、あるいはすべての応答が満たしてしまうクエリは破棄し、有益なトレーニングシグナルが得られるクエリのみを保持します。

プロンプトの混合と分散のバランス調整

マルチオブジェクトRLにおける実践的な課題は、データコンポーネント間での分散の不均衡です (Duchi and Namkoong, 2016; Liu et al., 2026; Qi et al., 2026)。検証可能なQAとルーブリックベースのデータはどちらもバイナリ報酬をもたらしますが、タスクの難易度において大きく異なります。ルーブリックの満足度はトレーニングの早い段階で達成しやすく、結果として大きくて頻繁な勾配更新が発生し、より難しい検証可能なQAシグナルと比較して、ポリシーの最適化を不釣り合いに支配してしまう可能性があります。これに対処するため、データセットレベルでプロンプトの混合比を再重み付けし、検証可能なQAから90%、ルーブリックベースのデータから10%をサンプリングすることで、コンポーネント間での最適化シグナルのバランスを取っています。

報酬設計

我々の報酬設計は、前述のデータ構築から直接導かれています。検証可能なQAタスクとルーブリックタスクの両方にまたがっていますが、すべてのトレーニングデータは共通のベースライン報酬構造を共有しています。つまり、QAタスクで正解を生成した場合、または一般的なチャットのすべての指定されたルーブリックを満たした場合に、ロールアウトがクレジットを受け取ります。この共通の基盤の上に、嗜好に基づくスコアリングと効率化を組み込むための複合報酬を構築します。

初期の実験で観察された重要な課題は、報酬ハッキングでした。単純な報酬の線形結合では、強い嗜好シグナルが事実や指示の失敗を補うことが許容されてしまいました。そのため、我々は ゲート付き集約（gated aggregation） を設計の核となる原則として採用しました。これは正式に以下のように定義されます。

R(τi)=rbase(τi)⋅s(τi)  −  pen⁡eff(τi),R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

ここで rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0, 1\} は QA の正確性またはルーブリックの充足を示し、s(τi)∈[0,1]s(\tau_i)\in[0,1] は選好スコア、pen⁡eff(τi)\operatorname{pen}_{\mathrm{eff}}(\tau_i) はアンカー付き効率ペナルティです。これにより、正確性は選好クレジットを得るための必要条件となる一方で、不要なツール利用や冗長さは引き続き抑制されます。図 1 に完全な報酬パイプラインを示し、その構成要素を以下で説明します:

報酬設計の概要。ベースラインの正確性シグナル（検証可能/ルーブリック）、Bradley-Terry嗜好スコア、およびアンカー付きの効率化ペナルティを組み合わせています。報酬ハッキングを防ぐため、嗜好はベースラインの正確性によってゲートされています。

ベースライン報酬

タスクの正確性または指示への準拠を捉える二値のベースライン信号 を定義します。検証可能な検索エージェントデータでは、最終回答が正解と一致する場合は 、それ以外は とします。ルーブリックベースの一般チャットデータでは、すべての ルーブリックが満たされる場合は 、それ以外は とします。このベースラインは、式 2 の条件付き集約規則におけるハードゲートとして機能します。rbase(τi)∈{0,1}r_{\mathrm{base}}(\tau_i) \in \{0,1\}rbase(τi)=1r_{\mathrm{base}}(\tau_i)=100rbase(τi)=1r_{\mathrm{base}}(\tau_i)=100

嗜好モデリング

我々は、応答の品質（情報量、明瞭さ、プロフェッショナルなトーン）に対するユーザーの潜在的な好みにポリシーモデルを合わせることを目指しています。これらはLLM判定器のプロンプトでは捉えにくいため、これらの属性を直接スコアリングするために、学習済みの嗜好報酬モデルをトレーニングします。

Bradley–Terry フレームワークの下で選好学習を定式化します。コンテキスト xx と 2 つの候補応答 ya,yby_a, y_b が与えられると、モデルはスカラー値のスコア sθ(x,y)∈Rs_{\theta}(x, y) \in \mathbb{R} を出力し、次を最小化します。

ℓBT(θ;x,ya,yb,r)=−[rlog⁡σ(Δθ)+(1−r)log⁡(1−σ(Δθ))],Δθ=sθ(x,ya)−sθ(x,yb)\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

ここで r∈{0,1}r \in \{0, 1\} は yay_a が選好されるかどうかを示します。位置バイアスを排除するため、各学習ペアには両方の順序を追加し、対称的に最適化します。

Lsym=12 ℓBT(x,ya,yb,r)+12 ℓBT(x,yb,ya,1−r).\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

推論時には、両方の順列を平均化することで、位置に依存しない嗜好スコアを取得します。

Δˉθ(x,ya,yb)=12[Δθ(x,ya,yb)−Δθ(x,yb,ya)],Pˉθ(x,ya,yb)=σ(Δˉθ(x,ya,yb)).\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

ロールアウトの選好スコアは次のように定義されます: s(τi)≜Pˉθ(x,ya,yb)∈[0,1]s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]。すなわち、同じプロンプトに対して、方策のロールアウト yiy_i が参照モデルのロールアウトより選好される確率です。

嗜好モデリングのためのトレーニングデータは、キュレーションされたオープンソースデータセット、ユーザーによるサイドバイサイドのフィードバック、および内部注釈から引き出されます。ラベルノイズに対処するため、Datbench (DatologyAI, 2026) に触発された軽量なフィルタリングおよびキャリブレーションパイプラインを適用し、モデル間での一貫した同意が得られる例のみを保持します。報酬モデルはポリシーモデルとバックボーンを共有し、言語モデリングヘッドが値ヘッドに置き換えられています。より小さな報酬モデルでも同等の保持スコア（held-out accuracy）を達成しますが、経験的に、それらはきめ細かな嗜好を捉えることができず、望ましくないポリシーの振る舞いを強化する可能性があることが分かっています。

効率化ペナルティ

明示的な効率化を行わない場合、ポリシーは単純なプロンプトに対してもツールを過剰に使用する傾向があります。無条件のペナルティ（例：ツール呼び出し回数や出力長に線形にスケールするもの）は自然なベースラインですが、必要な探索を抑制し、学習を低下させることが分かっています。そのため、GRPOグループ内の効果的なソリューションに対してツール使用と応答長を正則化する、グループ相対的なアンカー付きペナルティを採用します。グループ 𝑔 に対して、勝者セットを以下のように定義します。

Wg={ i:rbase(τi)=1 }.W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

アンカー付きツール呼び出しペナルティ。 各ロールアウト τi\tau_i について、cic_i をツール呼び出し回数、eie_i をツール実行失敗回数とします。実効ツール呼び出し回数 c~i=ci−ei\tilde{c}_i = c_i - e_i を定義し、グループベースラインを一様にサンプリングします:

bg∼Unif⁡ ⁣(min⁡j∈Wgc~j, ⌈mean⁡j∈Wgc~j⌉).b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

超過分 Δi=max⁡ ⁣(0,  c~i−bg)\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right) を計算し、滑らかなペナルティスカラー pi=1−exp⁡ ⁣(−Δi)p_i = 1 - \exp\!\left(-\Delta_i\right) を定義します。ツールペナルティは次のとおりです:

pen⁡tool(τi)={αwin pi,i∈Wg,αlose pi+βlose,i∉Wg,\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

アンカー付き長さペナルティ。 候補生成と参照モデル生成のトークン長をそれぞれ LiL_i と LirefL_i^{\mathrm{ref}} とします。正しく、かつ選好されるロールアウトを シェーピング集合 W^g\widehat{W}_g と定義します:

W^g={ i∈Wg⏟correct  :  s(τi)≥0.5⏟preferred }.\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

次に、グループ固有の長さベースラインを計算します。

bg,win⏟avg. ref. lengthof winners=mean⁡j∈W^gLjref,bg,lose⏟avg. ref. lengthof losers=mean⁡j∉W^gLjref.\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

長さペナルティは次のように定義されます。

pen⁡len(τi)={1,Li>max⁡jLjcmp1−exp⁡ ⁣(−max⁡ ⁣(0, Libg,win−1)),i∈W^g1−exp⁡ ⁣(−max⁡ ⁣(0, bg,loseLi−1)),i∉W^g\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

ここで、最初の行はハードキャップであり、2行目は冗長な勝者を罰し、3行目は簡潔すぎる敗者を罰します。

効率化ペナルティの統合。 統合された効率化ペナルティは、両コンポーネントの加重和です。

pen⁡eff(τi)=λtool pen⁡tool(τi)+λlen pen⁡len(τi).\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

主な結果

我々は、2つの軸に沿ってポストトレーニングパイプラインを評価します。（i）トレーニングダイナミクス：最適化の安定性と報酬シグナルが期待通りに機能しているかを確認するため。（ii）オフラインベンチマーク：制御された評価設定下での下流品質、安全性、および効率を測定するため。

デフォルトのトレーニング設定。 ポリシーモデルはウェブ検索ツール (search_web) と対話し、各ツール呼び出しは最大10件の結果を取得します。クエリは250文字、ロールアウトごとに最大5件のクエリに制限されます。

トレーニングダイナミクス

最適化ダイナミクスを検討し、報酬の進行状況と効率的な振る舞いに焦点を当てます。説明を簡略化するため、Qwen3.5-397B-A11B を使用します。

トレーニング中のベースラインおよび嗜好シグナルの進化。

図2は、ベースライン報酬（検証可能なQAおよびルーブリックの満足度）の着実な改善と、嗜好スコアの増加を示しており、正確性、コンプライアンス、および応答品質が一貫して向上していることを示しています。

トレーニング中の効率的な振る舞いとアンカー付きのシェーピングペナルティ。

図3は、ツール呼び出しの頻度と生成の長さの両方がトレーニングを通じて適切に制御されていることを示しています。特筆すべきは、ツール呼び出しと長さのペナルティの両方がトレーニングの過程で単調に減少していることであり、これはモデルがより簡潔な生成とより選択的なツール呼び出しへと段階的に適応していることを反映しています。

最適化安定性の指標。

図4は、勾配ノルムが一過性のスパイクを除いて安定していることを示しており、一方でトレーニングと推論のKLダイバージェンスは穏やかな上昇傾向を示しつつ、1e-3 のスケール内に収まっています。このドリフトパターンは他のRLトレーニングフレームワークでの観察と一致しており、トレーニング全体を通して安定しているため、追加の介入なしで式1の単純なIS正則化を維持します。

オフライン評価

検索の正確性、事実の信頼性、指示追従、安全性にわたる一連のベンチマークの結果を報告します。これには、パブリックベンチマークとPerplexity (PPLX) の内部指標の両方が含まれます。パブリックベンチマークには SimpleQA、FRAMES、Facts Open が含まれます。

  • pplx-sbs-search: 内部報酬モデルを使用したサイドバイサイドの嗜好評価。候補は強力なベースラインと比較されます。
  • pplx-abstention: 信頼できる証拠がない場合に適切に拒否する能力。
  • pplx-language-mismatch: ロングテールおよびマルチターン設定下での言語の一貫性。
  • pplx-broken-tool-calls (↓): ツール呼び出しスキーマのコンプライアンスと制約の遵守（例：tool_choice=none）。

デフォルトの評価設定。 パブリックベンチマークでは、ウェブ検索ツールのみを許可し、1例あたり最大5回のツール呼び出し、1呼び出しあたり最大10件の結果とし、温度0.6で最大8192の出力トークンを生成します。

表2 | オフライン評価結果。括弧内の数字は平均ツール使用量を示す。Qwen3.5-397B-A17B を Qwen3.5-Large、Qwen3.5-122B-A10B を Qwen3.5-Medium と表記している。

表2は、Qwen3.5-Large-SFT-RL がパブリックベンチマーク全体で強力な検索正確性を達成し、同等のツール予算を使用しながら FRAMES および Facts Open で gpt-5.4 に匹敵するか、それを上回ることを示しています。ベースモデルと比較して、我々のアプローチは内部指標、特に嗜好（pplx-sbs-search: 0.602 → 0.742）、言語の一貫性、および拒否において大幅な向上をもたらしており、2段階のパイプラインが検索能力を損なうことなく展開に不可欠な振る舞いを効果的に向上させていることを証明しています。

ツール使用効率の評価

これを測定するために、予算強制（budget-forced） 評価プロトコルを設計しました。各モデルにはウェブ検索ツール (search_web) へのアクセス権と、許可されるツール呼び出し回数（「予算」）にハードキャップを指定するシステムプロンプトが与えられます。この予算を0（ツール使用なし、純粋なパラメトリック知識）から10（寛大なマルチステップ検索）までスイープし、各レベルでの正確性を記録します。これにより、許可された検索予算の関数としてのモデルのスコアである ツール効率曲線 が生成されます。FRAMESとFacts Openという2つの事実QAベンチマークで評価します。

ベンチマークの正確性とツール呼び出しの最大回数の関係。

これら2つのベンチマークから、いくつかのパターンが際立っています。

  • 我々のポストトレーニングされたQwen3.5-397B-SFT-RLは、両方のベンチマークで最高の検索正確性を達成しています。1回のツール呼び出しでも、FRAMESで57.3%のスコアを記録し、GPT-5.4を5.7ポイント、Sonnet 4.6を4.7ポイント上回っています。
    • この利点は、運用展開の実際的な動作範囲である中程度の予算（b=2-7）で最も顕著です。
  • 我々のポストトレーニングのレシピ（SFT + RL）は、ベースのチェックポイントと比較して、ツール使用効率を大幅に向上させています。図5の実線（ポストトレーニング後）と破線（開始チェックポイント）を参照してください。
  • すべてのモデルにおいて、予算=7付近で限界効用逓減が観察され、これは2つのベンチマークとすべてのモデルで一貫しており、モデルではなく事実を求めるタスクの特性であることを示唆しています。

上記の結果は、Qwen3.5-397B-SFT-RLが少ないツール呼び出しでより高い正確性を達成することを示しています。しかし、これは実際のコストにどのように変換されるのでしょうか？比較を具体的にするために、公開されているAPI価格（Alibaba DashScope、OpenAI、Anthropic）を使用してトークンレベルの測定値をドルコストに変換します。

クエリあたりのコストと正確性の関係。

中程度のプロファイル（b=4）では、Qwen3.5-397B-SFT-RLはFRAMESで正確性73.9%を1クエリあたり2.0セントで達成しますが、GPT-5.4は8.5セントで67.8%、Sonnet 4.6は15.3セントで62.4%です。つまり、GPT-5.4と比較して4倍低いコストで+6ポイントの正確性、Sonnet 4.6と比較して7.5倍低いコストで+11.5ポイントの正確性を実現しています。

これらの見積もりは、キャッシュなしのリストAPI価格を使用しています。KVキャッシュの再利用、プレフィックスキャッシュ、量子化されたMoEサービング（397Bは17Bのアクティブパラメータのみを使用）などの社内推論最適化により、実効コストをリストAPI価格より大幅に低減できます。

結論

2段階のSFTおよびRLパイプラインを通じて、展開コンプライアンスを検索最適化から切り離すことで、運用上の制約下でも有能かつ信頼性の高いモデルが得られます。検証可能なQAデータとルーブリックベースのトレーニングデータの組み合わせ、ゲート付き報酬集約、およびアンカー付きの効率化シェーピングにより、検索正確性やガードレールのコンプライアンスを犠牲にすることなく、安定したマルチオブジェクト最適化が可能になります。

いくつかの方向性にはさらなる調査が必要です。図4で観察されたように、トレーニングと推論のKLダイバージェンスは、トレーニングステップが長くなると永続的な上昇ドリフトを示します。現在の設定ではトークンレベルのIS補正で十分であることが証明されていますが、より大規模なスケールでもこれが当てはまるかどうかは不明です。インフラレベルの不一致やMoEルーティングなどのアーキテクチャ固有の要因を包含する、この不一致に対するより原理的な理論的アプローチと、緩和戦略の定量的な経験的比較は、依然として重要な未解決の問題です。特にマルチオブジェクトRLについては、オンポリシー蒸留を伴う 逐次トレーニング（sequential training） (Zeng et al., 2026) により、壊滅的な忘却を抑制しながら段階的に目的を最適化する手法や、タスク固有の最適化を能力の集約から切り離すモデルマージング (Fu et al., 2025; Yang et al., 2026) などが有望な手段です。最後に、長期間の軌跡を伴う現実的なマルチツールワークフローへのスケーリングは、依然として重要な未解決の課題であり、より優れたクレジット割り当て、部分的なロールアウトのサポート、および評価が必要になるでしょう。

参考文献

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Published Jan 6, 2026. Accessed: 2026-03-04.

J. Duchi and H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

引用

BibTeX
@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}