推进搜索增强语言模型

训练前沿的网页搜索智能体需要同时优化多个目标：事实准确性、轨迹效率以及用户偏好对齐。然而，孤立地提升任何单一维度往往会削弱其他维度：仅针对准确性训练的模型往往过度使用工具，而针对简洁性优化的模型可能会牺牲可靠性或完整性。在 Perplexity，这两种结果都是不可接受的。

本文描述了 Perplexity 用于开发基于开源模型的最先进网页搜索智能体的后训练流水线。一个核心理念是，在搜索智能体训练中，数据策展和奖励设计必须协同设计：数据决定了哪些行为是可观察和可验证的，而奖励决定了这些信号如何转化为优化信号。这一原则促成了我们的两阶段流水线：我们首先进行监督微调 (SFT) 预热以初始化策略模型，然后使用强化学习 (RL) 在精选数据集和精心设计的奖励上对策略模型进行精炼。这种两阶段方法可以在生产约束下实现准确性、效率和响应质量的可靠提升。

我们首先描述我们的两阶段训练流水线（SFT → 同策略 RL），随后介绍我们的 RL 训练数据构建，涵盖可验证搜索智能体问答和基于准则的通用聊天。然后，我们呈现了从这种异构数据设置中得出的复合奖励设计，在平衡质量和效率的同时缓解奖励破解。最后，我们分析了训练动态和基准测试结果。

我们采用两阶段后训练方案：(i) SFT，用于建立部署关键行为，如护栏（例如，弃权）、指令遵循和语言一致性；(ii) 同策略 RL，用于提高搜索能力，包括回答准确性和工具使用效率，同时保留第一阶段的行为。

为什么要分两个阶段？ 若不在牺牲至少一个目标的情况下，在单个 RL 阶段内同时优化搜索质量和部署约束是非常困难的。经验表明，仅进行 RL 训练可以提高搜索性能，但在部署护栏方面往往表现不佳；而 SFT 虽然提高了合规性，但以牺牲搜索性能为代价。解耦这些目标使得 SFT 阶段能够首先解决不可协商的要求，在此之后，RL 可以主要专注于提升搜索能力。

我们从 Qwen3 模型系列（Qwen3.5-122B-A10B 和 Qwen3.5-397B-A17B）（Yang 等人，2025，Qwen3.5 博客文章）初始化，并构建了一个针对上述部署关键行为的两组分 SFT 混合数据集，同时保留基础模型的通用搜索能力。

偏好导向示例。 我们精心策展了针对语气、语言一致性、清晰度和格式的指令遵循和风格导向示例。这些示例不需要承认唯一的基准事实；相反，它们的选择旨在反映产品写作要求，并确保不同查询类型之间的风格一致性。

生产格式的工具使用轨迹。 经验表明，如果没有仔细的数据集策展，SFT 可能会严重削弱基础模型的搜索能力。为了缓解这一问题，我们跨不同的交互模式（单轮、双轮和多轮）采样查询和内部任务，并使用我们的工具调用工具包对其进行标注。

从 SFT 检查点开始，我们应用同策略 RL 来提高搜索准确性和效率。我们使用组相对策略优化 (GRPO) (Shao 等人，2024) 来优化策略模型。

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

其中 $G$ 是组的大小， $o_{i}$ 表示第 $i$ 个采样的输出， $\hat{A}_{i, t} = \hat{A}_{i}$ 是优势。奖励设计在奖励设计部分有详细说明；简而言之，我们将基线正确性与基于偏好和锚定效率整形相结合。遵循之前的工作（Liu 等人，2025a；Yao 等人，2025；Zheng 等人，2025a），我们应用标记级重要性采样 (IS) 来纠正训练与推理的不匹配：

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

我们评估了多种缓解训练-推理不匹配的方法，包括序列级 IS（Zheng 等人，2025b）、路由重放（Ma 等人，2025；Zheng 等人，2025b）以及在训练期间集成推理引擎内核的位一致性训练（vLLM 和 TorchTitan Teams，2025）。经验表明，在我们的同策略设置下，标记级 IS 足以防止训练崩溃，同时易于实现；这与 Zheng 等人 (2025a) 的发现一致。

我们的 RL 训练数据由两个互补部分组成：针对通用搜索能力的可验证搜索智能体问答，以及明确加强部署护栏以防止 RL 训练阶段回归的基于准则的通用聊天。

数据集构建。 遵循序列扩展方法（Tao 等人，2025），我们从内部种子查询构建内部合成问答数据集，而不依赖于策划的知识图谱，保持流水线轻量化且易于刷新。每个合成示例均通过以下步骤生成：

种子选择。 我们为种子查询检索文档，并选择具有多源事实确认的实体作为起点，提取关于它们的原子陈述。
多跳链构建。 从种子实体的陈述中，我们选择一个引入第二个实体的陈述（例如，对于种子“The Mom Test”，陈述“由 Rob Fitzpatrick 撰写”引入作者作为下一个实体）。我们重复此链接过程 2-4 次，确保每个实体都是独特的，并且没有单一陈述会轻而易举地揭示最终答案。
无名问题合成。 我们通过递归地用连接陈述替换实体名称，将实体链转换为问题，生成需要多跳推理的嵌套问题。
验证。 我们仅保留由多个独立的网络启用求解器验证的具有唯一答案的问题。

考虑种子查询“The Mom Test”。我们检索文档并将此书识别为种子实体，然后提取原子事实陈述并迭代构建实体链：(i) The Mom Test 由 Rob Fitzpatrick 撰写，引入 Rob Fitzpatrick；(ii) Rob Fitzpatrick 的第一家初创公司经历了 Y Combinator（2007 年夏季），引入 Y Combinator；(iii) Y Combinator 成立于 2005 年 3 月。递归地用其描述符替换每个实体名称，得到无名问题：“哪本书是由其第一家初创公司经历了成立于 2005 年 3 月的加速器的作者撰写的，该加速器在其 2007 年夏季队列中？”答案为“The Mom Test”。

格式多样性增强。 仅在原始合成问答上训练的模型往往会忽略格式偏好，并默认采用固定的响应结构，无论查询是如何表述的。为了提高格式多样性，我们使用包含显式格式说明的查询（例如，“列出一个 . . . ”或“总结 . . . 为表格”）来扩充数据集，同时保持基础答案不变。

公共可验证问答（基线）。 我们从五个开源数据集（Lu 等人，2025；Pham 等人，2025；Press 等人，2023；Tao 等人，2025；Wu 等人，2025）构建了一个基线可验证问答数据集，在我们的增强提示格式下统一，并进行了质量过滤。该混合集是我们验证实验中的主要基线。为了进行受控比较，我们将我们内部合成问答数据集的规模与此开源混合集相匹配。

快速验证。 我们使用 Qwen3-30B-A3B-Instruct-2507 验证了该流水线的有效性，以实现快速迭代；结果汇总在表 1 中。

虽然可验证问答为搜索中心查询提供了干净的训练信号，但相当一部分生产流量是不可唯一验证的（例如，重写、规划和开放式辅助）。在 RL 中排除此类查询将使策略在实际用户交互中无法得到最佳优化。此外，虽然 SFT 阶段建立了部署关键护栏，但除非数据明确加强，否则 RL 可能会在这些护栏上回归。

我们将不可验证查询纳入 RL 训练，将部署关键要求（指令遵循、格式约束和安全规范）转换为准则：响应必须满足的原子化、客观可检查的标准。我们采用基于准则的数据构建（Gunjal 等人，2025；Liu 等人，2025b），为每个查询生成准则集。

准则生成。 给定完整的对话历史，我们提示 LLM 生成参考响应和相应的准则集。准则是根据固定的优先级顺序得出的：用户明确提出的要求优先，其次是内部约束，最后是从参考响应中推断出的必要内容要求。每个准则必须是：

原子化的： 单个定义明确的检查；
客观的： 无需主观判断即可验证；
必要的： 回答查询所必需的，而不仅仅是风格偏好。

查询。

她将分享 u 人力资源规划。我们必须安排住宿和餐饮。请更正句子。

准则。

响应是用英语编写的。
更正后的措辞包含“lodging”和“boarding”这两个词。
更正后的措辞使用“manpower”作为单个词（例如，“manpower plan”或“manpower planning”），而不是“man power”。
更正后的措辞不包含非正式的简写标记“u”或“Plz”，且不包含“&”字符。
响应不包含 \\[type:idx\\] 形式的引用标记，其中 type 表示数据源（例如 web、chart、memory、attached_file）。

准则校准。 为了避免过于严格或过于宽松的准则集，我们应用 pass@4 过滤器。对于每个查询，我们采样四个独立响应，并使用指令遵循判断器根据完整准则集对其进行评估。我们丢弃那些没有任何响应满足准则集或所有响应都满足的查询，仅保留那些产生信息量大的训练信号的查询。

多目标 RL 中的一个实际挑战是跨数据组件的方差不平衡（Duchi 和 Namkoong，2016；Liu 等人，2026；Qi 等人，2026）。尽管可验证问答和基于准则的数据都会产生二元奖励，但它们在任务难度上存在显著差异：准则满足通常在训练早期更容易实现，产生更大且更频繁的梯度更新，这些更新相对于较难的可验证问答信号可能会不成比例地支配策略优化。为了解决这个问题，我们在数据集层面重新加权提示混合，从可验证问答中采样 90%，从基于准则的数据中采样 10%，以平衡跨组件的优化信号。

我们的奖励设计直接遵循上述数据构建。尽管跨越了可验证问答和准则任务，但所有训练数据共享一个共同的基线奖励结构：如果 rollout 为问答任务生成正确答案，或为通用聊天满足所有指定准则，则获得积分。基于这一共同基础，我们构建了一个复合奖励，以整合基于偏好的评分和效率整形。

在早期实验中观察到的一个关键挑战是奖励破解：简单的奖励线性组合允许强偏好信号补偿事实或指令上的失败。因此，我们将 门控聚合 作为核心设计原则，正式定义为：

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

其中 $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ 表示问答正确性或准则满足， $s(\tau_i)\in[0,1]$ 是偏好分数， $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ 是锚定效率惩罚。这使得正确性成为获得偏好积分的必要条件，同时仍然抑制不必要的工具使用和冗长。图 1 说明了完整的奖励流水线，其组成部分描述如下：

奖励设计概述。我们结合了基线正确性信号（可验证/准则）、Bradley–Terry 偏好分数和锚定效率惩罚。偏好由基线正确性进行门控，以防止奖励破解。

我们定义了一个二元基线信号，捕获任务正确性或指令合规性。对于可验证搜索智能体数据，如果最终答案与基准事实匹配，则，否则为。对于基于准则的通用聊天数据，如果满足所有准则，则，否则为。该基线作为条件聚合规则 Eq. 2 中的硬门。 $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ $r_{\mathrm{base}}(\tau_i)=1$ $0$ $r_{\mathrm{base}}(\tau_i)=1$ $0$

我们的目标是使策略模型与用户对响应质量的潜在偏好（信息量、清晰度和专业语气）对齐，这些偏好很难通过 LLM 判断器提示来捕捉。因此，我们训练了一个学习到的偏好奖励模型来直接对这些属性进行评分。

我们在 Bradley–Terry 框架下制定偏好学习。给定上下文 $x$ 和两个候选响应 $y_a, y_b$ ，模型产生标量分数 $s_{\theta}(x, y) \in \mathbb{R}$ 并最小化，

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

其中 $r \in \{0, 1\}$ 表示 $y_a$ 是否被首选。为了消除位置偏差，每个训练对都用两种排序进行增强并对称优化，

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

在推理时，我们通过平均两种排列获得与位置无关的偏好分数：

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Rollout 偏好分数随后定义为 $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ ，即策略 rollout $y_i$ 对于相同提示被优于参考模型 rollout 的概率。

用于偏好建模的训练数据来自精选开源数据集、用户并排反馈和内部标注。为了解决标签噪声，我们应用了受 Datbench (DatologyAI, 2026) 启发的轻量级过滤和校准流水线，仅保留具有一致交叉模型协议的示例。奖励模型与策略模型共享相同的主干，语言建模头被替换为值头。虽然较小的奖励模型可以实现相当的留出准确性，但我们经验性地发现它们无法捕捉细粒度的偏好，并且可能会强化不可取的策略行为。

在缺乏显式效率整形的情况下，策略往往会在简单提示上过度使用工具。无条件惩罚（例如，随工具调用计数或输出长度线性缩放的惩罚）是一个自然的基线，但我们发现它们抑制了必要的探索并降低了学习效果。因此，我们采用 组相对、锚定惩罚，相对于每个 GRPO 组内的有效解对工具使用和响应长度进行正则化。对于组 𝑔，我们将获胜集定义为：

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

锚定工具调用惩罚。 对于每个 rollout $\tau_i$ ，令 $c_i$ 表示工具调用次数， $e_i$ 表示工具执行失败次数。我们定义有效工具调用计数 $\tilde{c}_i = c_i - e_i$ 并统一采样组基线：

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

我们计算盈余 $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ ，并定义平滑惩罚标量 $p_i = 1 - \exp\!\left(-\Delta_i\right)$ 。工具惩罚随后为：

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

锚定长度惩罚。 令 $L_i$ 和 $L_i^{\mathrm{ref}}$ 分别表示候选模型和参考模型生成的标记长度。我们将 整形集 $\widehat{W}_g$ 定义为既正确又被首选的 rollouts：

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

然后我们计算组特定的长度基线：

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

长度惩罚定义为：

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

其中第一行是硬上限；第二行惩罚冗长的获胜者；第三行惩罚简洁的失败者。

综合效率惩罚。 综合效率惩罚是两个组件的加权和：

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

我们通过两个轴评估我们的后训练流水线：(i) 训练动态，以评估优化稳定性以及奖励信号是否按预期行为；(ii) 离线基准测试，以在受控评估设置下测量下游质量、安全性和效率。

默认训练设置。 策略模型与网页搜索工具 (search_web) 交互；每次工具调用检索最多 10 个结果，查询限制为 250 个字符，每个 rollout 最多 5 个查询。

我们检查优化动态，重点关注奖励进展和效率行为。为了说明简单，我们使用 Qwen3.5-397B-A11B。

图 2 显示了基线奖励（可验证问答和准则满足）的稳步提高，同时偏好分数增加，表明正确性、合规性和响应质量的持续提升。

图 3 表明工具调用频率和生成长度在整个训练过程中都得到了很好的控制。值得注意的是，工具调用和长度惩罚在训练过程中单调递减，反映了模型向更简洁生成和更有选择性的工具调用方向的逐步适应。

图 4 显示，除了瞬时峰值外，梯度范数保持稳定，而训练-推理 KL 散度呈现温和的上升趋势，保持在 1e-3 的范围内。这种漂移模式与其他 RL 训练框架中的观察结果一致；由于训练在整个过程中保持稳定，我们在 Eq. 1 中保留了一个简单的 IS 正则化，无需额外干预。

我们报告了一套跨越搜索准确性、事实可靠性、指令遵循和安全性的基准测试结果，其中包括公共基准测试和内部 Perplexity (PPLX) 指标。公共基准测试包括 SimpleQA、FRAMES 和 Facts Open。

pplx-sbs-search： 使用内部奖励模型的并排偏好评估。候选者与强基线进行比较。
pplx-abstention： 在没有可靠证据时适当拒绝的能力。
pplx-language-mismatch： 长尾和多轮设置下的语言一致性。
pplx-broken-tool-calls (↓)： 工具调用模式合规性和约束遵循，例如 tool_choice=none。

默认评估设置。 对于公共基准测试，我们仅允许使用网页搜索工具，每个示例最多 5 次工具调用，每次调用最多 10 个结果，在温度 0.6 下生成最多 8192 个输出标记。

表 2 | 离线评估结果。括号中的数字表示平均工具使用量。我们将 Qwen3.5-397B-A17B 标注为 Qwen3.5-Large，将 Qwen3.5-122B-A10B 标注为 Qwen3.5-Medium。

表 2 显示 Qwen3.5-Large-SFT-RL 在公共基准测试中实现了强大的搜索准确性，在 FRAMES 和 Facts Open 上匹配或超过 gpt-5.4，同时使用可比的工具预算。相对于基础模型，我们的方法在内部指标上获得了显著提升，特别是在偏好（pplx-sbs-search：0.602 → 0.742）、语言一致性和弃权方面，证明了两阶段流水线在不牺牲搜索能力的情况下有效改善了部署关键行为。

为了测量这一点，我们设计了一个 预算强制 评估协议。每个模型都可以访问网页搜索工具 (search_web) 和一个指定允许工具调用次数（“预算”）硬上限的系统提示。我们将此预算从 0（无工具使用，纯参数化知识）扫掠到 10（慷慨的多步检索），记录每个级别的准确性。这产生了一条 工具效率曲线：模型得分作为其允许检索预算的函数。我们在两个事实问答基准测试（FRAMES 和 Facts Open）上进行评估。

从这两个基准测试中可以看出几个模式：

我们后训练的 Qwen3.5-397B-SFT-RL 在两个基准测试中都实现了最佳的搜索准确性。即使只有一次工具调用，它在 FRAMES 上得分 57.3%，比 GPT-5.4 高 5.7 点，比 Sonnet 4.6 高 4.7 点。
- 这种优势在中等预算 (b=2-7) 下最为显著，这是生产部署的实际操作范围。
我们的后训练方案 (SFT + RL) 显著提高了相对于基础检查点的工具使用效率；参见图 5 中的实线（后训练）与虚线（起始检查点）。
对于所有模型，我们观察到在 budget=7 附近出现收益递减，这在两个基准测试和所有模型中是一致的，表明这是事实寻求任务而非模型本身的属性。

上述结果表明 Qwen3.5-397B-SFT-RL 以更少的工具调用实现了更高的准确性。但这如何转化为实际成本？我们使用已发布的 API 定价（阿里巴巴 DashScope、OpenAI、Anthropic）将标记级测量转换为美元成本，以使比较具体化。

在中等配置 (b=4) 下，Qwen3.5-397B-SFT-RL 在 FRAMES 上得分 73.9%，成本为每查询 2.0 美分，而 GPT-5.4 得分 67.8%，成本为 8.5 美分，Sonnet 4.6 得分 62.4%，成本为 15.3 美分。与 GPT-5.4 相比，这意味着准确性提高了 +6 点，成本降低了 4 倍；与 Sonnet 4.6 相比，准确性提高了 +11.5 点，成本降低了 7.5 倍。

这些估计使用了不含缓存的列表 API 定价。利用 KV 缓存重用、前缀缓存和量化 MoE 服务（397B 仅使用 17B 活动参数）等内部推理优化，有效成本可以降低到远低于列表 API 定价的水平。

通过两阶段 SFT 和 RL 流水线将部署合规性与搜索优化解耦，产生了一个在生产约束下既能干又可靠的模型。可验证问答和基于准则的训练数据的结合，加上门控奖励聚合和锚定效率整形，实现了稳定的多目标优化，且不牺牲搜索准确性或护栏合规性。

几个方向值得进一步研究。正如在图 4 中观察到的，训练-推理 KL 散度在延长的训练步骤中表现出持续的上升漂移。虽然标记级 IS 纠正在我们当前的设置下被证明是足够的，但这在更大规模下是否依然成立尚不清楚；对此不匹配的更具原则性的理论处理——涵盖基础设施层面的差异和特定于架构的因素（如 MoE 路由）——以及缓解策略的定量经验比较，仍然是一个重要的未决问题。特别是对于多目标 RL，有希望的途径包括 序列训练 (Zeng 等人，2026)，配合同策略蒸馏以分阶段优化目标，同时减轻灾难性遗忘；以及模型合并 (Fu 等人，2025; Yang 等人，2026)，以将任务特定优化与能力聚合脱钩。最后，扩展到具有长水平轨迹的现实多工具工作流仍然是一个重要的公开挑战，可能需要更好的积分分配、对部分 rollout 的支持以及评估。

DatologyAI. Datbench: 判别性、忠实且高效的视觉语言模型评估。 https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, 2026 年 1 月。发布于 2026 年 1 月 6 日。访问日期：2026-03-04。

J. Duchi 和 H. Namkoong. 基于方差的凸目标正则化。 arXiv 预印本 arXiv:1610.02581, 2016。

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, 和 X. Zhao. 用于多任务学习的无需训练 LLM 合并。载于计算语言学协会第 63 届年会论文集（第 1 卷：长论文），第 33111–33124 页，2025。

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, 和 S. Hendryx. 准则即奖励：可验证领域之外的强化学习。 arXiv 预印本 arXiv:2507.17746, 2025。

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, 和 Y. Shen. 当速度扼杀稳定性：揭秘训练-推理不匹配导致的 RL 崩溃。 Notion 博客, 2025a。

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, 等人. Gdpo：用于多奖励 RL 优化的组奖励解耦归一化策略优化。 arXiv 预印本 arXiv:2601.05242, 2026。

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, 和 H. Wang. Openrubrics：迈向用于奖励建模和 LLM 对齐的可扩展合成准则生成。 arXiv 预印本 arXiv:2510.07743, 2025b。

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, 和 Y. Dong. Deepdive：通过知识图谱和多轮 RL 推进深度搜索智能体。 arXiv 预印本 arXiv:2509.10446, 2025。

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, 和 F. Luo. 通过对齐训练和推理路由器来稳定 MoE 强化学习。 arXiv 预印本 arXiv:2510.11370, 2025。

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, 和 T. Vu. Sealqa：提高搜索增强语言模型推理标准。 arXiv 预印本 arXiv:2506.01062, 2025。

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, 和 M. Lewis. 测量和缩小语言模型中的组合性差距。载于计算语言学协会研究成果：EMNLP 2023，第 5687–5711 页，2023。

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, 和 W. S. Lee. 重新思考 LLM 强化学习中的信任域。 arXiv 预印本 arXiv:2602.04879, 2026。

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, 等人. Deepseekmath: 推动开放语言模型中数学推理的极限。 arXiv 预印本 arXiv:2402.03300, 2024。

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, 等人. Webshaper：通过信息搜寻形式化实现智能体数据合成。 arXiv 预印本 arXiv:2507.15061, 2025。

vLLM 和 TorchTitan Teams. 不再有训练-推理不匹配：使用 vLLM 和 TorchTitan 进行位一致的同策略强化学习。 https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, 2025 年 11 月。vLLM 博客。

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, 和 F. Huang. Webwalker：网页遍历中的 LLM 基准测试，2025。 URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, 等人. Qwen3 技术报告。 arXiv 预印本 arXiv:2505.09388, 2025。

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, 和 D. Tao. LLM、MLLM 及其他领域中的模型合并：方法、理论、应用和机会。 ACM 计算调查, 58(8):1–41, 2026。

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, 和 J. Gao. 您的高效 RL 框架秘密地为您带来了离策略 RL 训练，2025 年 8 月。 URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, 等人. Glm-5：从氛围编码到智能体工程。 arXiv 预印本 arXiv:2602.15763, 2026。

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, 等人. 使用 LLM 稳定强化学习：公式化与实践。 arXiv 预印本 arXiv:2512.01374, 2025a。

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, 等人. 组序列策略优化。 arXiv 预印本 arXiv:2507.18071, 2025b。

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}

引言

两阶段训练流水线

SFT 阶段

RL 阶段

RL 训练数据

可验证搜索智能体数据

示例（3 跳）

基于准则的通用聊天数据

示例

提示混合和方差平衡

奖励设计

基线奖励

偏好建模

效率惩罚

主要结果

训练动态

离线评估

工具使用效率评估

结论

参考资料

引用