自我改进的技能

Perplexity Brain 如何从经验中学习重复性流程,并使其保持最新。

作者Perplexity Engineering

引言

用户有着特定于工作流的偏好和要求,而通用模型无法预先了解这些信息。智能体需要学习这些细节,从而让自己的工作适应用户,而不是要求用户在每个会话中反复解释相同的流程或做出相同的修正。持续学习使这一点成为可能:已完成任务中的经验应当为智能体处理未来工作的方式提供参考。

Brain 是 Computer 的个性化自我改进系统,支持从经验中学习。它已经维护着一个结构化知识 Wiki,将有关用户及其工作的信息与支持这些信息的证据关联起来。随着新信息不断积累,后台智能体会更新该 Wiki,因此记忆系统会随着时间推移不断改进。

智能体技能提供了另一种无需更改底层模型即可引导智能体行为的方式。技能是可复用的指令,可引导智能体完成特定任务。它们记录了重复性工作流所需的要求和辅助资源,否则智能体每次都需要从记忆中推断这些内容或由用户提供;这有助于提升智能体在分布外任务上的表现。技能还可以包含脚本,用于处理重复性流程或能够用代码可靠表达的处理逻辑,这样智能体在适用时只需运行这些脚本即可。harness 让可用技能能够被发现,并在智能体请求时将其指令加载到上下文中。用户也可以直接在提示中指定要使用哪些技能。

我们正在扩展 Brain,使其能够自动创建和更新智能体技能。Brain 基于用户的记忆和会话历史,编写并完善个人技能,以记录该用户工作流的操作流程。我们还采用类似的方法,基于所有会话中的汇总模式,更新所有 Perplexity 用户都能使用的内置技能。

智能体将通用能力与选定的任务上下文和个人经验相结合。底层模型根据工作上下文决定下一步行动,而该上下文会随任务推进而变化。Brain 提供记忆和个人技能,随后利用选定的会话证据进行后续更新,但须经过检查和授权。个性化改变的是上下文和指令,而非模型权重。各类来源按需选取,而不是一次性全部加载;此概念图简化了更新机制。

我们首先介绍适用于所有技能类型的共享自我改进引擎,并说明它如何作用于个人技能和内置技能。

共享的自我改进引擎

即使是有用的技能,也仍需随着新偏好的出现,或在经验揭示其指令中的不足时不断调整。Brain 负责发现智能体在 Computer 下次遇到类似任务时应如何改变行为,并确定技能应如何调整,才能更好地实现预期结果。

这一改进过程构成一个包含四个阶段的循环:

  1. 证据。Brain 会找出过去使用过该技能的会话,尤其是技能表现不佳的会话。
  2. 反思。改进智能体研究这些证据,并提出技能更新方案。
  3. 验证。通过检查确认该提案格式正确,并且有望改善结果。
  4. 激活。应用经过验证的更改。未来的会话将使用新版本,为下一轮提供证据。
Brain 会选择使用过该技能的过往会话,尤其是技能表现不佳的会话。改进智能体提出更新,检查则评估该更新格式是否规范、是否可能改善结果。更新应用后,新版本会用于未来的会话,并为下一轮改进提供证据。

这一循环依赖于为 Computer 和 Brain 构建的许多现有能力。本节介绍支撑证据和反思阶段的共享机制。验证和激活流程取决于更改影响的是单个用户还是所有 Perplexity 用户,因此我们将在后文关于个人技能和内置技能改进循环的章节中分别介绍。

来自过往会话的证据

反思需要找到使用过某项技能的会话,尤其是仍有改进空间的会话。Computer harness 会记录使这一点成为可能的信号。当智能体加载技能时,harness 会记录一个技能加载事件,将该技能与会话关联起来。当智能体发现用户不满、行为异常或明显的低效时,它会提交一份简短的结构化诊断,harness 则会附上正在使用的技能。这些信号对内置技能尤其有用,因为任何会话都可能与之相关,所以系统需要一种方法来快速缩小证据范围。

让智能体访问完整记录,而不是仅根据结果或简短摘要做出判断,会对智能体更有帮助。Computer 使用与提供商无关的轨迹表示来存储过往会话,记录消息、工具调用、推理过程和结果。我们还构建了一套命令行工具,智能体可以用它们解码这些轨迹并重建完整会话。这使反思智能体能够检查具体的技能加载和工具调用,准确定位出现问题或可以改进的地方。

bash
# Decode a stored trajectory into structured messages, # including tool calls, their arguments, and their results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --jsonl -o session.jsonl # Identify which skills the agent loaded and how often. python3 list_skills_used.py session.jsonl # Read one turn in detail, including its tool calls and results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --turn 3 -o turn-3.md # Recover earlier steps preserved before a context compaction. python3 deserialize_trajectory.py \ --convo-path session/compactions/001/original_convo.pb.lz4 \ --jsonl -o earlier-history.jsonl

Computer 内部轨迹检查工具的用法示例。为便于说明,路径和标识符已作简化;命令名称和参数与实际实现一致。

借助后台智能体进行反思

Brain 使用一组后台智能体,持续为每位用户优化体验。例如,Dream 智能体会回顾积累的经验来更新知识 Wiki。同样,技能改进由改进智能体驱动,它们会对技能使用证据进行反思,从而提出更新方案。

每个智能体都在各自的沙盒中工作,配备前沿模型、相关证据和当前技能库,并由插件和技能提供指导。它会决定读取哪些会话,从每个会话中提炼出具体经验,并将需要相同可复用行为的经验归为一组。由于针对某个失败的修复可能与另一条指令相冲突,或在其他地方增加工作量,它会在提出编辑之前通读完整技能,并在证据不足以支持编辑时放弃提出。

改进智能体与 Computer 运行在同一个 harness 上。我们将 harness 设计为模块化,因此新的智能体应用可以复用其推理、工具使用和上下文管理机制,同时通过插件定义自己的指令和能力。专用的后台工作节点集群让我们能够独立于前台任务扩展这类处理。

交互式智能体和后台改进智能体运行在同一个 Computer harness 上。改进智能体利用会话证据和当前技能来提出更改,或放弃更改。提案必须通过针对该技能类型的检查,新版本才会提供给未来的会话使用。

个人技能改进循环

我们首先介绍共享的自我改进引擎如何应用于个人改进循环,该循环会将用户的任务历史转化为新的或更新后的个人技能。下图通过一个示例技能追踪完整循环,最终呈现修订后的版本。

个人技能循环从会话证据开始,依次经过改进智能体、提案检查和激活。当前技能也会为改进智能体提供信息;已激活的更改可供未来的会话使用。

在每日生成运行期间,改进智能体会审查用户近期的会话,以确定值得做出的更改。一组近期会话会与技能使用数据一起预加载到沙盒中;用户的其余会话历史可按需检索。改进智能体还会收到现有技能的目录。它无法访问互联网或其他连接器。

专为个人技能改进工作流设计的插件和技能会指导反思过程,并借鉴我们关于“什么是好的更新”的原则。智能体首先分析完整轨迹,从每个会话中找出一条具体经验。然后,它将这些经验与现有指令进行比较,并决定是更新技能、创建技能,还是不做更改。创建技能需要同一可复用行为独立出现两次,而更新现有技能只需一次有据可依的出现即可。

智能体不会直接修改技能,而是生成一份提案,记录预期的更改以及支持这些更改的推理和证据。每次运行中,每项技能仅限一处更改。确定性检查会验证提案格式正确且可应用于该技能。此外,LLM 评判器会对抽样的提案进行审核,检查证据是否支持该更改,以及更改后的技能是否提供了有用的指令。

激活会将经过验证的提案转化为对用户技能库的更改,使新版本可以在未来的会话中加载和使用。由于 harness 会在每个会话开始时加载所有可用技能的索引,庞大的技能库可能会占满上下文窗口,使智能体更难找到并加载相关技能。因此,系统只保留最有价值的技能,淘汰不必要的技能,以维持一个小而精的技能库。具体而言,我们为每位用户设定了最多 10 项自动创建技能的上限。达到上限时,改进智能体仍可更新或删除技能,但若要添加新技能,就必须淘汰一项现有技能,并说明新技能为何对用户的工作更有用。

内置技能改进循环

我们还将 Brain 的持续技能改进框架扩展到了内置技能。内置循环不是利用单个用户的记忆和会话历史来改进该用户的个人技能,而是利用来自众多用户的证据,改进所有 Perplexity 用户都能使用的技能。由于任何人都可以使用内置技能,更改的门槛很高;无意中降低性能的更新可能会影响数千个会话。内置改进智能体只会更改技能的候选版本。这些更新必须经过配对回放和内部人工审核,才能进入技能的正式版本。我们将再次通过一个示例技能及其支持证据来追踪完整循环。

失败的会话会产生一个根本原因和一组留出的失败场景。改进智能体利用根本原因和正常示例提出修订方案;这些场景从不向它展示。配对回放在相同的测试上比较当前技能和修订后的技能,成功的候选版本会进入人工审核,随后获批并合并。

内置改进循环使用的证据来自符合训练使用条件的会话,并经过脱敏处理。诊断信息和失败信号用于筛选相关证据,同时还会选取使用了该技能但未触发任何标记的对照会话。脱敏流水线会清除凭据和其他机密信息,以及附加的文件和媒体。

场景生成智能体会将脱敏后的证据转化为具体的失败场景。它只保留理解失败案例和改进技能所必需的上下文;会话的其余部分则以合成方式重建,从而为验证过程创建一个自包含的测试。场景必须在不连接应用、无需登录的情况下运行;如果原始任务依赖某个连接器,该输入会在场景中替换为合成文件。另有一项独立检查会验证该技能在生成的场景中确实会失败。

反思通过每周一次的修订作业进行,将观察到的失败转化为修复。它会寻找在多个会话中反复出现的技能失败,以免单个糟糕的会话就引发编辑。每个反复出现的失败都会单独运行一次改进智能体。该智能体会收到根本原因的描述,以及来自成功会话的脱敏记录。它利用这些证据编写技能的候选修订版。它不会收到完整的失败场景,因为这些场景要用于评估。

一个独立的回放作业会使用生成的场景,比较技能的原始版本和修订版本。LLM 评判器会根据每个场景的评分标准,评估智能体的回答和轨迹。提案要通过,每个测试场景都必须在使用修订后的技能时通过,并且至少有一个场景在使用原始技能时失败。根据对照会话构建的场景也会被回放,以确认没有任何功能失效。对于失败场景,评判器还会检查是否确实发生了该特定失败,而不是将任务未成功视为同一问题的证据。

该工作流会将候选更改和评估结果打包成一个拉取请求,供内部人工审核。只有在工程师批准该 PR 后,这些更改才会生效。

评估

自动技能改进显著提升了技能的创建量和使用量。从 8 月 1 日到 11 月 14 日,Brain 为超过 2 万名用户编写了超过 8 万项个人技能。此外,从 9 月 4 日到 11 月 14 日,共有超过 10 万次自动更新应用于超过 3 万项现有个人技能。

这些技能涵盖广泛的领域和任务,从验证软件、核对工资单到设计图表,不一而足。我们根据 Brain 生成的技能所描述的工作流对其进行了分类。即使是最大的领域——软件工程,也仅占技能总数的 11%;紧随其后的是研究与简报(10.1%)、销售与运营(9.9%)以及金融与投资(9.9%)。

在 8 月 1 日至 11 月 4 日期间自动创建的 64,230 项个人技能中,软件工程所占份额最大(11.0%),其次是研究与简报(10.1%)。所示十个领域占样本中全部技能的 80.3%。

我们在生产流量上开展了为期八周的随机测试,将启用自动个人技能改进的用户与禁用该功能的对照组进行比较。启用技能改进的用户中,有 72.9% 至少获得了一项新的个人技能;而未启用该功能的用户中,只有 6.5% 手动添加了新技能。实验组中超过一半(53%)的用户在自己发起的对话中加载过个人技能,而对照组的这一比例为 13%;实验组用户的对话轮次加载个人技能的频率约为对照组的 3.6 倍。在获得 Brain 编写技能的客户中,63% 在四周内的后续对话中再次使用了此类技能。

在一项为期八周的随机生产环境测试中,启用自动技能改进的用户中有 72.9% 获得了至少一项新的个人技能,而对照组仅为 6.5%。在用户自己发起的对话中,启用组有 53% 的用户加载了个人技能,对照组为 13%。

我们的评估旨在确定这些新增和更新的技能如何影响任务执行和整体性能。

同一项随机实验的结果显示,工具调用失败和用户不满均有所下降。对于启用自动技能改进的用户,所有 Computer 活动中的工具调用失败率下降了 11%。排除系统自身的后台运行后,工具调用失败的频率仍降低了约 7%,这表明用户工作中的可靠性有所提升。用户不满(以每位用户中/高不满意度的问题数衡量)下降了 7.6%。我们没有观察到成本或响应时间出现可衡量的变化。这些早期测试显示出令人鼓舞的结果,随着我们不断完善系统并向更多用户推出自我改进技能,我们预计改进效果会随着时间推移进一步提升。

离线实验也在更具体的场景中记录到了改进。在一项 SkillLearnBench 实验中,Computer 利用先前的任务轨迹,为九个任务类别各创建了一项个人技能。在 16 个配对评估实例中,任务成功率从不使用技能时的 43.8% 提升至使用生成技能时的 62.5%,这证明从过往经验中提炼的技能能够提升重复任务的表现。在一项内置技能的案例研究中,对电商技能的编辑使质量提升了 6%,同时成本降低了 32%,其中质量由自动评判器衡量。

结语

自我改进技能为 Computer 提供了从自身工作中学习的另一种途径。它扩展了 Brain,使其能够创建和维护程序性记忆,从而提升复杂工作流中的表现。自动技能改进已经提高了技能使用率、降低了工具失败率,并减少了用户不满。

个人技能改进现已向所有美国 Max 订阅用户开放。该功能对符合条件的用户默认开启,但可以关闭。“插件”选项卡会显示可用技能,标识出由 Brain 编写的技能,并让用户选择启用哪些技能。

接下来,我们将把改进扩展到更多类别的技能,包括用户编写的技能、在项目内共享的技能以及组织技能。我们将继续完善改进流水线及其评估,使修订带来更可靠的流程和更好的结果。

引用

BibTeX
@online{perplexity2026SelfImprovingSkills,
  author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Self-improving skills}},
  date = {2026-11-18},
  url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}