自己改善するスキル

Perplexity Brainが、繰り返し行う手順を経験から学び、常に最新の状態に保つ仕組み。

著者Perplexity Engineering

はじめに

ユーザーには、汎用モデルが事前に知ることのできない、ワークフロー固有の好みや要件があります。ユーザーにセッションのたびに同じ手順を説明させたり、同じ修正を求めたりするのではなく、エージェントがこうした詳細を学習して、ユーザーに合わせて作業を調整する必要があります。これを可能にするのが継続学習です。完了したタスクから得た経験を、エージェントが今後の作業にどう取り組むかに生かすべきなのです。

Computerのパーソナライズされた自己改善システムであるBrainは、経験を通じた学習を可能にします。Brainはすでに、ユーザーとその作業に関する情報を、それを裏付けるエビデンスと結び付ける構造化されたナレッジWikiを維持しています。新しい情報が蓄積されるにつれてバックグラウンドエージェントがWikiを更新するため、メモリシステムは時間とともに改善されていきます。

エージェントスキルは、基盤となるモデルを変更せずにエージェントの振る舞いを導く、もう1つの方法です。スキルとは、特定のタスクを進めるようエージェントを導く再利用可能な指示です。スキルは、繰り返し行われるワークフローの要件や補助リソースをまとめたもので、スキルがなければエージェントはそれらをメモリから推測するか、毎回ユーザーから受け取る必要があります。これにより、分布外のタスクでのパフォーマンスが向上します。また、繰り返しの手順や、コードで確実に表現できる処理のためのスクリプトを含めることもでき、該当する場面ではエージェントがそのスクリプトを実行するだけで済みます。ハーネスは利用可能なスキルを見つけられるようにし、エージェントが要求したときにその指示をコンテキストに読み込みます。ユーザーは、使用するスキルをプロンプトで直接指定することもできます。

Brainを拡張し、エージェントスキルを自動的に作成・更新できるようにします。Brainは、ユーザーのメモリとセッション履歴をもとに、そのユーザーのワークフローの手順をまとめた個人スキルを作成し、改良します。同様のアプローチを、すべてのPerplexityユーザーが利用できる組み込みスキルの更新にも適用し、全セッションにわたる集計パターンに基づいて更新を行います。

エージェントは、汎用的な能力に、選択されたタスクコンテキストと個人の経験を組み合わせます。基盤モデルは作業コンテキストを使って次に何をするかを選択し、そのコンテキストはタスクの進行に応じて変化します。Brainはメモリとパーソナルスキルを提供し、選択されたセッションのエビデンスを、チェックと承認を条件として後の更新に使用します。パーソナライズによって変わるのはコンテキストと指示であり、モデルの重みではありません。ソースは必要に応じて選択され、すべてが一度に読み込まれるわけではありません。この概念図では更新の仕組みを簡略化しています。

まず、すべての種類のスキルで共有される自己改善エンジンについて説明し、それが個人スキルと組み込みスキルでどのように機能するかを解説します。

共有の自己改善エンジン

有用なスキルであっても、新たな好みが生まれたり、経験によって指示の不足が明らかになったりすれば、変化させていく必要があります。Brainは、Computerが次に同様のタスクに取り組む際にエージェントの振る舞いをどう変えるべきかを見つけ出し、望ましい結果をよりよく達成するためにスキルをどう変更すべきかを判断する役割を担います。

この改善プロセスは、次の4つの段階からなるループを形成します:

  1. エビデンス。Brainは、スキルが使われた過去のセッション、特にスキルが十分に機能しなかったセッションを見つけ出します。
  2. リフレクション。改善エージェントがそのエビデンスを分析し、スキルの更新を提案します。
  3. 検証。チェックにより、提案が適切な形式であり、結果を改善する可能性が高いことを確認します。
  4. 有効化。検証済みの変更が適用されます。以降のセッションでは新しいバージョンが使われ、次のラウンドのためのエビデンスとなります。
Brainは、スキルが使われた過去のセッション、特にスキルが十分に機能しなかったセッションを選択します。改善エージェントが更新を提案し、チェックによって提案が適切な形式かどうか、成果を改善する可能性が高いかどうかを評価します。適用されると、新しいバージョンが今後のセッションで使われ、次のラウンドのエビデンスとなります。

このループは、ComputerとBrainのために構築された多くの既存機能に支えられています。ここでは、エビデンスの収集とリフレクションを可能にする共有の仕組みについて説明します。検証と有効化の手順は、変更が1人のユーザーに届くのか、すべてのPerplexityユーザーに届くのかによって異なるため、後続の個人スキルと組み込みスキルの改善ループに関するセクションで説明します。

過去のセッションから得られるエビデンス

リフレクションを行うには、スキルが使われたセッション、特に改善の余地があるセッションを見つける必要があります。Computerのハーネスは、これを可能にするシグナルを記録します。エージェントがスキルを読み込むと、ハーネスはそのスキルとセッションを結び付けるスキル読み込みイベントを記録します。エージェントがユーザーの不満、動作の不具合、明らかな非効率に気づくと、エージェントは短い構造化された診断情報を提出し、ハーネスが使用中のスキルを添付します。これらは組み込みスキルで特に役立ちます。組み込みスキルではあらゆるセッションが関連する可能性があるため、システムにはエビデンスの候補を素早く絞り込む手段が必要だからです。

エージェントは、結果や短い要約に基づいて判断するよりも、完全な記録にアクセスできるほうが効果的に機能します。Computerは、メッセージ、ツール呼び出し、推論、結果を記録するプロバイダー非依存のトラジェクトリ表現を用いて、過去のセッションを保存しています。また、エージェントがこれらのトラジェクトリをデコードしてセッション全体を再構築するためのコマンドラインツール群も構築しました。これにより、リフレクションエージェントは特定のスキル読み込みやツール呼び出しを調べ、問題が発生した箇所や改善できる箇所を正確に特定できます。

bash
# Decode a stored trajectory into structured messages, # including tool calls, their arguments, and their results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --jsonl -o session.jsonl # Identify which skills the agent loaded and how often. python3 list_skills_used.py session.jsonl # Read one turn in detail, including its tool calls and results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --turn 3 -o turn-3.md # Recover earlier steps preserved before a context compaction. python3 deserialize_trajectory.py \ --convo-path session/compactions/001/original_convo.pb.lz4 \ --jsonl -o earlier-history.jsonl

Computerの内部トラジェクトリ検査ツールの使用例。パスと識別子は説明のために簡略化していますが、コマンド名と引数は実装に準拠しています。

バックグラウンドエージェントによるリフレクション

Brainは、バックグラウンドエージェントのチームを使って、ユーザーごとの体験を継続的に最適化しています。たとえばDreamエージェントは、蓄積された経験を振り返ってナレッジWikiを更新します。同様に、スキルの改善は、スキル使用のエビデンスを振り返って更新を提案する改善エージェントによって行われます。

各エージェントは、フロンティアモデル、関連するエビデンス、現在のスキルライブラリを備えた専用のサンドボックスで、プラグインとスキルに導かれながら作業します。どのセッションを読むかを判断し、それぞれから具体的な教訓を引き出し、同じ再利用可能な振る舞いを必要とする教訓をグループ化します。ある失敗の修正が別の指示と矛盾したり、他の箇所で作業を増やしたりする可能性があるため、編集を提案する前にスキル全体を読み、エビデンスが編集を裏付けない場合は提案を見送ります。

改善エージェントは、Computerと同じハーネス上で動作します。ハーネスをモジュール化したことで、新しいエージェントアプリケーションは、推論、ツール使用、コンテキスト管理の仕組みを再利用しつつ、プラグインを通じて独自の指示と機能を定義できます。専用のバックグラウンドワーカー群により、この処理をフォアグラウンドのタスクとは独立してスケールできます。

インタラクティブエージェントとバックグラウンドの改善エージェントは、同じComputerハーネス上で動作します。改善エージェントは、セッションのエビデンスと現在のスキルをもとに変更を提案するか、提案を見送ります。新しいバージョンが今後のセッションで利用可能になる前に、提案はスキルタイプ固有のチェックに合格する必要があります。

個人スキルの改善ループ

まず、共有の自己改善エンジンが、ユーザーのタスク履歴を新規または更新された個人スキルに変換する個人向け改善ループにどのように適用されるかを説明します。次の図では、例となるスキルがループ全体をたどり、改訂版に至るまでの流れを示しています。

個人スキルのループは、セッションのエビデンスから、改善エージェント、提案のチェック、有効化へと進みます。現行スキルも改善エージェントへの入力となり、有効化された変更は以降のセッションで利用可能になります。

毎日の生成実行では、改善エージェントがユーザーの最近のセッションを確認し、加える価値のある変更を判断します。最近のセッション一式がスキルの使用データとともにサンドボックスに事前に読み込まれ、それ以外のセッション履歴は必要に応じて取得できます。改善エージェントには既存スキルのカタログも渡されます。インターネットやその他のコネクタにはアクセスできません。

個人スキル改善ワークフロー向けに設計されたプラグインとスキルが、よい更新とは何かについての私たちの原則に基づいて、リフレクションのプロセスを導きます。エージェントはまずトラジェクトリ全体を分析し、各セッションから具体的な教訓を特定します。次に、その教訓を既存の指示と比較し、スキルを更新するか、新たに作成するか、変更しないかを判断します。スキルを新規作成するには同じ再利用可能な振る舞いが独立して2回発生している必要がありますが、既存スキルの更新は、根拠のある1回の発生で正当化できます。

エージェントはスキルを直接変更しません。代わりに、意図する変更と、それを裏付ける理由およびエビデンスを記録した提案を作成します。更新は、1回の実行につき、スキルごとに1件の変更に限定されます。決定論的なチェックにより、提案が適切な形式であり、スキルに適用できることを検証します。これとは別に、LLMジャッジがサンプリングされた提案を監査し、エビデンスが変更を裏付けているか、変更後のスキルが有用な指示を提供しているかを確認します。

有効化によって、検証済みの提案がユーザーのスキルライブラリへの変更として反映され、新しいバージョンを以降のセッションで読み込んで使えるようになります。ハーネスは各セッションの開始時に利用可能なすべてのスキルのインデックスを読み込むため、スキルライブラリが大きくなるとコンテキストウィンドウを圧迫し、エージェントが関連するスキルを見つけて読み込むのが難しくなります。そのため、システムは最も価値の高いスキルだけを残し、不要なスキルを廃止して、厳選された小規模なライブラリを維持します。具体的には、自動作成されるスキルはユーザーあたり10個までという上限を設けています。上限に達しても、改善エージェントはスキルの更新や削除を引き続き行えますが、新しいスキルを追加するには既存のスキルを1つ廃止し、新しいスキルのほうがユーザーの作業にとって有用である理由を説明する必要があります。

組み込みスキルの改善ループ

また、Brainの継続的なスキル改善フレームワークを組み込みスキルにも拡張しています。組み込みスキルのループでは、1人のユーザーのメモリとセッション履歴を使ってそのユーザーの個人スキルを改善するのではなく、多数のユーザーから得たエビデンスを使って、すべてのPerplexityユーザーが利用できるスキルを改善します。組み込みスキルは誰でも使えるため、変更の基準は高く設定されています。意図せずパフォーマンスを低下させる更新は、数千件のセッションに影響しかねません。組み込みスキルの改善エージェントが変更するのは、スキルの候補バージョンのみです。これらの更新がスキルの正式バージョンに反映されるには、ペアリプレイと社内の人間によるレビューを通過する必要があります。ここでも、例となるスキルと裏付けとなるエビデンスを使ってループ全体をたどります。

失敗したセッションからは、根本原因と、評価用に取り置かれた失敗シナリオが得られます。改善エージェントは根本原因と問題のない事例を使って改訂を提案しますが、シナリオがエージェントに示されることはありません。ペアリプレイでは同じテストで現行スキルと改訂スキルを比較し、合格した候補は人間によるレビューを経て承認・マージされます。

組み込みスキルの改善ループでは、トレーニングへの利用が認められたセッションから得た、サニタイズ済みのエビデンスを使用します。診断情報と失敗シグナルを使って関連するエビデンスを選択し、あわせて、スキルが使用されても何のフラグも立たなかった対照セッションも選びます。サニタイズパイプラインは、認証情報やその他のシークレットに加え、添付ファイルやメディアも除去します。

シナリオ生成エージェントは、サニタイズ済みのエビデンスを具体的な失敗シナリオに変換します。失敗事例を理解してスキルを改善するのに必要なコンテキストだけを残し、セッションの残りの部分は合成的に再構築して、検証プロセス用の自己完結したテストを作成します。シナリオは、連携アプリやサインインなしで実行できなければなりません。元のタスクがコネクタに依存していた場合、その入力はシナリオ内で合成ファイルに置き換えられます。別のチェックで、生成されたシナリオでスキルが失敗することを確認します。

リフレクションは、観測された失敗を修正に変える週次の改訂ジョブを通じて行われます。このジョブは複数のセッションにわたって繰り返し発生するスキルの失敗を探すため、1回の不調なセッションだけで編集が行われることはありません。繰り返し発生する失敗ごとに、改善エージェントが個別に実行されます。エージェントは、根本原因の説明と、成功したセッションのサニタイズ済み記録を受け取ります。このエビデンスを使って、スキルの改訂候補を作成します。失敗シナリオの全体は評価に使用されるため、エージェントには渡されません。

別のリプレイジョブでは、生成されたシナリオを使って、スキルの元のバージョンと改訂版を比較します。LLMジャッジが、各シナリオの評価基準に照らしてエージェントの回答とトラジェクトリを評価します。提案が合格するには、改訂版のスキルですべてのテストシナリオに合格し、かつ元のスキルで少なくとも1つのシナリオが失敗する必要があります。対照セッションから作成したシナリオもリプレイし、正常に動作しなくなったものがないことを確認します。失敗シナリオについては、ジャッジは、タスクが成功しなかったことをそのまま同じ問題のエビデンスとみなすのではなく、特定の失敗が実際に発生したかどうかも確認します。

このワークフローは、変更候補と評価結果をpull requestにまとめ、社内の人間によるレビューに回します。変更は、エンジニアがPRを承認した場合にのみ有効になります。

評価

自動スキル改善により、スキルの作成数と使用数は大幅に増加しました。8月1日から11月14日までの間に、Brainは20,000人以上のユーザーのために80,000件以上の個人スキルを作成しました。さらに、9月4日から11月14日までの間に、30,000件以上の既存の個人スキルに対して100,000件を超える自動更新が適用されました。

これらのスキルは、ソフトウェアの検証から給与の照合、図表のデザインまで、幅広い分野とタスクにわたります。Brainが生成したスキルを、それぞれが記述するワークフローに基づいて分類しました。最大の分野であるソフトウェアエンジニアリングでさえスキル全体の11%にすぎず、これに研究・ブリーフィング(10.1%)、営業・オペレーション(9.9%)、金融・投資(9.9%)が続きます。

8月1日から11月4日までに自動作成された64,230件の個人スキルのうち、最も大きな割合を占めたのはソフトウェアエンジニアリング(11.0%)で、研究・ブリーフィング(10.1%)が続きました。表示されている10分野で、サンプル内の全スキルの80.3%を占めています。

本番トラフィックで8週間のランダム化テストを実施し、個人スキルの自動改善を有効にしたユーザーと、無効にした対照群を比較しました。スキル改善を有効にしたユーザーの72.9%が少なくとも1つの新しい個人スキルを獲得したのに対し、無効のユーザーで新しいスキルを手動で追加したのはわずか6.5%でした。処置群の半数以上(53%)で、自分が開始した会話に個人スキルが読み込まれており、対照群では13%でした。処置群のターンでは、個人スキルが読み込まれる頻度が約3.6倍でした。Brainが作成したスキルを獲得した顧客のうち63%が、4週間以内の後の会話でそうしたスキルを再び使用しました。

8週間にわたる本番環境でのランダム化テストでは、スキルの自動改善を有効にしたユーザーの72.9%が少なくとも1つの新しいパーソナルスキルを獲得したのに対し、対照群では6.5%でした。ユーザーが開始した会話でパーソナルスキルが読み込まれた割合は、有効化グループで53%、対照群で13%でした。

私たちの評価では、こうした新規および更新されたスキルが、タスクの実行と全体的なパフォーマンスにどのような影響を与えるかを明らかにすることを目指しています。

同じランダム化実験の結果では、ツール呼び出しの失敗とユーザーの不満の減少が見られました。自動スキル改善を利用したユーザーでは、Computerのすべてのアクティビティ全体でツール呼び出しの失敗率が11%低下しました。システム自身のバックグラウンド実行を除いても、ツール呼び出しの失敗は約7%少なく、ユーザーの作業における信頼性が向上したことを示唆しています。ユーザーあたりの不満度が中程度または高いスレッドの数で測定したユーザーの不満は、7.6%減少しました。コストや応答時間に測定可能な変化は見られませんでした。これらの初期テストは有望な結果を示しており、システムを改良し、自己改善するスキルをより多くのユーザーに展開するにつれて、改善の効果は時間とともに大きくなると期待しています。

オフライン実験でも、より限定された条件下で改善が記録されています。SkillLearnBenchを用いた実験では、Computerが過去のタスクのトラジェクトリを使い、9つのタスクファミリーそれぞれについて個人スキルを1つずつ作成しました。16組の評価インスタンス全体で、タスクの成功率はスキルなしの43.8%から、生成されたスキルありの62.5%に向上しました。これは、過去の経験から導き出されたスキルが、繰り返し行われるタスクのパフォーマンスを向上させうることを示すエビデンスです。ある組み込みスキルのケーススタディでは、eコマーススキルを編集したことで、品質が6%向上し、コストは32%削減されました。品質は自動ジャッジによって測定しています。

結論

自己改善するスキルは、Computerが自らの作業から学ぶための新たな手段となります。これによりBrainは手続き記憶を作成・維持できるようになり、複雑なワークフローでのパフォーマンスが向上します。自動スキル改善はすでに、スキルの使用を増やし、ツールの失敗率を下げ、ユーザーの不満を軽減しています。

個人スキルの改善は、米国のすべてのMaxサブスクライバーが利用できるようになりました。対象ユーザーにはデフォルトで有効になっていますが、オフにすることもできます。「プラグイン」タブでは、利用可能なスキルを確認し、Brainが作成したスキルを見分け、有効にするスキルを選択できます。

今後は、ユーザーが作成したスキル、プロジェクト内で共有されるスキル、組織のスキルなど、より多くの種類のスキルに改善の対象を広げていきます。また、改訂によってより信頼性の高い手順とよりよい結果が得られるよう、改善パイプラインとその評価の改良を続けていきます。

引用

BibTeX
@online{perplexity2026SelfImprovingSkills,
  author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Self-improving skills}},
  date = {2026-11-18},
  url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}