自我改進的技能

Perplexity Brain 如何從經驗中學習重複性的程序,並讓這些程序保持最新。

作者Perplexity Engineering

簡介

使用者在工作流程上各有特定的偏好與需求,這是通用模型無法事先得知的。AI 代理程式需要學習這些細節,才能讓工作配合使用者,而不是讓使用者在每個工作階段中重複說明相同的程序或做出相同的修正。持續學習讓這件事成為可能:從已完成任務中獲得的經驗,應該能影響代理程式處理未來工作的方式。

Brain 是 Computer 的個人化自我改進系統,能透過經驗進行學習。它已維護一個結構化知識 wiki,將使用者及其工作的相關資訊與佐證證據連結起來。背景代理程式會隨著新資訊累積而更新 wiki,讓記憶系統隨時間持續進步。

代理程式技能提供了另一種無須變更底層模型即可引導 AI 代理程式行為的方式。技能是可重複使用的指示,能引導代理程式完成特定任務。它們記錄了週期性工作流程所需的需求與支援資源,否則代理程式每次都得從記憶中推斷,或由使用者提供,因此能提升在分布外任務上的表現。技能也可以包含腳本,用於重複性程序或能以程式碼可靠表達的處理,讓代理程式在適用時直接執行這些腳本。harness 會讓可用技能可被探索,並在代理程式要求時將其指示載入脈絡中。使用者也可以直接在提示中指定要使用哪些技能。

我們正在擴充 Brain,使其能自動建立並更新代理程式技能。Brain 以使用者的記憶與工作階段歷程為基礎,撰寫並改良個人技能,記錄該使用者工作流程的程序。我們也採用類似方法,根據所有工作階段的彙總模式,更新所有 Perplexity 使用者皆可使用的內建技能。

AI 代理程式結合通用能力、選定的任務脈絡與個人經驗。底層模型會根據工作脈絡決定下一步,而該脈絡會隨任務進展而改變。Brain 提供記憶與個人技能,之後再運用選定的工作階段證據進行後續更新,但須經過檢查與授權。個人化改變的是脈絡與指示,而非模型權重。資料來源會視需要選取,而非一次全部載入;此概念示意圖簡化了更新機制。

我們首先說明所有技能類型共用的自我改進引擎,並解釋它如何應用於個人技能與內建技能。

共用的自我改進引擎

即使是實用的技能,也仍需隨著新偏好出現,或經驗揭露其指示中的不足而調整。Brain 負責找出 Computer 下次遇到類似任務時,AI 代理程式的行為應如何改變,並判斷技能應如何調整,才能更好地達成預期結果。

這個改進流程形成一個包含四個階段的循環:

  1. 證據。Brain 會找出過去曾使用該技能的工作階段,尤其是表現不如預期的那些。
  2. 反思。改進代理程式會研究這些證據,並提出技能的更新建議。
  3. 驗證。透過檢查確認提案格式正確,且可能改善結果。
  4. 啟用。套用經驗證的變更。日後的工作階段會使用新版本,並為下一輪提供證據。
Brain 會選取曾使用該技能的過往工作階段,尤其是成效不如預期的工作階段。改進 AI 代理程式會提議更新,並透過檢查評估更新的格式是否正確,以及是否可能改善結果。套用後,新版本會用於之後的工作階段,並為下一輪提供證據。

這個循環仰賴許多為 Computer 和 Brain 打造的既有功能。我們在此說明支援證據與反思的共用機制。驗證與啟用程序取決於變更影響的是單一使用者還是所有 Perplexity 使用者,因此我們將在後續關於個人技能與內建技能改進循環的章節中介紹。

來自過去工作階段的證據

反思需要找出曾使用某項技能的工作階段,尤其是仍有改進空間的那些。Computer harness 會記錄讓這件事成為可能的訊號。AI 代理程式載入技能時,harness 會記錄一個技能載入事件,將該技能與工作階段建立連結。當代理程式察覺使用者感到挫折、行為異常或明顯效率不彰時,會提交一份簡短的結構化診斷,而 harness 會附上正在使用的技能。這對內建技能特別有用,因為任何工作階段都可能與其相關,系統需要一種方式來快速縮小證據範圍。

AI 代理程式若能存取完整記錄,而非只根據結果或簡短摘要做出判斷,會更有幫助。Computer 使用不受特定供應商限制的軌跡表示法儲存過去的工作階段,記錄訊息、工具呼叫、推理與結果。我們也打造了一套命令列工具,讓代理程式可以解碼這些軌跡並重建完整的工作階段。這讓反思代理程式能檢視特定的技能載入與工具呼叫,找出問題發生或可改進的確切位置。

bash
# Decode a stored trajectory into structured messages, # including tool calls, their arguments, and their results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --jsonl -o session.jsonl # Identify which skills the agent loaded and how often. python3 list_skills_used.py session.jsonl # Read one turn in detail, including its tool calls and results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --turn 3 -o turn-3.md # Recover earlier steps preserved before a context compaction. python3 deserialize_trajectory.py \ --convo-path session/compactions/001/original_convo.pb.lz4 \ --jsonl -o earlier-history.jsonl

Computer 內部軌跡檢查工具的使用範例。路徑與識別碼已為說明目的而簡化;指令名稱與引數則與實作一致。

透過背景代理程式進行反思

Brain 運用一組背景代理程式,持續為每位使用者最佳化體驗。例如,Dream 代理程式會檢視累積的經驗來更新知識 wiki。同樣地,技能改進則由改進代理程式驅動,它們會根據技能使用證據進行反思並提出更新。

每個代理程式都在自己的沙箱中運作,配有前沿模型、相關證據和目前的技能庫,並由外掛和技能引導。它會決定要讀取哪些工作階段,從每個工作階段中歸納出具體的經驗,並將需要相同可重複使用行為的經驗分組。由於修正某個失敗可能會與其他指示衝突,或在其他地方增加工作,因此它會先讀完整個技能再提出編輯;若證據不足以支持編輯,則不會提出。

改進代理程式與 Computer 在同一個 harness 上執行。我們將 harness 模組化,讓新的 AI 代理程式應用程式可以重複使用其推理、工具使用與脈絡管理機制,同時透過外掛定義自己的指示與功能。專用的背景工作節點叢集讓我們能夠獨立於前景任務來擴充這項處理。

互動式 AI 代理程式與背景改進 AI 代理程式在同一個 Computer harness 上執行。改進 AI 代理程式會根據工作階段證據與目前的技能提議變更,或選擇不提出。提案必須通過該技能類型專屬的檢查,新版本才會提供給之後的工作階段使用。

個人技能改進循環

我們首先說明共用的自我改進引擎如何應用於個人改進循環,將使用者的任務歷程轉化為新的或更新的個人技能。下圖追蹤一個範例技能走完整個循環,最後呈現修訂後的版本。

個人技能循環從工作階段證據開始,依序經過改進代理程式、提案檢查與啟用。目前的技能也會提供給改進代理程式參考;啟用後的變更可供日後的工作階段使用。

在每日的生成執行中,改進代理程式會檢視使用者近期的工作階段,判斷哪些變更值得進行。一組近期工作階段會連同技能使用資料預先載入沙箱;使用者其餘的工作階段歷程則可視需要擷取。改進代理程式也會收到現有技能的目錄。它無法存取網際網路或其他連接器。

專為個人技能改進工作流程設計的外掛和技能會引導反思過程,並依循我們對於何謂良好更新的原則。代理程式會先分析完整軌跡,從每個工作階段中找出具體的經驗。接著,它會將這些經驗與現有指示比較,決定要更新技能、建立技能,或不做任何變更。建立技能需要相同的可重複使用行為獨立出現兩次,而更新現有技能只需一次有根據的出現即可。

代理程式不會直接修改技能,而是產生一份提案,記錄預定的變更以及支持的理由與證據。每次執行中,每個技能僅限一項變更。確定性檢查會驗證提案格式正確且能套用至該技能。此外,LLM 評審會稽核抽樣的提案,檢查證據是否支持該變更,以及變更後的技能是否提供實用的指示。

啟用會將經驗證的提案轉化為使用者技能庫中的變更,讓新版本能在日後的工作階段中載入並使用。由於 harness 會在每個工作階段開始時載入所有可用技能的索引,龐大的技能庫可能塞滿脈絡視窗,使代理程式更難找到並載入相關技能。因此,系統只保留最有價值的技能,並淘汰不必要的技能,以維持精簡且經過篩選的技能庫。具體而言,我們對每位使用者設定上限為 10 個自動建立的技能。達到上限時,改進代理程式仍可更新或移除技能,但若要新增技能,就必須淘汰一個現有技能,並說明為何新技能對使用者的工作更有幫助。

內建技能改進循環

我們也將 Brain 的持續技能改進框架延伸至內建技能。內建循環並非使用單一使用者的記憶與工作階段歷程來改進該使用者的個人技能,而是運用來自眾多使用者的證據,改進所有 Perplexity 使用者都能使用的技能。由於任何人都可以使用內建技能,變更的門檻很高;無意間降低效能的更新可能影響數千個工作階段。內建改進代理程式只會變更技能的候選版本。這些更新必須通過成對重播與內部人工審查,才能進入技能的正式版本。我們同樣以一個範例技能和佐證資料來追蹤整個循環。

失敗的工作階段會產生根本原因與預留的失敗情境。改進代理程式會根據根本原因與正常範例提出修訂;這些情境從不會向其顯示。成對重播會以相同測試比較目前與修訂後的技能,成功的候選版本會先進入人工審查,再經核准並合併。

內建改進循環使用來自符合訓練用途之工作階段、並經過清理的證據。系統會根據診斷與失敗訊號選取相關證據,同時納入使用了該技能卻未觸發任何標記的對照工作階段。清理管線會移除憑證與其他機密資訊,以及附加的檔案與媒體。

情境生成代理程式會將清理後的證據轉化為具體的失敗情境。它只保留理解失敗案例與改進技能所需的脈絡;工作階段的其餘部分則以合成方式重建,為驗證流程建立一個獨立完整的測試。情境必須能在沒有連結應用程式或登入的情況下執行;如果原始任務依賴連接器,該輸入會在情境中以合成檔案取代。另有一項獨立檢查會驗證該技能確實會在生成的情境中失敗。

反思透過每週一次的修訂作業進行,將觀察到的失敗轉化為修正。它會尋找在多個工作階段中重複出現的技能失敗,避免單一不良工作階段就促成編輯。每個重複出現的失敗都會由一次獨立的改進代理程式執行來處理。代理程式會收到根本原因的說明,以及來自成功工作階段、經過清理的記錄。它會運用這些證據撰寫技能的候選修訂版。它不會收到完整的失敗情境,因為這些情境是用於評估。

另一項重播作業會使用生成的情境,比較技能的原始版本與修訂版本。LLM 評審會依據每個情境的評分標準,評估 AI 代理程式的回答與軌跡。提案要通過,每個測試情境都必須在使用修訂後的技能時通過,且至少有一個情境在使用原始技能時失敗。由對照工作階段建立的情境也會重播,以確認沒有任何功能停止運作。對於失敗情境,評審還會檢查是否確實發生了該特定失敗,而不是將未成功的任務視為同一問題的證據。

此工作流程會將候選變更與評估結果打包成拉取請求,供內部人工審查。只有在工程師核准該 PR 後,變更才會生效。

評估

自動技能改進大幅提升了技能的建立與使用量。在 8 月 1 日至 11 月 14 日期間,Brain 為超過 20,000 名使用者撰寫了超過 80,000 個個人技能。此外,在 9 月 4 日至 11 月 14 日期間,超過 30,000 個現有個人技能套用了超過 100,000 次自動更新。

這些技能涵蓋廣泛的領域與任務,從驗證軟體、核對薪資到設計圖表皆有。我們依據 Brain 生成的技能所描述的工作流程進行分類。即使是最大的領域「軟體工程」,也僅占技能的 11%;其次是研究與簡報(10.1%)、銷售與營運(9.9%),以及財務與投資(9.9%)。

在 8 月 1 日至 11 月 4 日期間自動建立的 64,230 個個人技能中,軟體工程占比最高(11.0%),其次為研究與簡報(10.1%)。圖中顯示的十個領域占樣本中所有技能的 80.3%。

我們在正式環境流量上進行了為期八週的隨機測試,比較啟用自動個人技能改進的使用者與停用此功能的對照組。啟用技能改進的使用者中,有 72.9% 至少獲得一個新的個人技能;而未啟用的使用者中,僅有 6.5% 手動新增了技能。實驗組中超過半數(53%)在自己發起的對話中載入了個人技能,對照組則為 13%;實驗組的對話輪次載入個人技能的頻率約為對照組的 3.6 倍。在獲得 Brain 撰寫之技能的客戶中,有 63% 在四週內的後續對話中再次使用了這類技能。

在為期八週的隨機化正式環境測試中,啟用自動技能改進的使用者有 72.9% 至少獲得一項新的個人技能,對照組則為 6.5%。在使用者自行開始的對話中載入個人技能的比例,啟用組為 53%,對照組為 13%。

我們的評估旨在判斷這些新增與更新的技能如何影響任務執行與整體表現。

同一項隨機實驗的結果顯示,工具呼叫失敗與使用者不滿意的情況都有所減少。對於啟用自動技能改進的使用者,所有 Computer 活動中的工具呼叫失敗率下降了 11%。排除系統本身的背景執行後,工具呼叫失敗的頻率仍減少約 7%,顯示使用者工作上的可靠性有所提升。以每位使用者的中度/高度不滿意討論串數量衡量的使用者不滿意度,下降了 7.6%。我們並未觀察到成本或回應時間有可衡量的變化。這些早期測試展現了令人期待的成果,隨著我們持續改良系統,並將自我改進技能推廣給更多使用者,我們預期改善幅度將隨時間擴大。

離線實驗也在較狹窄的情境中記錄到改善。在一項 SkillLearnBench 實驗中,Computer 運用先前的任務軌跡,為九個任務類別各建立一個個人技能。在 16 個成對評估實例中,任務成功率從未使用技能時的 43.8%,提升至使用生成技能時的 62.5%,證明源自過往經驗的技能能提升重複任務的表現。在一個內建技能的個案研究中,對電子商務技能的編輯使品質提升了 6%,同時成本降低 32%,品質則由自動化評審衡量。

結論

自我改進技能讓 Computer 多了一種從所執行工作中學習的方式。它擴充了 Brain,使其能建立並維護程序性記憶,提升在複雜工作流程上的表現。自動技能改進已提高技能使用量、降低工具失敗率,並減少使用者的不滿意。

個人技能改進現已開放給所有美國 Max 訂閱者使用。符合資格的使用者預設會啟用此功能,但也可以關閉。「外掛」分頁會顯示可用的技能,標示出由 Brain 撰寫的技能,並讓使用者選擇要啟用哪些技能。

接下來,我們會將改進範圍擴大至更多技能類別,包括使用者撰寫的技能、在專案中共用的技能,以及組織技能。我們也將持續改良改進管線及其評估,讓修訂帶來更可靠的程序與更好的成果。

引用

BibTeX
@online{perplexity2026SelfImprovingSkills,
  author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Self-improving skills}},
  date = {2026-11-18},
  url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}