AI 代理程式的上下文腐化:長時間任務為何會失去準確度,以及如何預防
本指南說明 AI 代理程式的上下文中會累積哪些內容、這為何會損害準確度,以及如何設定能保持可靠的任務。

上下文腐化對 AI 代理程式的意義
AI 代理程式的上下文腐化,是指代理程式在執行長時間任務的過程中,隨著上下文逐漸填滿而出現的準確度逐步下降現象。
代理程式的上下文,是模型執行下一步時可用的資訊,可能包括指示、先前的訊息、搜尋結果,以及來自網站或檔案的文字。代理程式在工作過程中,可能還會加入更多內容。
舉例來說,假設代理程式的任務是找出能在兩週內交貨的供應商。一開始,它的上下文只有這項要求。任務進行到一半時,上下文還會包含數十個供應商網站的文字、好幾頁搜尋結果,以及記錄代理程式已查核過哪些供應商的筆記。
模型能容納的上下文量有上限(稱為上下文視窗)。上下文視窗以 token 計算;token 是小段文字,通常是一個字詞或字詞的一部分。上下文腐化會隨著上下文增長而加劇,因此最容易發生在步驟繁多的長時間任務中。
隨著上下文腐化惡化,代理程式的準確度會下降。它可能不再那麼嚴格遵循原始指示、忽略細節,或把外觀相似的資訊誤認為它需要的資訊。
例如,即使代理程式被要求找出兩週內交貨的供應商,它仍可能開始納入需要六週的供應商。這項指示依然存在於上下文中,但已不再左右代理程式的選擇。
上下文腐化不等同於上下文視窗空間用盡。當任務的上下文超出視窗時,內容會被截斷,或任務直接失敗。而上下文腐化早在那之前、所有內容都還放得下時,就已經開始了。
它也不同於上下文汙染(誤導性或有害資訊進入代理程式的上下文)。即使代理程式擁有準確且完整的資訊,仍可能出現上下文腐化。
上下文腐化的成因
上下文腐化之所以發生,是因為模型的注意力有限,即使上下文視窗仍有餘裕也一樣。在 AI 模型中,「注意力」是一個技術用語,指模型在撰寫回應的每個字詞時,如何決定要參考輸入內容的哪些部分。上下文的每個部分都在爭奪這份注意力。文字越多,每個部分分到的注意力就越少。
例如,Chroma 發表了一項研究,探討輸入長度如何影響 AI 模型。這項研究測試了 Anthropic、OpenAI、Google 和 Alibaba 的 18 個模型。在其中一項測試中,研究人員把一句關於寫作建議的句子藏在一長串文章之中,然後詢問模型那項建議是什麼。
他們重複進行這項測試許多次,每次都加入更多文章內容。那個句子和問題始終不變,改變的只有周圍文字的數量。
模型需要閱讀的文字越多,表現就越差。這項發現在報告中的每一項測試都成立。研究人員預測,在需要多個步驟的實際工作中(例如大多數代理程式任務),準確度的下滑幅度會更大。
上下文腐化可能如何影響 AI 代理程式
上下文腐化通常會以下列四種方式之一出現:
逐漸忘記原始指示
Chroma 最簡單的測試,是要求模型一字不差地複製一長串重複的字詞,其中某處插入了一個不同的字詞。這是一項指示明確的簡單任務。即便如此,隨著文字變長,所有模型的表現都下滑了。有些模型甚至開始產生輸入中根本不存在的字詞。
在代理程式任務中,使用者通常會在任務一開始設定具體限制,例如預算或必要的格式。隨著上下文增長,代理程式套用這些限制的一致性可能會降低。原因在於上下文的整體長度,而非指示所在的位置。
遺漏任務中段的細節
根據史丹佛大學 2023 年的一項研究,當資訊位於輸入內容的最開頭或最末尾時,AI 模型運用這些資訊最為可靠。在其中一項測試中,研究人員提供模型 20 份文件,並提出一個只有其中一份文件能回答的問題。當那份文件排在第一份或最後一份時,模型通常都能找到答案;當它位於中間時,模型錯過答案的頻率就高得多。研究人員稱之為位置效應。
同樣的模式也適用於代理程式。任務早期找到的資訊,可能會落在冗長對話的中段,而有些模型較難運用這個位置的資訊。以供應商為例,最終清單可能會漏掉代理程式在任務中途查核過的優良供應商。
混淆相似的資訊
隨著上下文增長,代理程式辨識哪些資訊符合指示的能力可能會變差。例如,假設使用者要求代理程式找出「兩週內」出貨的供應商,而某個供應商的網站寫著「訂購後 14 個日曆天內送達」。在簡短的任務中,代理程式很可能看出兩者意思相同;但若埋沒在數十個其他供應商頁面之中,它就更可能錯過這個相符之處。
另一種情況是,代理程式可能開始納入不相關的結果。假設代理程式正在尋找辦公椅供應商。某個供應商的網站承諾兩週內交貨,但僅限辦公桌,椅子則需要六週。由於該網站使用了與指示相同的字詞,代理程式仍可能把這家供應商加入清單。研究人員將這類資訊稱為干擾項:它看似相關但實則不然,因此會與真正重要的資訊互相競爭。
Chroma 的研究發現,隨著周圍文字量增加,這兩個問題都會變得更嚴重。
難以察覺的錯誤
上下文腐化不會觸發錯誤訊息。代理程式會繼續工作,並交出看似已完成的成果,因此它的錯誤很容易被忽略。
在 Chroma 的測試中,這些錯誤以兩種形式出現。有時模型會自信滿滿地給出錯誤答案。以供應商研究為例,代理程式可能交出一份整齊、格式良好的供應商清單,其中卻包含一家它誤讀了交貨條件的供應商。
其他時候,模型會表示找不到實際上存在的資訊。例如,明明有好幾家供應商符合兩週的期限,代理程式卻可能交出一份報告,表示沒有任何供應商符合。
如何設定代理程式任務以減少上下文腐化
正確設定任務,可以將上下文腐化的影響降到最低,讓代理程式在整個任務過程中盡可能維持準確。以下最佳做法可以提供協助。
把任務寫成一份工作指派
明確的工作指派能讓上下文保持精簡。代理程式知道何時算完成,因此蒐集到足夠資料後就會停止。具體的要求也讓它有明確的依據來檢查每個頁面,讓代理程式更容易找出正確的資訊。
送出任務前,請確認它涵蓋以下三點:
- 任務:代理程式應該做什麼、產出什麼,例如「找出供應商並回傳一份候選名單」。
- 要求:代理程式無法自行推測的事實,例如預算、截止期限、交貨地址,以及成果要交給誰。
- 產出:格式、長度和結構,例如「一份包含名稱、每張椅子價格和交貨時間的表格」。
綜合起來,這項供應商任務的查詢可能如下:
「找出 10 家能在兩週內將 40 張辦公椅送到我們芝加哥辦公室的供應商,每張椅子價格低於 250 美元。回傳一份表格,列出供應商名稱、每張椅子價格、交貨時間,以及產品頁面連結。這份清單是給我們的辦公室經理,由他負責下單。」
讓每項任務保持專注
一項任務只設定一個明確目標,能讓上下文保持精簡。長時間的任務成本也更高。每個步驟都會處理到目前為止蒐集的所有內容,因此臃腫的上下文在每個步驟都會消耗更多點數。
如果專案包含多個部分,請將它拆分:
- 列出各項獨立的交付成果,例如供應商搜尋、價格比較,以及寄給選定供應商的電子郵件。
- 將每項交付成果作為獨立任務執行。
- 只將一項任務的最終成果傳給下一項任務。例如,將供應商表格以檔案形式上傳來啟動比較任務,而不是在產生該表格的討論串中繼續進行。
如此一來,比較任務一開始只需處理一份表格,而不是所有頁面。
引導代理程式使用正確的來源
代理程式讀取的每個頁面都會增加它的上下文,包括有用內容周圍的選單、廣告和制式文字。直接提供來源給代理程式,就能減少這些雜訊。
將任務所需的檔案附加到查詢中上傳,例如核准廠商清單。當代理程式必須搜尋網路時,請指明值得搜尋的網站,例如兩個值得信賴的供應商名錄。
連接資訊所在的工具。例如,在 Perplexity Computer 中,開啟側邊欄的「連接器」,並啟用任務所需的應用程式,例如 Google Drive 或 Slack。接著在查詢中提及它們:「使用我們 Google Drive 中的椅子規格。」只連接相關的應用程式,因為每個連接器都會占用代理程式的部分上下文。
如果資訊所在的應用程式不在連接器清單上,或許仍然可以連接。許多應用程式提供 MCP(Model Context Protocol,模型上下文協定)連接器,這是讓 AI 工具接入其他軟體的標準方式。Computer 可以搭配內建連接器一起使用這些連接器。若是公司帳戶,可能需要先由管理員啟用。
要求依照指示進行最終檢查
在查詢結尾加上審查步驟,並列出最重要的限制條件:
「完成前,請逐一檢查每家供應商是否符合以下要求:兩週內交貨、每張椅子低於 250 美元。標記任何不符合要求的供應商,而不是直接將其排除。」
這些限制條件仍位於上下文的開頭。審查步驟讓代理程式有理由將最終產出與限制條件進行比對,而不是仰賴指示在每個步驟中持續發揮作用。
同時,要求它標記問題,而不是直接捨棄那些結果,可以讓錯誤更容易被發現(例如,因為某家供應商承諾 14 個日曆天內送達,卻沒有使用「兩週」這個字眼,就將其排除)。
在檢查點審查工作成果
對於較長的任務,請在查詢中設定檢查點:
「先找出 20 家候選供應商,然後停下來。在你蒐集報價之前,我會先確認這份清單。」
對照原始指示檢查候選名單。在後續訊息中修正任何偏差之處,再讓代理程式繼續。在這個階段發現的錯誤,就不會延續到之後的每個步驟。
任務偏離方向時,開始新任務
如果代理程式在修正後仍重複同樣的錯誤,請開始新任務。每次修正都會在原本就很長的上下文中加入更多文字。不如建立一個新任務:重新說明指示、上傳第一次嘗試中良好的產出,然後重新開始。
有些代理程式會自動執行類似的做法,這個過程稱為壓縮(compaction)。當任務變長時,代理程式會將較舊的內容(例如早期讀過的頁面全文)替換為其發現的簡短摘要。Perplexity 的 Portable Computer 就是以這種方式壓縮上下文,讓模型維持在能妥善處理的範圍內。
如果目標改變,開始新任務也同樣重要。一開始用於搜尋供應商的討論串,不應該又變成合約審查。
將重複的指示轉為技能
有些指示會出現在某類任務的每一次執行中,例如偏好的表格格式、要避開的廠商清單,或標準的審查步驟。在 Computer 中,這些指示可以儲存為技能,也就是代理程式每次都會遵循的一組可重複使用的指示。技能會將其他最佳做法融入每一項使用它的任務中。
設定方式:
- 挑選一項經常出現的任務,例如供應商研究。
- 寫下每次都會給的指示:格式、檢查項目,以及要使用或避開的來源。
- 將它們儲存為技能。已用 Markdown 撰寫的指示可以直接匯入。
- 在之後的查詢中指名該技能:「使用供應商研究技能,為丹佛辦公室尋找椅子供應商。」
Perplexity 如何處理代理程式工作中的上下文
Perplexity Computer 處理長時間任務的方式,能讓每個模型的上下文保持精簡且相關。其設計中有三個部分,可限制模型一次需要閱讀的內容量。
將工作分配給子代理程式
Computer 會將請求拆解為任務和子任務,然後建立子代理程式來執行。每個子代理程式在各自的上下文中處理工作的一部分。在供應商任務中,可能一個子代理程式負責研究價格,另一個則查核交貨條件。兩者都不必閱讀對方讀過的所有內容。
將工作保存在檔案中
每項 Computer 任務都有自己的工作空間,具備專屬的檔案、網頁瀏覽器和工具。代理程式可以將工作成果儲存到檔案中,例如一份持續更新、記錄已查核供應商的表格。之後只有在需要時,才會再次開啟該檔案。
從搜尋結果中挑選相關段落
網頁充斥著模型不需要的內容,例如選單、廣告、中繼資料,以及其他主題的文字。查詢感知上下文壓縮會將這些內容去除。在頁面送達模型之前,Perplexity 只會保留與查詢相關的句子。
探索Perplexity Computer 的秘訣、指南和範例任務,將這些步驟付諸實踐。
常見問題
上下文腐化和幻覺是一樣的嗎?
不是,但兩者有關聯。幻覺是指任何陳述錯誤或缺乏根據內容的回答。上下文腐化是讓幻覺以及其他錯誤(例如忽略指示和遺漏細節)更容易發生的條件之一。
更好的查詢能解決上下文腐化嗎?
明確的查詢能讓任務保持專注,從而減少上下文腐化,但無法阻止上下文增長。任務夠長時,代理程式蒐集的內容仍會超出它能妥善運用的範圍。因此,拆分工作並在過程中進行檢查,與查詢本身同樣重要。
上下文腐化是否也會影響一般 AI 聊天,而不只是代理程式?
會。在聊天中,上下文是到目前為止的整段對話,包括每則訊息,以及貼上或上傳到其中的所有文件。一個橫跨多個主題、持續了好幾個小時的討論串,可能會產生與長時間代理程式任務相同的錯誤。針對新主題開啟新的討論串,可以讓每段對話保持專注。
任務要多長才會開始出現上下文腐化?
沒有固定的臨界點,這取決於模型和任務。例如,具備 26 萬 token 上下文視窗的裝置端模型,在超過約 10 萬 token 後就開始吃力,遠未達到其上限。而且衰退是漸進的,而非突然發生。