AI 代理程式的上下文衰退:長時間任務為何會失去準確度,以及如何預防
本指南說明 AI 代理程式的上下文中會累積甚麼、為何這會影響準確度,以及如何設定能保持可靠的任務。

上下文衰退對 AI 代理程式代表甚麼
AI 代理程式的上下文衰退,是指代理程式在執行長時間任務期間,隨着上下文逐漸填滿而出現的準確度逐步下降。
代理程式的上下文,是指模型在執行下一步時可用的資訊,可以包括指示、較早的訊息、搜尋結果,以及來自網站或檔案的文字。代理程式在工作過程中,可能會不斷加入更多內容。
舉例說,假設代理程式的任務是尋找能在兩星期內送貨的供應商。開始時,它的上下文只有這項要求。到任務進行到一半時,上下文還會包括數十個供應商網站的文字、好幾頁搜尋結果,以及記錄代理程式已查核過哪些供應商的筆記。
模型能容納的上下文數量有上限(稱為上下文視窗)。上下文視窗以詞元(token)計算,詞元是細小的文字片段,通常是一個字詞或字詞的一部分。上下文越長,上下文衰退就越嚴重,因此最常在步驟繁多的長時間任務中出現。
隨着上下文衰退加劇,代理程式的準確度會下降。它可能不再那麼緊貼原本的指示、忽略細節,或把看似相近的資訊誤當成所需的資訊。
例如,即使代理程式被要求尋找兩星期內送貨的供應商,它仍可能開始納入需時六星期的供應商。該指示仍然在上下文中,但已不再左右代理程式的選擇。
上下文衰退並不等同於上下文視窗的空間單純用完。當任務的上下文超出視窗時,內容會被截斷,或任務會失敗。上下文衰退早在那之前、所有內容仍能容納時便已開始。
它也不同於上下文污染(即誤導性或有害的資訊進入代理程式的上下文)。即使代理程式掌握準確而完整的資訊,仍然可能出現上下文衰退。
上下文衰退為何會發生
上下文衰退之所以發生,是因為模型的注意力有限,即使上下文視窗仍有餘裕也是如此。在 AI 模型中,「注意力」是一個技術術語,指模型在撰寫回應中每個字詞時,如何決定要參考輸入內容的哪些部分。上下文的每個部分都在爭奪這份注意力。文字越多,每個部分獲得的注意力就越少。
例如,Chroma 發表了一項關於輸入長度如何影響 AI 模型的研究,測試了 Anthropic、OpenAI、Google 和 Alibaba 的 18 個模型。在其中一項測試中,研究人員把一句關於寫作建議的句子藏在一大批文章之中,然後問模型那條建議是甚麼。
他們重複進行這項測試多次,每次都加入更多文章內容。句子和問題始終不變,改變的只有它們周圍的文字量。
模型需要閱讀的文字越多,表現就越差。這項發現在報告中的每一項測試都成立。研究人員預計,在需要許多步驟的實際工作中(例如大多數代理程式任務),準確度的下跌幅度會更大。
上下文衰退如何影響 AI 代理程式
上下文衰退通常會以以下四種方式之一出現:
忘記原本的指示
Chroma 最簡單的測試,是要求模型準確複製一長串重複的字詞,當中某處插入了一個不同的字詞。這是一項指示明確的簡單任務。即使如此,隨着文字變長,所有模型的表現都下降了。有些模型甚至開始產生輸入內容中根本沒有的字詞。
在代理程式任務中,用戶通常會在任務開始時設定具體限制,例如預算或指定格式。隨着上下文增長,代理程式套用這些限制時可能會變得不太一致。原因在於上下文的整體長度,而不是指示所在的位置。
遺漏任務中段的細節
根據史丹福大學 2023 年的一項研究,當資訊位於輸入內容的最開頭或最末尾時,AI 模型運用資訊最為可靠。在其中一項測試中,研究人員給模型一組 20 份文件,並提出一個只有其中一份文件能回答的問題。當該文件排在最前或最後時,模型通常都能找到答案;但當它位於中間時,模型遺漏答案的情況就多得多。研究人員稱之為位置效應。
同樣的模式也適用於代理程式。在任務較早階段找到的資訊,可能會落在一段冗長對話的中間,而有些模型較難運用這些資訊。在供應商的例子中,最終名單可能會遺漏代理程式在任務中途查核過的一家優質供應商。
混淆相似的資訊
隨着上下文增長,代理程式辨別哪些資訊符合指示的能力可能會變差。例如,假設用戶要求代理程式尋找「兩星期內」出貨的供應商,而某供應商的網站寫着「下單後 14 個曆日內送達」。在簡短的任務中,代理程式很可能會察覺兩者意思相同;但若這段資訊埋沒在數十個其他供應商頁面之中,代理程式就更容易錯過這個吻合之處。
另一種情況是,代理程式可能會開始納入不相關的結果。假設代理程式正在尋找辦公椅供應商。某供應商的網站承諾兩星期內送貨,但只限書桌;它的椅子需時六星期。由於網站用字與指示相同,代理程式仍可能把這家供應商加入名單。研究人員把這類資訊稱為干擾項:它看似相關但其實不然,因此會與真正重要的資訊互相競爭。
Chroma 的研究發現,隨着周圍文字量增加,這兩個問題都會惡化。
難以察覺的錯誤
上下文衰退不會觸發錯誤訊息。代理程式會繼續工作,並交出看似已完成的輸出結果,因此它的錯誤很容易被忽略。
在 Chroma 的測試中,這些錯誤有兩種形式。有時模型會信心十足地給出錯誤答案。在供應商研究的例子中,代理程式可能會交出一份整齊、格式完善的供應商名單,但當中包括一家它誤解了送貨條款的供應商。
另一些時候,模型會說找不到其實存在的資訊。例如,代理程式可能會交出一份報告,指沒有供應商符合兩星期的期限,但實際上有好幾家符合。
如何設定代理程式任務以減少上下文衰退
正確設定任務,可以將上下文衰退的影響減至最低,讓代理程式在整個任務過程中盡量保持準確。以下最佳做法可以提供幫助。
以工作指派的方式撰寫任務
清晰的工作指派能讓上下文保持精簡。代理程式知道何時算是完成,因此在收集到足夠資料後便會停止。具體的要求也讓它有實在的標準去逐頁查核,令代理程式更容易找出正確的資訊。
傳送任務前,請確認它涵蓋以下三項:
- 任務:代理程式應該做甚麼和產出甚麼,例如「尋找供應商並提供一份候選名單」。
- 要求:代理程式無法猜到的事實,例如預算、期限、送貨地址,以及結果是給誰的。
- 輸出:格式、長度和結構,例如「一個列出名稱、每張椅子價格和送貨時間的表格」。
綜合起來,供應商任務的查詢可能會是這樣:
「尋找 10 家供應商,能在兩星期內把 40 張辦公椅送到我們的芝加哥辦公室,每張椅子價格低於 250 美元。請提供一個表格,列出供應商名稱、每張椅子價格、送貨時間,以及產品頁面的連結。這份名單是給我們的辦公室經理的,由他負責下單。」
讓每項任務保持專注
一項任務只有一個清晰目標,能讓上下文保持精簡。長時間任務的成本也較高。每個步驟都會處理至今收集到的所有內容,因此臃腫的上下文在每個步驟都會用掉更多點數。
如果專案包含幾個部分,請把它拆分:
- 列出各項獨立的交付成果,例如供應商搜尋、價格比較,以及寄給選定供應商的電郵。
- 把每項交付成果作為獨立任務執行。
- 只把一項任務的最終結果傳遞給下一項任務。例如,把供應商表格以檔案形式上載來開始比較任務,而不是在產生該表格的對話串中繼續。
這樣,比較任務開始時只有一個表格,而不是所有頁面。
為代理程式指明合適的來源
代理程式閱讀的每個頁面都會增加它的上下文,包括有用部分周圍的選單、廣告和樣板文字。直接為代理程式提供來源,可以減少這些雜訊。
上載任務所需的檔案(例如核准供應商名單),方法是將檔案附加到查詢中。當代理程式需要搜尋網絡時,請指明值得搜尋的網站,例如兩個可信的供應商目錄。
連接資訊所在的工具。例如,在 Perplexity Computer 中,開啟側邊欄的「連接器」,並啟用任務需要的應用程式,例如 Google Drive 或 Slack。然後在查詢中提及它們:「使用我們 Google Drive 中的椅子規格。」只連接相關的應用程式,因為每個連接器都會佔用代理程式的部分上下文。
如果資訊所在的應用程式不在「連接器」清單中,仍可能可以連接。許多應用程式都提供 MCP(Model Context Protocol,模型上下文協定)連接器,這是讓 AI 工具接入其他軟件的標準方式。Computer 可以同時使用這些連接器和內置連接器。如果是公司帳戶,可能需要由管理員先啟用它們。
要求根據指示作最後檢查
在查詢結尾加入一個檢查步驟,並列明最重要的限制:
「完成前,請根據以下要求逐一檢查每家供應商:兩星期內送貨、每張椅子低於 250 美元。如有任何供應商不符合這些要求,請標示出來,而不是直接剔除。」
這些限制仍然位於上下文的開頭。檢查步驟讓代理程式有理由將最終輸出與這些限制作比較,而不是依賴指示在每個步驟中持續發揮影響力。
同時,要求它標示問題而不是直接剔除這些結果,能讓錯誤更容易被發現(例如因為某供應商沒有使用「兩星期」這個字眼,便剔除了承諾 14 個曆日內送達的供應商)。
在檢查點審視工作成果
對於較長的任務,請在查詢中加入檢查點:
「先找出 20 家候選供應商,然後停下來。我會先確認名單,你再收集價格資料。」
根據原本的指示檢查候選名單。在後續訊息中更正任何不對的地方,然後讓代理程式繼續。在這個階段發現的錯誤,就不會延續到之後的每個步驟。
任務偏離方向時,開始新任務
如果代理程式在更正後仍重複同樣的錯誤,請開始新任務。每次更正都會為本已冗長的上下文加入更多文字。請改為建立新任務:重新說明指示、上載第一次嘗試中有用的輸出,然後重新開始。
有些代理程式會自動執行類似的做法,這個過程稱為「壓縮」。當任務變長時,代理程式會把較舊的內容(例如它早期閱讀的頁面全文)替換成所得結果的簡短摘要。Perplexity 的 Portable Computer 就是以這種方式壓縮上下文,讓模型保持在能妥善處理的範圍內。
如果目標改變,也應開始新任務。一個以供應商搜尋開始的對話串,不應同時變成合約審閱。
把重複的指示變成技能
有些指示會在某類任務中反覆出現,例如偏好的表格格式、要避開的供應商名單,或標準的檢查步驟。在 Computer 中,這些指示可以儲存為技能,即代理程式每次都會遵循的一組可重用指示。技能會把其他最佳做法融入每項使用它的任務中。
設定方法:
- 選擇一項經常出現的任務,例如供應商研究。
- 寫下每次都會給的指示:格式、檢查項目,以及要使用或避開的來源。
- 把它們儲存為技能。已用 Markdown 撰寫的指示可以直接匯入。
- 在日後的查詢中指明該技能:「使用供應商研究技能,為丹佛辦公室尋找椅子供應商。」
Perplexity 如何處理代理程式工作中的上下文
Perplexity Computer 處理長時間任務的方式,能讓每個模型的上下文保持精簡且相關。它的設計中有三個部分,限制了模型一次需要閱讀的內容量。
把工作分配給子代理程式
Computer 會把請求拆分為任務和子任務,然後建立子代理程式來執行。每個子代理程式在自己的上下文中處理工作的其中一部分。在供應商任務中,一個子代理程式可能負責研究價格,另一個則查核送貨條款。兩者都不必閱讀對方讀過的所有內容。
把工作保存在檔案中
每項 Computer 任務都有自己的工作空間,配備專屬的檔案、網頁瀏覽器和工具。代理程式可以把工作儲存到檔案中,例如一個持續更新、記錄已查核供應商的表格,之後只在需要時才重新開啟該檔案。
從搜尋結果中挑選相關段落
網頁充斥着模型不需要的內容,例如選單、廣告、中繼資料和其他主題的文字。查詢感知上下文壓縮會把這些內容剔除。在頁面傳送到模型之前,Perplexity 只會保留與查詢相關的句子。
探索 Perplexity Computer 的提示、指南和範例任務,將這些步驟付諸實踐。
常見問題
上下文衰退和幻覺是同一回事嗎?
不是,但兩者有關。幻覺是指任何陳述虛假或缺乏根據內容的回答。上下文衰退是令幻覺及其他錯誤(例如忽略指示和遺漏細節)更容易出現的情況之一。
更好的查詢能解決上下文衰退嗎?
清晰的查詢能讓任務保持專注,從而減少上下文衰退,但無法阻止上下文增長。只要任務夠長,代理程式收集到的內容仍會超出它能妥善運用的範圍。因此,拆分工作並在過程中逐步檢查,與查詢本身同樣重要。
上下文衰退是否也會影響一般 AI 聊天,而不只是代理程式?
會。在聊天中,上下文就是至今為止的整段對話,包括每則訊息,以及貼上或上載到對話中的任何文件。一個橫跨多個主題、持續了數小時的對話串,可能會出現與長時間代理程式任務相同的錯誤。為新主題開啟新的對話串,可以讓每段對話保持專注。
任務要多長才會開始出現上下文衰退?
沒有固定的臨界點,這取決於模型和任務。例如,擁有 260,000 個詞元上下文視窗的裝置端模型,在超過約 100,000 個詞元後便開始吃力,遠未達到其上限。而且這種衰退是逐步發生的,而非突然出現。