上下文視窗:是甚麼,以及如何影響日常 AI 使用
這是一份關於 AI 模型上下文視窗的指南,內容涵蓋如何以詞元計算視窗大小、對話期間哪些內容會佔用視窗、目前模型的視窗有多大、對話超出上限時會發生甚麼事,以及在視窗範圍內工作的日常習慣。

上下文視窗是指 AI 模型一次可處理的文字量。本指南會介紹哪些內容會佔用上下文視窗、目前模型的視窗有多大,以及如何在日常使用中善用視窗。
甚麼是上下文視窗
上下文視窗是 AI 模型一次可處理文字量的上限。這個上限涵蓋輸入的文字(例如問題及其附加的任何文件),以及輸出的回答。如果某些內容放不進視窗,模型在回答時就無法看到或使用它。
上下文視窗與模型在訓練期間學到的知識是兩回事。訓練在模型發佈前進行,使用的是大量文字,讓模型具備一般知識和語言能力。上下文視窗只容納處理眼前任務所需的材料。
AI 模型本身不會記得之前的訊息。負責保存對話的是模型所在的應用程式,例如 Perplexity 或 ChatGPT。每傳送一則新訊息,應用程式都會把至今為止的整段對話傳給模型,而不只是最新的訊息。模型回覆前會重新閱讀全部內容,而該回覆又會成為下次傳送內容的一部分。對話在視窗中所佔的空間會隨每次往來而增加,因此即使每則訊息都很短,長篇對話仍可能佔用大量空間。
如何計算上下文視窗的大小
對話中的每則訊息、每份文件和每個回覆都會佔用視窗空間。可用空間以詞元(token)計算,而非以特定字數或頁數計算。
詞元是模型當作單一單位處理的一段文字。它可以是一個短詞、長詞的一部分、一個標點符號,或連同前面空格的一個詞。根據 OpenAI 的資料,100 個詞元約等於 75 個英文單詞。按照這個英文的概略估算,一份 3,000 個單詞的報告約為 4,000 個詞元。
在模型讀取任何內容之前,一個稱為分詞器(tokenizer)的工具會把文字拆分成詞元,並將每個詞元轉換成一個數字。模型處理這些數字,以一連串詞元生成回覆,再由該工具把詞元轉換回文字。
詞元數量並沒有統一標準,會因語言和內容而異。不同模型的分詞器可能不同,因此同一段文字在不同模型中可能產生不同數量的詞元。
上下文視窗與已儲存的記憶
上下文視窗容納模型回答當前問題時可使用的內容。例如,當 AI 編輯一份報告時,報告本身、編輯指示,以及處理期間往來的訊息都會佔用視窗空間。
已儲存的記憶會在不同對話之間保留選定的細節。在 Perplexity 中,應用程式會自動選擇要儲存的內容,尋找偏好設定和重要資訊,並著重經常出現的細節。像「我所有的寫作都使用英式英文」這類長期指示,就是值得保留的細節;而「把這段寫短一點」則只適用於當前任務。
當應用程式把其中某項細節帶入新對話時,它就會成為模型上下文的一部分,並佔用視窗空間。在 Perplexity 中,記憶控制項位於「設定 → 記憶」。關閉記憶功能後,日後的回答將不再使用記憶,但已儲存的細節不會被刪除。
對話期間哪些內容會佔用上下文視窗
上下文視窗容納的遠不止用戶輸入的文字。在一般對話中,有四類文字共用這個空間:應用程式的指示、對話記錄、從檔案或網絡帶入的材料,以及模型的回覆。其中大部分內容從不會在畫面上顯示。
應用程式的指示
在用戶的訊息傳到模型之前,應用程式會加入自己的指示(通常稱為系統提示)。這些指示告訴模型該如何運作:回答的格式、使用的語氣、可使用哪些工具,以及今天的日期等細節。其中部分內容(例如應用程式的內部指示)通常不會向用戶顯示。
對話記錄
就當前的回答而言,這包括模型先前的回覆,以及用戶的所有訊息。AI 的回覆往往比用戶的問題長得多。
上載的檔案、網頁和搜尋結果
從檔案帶入的文字會與對話一同佔用上下文空間,但應用程式可能會提供整個檔案,也可能只選取相關段落。例如,Perplexity 可以完整分析較短的檔案,並從較長的檔案中擷取重要部分來回答查詢。
搜尋結果同樣會佔用空間。例如,為了回答查詢,Perplexity 可能會搜尋網絡,並把結果交給模型閱讀。
模型的回覆和推理
回覆會寫入同一個視窗,因此應用程式必須為它預留空間。有些模型在構思答案時還會生成內部推理,而用戶可能永遠不會看到。推理文字是模型在得出最終答案之前寫出的逐步思考過程,例如把問題拆分成幾部分,或核對自己的數字。這些內容通常也會計入視窗上限。
目前 AI 模型的上下文視窗大小
上下文視窗越大,模型就能處理越長的文件、越多的來源和越長的對話。OpenAI、Anthropic 和 Google 的領先模型現時各自提供約 100 萬個詞元的視窗,大約相當於 1,500 頁文字。
模型 | 供應商 | 上下文視窗(詞元) |
GPT-6 Astra | OpenAI | 105 萬 |
Claude Opus 5.5 | Anthropic | 100 萬 |
Gemini 4 Argon | 1,048,576 |
供應商 API 規格,於 2026 年 11 月 5 日查核。應用程式內可用的上限可能有所不同。
視窗較大,並不代表模型能同樣有效地運用整個視窗。研究發現,隨著輸入長度增加,模型表現可能變得較不可靠,這種現象稱為「上下文衰減」(context rot)。
輸入上限與輸出上限
上下文視窗是模型讀取和寫出的所有內容共用的預算。模型能讀取的內容遠多於它在單次回覆中能寫出的內容。
處理輸入時,模型可以並行處理大量詞元。生成答案時,它通常會按順序產生詞元,根據前面的內容來選擇接下來的內容。在知道一句話的前四個詞之前,它無法選擇第五個詞,因此必須逐個詞元地生成回覆。
因此,生成長篇回覆比讀取長篇輸入慢得多,成本也高得多。這就是為甚麼要求改寫或翻譯一份很長的文件時,可能會中途停止,而要求分段輸出結果效果會更好。
對話超出上限時會發生甚麼事
當對話大到上下文視窗容納不下時,應用程式必須先騰出空間,模型才能回覆。不同應用程式的做法各有不同,而每種做法都會改變模型仍能看到的內容。
其中一種做法是先刪除最舊的訊息。模型會繼續處理對話中較近期的部分。用戶早期給出的指示、決定或文件段落可能會被移出視窗。模型無法參考已不再擁有的文字,但不一定會告訴用戶有內容遺失。
另一種做法是為對話的較早部分製作摘要,並以摘要取代完整文字。這是所謂「上下文壓縮」(context compaction)的一種形式。摘要佔用的空間少得多,因此對話可以持續更久。不過,摘要可能會遺漏確切數字、名稱或措辭等細節。
當模型刪除或壓縮了上下文後,它可能會開始索取理應已知道的資訊。它可能會突然不再遵循一開始給出的指示,例如格式或偏好的語氣。它可能會與用戶先前的決定相矛盾,或對之前分享的文件變得含糊不清。
有些應用程式則會停止對話,並請用戶開始新的對話,或拒絕接收太長而無法容納的訊息或檔案。
在上下文視窗內工作的日常習慣
- 每項新任務都開啟新的對話串:例如,應在專屬的對話中審閱報告,而不是將報告加到現有的活動籌劃對話串中。
- 只延續所需內容:當任務建基於先前的工作時,請模型擷取下一項任務所需的已確認細節和已核准措辭。
- 只分享相關資訊:例如,如果問題是關於調查參與者如何被挑選,請提供研究方法部分和相關的佐證筆記,而不是整份報告。
- 分享長篇文件前,先找出相關部分:如果報告或手冊有目錄,請先分享目錄。詢問模型哪些部分可能回答到問題,然後把這些部分複製到對話中。
- 分部分審閱長篇文件:按政策、章節或主題劃分手冊或報告。各項獨立審閱應使用不同的對話串,並為每個對話串提供相同的指示。
- 分階段要求長篇輸出:如需長篇改寫或翻譯,請在同一個對話串中每次只要求一個部分。註明該部分或頁碼範圍,並先檢查結果,再要求模型繼續。
- 設定合適的回答長度:要求列出五項發現、提供簡短解釋,或製作包含特定欄位的表格。如果簡短回答已足夠,就避免要求詳細分析。
- 要求針對性修改:如要修改草稿中的某一段,請模型只改寫該段。具體說明需要修改的地方,而不是要求它重新生成整份草稿。
Perplexity 如何管理上下文
Perplexity 的上下文不只包括對話,還可以運用透過即時搜尋找到的資訊、已儲存的偏好設定,以及為任務提供的檔案。
對於研究問題,即時搜尋會提供模型可用於構建答案的原始資料,並附上引用來源,顯示資訊出處。例如,查詢一項新法規時,可以把相關的網上資訊帶入任務,而無需先收集文章再貼到聊天中。
已儲存的記憶提供另一種上下文:來自先前對話的相關細節,例如寫作偏好或某個進行中專案的背景資料。Perplexity 在回答時會擷取這些細節,而記憶功能適用於它提供的所有模型。因此,在 Perplexity 內切換模型時,已儲存的偏好仍可繼續使用。
對於橫跨多個對話的工作,「專案」可將檔案和指示集中在一起,而專案指示會套用到每個查詢。報告的目標讀者、目的和寫作要求可以保留在專案中,而研究和起草工作則在不同的對話串中進行。
瀏覽開始使用 Perplexity,了解如何提出問題、處理檔案,以及透過追問進一步延伸答案。
常見問題
圖片會計入上下文視窗嗎?
會。圖片會轉換成詞元,與文字一同佔用空間。詞元數量取決於模型處理圖片的方式。即使截圖或掃描頁面中的文字尚未複製到聊天中,它仍會佔用上下文空間。
上下文視窗越大,費用就越高嗎?
不一定。視窗較大只代表模型能處理多少內容,而不代表任務會用到多少容量。
有沒有方法查看對話已使用了多少上下文視窗?
有時可以。有些應用程式會顯示上下文量表,指出視窗已用了多少。顯示「剩餘訊息」的計數器則代表另一回事:帳戶還可以提出多少次請求,而不是模型還能在對話中容納多少資訊。請特別留意是否有上下文量表。
獲分享對話的人可以繼續該對話嗎?
可以。在 Perplexity 中,用戶可以閱讀別人分享的對話並提出追問。這個問題會在他們的帳戶中開啟新的對話,原本的對話則保持不變。