上下文視窗:定義及其對日常 AI 使用的影響

本指南介紹 AI 模型的上下文視窗,內容涵蓋如何以 token 計算、對話期間有哪些內容會占用它、目前模型的上下文視窗有多大、對話超出上限時會發生什麼事,以及在其限制內工作的日常習慣。

Diagram of a conversation growing over five messages: each new message resends all earlier messages and replies, so the total moves closer to the context window limit.

上下文視窗是 AI 模型一次能處理的文字量。本指南說明哪些內容會占用上下文視窗、目前模型的上下文視窗有多大,以及如何在日常使用中善用這個限制。

什麼是上下文視窗

上下文視窗是 AI 模型一次能處理多少文字的上限。這個上限涵蓋輸入的文字(例如問題及附加的任何文件),以及模型輸出的回答。如果某些內容放不進視窗,模型在回答時就看不到,也無法使用。

上下文視窗與模型在訓練期間學到的內容是兩回事。訓練在模型發布之前進行,使用的是極大量的文字,讓模型具備一般知識與語言能力。上下文視窗則只存放與眼前任務相關的資料。

AI 模型本身不會記得先前的訊息。負責儲存對話的是模型所在的應用程式,例如 Perplexity 或 ChatGPT。每傳送一則新訊息,應用程式都會把到目前為止的完整對話傳給模型,而不只是最新一則訊息。模型在回覆前會重新讀過全部內容,而這次的回覆也會成為下一次傳送內容的一部分。對話在視窗中占用的空間會隨每一輪往來而增加,因此即使每則訊息都很短,冗長的聊天仍可能占用大量空間。

如何衡量上下文視窗

對話中的每則訊息、每份文件和每次回覆都會占用視窗空間。可用空間的大小是以 token 計算,而不是以特定字數或頁數計算。

Token 是模型視為單一單位處理的一段文字。它可以是一個短字、長字的一部分、一個標點符號,或是連同前方空格的一個字。根據 OpenAI 的說法,100 個 token 約等於 75 個英文單字。依照這個針對英文的概略估算,一份 3,000 字的報告約為 4,000 個 token。

在模型讀取任何內容之前,一種稱為分詞器(tokenizer)的工具會將文字切分成 token,並將每個 token 轉換成一個數字。模型處理這些數字,以一連串 token 的形式產生回覆,再由該工具將這些 token 轉換回文字。

Token 數量並沒有統一標準,會因語言和內容而異。不同模型的分詞器可能不同,因此同一段文字在不同模型中可能產生不同數量的 token。

上下文視窗與已儲存的記憶

上下文視窗存放的是模型回答目前問題時可以使用的內容。例如,當 AI 編輯一份報告時,報告本身、編輯指示,以及處理過程中往來的訊息,都會占用視窗空間。

已儲存的記憶會在不同對話之間保留選定的細節。在 Perplexity 中,應用程式會自動選擇要儲存的內容,找出偏好與重要資訊,並特別重視經常出現的細節。像「我的所有寫作都使用英式英文」這類長期適用的指示,就是值得保留的細節;而「把這段改短一點」則只適用於眼前的任務。

當應用程式將其中某項細節帶入新的對話時,它就會成為模型上下文的一部分,並占用視窗空間。在 Perplexity 中,記憶相關控制項位於「設定 → 記憶」。關閉記憶功能會停止在日後的回答中使用記憶,但不會刪除已儲存的細節。

對話期間有哪些內容會占用上下文視窗

上下文視窗存放的內容遠不只使用者輸入的文字。在一般對話中,有四種文字共用這個空間:應用程式的指示、對話紀錄、從檔案或網路帶入的資料,以及模型的回覆。其中大部分從未顯示在畫面上。

應用程式的指示

在使用者的訊息送達模型之前,應用程式會加入自己的指示(通常稱為系統提示詞)。這些指示會告訴模型該如何運作:回答的格式、使用的語氣、可以使用哪些工具,以及今天的日期等細節。其中有些內容(例如應用程式的內部指示)通常不會顯示給使用者看。

對話紀錄

這包括模型先前的回覆,以及產生目前回答時納入的所有使用者訊息。AI 的回覆通常比使用者的問題長得多。

上傳的檔案、網頁和搜尋結果

從檔案帶入的文字會與對話一起占用上下文空間,但應用程式可能會提供整個檔案,也可能只挑選相關段落。例如,Perplexity 可以完整分析較短的檔案,並從較長的檔案中擷取重要部分來回答查詢。

搜尋結果同樣會占用空間。例如,為了回答查詢,Perplexity 可能會搜尋網路,並將結果交給模型閱讀。

模型的回覆與推理

回覆會寫入同一個視窗,因此應用程式必須為它預留空間。有些模型在構思答案時也會產生內部推理,而使用者可能永遠看不到這些內容。推理文字是模型在寫出最終答案前逐步列出的思考過程,例如將問題拆解成幾個部分,或檢查自己算出的數字。這些內容通常也會計入視窗上限。

目前 AI 模型的上下文視窗大小

上下文視窗越大,代表模型能處理更長的文件、更多來源,以及更長的對話。OpenAI、Anthropic 和 Google 的頂尖模型如今都提供約 100 萬個 token 的視窗,大約相當於 1,500 頁的文字。

模型

供應商

上下文視窗(token)

GPT-6 Astra

OpenAI

105 萬

Claude Opus 5.5

Anthropic

100 萬

Gemini 4 Argon

Google

1,048,576

資料來源:各供應商 API 規格,查核日期為 2026 年 11 月 5 日。應用程式內可用的上限可能有所不同。

視窗較大,並不代表模型能同樣妥善地運用其中的所有內容。研究發現,隨著輸入長度增加,模型的表現可能變得較不可靠,這種現象稱為「上下文衰退」(context rot)。

輸入上限與輸出上限

上下文視窗是模型讀取和寫出的所有內容共用的預算。模型能讀取的內容,遠多於它在單次回覆中能寫出的內容。

處理輸入時,模型可以平行處理許多 token。產生回答時,模型通常會依序產生 token,並根據前面的內容來決定接下來的內容。在知道句子的前四個字之前,它無法決定第五個字,因此必須一次產生一個 token 來完成回覆。

因此,產生長篇回覆比讀取長篇輸入慢得多,成本也高得多。這就是為什麼要求重寫或翻譯一份很長的文件時,作業可能中途停止,而要求分段產生結果的效果會更好。

對話超出上限時會發生什麼事

當對話大到超出上下文視窗時,應用程式必須先騰出空間,模型才能回覆。各應用程式的做法不盡相同,而每種做法都會改變模型仍能看到的內容。

其中一種做法是先捨棄最舊的訊息。模型會繼續使用對話中較近期的部分。使用者早期的指示、決定或文件段落可能會被移出視窗。模型無法參照已經不在視窗中的文字,但不一定會告訴使用者有內容遺漏。

另一種做法是將對話較早的部分加以摘要,並以摘要取代完整文字。這屬於所謂「上下文壓縮」的一種形式。摘要占用的空間少得多,因此對話可以持續更久。不過,摘要可能會遺漏確切數字、名稱或措辭等細節。

當模型捨棄或壓縮了上下文後,可能會開始詢問它理應已經知道的資訊。它可能突然不再遵循一開始給予的指示,例如格式或偏好的語氣。它也可能與使用者先前的決定相互矛盾,或對先前分享的文件說法變得含糊。

有些應用程式則會停止對話並請使用者開始新的對話,或拒絕接收太長而無法放入的訊息或檔案。

在上下文視窗限制內工作的日常習慣

  • 每個新任務都開啟新的討論串:例如,在獨立的對話中審閱報告,而不是將它加入現有的活動規劃討論串。
  • 只延續必要的內容:當任務建立在先前的工作之上時,請模型整理出下一個任務所需的已確認細節和已核准的措辭。
  • 只分享相關資訊:例如,若要詢問問卷調查參與者是如何挑選的,請提供研究方法章節和相關補充說明,而不是整份報告。
  • 分享長篇文件前,先找出相關章節:如果報告或手冊有目錄,請先分享目錄。詢問模型哪些章節可能可以回答問題,再將這些章節複製到對話中。
  • 分段審閱長篇文件:依政策、章節或主題劃分手冊或報告。彼此獨立的審閱請使用不同的討論串,並為每個討論串提供相同的指示。
  • 分階段要求長篇輸出:進行篇幅較長的重寫或翻譯時,請在同一個討論串中一次要求一個章節。指明章節或頁碼範圍,並在要求模型繼續之前先檢查結果。
  • 設定合適的回答長度:要求列出五項發現、簡短說明,或包含特定欄位的表格。如果簡短的回答就已足夠,請避免要求詳細分析。
  • 要求針對性修改:若要修改草稿中的某個段落,請要求模型只重寫該段落。具體說明需要修改的地方,而不是要求它重新產生整份草稿。

Perplexity 如何管理上下文

Perplexity 的上下文不只包含對話內容,還能運用透過即時搜尋找到的資訊、已儲存的偏好設定,以及為任務提供的檔案。

針對研究問題,即時搜尋會提供模型可用來建構答案的來源資料,並附上引用來源,標明資訊的出處。例如,詢問一項新法規時,可以將相關的網路資訊帶入任務中,不必先自行蒐集文章再貼到聊天中。

已儲存的記憶提供的是另一種上下文:來自先前對話的相關細節,例如寫作偏好或進行中專案的背景資訊。Perplexity 會在回答時擷取這些細節,而且記憶功能適用於 Perplexity 提供的各種模型。因此,在 Perplexity 中切換模型時,已儲存的偏好仍可繼續使用。

對於橫跨多個對話的工作,「專案」可將檔案和指示集中在一起,而專案指示會套用到每一次查詢。報告的目標讀者、目的和寫作要求可以保留在專案中,研究與撰稿則在不同的討論串中進行。

請參閱開始使用 Perplexity,了解如何提問、處理檔案,以及透過追問延伸答案。

常見問題

圖片會計入上下文視窗嗎?

會。圖片會轉換成 token,與文字一起占用空間。Token 數量取決於模型處理圖片的方式。即使螢幕截圖或掃描頁面中的文字並未複製到聊天中,它們仍會占用上下文空間。

上下文視窗越大,費用就越高嗎?

不一定。較大的視窗代表模型能處理的內容量,而不是任務實際使用了多少容量。

有辦法查看對話已使用多少上下文視窗嗎?

有時可以。有些應用程式會顯示上下文用量計量表,指出視窗已填滿的程度。顯示「剩餘訊息數」的計數器則是另一回事:它表示帳戶還能提出多少次要求,而不是模型還能在對話中容納多少資訊。請特別留意是否有上下文用量計量表。

收到他人分享的對話後,可以接續該對話嗎?

可以。在 Perplexity 中,使用者可以閱讀他人分享的對話並提出追問。這個問題會在他們自己的帳戶中開啟新的對話,原始對話則維持不變。