上下文窗口:它是什么,以及如何影响日常 AI 使用

本指南介绍 AI 模型中的上下文窗口,涵盖如何以 token 为单位衡量上下文窗口、对话过程中哪些内容会填充它、当前模型的上下文窗口有多大、对话超出上限时会发生什么,以及在上下文窗口内工作的日常习惯。

Diagram of a conversation growing over five messages: each new message resends all earlier messages and replies, so the total moves closer to the context window limit.

上下文窗口是指 AI 模型一次能够处理的文本量。本指南将介绍上下文窗口由哪些内容填充、当前模型的上下文窗口有多大,以及如何在日常使用中合理利用它。

什么是上下文窗口

上下文窗口是 AI 模型一次能够处理的文本量上限。这一上限既涵盖输入的文本(例如问题及其附带的任何文档),也涵盖输出的回答。如果某些内容超出了窗口范围,模型在回答时就无法看到或使用它。

上下文窗口与模型在训练中学到的内容是两回事。训练在模型发布之前进行,使用的是海量文本,它赋予模型通用知识和语言能力。而上下文窗口只容纳与当前任务相关的材料。

AI 模型本身并不记得之前的消息。保存对话的是模型所运行的应用,例如 Perplexity 或 ChatGPT。每发送一条新消息,应用都会把迄今为止的整段对话发送给模型,而不仅仅是最新一条消息。模型在回复前会重新阅读全部内容,而这条回复又会成为下次发送内容的一部分。对话在窗口中占用的空间会随着每一轮交流而增长,因此即使一段长聊天由简短的消息组成,也可能占用大量空间。

上下文窗口如何衡量

对话中的每条消息、每份文档和每条回复都会占用窗口空间。可用空间的大小以 token(词元)来衡量,而不是以特定的字数或页数来衡量。

token 是模型作为单个单元处理的一段文本。它可以是一个短单词、一个较长单词的一部分、一个标点符号,或者一个连同前面空格在内的单词。据 OpenAI 称,100 个 token 大约相当于 75 个单词。按照这一针对英语的粗略估算,一份 3,000 词的报告大约相当于 4,000 个 token。

在模型读取任何内容之前,一种名为分词器(tokenizer)的工具会先将文本拆分成 token,并将每个 token 转换为一个数字。模型处理这些数字,以 token 序列的形式生成回复,再由该工具将其转换回文本。

token 数量并没有统一标准,具体数量取决于语言和内容。不同模型的分词器可能各不相同,因此同一段文字在不同模型中可能会产生不同数量的 token。

上下文窗口与已保存的记忆

上下文窗口容纳的是模型可用于回答当前问题的内容。例如,当 AI 编辑一份报告时,报告本身、编辑指令以及处理过程中往来的消息都会占用窗口空间。

已保存的记忆会在不同对话之间保留选定的细节。在 Perplexity 中,应用会自动选择要保存的内容,寻找偏好和重要信息,并更加重视频繁出现的细节。像“我的所有写作都使用英式英语”这样的长期指令,就属于值得保留的细节;而“把这段改短一点”则只适用于手头的任务。

当应用将其中某条细节带入新对话时,它就会成为模型上下文的一部分,并占用窗口空间。在 Perplexity 中,记忆控制选项位于“设置 → 记忆”下。关闭记忆后,今后的回答将不再使用记忆,但已保存的细节不会被删除。

对话过程中,哪些内容会填充上下文窗口

上下文窗口容纳的内容远不止用户输入的文字。在一次典型的对话中,有四类文本共享这一空间:来自应用的指令、对话历史、从文件或网络引入的材料,以及模型的回复。其中大部分内容从不会显示在屏幕上。

来自应用的指令

在用户的消息到达模型之前,应用会添加自己的指令(通常称为系统提示词)。这些指令告诉模型应如何表现:如何设置回答格式、使用什么语气、可以使用哪些工具,以及今天的日期等细节。其中部分材料(例如应用的内部指令)通常不会向用户显示。

对话历史

为生成当前回答,对话历史既包括模型此前的回复,也包括用户的所有消息。通常,AI 的回复要比用户的问题长得多。

上传的文件、网页和搜索结果

从文件引入的文本会与对话一起占用上下文空间,但应用可能会提供整个文件,也可能只挑选相关段落。例如,Perplexity 可以完整分析较短的文件,并从较长的文件中提取重要部分来回答问题。

搜索结果同样会占用空间。例如,为了回答一个问题,Perplexity 可能会搜索网络,并将搜索结果提供给模型阅读。

模型的回复与推理

回复会写入同一个窗口,因此应用必须为其预留空间。有些模型在生成回答时还会进行内部推理,而用户可能永远看不到这些内容。推理文本是模型在给出最终答案之前写出的逐步思考过程,例如将问题拆分成几个部分,或核对自己算出的数字。这部分文本通常也会计入窗口上限。

当前 AI 模型的上下文窗口大小

上下文窗口越大,模型能够处理的文档就越长、来源就越多、对话也越长。OpenAI、Anthropic 和 Google 的领先模型如今都提供约 100 万个 token 的窗口,大约相当于 1,500 页文本。

模型

提供商

上下文窗口(token)

GPT-6 Astra

OpenAI

105 万

Claude Opus 5.5

Anthropic

100 万

Gemini 4 Argon

Google

1,048,576

数据来源:各提供商的 API 规格说明,查阅日期为 2026 年 11 月 5 日。应用内可用的上限可能有所不同。

窗口更大并不意味着模型能同样出色地利用其中的全部内容。研究发现,随着输入长度增加,模型性能可能变得不那么可靠,这种现象被称为“上下文衰减”(context rot)。

输入上限与输出上限

上下文窗口是模型读取和写入的所有内容所共享的预算。模型能读取的内容远多于它在一次回复中能写出的内容。

处理输入时,模型可以并行处理大量 token。生成回答时,它通常按顺序生成 token,根据前面的内容来选择接下来的内容。在知道一句话的前四个词之前,它无法选择第五个词,因此必须一次生成一个 token。

因此,生成长回复要比读取长输入慢得多,成本也高得多。这就是为什么要求改写或翻译一份很长的文档时,输出可能会中途停止,也是为什么分段请求结果效果更好。

当对话超出上限时会发生什么

当对话内容超出上下文窗口的容量时,应用必须先腾出空间,模型才能回复。不同应用的处理方式不尽相同,而每种方式都会改变模型仍然能看到的内容。

一种方法是优先删除最早的消息。模型会继续基于对话中较新的部分工作。用户早期给出的指令、做出的决定或提供的文档段落可能会被移出窗口。模型无法引用它已不再拥有的文本,但它不一定会告诉用户有内容缺失。

另一种方法是对对话的早期部分进行总结,用摘要代替完整文本。这是所谓“上下文压缩”(context compaction)的一种形式。摘要占用的空间要少得多,因此对话可以持续更久。不过,摘要可能会遗漏确切的数字、名称或措辞等细节。

当模型删除或压缩了上下文后,它可能会开始询问本应已经知道的信息。它可能会突然不再遵循开头给出的指令,例如格式或偏好的语气。它还可能与用户之前做出的决定相矛盾,或者对之前分享的文档变得含糊其辞。

有些应用则会终止对话,请用户开始新的对话,或者拒绝接收过长而无法容纳的消息或文件。

在上下文窗口内高效工作的日常习惯

  • 每项新任务都新建一个问题:例如,在单独的对话中审阅报告,而不是把它添加到已有的活动策划问题中。
  • 只延续所需的内容:当一项任务以之前的工作为基础时,请让模型提取下一项任务所需的已确认细节和已获认可的措辞。
  • 只分享相关信息:例如,如果问题是关于调查参与者是如何选出的,请提供方法部分和相关的辅助说明,而不是整份报告。
  • 分享长文档前,先找到相关章节:如果报告或手册有目录,请先分享目录。询问模型哪些章节可能解答该问题,然后将这些章节复制到对话中。
  • 分部分审阅长文档:按政策、章节或主题拆分手册或报告。对于相互独立的审阅,请使用不同的问题,并为每个问题提供相同的指令。
  • 分阶段请求长篇输出:对于篇幅较长的改写或翻译,请在同一个问题中一次只请求一个部分。指明具体的部分或页码范围,并在让模型继续之前检查结果。
  • 设定合适的回答长度:请模型给出五条发现、一段简短说明,或一个包含特定列的表格。如果简短的回答就足够,就不要要求进行详细分析。
  • 请求有针对性的修改:如果要修改草稿中的某一段,请让模型只重写那一段。明确说明需要修改的内容,而不是让它重新生成整份草稿。

Perplexity 如何管理上下文

Perplexity 的上下文不仅包括对话本身,还可以利用通过实时搜索找到的信息、已保存的偏好,以及为任务提供的文件。

对于研究性问题,实时搜索会提供模型可用于构建回答的来源材料,并附上引用,标明信息的出处。例如,询问一项新法规时,无需先收集文章再粘贴到聊天中,就能将相关的网络信息引入任务。

已保存的记忆提供的是另一种上下文:来自之前对话的相关细节,例如写作偏好或某个进行中项目的背景信息。Perplexity 会在回答时检索这些细节,而且记忆功能适用于它提供的所有模型。因此,在 Perplexity 中切换模型时,已保存的偏好仍然可用。

对于跨越多个对话的工作,项目可以将文件和指令集中在一起,且项目指令适用于每次提问。报告的受众、目的和写作要求可以保留在项目中,而研究和起草工作则在不同的问题中进行。

请参阅Perplexity 入门指南,了解如何提问、处理文件,以及如何通过追问在已有回答的基础上深入探索。

常见问题

图片会占用上下文窗口吗?

会。图片会被转换为 token,与文本一起占用空间。token 的数量取决于模型处理图片的方式。即使截图或扫描页面中的文字没有被复制到聊天中,它们也会占用上下文空间。

上下文窗口越大,成本就越高吗?

不一定。更大的窗口描述的是模型能够处理多少内容,而不是某项任务实际用到了其中多少容量。

有没有办法查看一段对话已经使用了多少上下文窗口?

有时可以。有些应用会显示上下文用量指示器,表明窗口已被占用的程度。显示“剩余消息数”的计数器则是另一回事:它表示账户还能发出多少次请求,而不是模型还能在对话中容纳多少信息。请特别留意是否有上下文用量指示器。

收到他人分享的对话后,可以继续该对话吗?

可以。在 Perplexity 中,用户可以阅读他人分享的对话并提出追问。该追问会在其账户中开启一段新对话,原始对话保持不变。