Cửa sổ ngữ cảnh: khái niệm và ảnh hưởng đến việc sử dụng AI hằng ngày
Hướng dẫn về cửa sổ ngữ cảnh trong các mô hình AI, bao gồm cách đo lường bằng token, những gì lấp đầy cửa sổ trong một cuộc trò chuyện, kích thước của nó trong các mô hình hiện nay, điều gì xảy ra khi cuộc trò chuyện vượt quá giới hạn và những thói quen hằng ngày để làm việc trong giới hạn đó.

Cửa sổ ngữ cảnh là lượng văn bản mà một mô hình AI có thể xử lý cùng một lúc. Hướng dẫn này trình bày những gì lấp đầy cửa sổ ngữ cảnh, kích thước của nó trong các mô hình hiện nay và cách làm việc trong giới hạn đó hằng ngày.
Cửa sổ ngữ cảnh là gì
Cửa sổ ngữ cảnh là giới hạn về lượng văn bản mà một mô hình AI có thể xử lý cùng một lúc. Giới hạn này bao gồm cả văn bản đầu vào, chẳng hạn như một câu hỏi và mọi tài liệu đính kèm, lẫn câu trả lời đầu ra. Nếu nội dung nào đó không vừa trong cửa sổ, mô hình sẽ không thể thấy hay sử dụng nội dung đó khi trả lời.
Cửa sổ ngữ cảnh tách biệt với những gì mô hình đã học trong quá trình huấn luyện. Quá trình huấn luyện diễn ra trước khi mô hình được phát hành, trên một khối lượng văn bản rất lớn, và mang lại cho mô hình kiến thức chung cùng các kỹ năng ngôn ngữ. Cửa sổ ngữ cảnh chỉ chứa tài liệu cho nhiệm vụ đang cần xử lý.
Bản thân mô hình AI không ghi nhớ các tin nhắn trước đó. Ứng dụng mà mô hình chạy trong đó, chẳng hạn như Perplexity hay ChatGPT, mới là nơi lưu cuộc trò chuyện. Với mỗi tin nhắn mới, ứng dụng gửi cho mô hình toàn bộ cuộc trò chuyện tính đến thời điểm đó, chứ không chỉ tin nhắn mới nhất. Mô hình đọc lại tất cả trước khi trả lời, và câu trả lời đó trở thành một phần nội dung được gửi đi ở lần tiếp theo. Dung lượng mà một cuộc trò chuyện chiếm trong cửa sổ tăng lên sau mỗi lượt trao đổi, nên một cuộc trò chuyện dài gồm những tin nhắn ngắn vẫn có thể chiếm nhiều không gian.
Cách đo cửa sổ ngữ cảnh
Mọi tin nhắn, tài liệu và câu trả lời trong một cuộc trò chuyện đều chiếm không gian trong cửa sổ. Lượng không gian khả dụng được đo bằng token thay vì một số lượng từ hay số trang nhất định.
Token là một đoạn văn bản mà mô hình xử lý như một đơn vị duy nhất. Token có thể là một từ ngắn, một phần của một từ dài hơn, một dấu câu hoặc một từ kèm khoảng trắng đứng trước. Theo OpenAI, 100 token tương đương khoảng 75 từ. Dựa trên ước tính gần đúng cho tiếng Anh này, một báo cáo dài 3.000 từ sẽ có khoảng 4.000 token.
Trước khi mô hình đọc bất cứ thứ gì, một công cụ gọi là tokenizer (bộ tách token) sẽ chia văn bản thành các token và chuyển mỗi token thành một con số. Mô hình xử lý những con số đó, tạo câu trả lời dưới dạng một dãy token, rồi công cụ này chuyển chúng trở lại thành văn bản.
Số lượng token không được chuẩn hóa. Con số này phụ thuộc vào ngôn ngữ và nội dung. Tokenizer có thể khác nhau giữa các mô hình, nên cùng một đoạn văn có thể tạo ra số lượng token khác nhau ở các mô hình khác nhau.
Cửa sổ ngữ cảnh và ký ức đã lưu
Cửa sổ ngữ cảnh chứa những gì mô hình có thể dùng để trả lời câu hỏi hiện tại. Ví dụ, khi AI chỉnh sửa một báo cáo, bản báo cáo, các hướng dẫn chỉnh sửa và những tin nhắn trao đổi trong quá trình làm việc đều chiếm không gian trong cửa sổ.
Ký ức đã lưu giữ lại những chi tiết được chọn lọc giữa các cuộc trò chuyện. Trong Perplexity, ứng dụng tự động chọn nội dung cần lưu, tìm kiếm các sở thích và thông tin quan trọng, đồng thời ưu tiên những chi tiết xuất hiện thường xuyên. Một hướng dẫn lâu dài như “Dùng tiếng Anh kiểu Anh cho mọi bài viết của tôi” là ví dụ về loại chi tiết đáng lưu giữ, còn “Rút ngắn đoạn văn này” chỉ áp dụng cho nhiệm vụ trước mắt.
Khi ứng dụng đưa một trong những chi tiết đó vào cuộc trò chuyện mới, chi tiết ấy trở thành một phần ngữ cảnh của mô hình và chiếm không gian trong cửa sổ. Trong Perplexity, các tùy chọn kiểm soát Bộ nhớ nằm trong Cài đặt → Bộ nhớ. Tắt Bộ nhớ sẽ ngừng việc sử dụng tính năng này trong các câu trả lời sau này nhưng không xóa những chi tiết đã được lưu.
Những gì lấp đầy cửa sổ ngữ cảnh trong một cuộc trò chuyện
Cửa sổ ngữ cảnh chứa nhiều hơn rất nhiều so với những từ mà người dùng gõ vào. Trong một cuộc trò chuyện thông thường, bốn loại văn bản cùng chia sẻ không gian này: hướng dẫn từ ứng dụng, lịch sử cuộc trò chuyện, tài liệu được lấy từ tệp hoặc web, và câu trả lời của mô hình. Phần lớn nội dung này không bao giờ hiển thị trên màn hình.
Hướng dẫn từ ứng dụng
Trước khi tin nhắn của người dùng đến được mô hình, ứng dụng sẽ thêm các hướng dẫn riêng của mình (thường được gọi là lời nhắc hệ thống hay system prompt). Những hướng dẫn này cho mô hình biết cách hoạt động: cách định dạng câu trả lời, dùng giọng điệu nào, có thể sử dụng những công cụ nào và các chi tiết như ngày hôm nay. Một số nội dung này, chẳng hạn như hướng dẫn nội bộ của ứng dụng, thường không được hiển thị cho người dùng.
Lịch sử cuộc trò chuyện
Phần này bao gồm các câu trả lời trước đó của mô hình cũng như tất cả tin nhắn của người dùng cho câu trả lời hiện tại. Thông thường, câu trả lời của AI dài hơn nhiều so với câu hỏi của người dùng.
Tệp đã tải lên, trang web và kết quả tìm kiếm
Văn bản lấy từ tệp chiếm không gian ngữ cảnh cùng với cuộc trò chuyện, nhưng ứng dụng có thể cung cấp toàn bộ tệp hoặc chỉ chọn các đoạn liên quan. Ví dụ, Perplexity có thể phân tích toàn bộ tệp ngắn và trích xuất những phần quan trọng từ tệp dài hơn để trả lời truy vấn.
Kết quả tìm kiếm cũng chiếm không gian. Ví dụ, để trả lời một truy vấn, Perplexity có thể tìm kiếm trên web và đưa kết quả cho mô hình đọc.
Câu trả lời và quá trình suy luận của mô hình
Câu trả lời được viết vào cùng một cửa sổ, nên ứng dụng phải chừa chỗ cho nó. Một số mô hình còn tạo ra quá trình suy luận nội bộ trong khi xây dựng câu trả lời, phần mà người dùng có thể không bao giờ nhìn thấy. Văn bản suy luận là quá trình xử lý từng bước của mô hình, chẳng hạn như chia câu hỏi thành nhiều phần hoặc kiểm tra lại các số liệu của chính nó, được viết ra trước câu trả lời cuối cùng. Văn bản này thường cũng được tính vào giới hạn của cửa sổ.
Kích thước cửa sổ ngữ cảnh trong các mô hình AI hiện nay
Cửa sổ ngữ cảnh lớn hơn nghĩa là mô hình có thể xử lý tài liệu dài hơn, nhiều nguồn hơn và các cuộc trò chuyện dài hơn. Các mô hình hàng đầu của OpenAI, Anthropic và Google hiện đều cung cấp cửa sổ khoảng 1 triệu token. Con số đó tương đương khoảng 1.500 trang văn bản.
Mô hình | Nhà cung cấp | Cửa sổ ngữ cảnh (token) |
GPT-6 Astra | OpenAI | 1,05 triệu |
Claude Opus 5.5 | Anthropic | 1 triệu |
Gemini 4 Argon | 1.048.576 |
Thông số API của các nhà cung cấp, được kiểm tra vào ngày 5 tháng 11 năm 2026. Giới hạn khả dụng trong ứng dụng có thể khác.
Cửa sổ lớn hơn không có nghĩa là mô hình sử dụng toàn bộ cửa sổ hiệu quả như nhau. Các nghiên cứu đã phát hiện rằng hiệu suất có thể kém ổn định hơn khi độ dài đầu vào tăng lên, một hiện tượng được gọi là suy giảm ngữ cảnh (context rot).
Giới hạn đầu vào và giới hạn đầu ra
Cửa sổ ngữ cảnh là ngân sách chung cho mọi thứ mà mô hình đọc và viết. Mô hình có thể đọc nhiều hơn rất nhiều so với lượng nội dung có thể viết trong một câu trả lời.
Khi xử lý đầu vào, mô hình có thể làm việc song song trên nhiều token. Khi tạo câu trả lời, mô hình thường tạo token theo trình tự, dựa vào những gì đã có trước đó để chọn token tiếp theo. Mô hình không thể chọn từ thứ năm của một câu cho đến khi biết bốn từ đầu tiên, nên phải tạo câu trả lời lần lượt từng token một.
Điều đó khiến việc tạo ra câu trả lời dài chậm hơn và tốn kém hơn nhiều so với việc đọc đầu vào dài. Đó là lý do một yêu cầu viết lại hoặc dịch một tài liệu rất dài có thể dừng giữa chừng, và vì sao yêu cầu kết quả theo từng phần lại hiệu quả hơn.
Điều gì xảy ra khi cuộc trò chuyện vượt quá giới hạn
Khi một cuộc trò chuyện trở nên quá lớn so với cửa sổ ngữ cảnh, ứng dụng phải giải phóng chỗ trước khi mô hình có thể trả lời. Các ứng dụng thực hiện việc này theo một vài cách khác nhau, và mỗi cách đều làm thay đổi những gì mô hình vẫn còn thấy được.
Một cách là loại bỏ các tin nhắn cũ nhất trước. Mô hình tiếp tục làm việc với phần gần đây của cuộc trò chuyện. Những hướng dẫn ban đầu của người dùng, các quyết định hoặc đoạn tài liệu có thể bị đẩy ra khỏi cửa sổ. Mô hình không thể tham chiếu đến văn bản mà nó không còn giữ, nhưng không nhất thiết sẽ báo cho người dùng biết rằng có nội dung bị thiếu.
Một cách khác là tóm tắt phần đầu của cuộc trò chuyện và giữ bản tóm tắt thay cho toàn bộ văn bản. Đây là một dạng của kỹ thuật được gọi là nén ngữ cảnh (context compaction). Bản tóm tắt chiếm ít không gian hơn nhiều, nhờ đó cuộc trò chuyện có thể kéo dài hơn đáng kể. Tuy nhiên, bản tóm tắt có thể bỏ sót các chi tiết như số liệu chính xác, tên hoặc cách diễn đạt.
Khi mô hình đã loại bỏ hoặc nén ngữ cảnh, mô hình có thể bắt đầu hỏi những thông tin lẽ ra đã biết. Mô hình có thể đột nhiên ngừng làm theo các hướng dẫn được đưa ra từ đầu, chẳng hạn như định dạng hoặc giọng điệu ưu tiên. Mô hình cũng có thể mâu thuẫn với quyết định trước đó của người dùng, hoặc trở nên mơ hồ về tài liệu đã được chia sẻ trước đó.
Thay vào đó, một số ứng dụng dừng cuộc trò chuyện và yêu cầu người dùng bắt đầu cuộc trò chuyện mới, hoặc từ chối tin nhắn hay tệp quá dài không vừa với cửa sổ.
Thói quen hằng ngày để làm việc trong giới hạn cửa sổ ngữ cảnh
- Bắt đầu một chuỗi mới cho mỗi nhiệm vụ mới: Ví dụ, hãy xem xét một báo cáo trong một cuộc trò chuyện riêng, thay vì thêm báo cáo đó vào một chuỗi hiện có về việc lên kế hoạch cho một sự kiện.
- Chỉ mang theo những gì cần thiết: Khi một nhiệm vụ dựa trên công việc trước đó, hãy yêu cầu mô hình trích ra các chi tiết đã được xác nhận và cách diễn đạt đã được duyệt cần cho nhiệm vụ tiếp theo.
- Chỉ chia sẻ thông tin liên quan: Ví dụ, với câu hỏi về cách lựa chọn người tham gia khảo sát, hãy cung cấp phần phương pháp luận và các ghi chú bổ trợ thay vì toàn bộ báo cáo.
- Tìm phần liên quan trước khi chia sẻ một tài liệu dài: Nếu báo cáo hoặc sổ tay có mục lục, hãy chia sẻ mục lục trước. Hỏi mô hình những phần nào có khả năng trả lời được câu hỏi, rồi sao chép các phần đó vào cuộc trò chuyện.
- Xem xét tài liệu dài theo từng phần: Chia sổ tay hoặc báo cáo theo chính sách, chương hoặc chủ đề. Dùng các chuỗi riêng cho những lần xem xét độc lập, với cùng một bộ hướng dẫn cho mỗi chuỗi.
- Yêu cầu kết quả dài theo từng giai đoạn: Với một bản viết lại hoặc bản dịch dài, hãy yêu cầu từng phần một trong cùng một chuỗi. Nêu rõ tên phần hoặc phạm vi trang, và kiểm tra kết quả trước khi yêu cầu mô hình tiếp tục.
- Đặt độ dài câu trả lời phù hợp: Yêu cầu năm phát hiện, một lời giải thích ngắn hoặc một bảng với các cột cụ thể. Tránh yêu cầu phân tích chi tiết khi một câu trả lời ngắn gọn là đủ.
- Yêu cầu chỉnh sửa có trọng tâm: Để thay đổi một đoạn trong bản nháp, hãy yêu cầu mô hình chỉ viết lại đoạn đó. Nêu rõ những gì cần thay đổi thay vì yêu cầu mô hình tạo lại toàn bộ bản nháp.
Cách Perplexity quản lý ngữ cảnh
Ngữ cảnh của Perplexity không chỉ bao gồm cuộc trò chuyện. Perplexity còn có thể tận dụng thông tin tìm được qua tìm kiếm theo thời gian thực, các tùy chọn ưu tiên đã lưu và các tệp được cung cấp cho một nhiệm vụ.
Với một câu hỏi nghiên cứu, tìm kiếm theo thời gian thực cung cấp tài liệu nguồn mà mô hình có thể dùng để xây dựng câu trả lời, kèm theo trích dẫn cho biết thông tin đến từ đâu. Ví dụ, khi hỏi về một quy định mới, thông tin liên quan trên web có thể được đưa vào nhiệm vụ mà không cần thu thập bài viết rồi dán vào cuộc trò chuyện trước.
Ký ức đã lưu cung cấp một loại ngữ cảnh khác: các chi tiết liên quan từ những cuộc trò chuyện trước, chẳng hạn như sở thích về cách viết hoặc thông tin nền về một dự án đang thực hiện. Perplexity truy xuất những chi tiết đó khi trả lời, và Bộ nhớ hoạt động trên tất cả các mô hình mà Perplexity cung cấp. Vì vậy, một tùy chọn ưu tiên đã lưu vẫn có thể được sử dụng khi chuyển đổi mô hình trong Perplexity.
Đối với công việc trải dài qua nhiều cuộc trò chuyện, dự án giúp giữ các tệp và hướng dẫn ở cùng một nơi, và hướng dẫn của dự án được áp dụng cho mỗi truy vấn. Đối tượng độc giả, mục đích và yêu cầu viết của một báo cáo có thể được lưu trong dự án, trong khi việc nghiên cứu và soạn thảo diễn ra trong các chuỗi riêng biệt.
Tham khảo Bắt đầu với Perplexity để được hướng dẫn cách đặt câu hỏi, làm việc với tệp và mở rộng câu trả lời bằng các truy vấn tiếp theo.
Câu hỏi thường gặp
Hình ảnh có được tính vào cửa sổ ngữ cảnh không?
Có. Hình ảnh được chuyển thành token và chiếm không gian cùng với văn bản. Số lượng token phụ thuộc vào cách mô hình xử lý hình ảnh. Ảnh chụp màn hình hoặc trang được quét vẫn sử dụng không gian ngữ cảnh ngay cả khi văn bản trong đó chưa được sao chép vào cuộc trò chuyện.
Cửa sổ ngữ cảnh lớn hơn có tốn kém hơn không?
Không nhất thiết. Cửa sổ lớn hơn cho biết mô hình có thể xử lý được bao nhiêu, chứ không phải một nhiệm vụ sử dụng bao nhiêu phần dung lượng đó.
Có cách nào để xem một cuộc trò chuyện đã sử dụng bao nhiêu phần cửa sổ ngữ cảnh không?
Đôi khi có. Một số ứng dụng hiển thị thước đo ngữ cảnh cho biết cửa sổ đã đầy đến mức nào. Bộ đếm hiển thị “số tin nhắn còn lại” lại mang ý nghĩa khác: số yêu cầu mà tài khoản còn có thể gửi, chứ không phải lượng thông tin mà mô hình vẫn có thể đưa thêm vào cuộc trò chuyện. Hãy tìm cụ thể thước đo ngữ cảnh.
Người khác có thể tiếp tục một cuộc trò chuyện được chia sẻ với họ không?
Có. Trong Perplexity, người được chia sẻ có thể đọc cuộc trò chuyện và đặt câu hỏi tiếp theo. Câu hỏi đó sẽ bắt đầu một cuộc trò chuyện mới trong tài khoản của họ, còn cuộc trò chuyện gốc vẫn được giữ nguyên.