Suy giảm ngữ cảnh ở tác nhân AI: vì sao tác vụ dài mất độ chính xác và cách phòng tránh

Hướng dẫn về những gì tích tụ trong ngữ cảnh của tác nhân AI, lý do điều đó làm giảm độ chính xác và cách thiết lập tác vụ để luôn đáng tin cậy.

Diagram of an AI agent's context growing from task start to late in a task: instructions are joined by stacked search results, websites, documents, and notes, while a bar showing how closely the agent follows the original instructions shrinks.

Suy giảm ngữ cảnh ở tác nhân AI là gì

Suy giảm ngữ cảnh (context rot) ở tác nhân AI là hiện tượng độ chính xác giảm dần khi ngữ cảnh của tác nhân ngày càng đầy lên trong một tác vụ dài.

Ngữ cảnh của tác nhân là thông tin mà mô hình có sẵn cho bước tiếp theo. Ngữ cảnh có thể bao gồm hướng dẫn, các tin nhắn trước đó, kết quả tìm kiếm và văn bản từ trang web hoặc tệp. Trong quá trình làm việc, tác nhân có thể bổ sung thêm thông tin.

Ví dụ, giả sử nhiệm vụ của một tác nhân là tìm các nhà cung cấp giao hàng trong vòng hai tuần. Lúc bắt đầu, ngữ cảnh của tác nhân chỉ chứa yêu cầu đó. Đến giữa tác vụ, ngữ cảnh sẽ còn bao gồm văn bản của hàng chục trang web nhà cung cấp, vài trang kết quả tìm kiếm và các ghi chú về những nhà cung cấp mà tác nhân đã kiểm tra.

Lượng ngữ cảnh mà một mô hình có thể chứa là có giới hạn (gọi là cửa sổ ngữ cảnh). Cửa sổ này được đo bằng token, tức là những đoạn văn bản nhỏ, thường là một từ hoặc một phần của từ. Suy giảm ngữ cảnh tăng lên khi ngữ cảnh lớn dần, vì vậy hiện tượng này dễ xảy ra nhất trong các tác vụ dài có nhiều bước.

Khi suy giảm ngữ cảnh trở nên nghiêm trọng hơn, tác nhân sẽ kém chính xác hơn. Tác nhân có thể tuân theo hướng dẫn ban đầu kém chặt chẽ hơn, bỏ sót chi tiết hoặc nhầm những thông tin trông giống nhau với thông tin mình cần.

Ví dụ, tác nhân có thể bắt đầu đưa vào những nhà cung cấp cần sáu tuần để giao hàng, dù đã được yêu cầu tìm nhà cung cấp giao trong hai tuần. Hướng dẫn vẫn nằm trong ngữ cảnh, nhưng không còn định hướng các lựa chọn của tác nhân nữa.

Suy giảm ngữ cảnh không đơn giản là việc cửa sổ ngữ cảnh hết chỗ. Khi ngữ cảnh của một tác vụ vượt quá cửa sổ, nội dung sẽ bị cắt bớt hoặc tác vụ thất bại. Suy giảm ngữ cảnh bắt đầu từ rất lâu trước thời điểm đó, khi mọi thứ vẫn còn vừa trong cửa sổ.

Hiện tượng này cũng khác với đầu độc ngữ cảnh (khi thông tin sai lệch hoặc có hại lọt vào ngữ cảnh của tác nhân). Một tác nhân có thông tin chính xác và đầy đủ vẫn có thể gặp phải suy giảm ngữ cảnh.

Vì sao xảy ra suy giảm ngữ cảnh

Suy giảm ngữ cảnh xảy ra vì khả năng chú ý (attention) của mô hình có giới hạn, ngay cả khi cửa sổ ngữ cảnh vẫn còn dư chỗ. Trong các mô hình AI, attention là thuật ngữ kỹ thuật chỉ cách mô hình quyết định nên dựa vào những phần nào trong dữ liệu đầu vào khi viết từng từ của câu trả lời. Mọi phần của ngữ cảnh đều cạnh tranh để giành sự chú ý đó. Văn bản càng nhiều thì mỗi phần nhận được càng ít sự chú ý.

Ví dụ, Chroma đã công bố một nghiên cứu về ảnh hưởng của độ dài đầu vào đối với các mô hình AI. Nghiên cứu đã thử nghiệm 18 mô hình của Anthropic, OpenAI, Google và Alibaba. Trong một bài kiểm tra, các nhà nghiên cứu giấu một câu về lời khuyên viết lách trong một tập hợp dài các bài tiểu luận. Sau đó, họ hỏi mô hình lời khuyên đó là gì.

Họ chạy bài kiểm tra nhiều lần, mỗi lần thêm nhiều văn bản tiểu luận hơn. Câu văn và câu hỏi không bao giờ thay đổi. Chỉ có lượng văn bản xung quanh chúng là thay đổi.

Các mô hình phải đọc càng nhiều văn bản thì kết quả càng kém. Phát hiện này đúng với mọi bài kiểm tra trong báo cáo. Các nhà nghiên cứu dự đoán mức sụt giảm độ chính xác sẽ còn lớn hơn trong công việc thực tế gồm nhiều bước, như phần lớn các tác vụ của tác nhân.

Suy giảm ngữ cảnh có thể ảnh hưởng đến tác nhân AI như thế nào

Suy giảm ngữ cảnh thường biểu hiện theo một trong bốn cách:

Không còn bám sát hướng dẫn ban đầu

Bài kiểm tra đơn giản nhất của Chroma yêu cầu các mô hình sao chép chính xác một dãy dài gồm các từ lặp lại, trong đó có chèn một từ khác ở đâu đó. Đây là một tác vụ đơn giản với hướng dẫn rõ ràng. Dù vậy, hiệu suất của tất cả các mô hình đều giảm khi văn bản dài hơn. Một số mô hình bắt đầu tạo ra những từ hoàn toàn không có trong đầu vào.

Trong một tác vụ của tác nhân, người dùng thường đặt ra các ràng buộc cụ thể ngay từ đầu, chẳng hạn như ngân sách hoặc định dạng bắt buộc. Tác nhân có thể áp dụng các ràng buộc này kém nhất quán hơn khi ngữ cảnh lớn dần. Nguyên nhân là tổng độ dài của ngữ cảnh, chứ không phải vị trí của hướng dẫn.

Bỏ sót chi tiết ở giữa tác vụ

Theo một nghiên cứu năm 2023 của Stanford, các mô hình AI sử dụng thông tin đáng tin cậy nhất khi thông tin đó nằm ở ngay đầu hoặc ngay cuối dữ liệu đầu vào. Trong một bài kiểm tra, các nhà nghiên cứu đưa cho mô hình một bộ gồm 20 tài liệu và đặt một câu hỏi mà chỉ một tài liệu trong số đó có câu trả lời. Khi tài liệu đó nằm đầu tiên hoặc cuối cùng, các mô hình thường tìm ra câu trả lời. Khi tài liệu nằm ở giữa bộ, các mô hình bỏ sót câu trả lời thường xuyên hơn nhiều. Các nhà nghiên cứu gọi đây là hiệu ứng vị trí.

Quy luật tương tự cũng áp dụng cho tác nhân. Thông tin tìm thấy ở giai đoạn đầu của tác vụ có thể nằm ở giữa một cuộc hội thoại dài, nơi một số mô hình gặp khó khăn hơn trong việc sử dụng thông tin đó. Trong ví dụ về nhà cung cấp, danh sách cuối cùng có thể bỏ sót một nhà cung cấp tốt mà tác nhân đã kiểm tra giữa chừng.

Nhầm lẫn giữa các thông tin tương tự

Khi ngữ cảnh lớn dần, tác nhân có thể kém đi trong việc nhận biết thông tin nào phù hợp với hướng dẫn. Ví dụ, giả sử người dùng yêu cầu tác nhân tìm các nhà cung cấp giao hàng “trong vòng hai tuần”. Trang web của một nhà cung cấp ghi “hàng đến trong vòng 14 ngày theo lịch kể từ khi đặt hàng”. Trong một tác vụ ngắn, tác nhân có thể dễ dàng nhận ra hai cách diễn đạt này có cùng ý nghĩa. Nhưng khi bị vùi giữa hàng chục trang của các nhà cung cấp khác, tác nhân dễ bỏ lỡ sự trùng khớp này hơn.

Ngoài ra, tác nhân có thể bắt đầu đưa vào những kết quả không liên quan. Giả sử tác nhân đang tìm nhà cung cấp ghế văn phòng. Trang web của một nhà cung cấp hứa hẹn giao hàng trong hai tuần, nhưng chỉ áp dụng cho bàn. Ghế của họ cần sáu tuần. Trang web dùng cùng những từ ngữ như trong hướng dẫn, nên tác nhân vẫn có thể thêm nhà cung cấp này vào danh sách. Các nhà nghiên cứu gọi loại thông tin này là yếu tố gây nhiễu. Thông tin này trông có vẻ liên quan nhưng thực ra không, vì vậy nó cạnh tranh với thông tin thực sự quan trọng.

Nghiên cứu của Chroma cho thấy cả hai vấn đề đều trở nên tệ hơn khi lượng văn bản xung quanh tăng lên.

Lỗi khó phát hiện

Suy giảm ngữ cảnh không kích hoạt thông báo lỗi. Tác nhân vẫn tiếp tục làm việc và trả về kết quả trông như đã hoàn chỉnh. Điều đó khiến các lỗi của tác nhân dễ bị bỏ qua.

Trong các bài kiểm tra của Chroma, những lỗi này có hai dạng. Đôi khi mô hình đưa ra một câu trả lời sai nhưng đầy tự tin. Trong ví dụ nghiên cứu nhà cung cấp, tác nhân có thể gửi một danh sách nhà cung cấp gọn gàng, định dạng đẹp, nhưng lại có một nhà cung cấp mà nó đã đọc sai điều khoản giao hàng.

Những lần khác, mô hình nói rằng không tìm thấy thông tin dù thông tin đó thực sự có ở đó. Ví dụ, tác nhân có thể gửi một báo cáo cho biết không có nhà cung cấp nào đáp ứng giới hạn hai tuần, trong khi thực tế có vài nhà cung cấp đáp ứng.

Cách thiết lập tác vụ cho tác nhân để hạn chế suy giảm ngữ cảnh

Thiết lập tác vụ đúng cách sẽ giảm thiểu tác động của suy giảm ngữ cảnh và giúp tác nhân duy trì độ chính xác cao nhất có thể trong suốt quá trình thực hiện tác vụ. Các phương pháp hay nhất sau đây có thể hữu ích.

Viết tác vụ như một bản giao việc

Một bản giao việc rõ ràng giúp ngữ cảnh gọn hơn. Tác nhân biết khi nào đã hoàn thành, nên sẽ ngừng thu thập tài liệu khi đã đủ. Các yêu cầu cụ thể cũng cho tác nhân một tiêu chí rõ ràng để đối chiếu với từng trang. Nhờ đó, tác nhân dễ nhận ra thông tin phù hợp hơn.

Trước khi gửi một tác vụ, hãy kiểm tra xem tác vụ đã bao gồm ba yếu tố sau chưa:

  • Tác vụ: tác nhân cần làm gì và tạo ra gì, chẳng hạn như “tìm nhà cung cấp và trả về danh sách rút gọn”.
  • Các yêu cầu: những thông tin mà tác nhân không thể tự đoán, chẳng hạn như ngân sách, thời hạn, địa chỉ giao hàng và kết quả dành cho ai.
  • Đầu ra: định dạng, độ dài và cấu trúc, chẳng hạn như “một bảng gồm tên, giá mỗi chiếc ghế và thời gian giao hàng”.

Khi kết hợp lại, truy vấn cho tác vụ tìm nhà cung cấp có thể trông như sau:

“Tìm 10 nhà cung cấp có thể giao 40 chiếc ghế văn phòng đến văn phòng của chúng tôi tại Chicago trong vòng hai tuần, với giá dưới 250 USD mỗi chiếc. Trả về một bảng gồm tên nhà cung cấp, giá mỗi chiếc ghế, thời gian giao hàng và liên kết đến trang sản phẩm. Danh sách này dành cho quản lý văn phòng của chúng tôi, người sẽ đặt hàng.”

Giữ mỗi tác vụ tập trung

Một tác vụ với một mục tiêu rõ ràng giúp ngữ cảnh gọn nhẹ. Tác vụ dài cũng tốn kém hơn. Mỗi bước đều xử lý mọi thứ đã thu thập cho đến lúc đó, nên ngữ cảnh cồng kềnh sẽ tiêu tốn nhiều tín dụng hơn ở mỗi bước.

Với một dự án gồm nhiều phần, hãy chia nhỏ dự án:

  1. Liệt kê các sản phẩm bàn giao riêng biệt, ví dụ như tìm kiếm nhà cung cấp, so sánh giá và email gửi nhà cung cấp được chọn.
  2. Thực hiện mỗi sản phẩm bàn giao thành một tác vụ riêng.
  3. Chỉ chuyển kết quả hoàn chỉnh từ tác vụ này sang tác vụ tiếp theo. Ví dụ, tải bảng nhà cung cấp lên dưới dạng tệp để bắt đầu tác vụ so sánh, thay vì tiếp tục trong chuỗi đã tạo ra bảng đó.

Khi đó, tác vụ so sánh sẽ bắt đầu với một bảng duy nhất thay vì tất cả các trang.

Chỉ cho tác nhân đúng nguồn thông tin

Mỗi trang tác nhân đọc đều làm tăng thêm ngữ cảnh, bao gồm cả menu, quảng cáo và nội dung soạn sẵn xung quanh phần hữu ích. Cung cấp trực tiếp nguồn thông tin cho tác nhân sẽ giúp giảm bớt những thông tin nhiễu đó.

Tải lên các tệp mà tác vụ cần, chẳng hạn như danh sách nhà cung cấp đã được phê duyệt, bằng cách đính kèm chúng vào truy vấn. Khi tác nhân phải tìm kiếm trên web, hãy nêu tên những trang web đáng tìm, chẳng hạn như hai danh bạ nhà cung cấp đáng tin cậy.

Kết nối các công cụ nơi lưu trữ thông tin. Ví dụ, trong Perplexity Computer, hãy mở Trình kết nối ở thanh bên và bật các ứng dụng mà tác vụ cần, chẳng hạn như Google Drive hoặc Slack. Sau đó, hãy nhắc đến chúng trong truy vấn: “Dùng thông số kỹ thuật của ghế trong Google Drive của chúng tôi.” Chỉ kết nối các ứng dụng liên quan, vì mỗi trình kết nối đều chiếm một phần ngữ cảnh của tác nhân.

Nếu thông tin nằm trong một ứng dụng không có trong danh sách Trình kết nối, bạn vẫn có thể kết nối được ứng dụng đó. Nhiều ứng dụng cung cấp trình kết nối MCP (Model Context Protocol), một cách tiêu chuẩn để các công cụ AI kết nối với phần mềm khác. Computer có thể sử dụng các trình kết nối này cùng với các trình kết nối tích hợp sẵn. Trong tài khoản công ty, quản trị viên có thể cần bật chúng trước.

Yêu cầu kiểm tra lần cuối dựa trên hướng dẫn

Kết thúc truy vấn bằng một bước rà soát nêu rõ những ràng buộc quan trọng nhất:

“Trước khi hoàn thành, hãy kiểm tra từng nhà cung cấp theo các yêu cầu sau: giao hàng trong vòng hai tuần, giá dưới 250 USD mỗi chiếc ghế. Đánh dấu những nhà cung cấp không đáp ứng các yêu cầu đó thay vì loại bỏ họ.”

Các ràng buộc vẫn nằm ở đầu ngữ cảnh. Bước rà soát cho tác nhân lý do để đối chiếu đầu ra cuối cùng với các ràng buộc, thay vì trông chờ các hướng dẫn giữ được ảnh hưởng qua mọi bước.

Đồng thời, việc yêu cầu tác nhân đánh dấu vấn đề thay vì chỉ đơn giản loại bỏ các kết quả đó sẽ giúp dễ phát hiện lỗi hơn (chẳng hạn như loại một nhà cung cấp cam kết giao hàng trong vòng 14 ngày theo lịch chỉ vì họ không dùng cụm từ “hai tuần”).

Rà soát công việc tại các điểm kiểm tra

Với các tác vụ dài hơn, hãy đưa một điểm kiểm tra vào truy vấn:

“Bắt đầu bằng việc tìm 20 nhà cung cấp tiềm năng, rồi dừng lại. Tôi sẽ xác nhận danh sách trước khi bạn thu thập thông tin giá.”

Đối chiếu danh sách rút gọn với hướng dẫn ban đầu. Sửa mọi điểm chưa đúng trong tin nhắn tiếp theo, rồi để tác nhân tiếp tục. Các lỗi được phát hiện ở thời điểm này sẽ không lan sang mọi bước tiếp theo.

Bắt đầu tác vụ mới khi tác vụ hiện tại đi chệch hướng

Nếu tác nhân lặp lại cùng một lỗi sau khi đã được sửa, hãy bắt đầu một tác vụ mới. Mỗi lần sửa lại thêm văn bản vào một ngữ cảnh vốn đã dài. Thay vào đó, hãy tạo một tác vụ mới. Nêu lại hướng dẫn, tải lên mọi kết quả tốt từ lần thử đầu tiên và bắt đầu lại.

Một số tác nhân tự động thực hiện một dạng của việc này, một quy trình gọi là nén ngữ cảnh (compaction). Khi tác vụ kéo dài, tác nhân sẽ thay thế nội dung cũ hơn, chẳng hạn như toàn văn các trang đã đọc từ sớm, bằng một bản tóm tắt ngắn về những gì đã tìm thấy. Portable Computer của Perplexity nén ngữ cảnh theo cách này để mô hình luôn nằm trong phạm vi lượng ngữ cảnh mà nó có thể xử lý tốt.

Việc bắt đầu một tác vụ mới khi mục tiêu thay đổi cũng rất quan trọng. Một chuỗi bắt đầu bằng việc tìm kiếm nhà cung cấp không nên đồng thời trở thành việc rà soát hợp đồng.

Biến các hướng dẫn lặp lại thành Skill

Một số hướng dẫn xuất hiện trong mọi tác vụ thuộc một loại nhất định, chẳng hạn như định dạng bảng ưa thích, danh sách nhà cung cấp cần tránh hoặc một bước rà soát tiêu chuẩn. Trong Computer, những hướng dẫn này có thể được lưu thành một Skill, tức là một bộ hướng dẫn có thể tái sử dụng mà tác nhân làm theo mỗi lần. Một Skill tích hợp các phương pháp hay nhất khác vào mọi tác vụ sử dụng Skill đó.

Cách thiết lập một Skill:

  1. Chọn một tác vụ thường xuyên lặp lại, chẳng hạn như nghiên cứu nhà cung cấp.
  2. Ghi lại những hướng dẫn được đưa ra mỗi lần: định dạng, các bước kiểm tra, các nguồn nên dùng hoặc nên tránh.
  3. Lưu chúng thành một Skill. Các hướng dẫn đã được viết bằng Markdown có thể được nhập trực tiếp.
  4. Nêu tên Skill trong các truy vấn sau này: “Dùng Skill nghiên cứu nhà cung cấp để tìm nhà cung cấp ghế cho văn phòng Denver.”

Cách Perplexity xử lý ngữ cảnh trong công việc của tác nhân

Perplexity Computer xử lý các tác vụ dài theo những cách giúp ngữ cảnh của từng mô hình luôn gọn nhẹ và phù hợp. Ba yếu tố trong thiết kế của sản phẩm giới hạn lượng thông tin mà một mô hình phải đọc cùng lúc.

Chia công việc cho các tác nhân con

Computer chia một yêu cầu thành các tác vụ và tác vụ con, rồi tạo các tác nhân con để thực hiện. Mỗi tác nhân con xử lý một phần công việc trong ngữ cảnh riêng. Trong tác vụ tìm nhà cung cấp, một tác nhân con có thể nghiên cứu giá cả trong khi một tác nhân con khác kiểm tra điều khoản giao hàng. Không tác nhân nào phải đọc mọi thứ mà tác nhân kia đã đọc.

Lưu công việc trong tệp

Mỗi tác vụ Computer có không gian làm việc riêng, với tệp, trình duyệt web và công cụ riêng. Tác nhân có thể lưu công việc vào một tệp, chẳng hạn như một bảng được cập nhật liên tục về các nhà cung cấp đã kiểm tra. Sau đó, tác nhân chỉ mở lại tệp đó khi cần.

Chọn các đoạn văn liên quan từ kết quả tìm kiếm

Các trang web chứa đầy nội dung mà mô hình không cần, chẳng hạn như menu, quảng cáo, siêu dữ liệu và văn bản về các chủ đề khác. Nén ngữ cảnh theo truy vấn loại bỏ những nội dung đó. Trước khi một trang được chuyển đến mô hình, Perplexity chỉ giữ lại những câu liên quan đến truy vấn.

Khám phá các mẹo, hướng dẫn và tác vụ mẫu cho Perplexity Computer để áp dụng các bước này vào thực tế.

Câu hỏi thường gặp

Suy giảm ngữ cảnh có giống với ảo giác không?

Không, nhưng chúng có liên quan đến nhau. Ảo giác là bất kỳ câu trả lời nào nêu ra điều sai sự thật hoặc không có căn cứ. Suy giảm ngữ cảnh là một trong những điều kiện khiến ảo giác dễ xảy ra hơn, cùng với các lỗi khác như bỏ qua hướng dẫn và bỏ sót chi tiết.

Một truy vấn tốt hơn có khắc phục được suy giảm ngữ cảnh không?

Một truy vấn rõ ràng giúp hạn chế suy giảm ngữ cảnh bằng cách giữ cho tác vụ tập trung. Tuy nhiên, truy vấn không thể ngăn ngữ cảnh lớn dần. Với một tác vụ đủ dài, tác nhân vẫn thu thập nhiều hơn mức có thể sử dụng hiệu quả, vì vậy việc chia nhỏ công việc và kiểm tra trong quá trình thực hiện cũng quan trọng không kém bản thân truy vấn.

Suy giảm ngữ cảnh có ảnh hưởng đến cả các cuộc trò chuyện AI thông thường chứ không riêng gì tác nhân không?

Có. Trong một cuộc trò chuyện, ngữ cảnh là toàn bộ cuộc hội thoại cho đến thời điểm đó, bao gồm mọi tin nhắn và mọi tài liệu được dán hoặc tải lên. Một chuỗi kéo dài hàng giờ qua nhiều chủ đề có thể gây ra những lỗi tương tự như một tác vụ dài của tác nhân. Bắt đầu một chuỗi mới cho chủ đề mới giúp mỗi cuộc hội thoại luôn tập trung.

Một tác vụ có thể kéo dài đến mức nào trước khi suy giảm ngữ cảnh bắt đầu xuất hiện?

Không có mốc cố định. Điều đó phụ thuộc vào mô hình và tác vụ. Ví dụ, các mô hình chạy trên thiết bị có cửa sổ ngữ cảnh 260.000 token bắt đầu gặp khó khăn khi vượt quá khoảng 100.000 token, còn cách xa giới hạn của chúng. Mức suy giảm cũng diễn ra dần dần chứ không đột ngột.