Context rot pada agen AI: mengapa tugas panjang kehilangan akurasi dan cara mencegahnya
Panduan tentang apa yang menumpuk dalam konteks agen AI, mengapa hal itu menurunkan akurasi, dan cara menyiapkan tugas agar tetap andal.

Apa arti context rot bagi agen AI
Context rot (pembusukan konteks) pada agen AI adalah hilangnya akurasi secara bertahap yang terjadi saat konteks agen makin penuh selama mengerjakan tugas yang panjang.
Konteks agen adalah informasi yang tersedia bagi model untuk langkah berikutnya. Konteks ini dapat mencakup instruksi, pesan sebelumnya, hasil pencarian, serta teks dari situs web atau file. Selama bekerja, agen dapat menambahkan lebih banyak informasi.
Misalnya, tugas sebuah agen adalah menemukan pemasok yang dapat mengirim dalam dua minggu. Di awal, konteksnya hanya berisi permintaan tersebut. Di pertengahan tugas, konteks juga akan mencakup teks dari puluhan situs web pemasok, beberapa halaman hasil pencarian, dan catatan tentang pemasok mana saja yang sudah diperiksa agen.
Ada batas seberapa banyak konteks yang dapat ditampung model (disebut jendela konteks). Jendela ini diukur dalam token, yaitu potongan kecil teks, biasanya berupa satu kata atau bagian dari kata. Context rot meningkat seiring bertambahnya konteks, itulah sebabnya hal ini paling mungkin terjadi pada tugas panjang dengan banyak langkah.
Saat context rot makin parah, agen akan menjadi kurang akurat. Agen mungkin kurang cermat mengikuti instruksi awalnya, melewatkan detail, atau mengira informasi yang tampak mirip sebagai informasi yang dibutuhkannya.
Misalnya, agen mungkin mulai memasukkan pemasok yang butuh waktu enam minggu, padahal diminta mencari pengiriman dua minggu. Instruksi tersebut masih ada di konteksnya, tetapi tidak lagi memengaruhi pilihan agen.
Context rot tidak sama dengan sekadar kehabisan ruang di jendela konteks. Ketika konteks suatu tugas melampaui jendela tersebut, sebagian materi akan terpotong atau tugas gagal. Context rot mulai terjadi jauh sebelum titik itu, saat semuanya masih muat.
Context rot juga tidak sama dengan context poisoning atau peracunan konteks (ketika informasi yang menyesatkan atau berbahaya masuk ke konteks agen). Agen dengan informasi yang akurat dan lengkap tetap dapat mengalami context rot.
Mengapa context rot terjadi
Context rot terjadi karena atensi model terbatas, bahkan ketika jendela konteksnya masih punya banyak ruang. Pada model AI, atensi (attention) adalah istilah teknis untuk cara model memutuskan bagian mana dari inputnya yang akan digunakan saat menulis setiap kata dalam respons. Setiap bagian konteks bersaing untuk mendapatkan atensi tersebut. Makin banyak teks, makin sedikit atensi yang didapat setiap bagian.
Misalnya, Chroma menerbitkan studi tentang bagaimana panjang input memengaruhi model AI. Studi ini menguji 18 model dari Anthropic, OpenAI, Google, dan Alibaba. Dalam salah satu pengujian, para peneliti menyembunyikan sebuah kalimat tentang saran menulis di dalam kumpulan esai yang panjang. Kemudian mereka bertanya kepada model apa saran tersebut.
Mereka menjalankan pengujian ini berkali-kali, dengan menambahkan lebih banyak teks esai setiap kali. Kalimat dan pertanyaannya tidak pernah berubah. Hanya jumlah teks di sekitarnya yang berubah.
Makin banyak teks yang harus dibaca model, makin buruk kinerjanya. Temuan ini berlaku di setiap pengujian dalam laporan tersebut. Para peneliti memperkirakan penurunan akurasi akan lebih besar lagi dalam pekerjaan nyata yang memerlukan banyak langkah, seperti kebanyakan tugas agen.
Bagaimana context rot dapat memengaruhi agen AI
Context rot biasanya muncul dalam salah satu dari empat bentuk berikut:
Melupakan instruksi awal
Pengujian paling sederhana dari Chroma meminta model menyalin persis serangkaian panjang kata yang berulang, dengan satu kata berbeda disisipkan di suatu tempat. Ini adalah tugas sepele dengan instruksi yang eksplisit. Meski begitu, kinerja semua model menurun seiring teks bertambah panjang. Beberapa model bahkan mulai menghasilkan kata-kata yang sama sekali tidak ada dalam input.
Dalam tugas agen, pengguna biasanya menetapkan batasan tertentu di awal tugas, seperti anggaran atau format yang wajib. Agen mungkin menerapkannya dengan kurang konsisten seiring bertambahnya konteks. Penyebabnya adalah panjang konteks secara keseluruhan, bukan letak instruksinya.
Detail yang terlewat dari pertengahan tugas
Model AI paling andal menggunakan informasi yang berada di bagian paling awal atau paling akhir inputnya, menurut studi Stanford tahun 2023. Dalam salah satu pengujian, para peneliti memberi model sekumpulan 20 dokumen dan mengajukan pertanyaan yang hanya dijawab oleh salah satunya. Ketika dokumen itu berada di urutan pertama atau terakhir, model biasanya menemukan jawabannya. Ketika dokumen itu berada di tengah kumpulan, model jauh lebih sering melewatkannya. Para peneliti menyebut hal ini efek posisi.
Pola yang sama berlaku pada agen. Informasi yang ditemukan lebih awal dalam suatu tugas bisa berada di tengah percakapan yang panjang, tempat sebagian model lebih kesulitan menggunakannya. Dalam contoh pemasok, daftar akhir mungkin tidak mencantumkan pemasok bagus yang diperiksa agen di pertengahan tugas.
Mencampuradukkan informasi yang mirip
Seiring bertambahnya konteks, agen bisa makin kesulitan mengenali informasi mana yang sesuai dengan instruksinya. Misalnya, pengguna meminta agen mencari pemasok yang mengirim "dalam dua minggu". Situs web seorang pemasok menyebutkan "tiba dalam 14 hari kalender sejak pemesanan". Dalam tugas singkat, agen kemungkinan akan menyadari bahwa keduanya berarti sama. Jika tertimbun di antara puluhan halaman pemasok lain, agen lebih mungkin melewatkan kecocokan tersebut.
Atau, agen mungkin mulai memasukkan hasil yang tidak relevan. Misalnya, agen sedang mencari pemasok kursi kantor. Situs web salah satu pemasok menjanjikan pengiriman dua minggu, tetapi hanya untuk meja. Kursinya butuh waktu enam minggu. Situs web tersebut menggunakan kata-kata yang sama dengan instruksi, sehingga agen mungkin tetap menambahkan pemasok itu ke daftarnya. Para peneliti menyebut informasi seperti ini sebagai distraktor. Informasi ini tampak relevan padahal tidak, sehingga bersaing dengan informasi yang penting.
Studi Chroma menemukan bahwa kedua masalah tersebut makin parah seiring bertambahnya jumlah teks di sekitarnya.
Kesalahan yang sulit dikenali
Context rot tidak memicu pesan kesalahan. Agen terus bekerja dan menyerahkan output yang tampak selesai. Akibatnya, kesalahannya mudah terlewat.
Dalam pengujian Chroma, kesalahan ini muncul dalam dua bentuk. Terkadang model memberikan jawaban yang meyakinkan tetapi salah. Dalam contoh riset pemasok, agen mungkin menyerahkan daftar pemasok yang rapi dan berformat baik, tetapi mencantumkan pemasok yang ketentuan pengirimannya salah dibaca agen.
Di lain waktu, model mengatakan tidak dapat menemukan informasi yang sebenarnya ada. Misalnya, agen bisa menyerahkan laporan yang menyatakan tidak ada pemasok yang memenuhi batas dua minggu, padahal ada beberapa yang memenuhinya.
Cara menyiapkan tugas agen untuk mengurangi context rot
Menyiapkan tugas dengan benar akan meminimalkan dampak context rot dan menjaga agen seakurat mungkin sepanjang tugas. Praktik terbaik berikut dapat membantu.
Tulis tugas sebagai penugasan
Penugasan yang jelas menjaga konteks tetap kecil. Agen tahu kapan tugasnya selesai, sehingga berhenti mengumpulkan materi begitu sudah cukup. Persyaratan yang spesifik juga memberinya acuan konkret untuk memeriksa setiap halaman. Hal ini memudahkan agen menemukan informasi yang tepat.
Sebelum mengirim tugas, pastikan tugas tersebut mencakup tiga hal:
- Tugas: apa yang harus dilakukan dan dihasilkan agen, seperti "cari pemasok dan berikan daftar pendek."
- Persyaratan: fakta yang tidak dapat ditebak agen, seperti anggaran, tenggat waktu, alamat pengiriman, dan untuk siapa hasilnya.
- Output: format, panjang, dan struktur, seperti "tabel berisi nama, harga per kursi, dan waktu pengiriman."
Jika digabungkan, kueri tugas pemasok tersebut mungkin terlihat seperti ini:
"Cari 10 pemasok yang dapat mengirim 40 kursi kantor ke kantor kami di Chicago dalam dua minggu, dengan harga di bawah $250 per kursi. Berikan tabel berisi nama pemasok, harga per kursi, waktu pengiriman, dan tautan ke halaman produk. Daftar ini untuk manajer kantor kami, yang akan melakukan pemesanan."
Jaga agar setiap tugas tetap fokus
Satu tugas dengan satu tujuan yang jelas menjaga konteks tetap kecil. Tugas yang panjang juga lebih mahal. Setiap langkah memproses semua yang telah dikumpulkan sejauh ini, sehingga konteks yang membengkak menghabiskan lebih banyak kredit di setiap langkah.
Untuk proyek yang terdiri dari beberapa bagian, pecah proyek tersebut:
- Buat daftar hasil kerja yang terpisah, misalnya pencarian pemasok, perbandingan harga, dan email kepada pemasok yang dipilih.
- Jalankan setiap hasil kerja sebagai tugas tersendiri.
- Teruskan hanya hasil akhir dari satu tugas ke tugas berikutnya. Misalnya, unggah tabel pemasok sebagai file untuk memulai tugas perbandingan, alih-alih melanjutkan di utas yang menghasilkannya.
Tugas perbandingan kemudian dimulai dengan satu tabel, bukan dengan setiap halaman.
Arahkan agen ke sumber yang tepat
Setiap halaman yang dibaca agen menambah konteksnya, termasuk menu, iklan, dan teks standar di sekitar bagian yang berguna. Memberikan sumber langsung kepada agen akan mengurangi gangguan tersebut.
Unggah file yang dibutuhkan tugas, seperti daftar vendor yang disetujui, dengan melampirkannya ke kueri. Sebutkan situs web yang layak ditelusuri jika agen harus mencari di web, misalnya dua direktori pemasok tepercaya.
Hubungkan alat tempat informasi tersebut berada. Misalnya, di Perplexity Computer, buka Konektor di bilah sisi dan aktifkan aplikasi yang dibutuhkan tugas, seperti Google Drive atau Slack. Lalu sebutkan aplikasi tersebut dalam kueri: "Gunakan spesifikasi kursi di Google Drive kami." Hubungkan hanya aplikasi yang relevan, karena setiap konektor menggunakan sebagian konteks agen.
Jika informasi tersebut berada di aplikasi yang tidak ada dalam daftar Konektor, aplikasi itu mungkin tetap dapat dihubungkan. Banyak aplikasi menawarkan konektor MCP (Model Context Protocol), cara standar bagi alat AI untuk terhubung ke perangkat lunak lain. Computer dapat menggunakannya bersama konektor bawaannya. Di akun perusahaan, admin mungkin perlu mengaktifkannya terlebih dahulu.
Minta pemeriksaan akhir berdasarkan instruksi
Akhiri kueri dengan langkah peninjauan yang menyebutkan batasan yang paling penting:
"Sebelum selesai, periksa setiap pemasok berdasarkan persyaratan berikut: pengiriman dalam dua minggu, di bawah $250 per kursi. Tandai pemasok yang tidak memenuhi persyaratan tersebut alih-alih menghapusnya dari daftar."
Batasan-batasan tersebut tetap berada di awal konteks. Langkah peninjauan memberi agen alasan untuk membandingkan output akhirnya dengan batasan tersebut, alih-alih mengandalkan instruksi untuk tetap berpengaruh di setiap langkah.
Sementara itu, meminta agen menandai masalah, alih-alih sekadar membuang hasil tersebut, membuat kesalahan lebih mudah ditemukan (seperti menolak pemasok yang menjanjikan barang tiba dalam 14 hari kalender karena tidak menggunakan kata “dua minggu.”)
Tinjau pekerjaan di titik pemeriksaan
Untuk tugas yang lebih panjang, sertakan titik pemeriksaan dalam kueri:
"Mulailah dengan mencari 20 calon pemasok, lalu berhenti. Saya akan mengonfirmasi daftarnya sebelum Anda mengumpulkan harga."
Periksa daftar pendek tersebut berdasarkan instruksi awal. Perbaiki apa pun yang keliru dalam pesan lanjutan, lalu biarkan agen melanjutkan. Kesalahan yang ditemukan pada tahap ini tidak akan terbawa ke setiap langkah berikutnya.
Mulai tugas baru jika tugas melenceng
Jika agen mengulangi kesalahan yang sama setelah dikoreksi, mulai tugas baru. Setiap koreksi menambah teks ke konteks yang sudah panjang. Sebagai gantinya, buat tugas baru. Nyatakan ulang instruksinya, unggah output yang bagus dari percobaan pertama, lalu mulai lagi.
Beberapa agen melakukan versi dari langkah ini secara otomatis, sebuah proses yang disebut pemadatan (compaction). Ketika tugas makin panjang, agen mengganti materi lama, seperti teks lengkap halaman yang dibacanya di awal, dengan ringkasan singkat tentang temuannya. Portable Computer dari Perplexity memadatkan konteksnya dengan cara ini, sehingga model tetap berada dalam batas jumlah yang dapat ditanganinya dengan baik.
Memulai tugas baru juga penting jika tujuannya berubah. Utas yang dimulai sebagai pencarian pemasok sebaiknya tidak sekaligus menjadi peninjauan kontrak.
Ubah instruksi yang berulang menjadi Skill
Beberapa instruksi muncul di setiap tugas jenis tertentu, seperti format tabel yang disukai, daftar vendor yang harus dihindari, atau langkah peninjauan standar. Di Computer, instruksi ini dapat disimpan sebagai Skill, yaitu sekumpulan instruksi yang dapat digunakan ulang dan diikuti agen setiap kali. Skill menerapkan praktik terbaik lainnya ke setiap tugas yang menggunakannya.
Untuk menyiapkannya:
- Pilih tugas yang sering muncul, seperti riset pemasok.
- Tuliskan instruksi yang selalu diberikan: format, pemeriksaan, serta sumber yang harus digunakan atau dihindari.
- Simpan instruksi tersebut sebagai Skill. Instruksi yang sudah ditulis dalam Markdown dapat langsung diimpor.
- Sebutkan Skill tersebut di kueri berikutnya: "Gunakan Skill riset pemasok untuk mencari pemasok kursi bagi kantor Denver."
Pendekatan Perplexity terhadap konteks dalam pekerjaan agen
Perplexity Computer menangani tugas panjang dengan cara yang menjaga konteks setiap model tetap kecil dan relevan. Tiga bagian dari desainnya membatasi seberapa banyak yang harus dibaca model sekaligus.
Membagi pekerjaan ke beberapa subagen
Computer memecah permintaan menjadi tugas dan subtugas, lalu membuat subagen untuk mengerjakannya. Setiap subagen mengerjakan satu bagian pekerjaan dalam konteksnya sendiri. Dalam tugas pemasok, satu subagen mungkin meriset harga sementara subagen lain memeriksa ketentuan pengiriman. Tidak ada yang harus membaca semua yang dibaca subagen lainnya.
Menyimpan pekerjaan dalam file
Setiap tugas Computer mendapatkan ruang kerjanya sendiri, lengkap dengan file, browser web, dan alatnya sendiri. Agen dapat menyimpan pekerjaannya ke file, seperti tabel yang terus diperbarui berisi pemasok yang sudah diperiksanya. Agen lalu membuka file itu lagi hanya saat membutuhkannya.
Memilih bagian yang relevan dari hasil pencarian
Halaman web penuh dengan materi yang tidak dibutuhkan model, seperti menu, iklan, metadata, dan teks tentang topik lain. Kompresi konteks berbasis kueri menyaring semua itu. Sebelum halaman sampai ke model, Perplexity hanya menyimpan kalimat yang berkaitan dengan kueri.
Jelajahi tips, panduan, dan contoh tugas untuk Perplexity Computer agar dapat menerapkan langkah-langkah ini.
Tanya Jawab Umum
Apakah context rot sama dengan halusinasi?
Tidak, tetapi keduanya berkaitan. Halusinasi adalah jawaban apa pun yang menyatakan sesuatu yang salah atau tidak didukung bukti. Context rot adalah salah satu kondisi yang membuat halusinasi lebih mungkin terjadi, di samping kesalahan lain seperti instruksi yang diabaikan dan detail yang terlewat.
Bisakah kueri yang lebih baik mengatasi context rot?
Kueri yang jelas mengurangi context rot dengan menjaga tugas tetap fokus. Namun, kueri tidak dapat mencegah konteks bertambah. Pada tugas yang cukup panjang, agen tetap mengumpulkan lebih banyak informasi daripada yang dapat digunakannya dengan baik. Itulah sebabnya membagi pekerjaan dan memeriksanya di sepanjang proses sama pentingnya dengan kueri itu sendiri.
Apakah context rot juga memengaruhi chat AI biasa, bukan hanya agen?
Ya. Dalam chat, konteksnya adalah seluruh percakapan sejauh ini, termasuk setiap pesan dan dokumen apa pun yang ditempelkan atau diunggah ke dalamnya. Utas yang telah berlangsung berjam-jam dengan beberapa topik dapat menghasilkan kesalahan yang sama dengan tugas agen yang panjang. Memulai utas baru untuk topik baru menjaga setiap percakapan tetap fokus.
Seberapa panjang tugas bisa berjalan sebelum context rot muncul?
Tidak ada titik yang pasti. Hal ini bergantung pada model dan tugasnya. Misalnya, model di perangkat dengan jendela konteks 260.000 token mulai kesulitan setelah melewati sekitar 100.000 token, jauh sebelum mencapai batasnya. Penurunannya juga terjadi secara bertahap, bukan tiba-tiba.