Деградація контексту в ШІ-агентах: чому тривалі завдання втрачають точність і як цьому запобігти
Посібник про те, що накопичується в контексті ШІ-агента, чому це шкодить точності та як налаштовувати завдання, щоб вони залишалися надійними.

Що означає деградація контексту для ШІ-агентів
Деградація контексту (context rot) у ШІ-агентах — це поступова втрата точності, яка настає, коли під час тривалого завдання контекст агента заповнюється.
Контекст агента — це інформація, доступна моделі для наступного кроку. Він може містити інструкції, попередні повідомлення, результати пошуку й текст із вебсайтів або файлів. У процесі роботи агент може додавати до нього нову інформацію.
Наприклад, припустімо, що завдання агента — знайти постачальників, які доставляють товар протягом двох тижнів. На початку його контекст містить лише цей запит. У середині завдання в контексті вже будуть тексти десятків вебсайтів постачальників, кілька сторінок результатів пошуку та нотатки про те, яких постачальників агент уже перевірив.
Обсяг контексту, який може вмістити модель, обмежений (цю межу називають контекстним вікном). Вікно вимірюється в токенах — невеликих фрагментах тексту, зазвичай це слово або частина слова. Деградація контексту посилюється в міру зростання контексту, тому найчастіше вона виникає в тривалих завданнях із багатьма кроками.
Що сильніша деградація контексту, то менш точним стає агент. Він може менш суворо дотримуватися початкових інструкцій, пропускати деталі або сплутувати схожу на вигляд інформацію з тією, яка йому потрібна.
Наприклад, агент може почати включати постачальників, яким на доставку потрібно шість тижнів, хоча йому було сказано шукати доставку за два тижні. Інструкція досі є в його контексті, але вже не впливає на вибір агента.
Деградація контексту — це не те саме, що просто брак місця в контекстному вікні. Коли контекст завдання перевищує розмір вікна, частина матеріалу відсікається або завдання завершується збоєм. Деградація контексту починається задовго до цього моменту, поки все ще вміщується у вікно.
Також це не те саме, що отруєння контексту (коли в контекст агента потрапляє оманлива або шкідлива інформація). Навіть агент із точною й повною інформацією може зіткнутися з деградацією контексту.
Чому виникає деградація контексту
Деградація контексту виникає тому, що увага моделі обмежена, навіть коли в її контекстному вікні ще є вільне місце. У моделях ШІ увага — це технічний термін, що описує, як модель вирішує, на які частини вхідних даних спиратися, генеруючи кожне слово відповіді. Усі частини контексту конкурують за цю увагу. Що більше тексту, то менше уваги дістається кожній частині.
Наприклад, компанія Chroma опублікувала дослідження про те, як довжина вхідних даних впливає на моделі ШІ. Вона протестувала 18 моделей від Anthropic, OpenAI, Google та Alibaba. В одному з тестів дослідники сховали речення з порадою щодо письма у великій збірці есе. Потім вони запитали модель, у чому полягала порада.
Вони проводили тест багато разів, щоразу додаючи більше тексту есе. Речення й запитання ніколи не змінювалися. Змінювався лише обсяг тексту навколо них.
Що більше тексту мали прочитати моделі, то гірше вони справлялися. Цей висновок підтвердився в усіх тестах звіту. Дослідники припускають, що в реальній роботі з багатьма кроками, як-от у більшості завдань агентів, падіння точності було б ще більшим.
Як деградація контексту може впливати на ШІ-агентів
Зазвичай деградація контексту проявляється одним із чотирьох способів:
Втрата фокусу на початкових інструкціях
У найпростішому тесті Chroma моделі мали точно скопіювати довгий рядок повторюваних слів, у який десь було вставлено одне інше слово. Це було тривіальне завдання з чіткою інструкцією. Проте зі збільшенням довжини тексту якість роботи знижувалася в усіх моделей. Деякі моделі почали генерувати слова, яких у вхідних даних узагалі не було.
У завданні для агента користувач зазвичай задає конкретні обмеження на самому початку, як-от бюджет або потрібний формат. Зі зростанням контексту агент може застосовувати їх менш послідовно. Причина — загальна довжина контексту, а не місце, де розташована інструкція.
Пропущені деталі з середини завдання
Згідно з дослідженням Стенфордського університету 2023 року, моделі ШІ найнадійніше використовують інформацію, коли вона розташована на самому початку або в самому кінці вхідних даних. В одному з тестів дослідники дали моделям набір із 20 документів і поставили запитання, відповідь на яке містив лише один із них. Коли цей документ був першим або останнім, моделі зазвичай знаходили відповідь. Коли ж він був у середині набору, вони пропускали її значно частіше. Дослідники називають це ефектом позиції.
Та сама закономірність стосується й агентів. Інформація, знайдена раніше під час завдання, може опинитися в середині довгої розмови, де деяким моделям важче нею скористатися. У прикладі з постачальниками до остаточного списку може не потрапити хороший постачальник, якого агент перевірив посеред завдання.
Плутання схожої інформації
Зі зростанням контексту агентам може ставати важче розпізнавати, яка інформація відповідає їхнім інструкціям. Наприклад, користувач попросив агента знайти постачальників, які доставляють «протягом двох тижнів». На вебсайті постачальника написано «доставка протягом 14 календарних днів із моменту замовлення». У короткому завданні агент, найімовірніше, помітив би, що це одне й те саме. Але серед десятків інших сторінок постачальників він з більшою ймовірністю цей збіг пропустить.
Або ж агент може почати включати нерелевантні результати. Скажімо, агент шукає постачальників офісних стільців. Вебсайт одного з постачальників обіцяє доставку за два тижні, але лише для столів. Стільці ж він доставляє за шість тижнів. На вебсайті використано ті самі слова, що й в інструкції, тож агент однаково може додати цього постачальника до списку. Дослідники називають таку інформацію дистрактором. Вона здається релевантною, але такою не є, тому конкурує з інформацією, яка справді важлива.
Дослідження Chroma показало, що обидві проблеми посилювалися зі збільшенням обсягу навколишнього тексту.
Помилки, які важко помітити
Деградація контексту не спричиняє повідомлення про помилку. Агент продовжує працювати й повертає результат, який виглядає завершеним. Через це його помилки легко пропустити.
У тестах Chroma ці помилки мали дві форми. Іноді модель упевнено давала неправильну відповідь. У прикладі з пошуком постачальників агент може надати акуратний, добре відформатований список, у якому буде постачальник, чиї умови доставки агент неправильно зрозумів.
В інших випадках модель стверджувала, що не може знайти інформацію, яка насправді була в контексті. Наприклад, агент міг би надати звіт, у якому сказано, що жоден постачальник не вкладається у двотижневий термін, хоча насправді таких кілька.
Як налаштувати завдання для агента, щоб зменшити деградацію контексту
Правильно налаштовані завдання мінімізують вплив деградації контексту й допомагають агенту залишатися максимально точним протягом усього завдання. У цьому допоможуть наведені нижче найкращі практики.
Формулюйте завдання як доручення
Чітке доручення не дає контексту надмірно розростатися. Агент знає, коли роботу виконано, тож припиняє збирати матеріали, щойно їх стає достатньо. Конкретні вимоги також дають йому чіткі критерії для перевірки кожної сторінки. Так агенту легше помітити потрібну інформацію.
Перш ніж надіслати завдання, переконайтеся, що воно охоплює три речі:
- Завдання: що агент має зробити й надати в результаті, наприклад «знайди постачальників і поверни короткий список».
- Вимоги: факти, яких агент не може вгадати, як-от бюджет, кінцевий термін, адреса доставки та для кого призначений результат.
- Результат: формат, обсяг і структура, наприклад «таблиця з назвою, ціною за стілець і терміном доставки».
Разом запит для завдання з постачальниками може виглядати так:
«Знайди 10 постачальників, які можуть доставити 40 офісних стільців до нашого офісу в Чикаго протягом двох тижнів за ціною до $250 за стілець. Поверни таблицю з назвою постачальника, ціною за стілець, терміном доставки та посиланням на сторінку товару. Список призначений для нашого офіс-менеджера, який розміщуватиме замовлення».
Зберігайте фокус кожного завдання
Одне завдання з однією чіткою метою не дає контексту розростатися. До того ж тривалі завдання коштують дорожче. На кожному кроці обробляється все, що зібрано до цього, тож роздутий контекст витрачає більше кредитів на кожному кроці.
Якщо проєкт складається з кількох частин, розділіть його:
- Перелічіть окремі результати роботи, наприклад пошук постачальників, порівняння цін і лист обраному постачальнику.
- Для кожного результату запускайте окреме завдання.
- Передавайте з одного завдання в наступне лише готовий результат. Наприклад, щоб почати завдання з порівняння, завантажте таблицю постачальників як файл, а не продовжуйте в треді, де її було створено.
Тоді завдання з порівняння починається з однієї таблиці, а не з усіх сторінок.
Вкажіть агенту правильні джерела
Кожна сторінка, яку читає агент, додається до його контексту, включно з меню, рекламою та шаблонним текстом навколо корисної частини. Якщо надати агенту джерела напряму, цього шуму стане менше.
Завантажте файли, від яких залежить завдання, наприклад список затверджених постачальників, прикріпивши їх до запиту. Якщо агенту потрібно шукати в інтернеті, назвіть вебсайти, на яких варто шукати, наприклад два перевірені каталоги постачальників.
Підключіть інструменти, у яких зберігається інформація. Наприклад, у Perplexity Computer відкрийте розділ «Конектори» на бічній панелі та ввімкніть застосунки, потрібні для завдання, як-от Google Drive або Slack. Потім згадайте їх у запиті: «Використай специфікації стільців із нашого Google Drive». Підключайте лише релевантні застосунки, адже кожен конектор займає частину контексту агента.
Якщо інформація зберігається в застосунку, якого немає в списку конекторів, його, можливо, все одно вдасться підключити. Багато застосунків пропонують конектор MCP (Model Context Protocol) — стандартний спосіб підключення інструментів ШІ до іншого програмного забезпечення. Computer може використовувати такі конектори разом із вбудованими. У корпоративному обліковому записі адміністратору, можливо, спершу доведеться їх увімкнути.
Попросіть про фінальну перевірку на відповідність інструкціям
Завершіть запит кроком перевірки, у якому названо найважливіші обмеження:
«Перш ніж завершити, перевір кожного постачальника на відповідність цим вимогам: доставка протягом двох тижнів, ціна до $250 за стілець. Познач тих, хто не відповідає цим вимогам, замість того щоб їх вилучати».
Обмеження й далі розташовані на початку контексту. Крок перевірки дає агенту причину порівняти фінальний результат з обмеженнями, а не покладатися на те, що інструкції зберігатимуть свій вплив на кожному кроці.
Водночас якщо попросити агента позначати проблеми, а не просто відкидати такі результати, помилки легше виявити (наприклад, коли агент відхиляє постачальника, який обіцяє доставку протягом 14 календарних днів, лише тому, що той не вживає слів «два тижні»).
Перевіряйте роботу в контрольних точках
Для довших завдань додайте до запиту контрольну точку:
«Спершу знайди 20 потенційних постачальників і зупинись. Я підтверджу список, перш ніж ти почнеш збирати ціни».
Перевірте короткий список на відповідність початковим інструкціям. Виправте все, що не так, у наступному повідомленні, а потім дозвольте агенту продовжити. Помилки, виявлені на цьому етапі, не перейдуть у всі наступні кроки.
Почніть нове завдання, якщо поточне пішло не так
Якщо агент повторює ту саму помилку після виправлень, почніть нове завдання. Кожне виправлення додає ще більше тексту до вже довгого контексту. Натомість створіть нове завдання. Повторіть інструкції, завантажте вдалі результати першої спроби й почніть знову.
Деякі агенти роблять щось подібне автоматично — цей процес називається ущільненням. Коли завдання стає довгим, агент замінює старіший матеріал, як-от повний текст сторінок, прочитаних на початку, коротким підсумком знайденого. Portable Computer від Perplexity ущільнює свій контекст саме так, тож модель залишається в межах обсягу, з яким вона добре справляється.
Також важливо починати нове завдання, якщо змінюється мета. Тред, який починався як пошук постачальників, не повинен перетворюватися ще й на перевірку договору.
Перетворіть повторювані інструкції на навичку
Деякі інструкції повторюються в кожному завданні певного типу, як-от бажаний формат таблиці, список постачальників, яких слід уникати, або стандартний крок перевірки. У Computer їх можна зберегти як навичку — набір інструкцій багаторазового використання, яких агент дотримується щоразу. Навичка вбудовує інші найкращі практики в кожне завдання, яке її використовує.
Як її налаштувати:
- Виберіть завдання, яке трапляється часто, наприклад пошук постачальників.
- Запишіть інструкції, які ви даєте щоразу: формат, перевірки, джерела, які слід використовувати або уникати.
- Збережіть їх як навичку. Інструкції, уже написані в Markdown, можна імпортувати напряму.
- Згадуйте навичку в майбутніх запитах: «Використай навичку пошуку постачальників, щоб знайти постачальників стільців для офісу в Денвері».
Як Perplexity працює з контекстом в агентних завданнях
Perplexity Computer виконує тривалі завдання так, щоб контекст кожної моделі залишався невеликим і релевантним. Три складники його архітектури обмежують обсяг інформації, який моделі доводиться читати за раз.
Розподіл роботи між субагентами
Computer розбиває запит на завдання й підзавдання, а потім створює субагентів для їх виконання. Кожен субагент працює над однією частиною роботи у власному контексті. У завданні з постачальниками один субагент може досліджувати ціни, а інший — перевіряти умови доставки. Жодному з них не потрібно читати все, що прочитав інший.
Збереження роботи у файлах
Кожне завдання Computer отримує власне робоче середовище з окремими файлами, браузером та інструментами. Агент може зберігати свою роботу у файл, наприклад у таблицю перевірених постачальників, яку він поступово доповнює. Потім він знову відкриває цей файл лише тоді, коли це потрібно.
Вибір релевантних фрагментів із результатів пошуку
Вебсторінки переповнені матеріалом, який моделі не потрібен: меню, реклама, метадані й текст на інші теми. Стиснення контексту з урахуванням запиту видаляє все це. Перш ніж сторінка потрапить до моделі, Perplexity залишає лише речення, пов’язані із запитом.
Ознайомтеся з порадами, посібниками й прикладами завдань для Perplexity Computer, щоб застосувати ці кроки на практиці.
Поширені запитання
Чи деградація контексту — це те саме, що галюцинації?
Ні, але вони пов’язані. Галюцинація — це будь-яка відповідь, що містить хибне або необґрунтоване твердження. Деградація контексту — одна з умов, що підвищують імовірність галюцинацій, а також інших помилок, як-от ігнорування інструкцій і пропуск деталей.
Чи можна виправити деградацію контексту кращим запитом?
Чіткий запит зменшує деградацію контексту, бо допомагає зберегти фокус завдання. Проте він не може зупинити зростання контексту. У досить тривалому завданні агент усе одно збирає більше, ніж може ефективно використати, тому розділення роботи й перевірка на проміжних етапах важать не менше, ніж сам запит.
Чи впливає деградація контексту на звичайні чати з ШІ, а не лише на агентів?
Так. У чаті контекстом є вся розмова на цей момент, включно з кожним повідомленням і будь-якими документами, вставленими або завантаженими в неї. Тред, що триває годинами й охоплює кілька тем, може призводити до тих самих помилок, що й тривале завдання агента. Якщо починати новий тред для нової теми, кожна розмова залишатиметься сфокусованою.
Наскільки довгим може бути завдання, перш ніж почнеться деградація контексту?
Фіксованої межі немає. Усе залежить від моделі та завдання. Наприклад, моделі, що працюють на пристрої, з контекстними вікнами на 260 000 токенів починають зазнавати труднощів після приблизно 100 000 токенів — задовго до свого ліміту. До того ж погіршення відбувається поступово, а не раптово.