Деградация на контекста при ИИ агентите: защо дългите задачи губят точност и как да предотвратите това

Ръководство за това какво се натрупва в контекста на ИИ агента, защо това вреди на точността и как да настроите задачи, които остават надеждни.

Diagram of an AI agent's context growing from task start to late in a task: instructions are joined by stacked search results, websites, documents, and notes, while a bar showing how closely the agent follows the original instructions shrinks.

Какво означава деградацията на контекста за ИИ агентите

Деградацията на контекста (context rot) при ИИ агентите е постепенната загуба на точност, която настъпва, докато контекстът на агента се запълва по време на дълга задача.

Контекстът на агента е информацията, с която моделът разполага за следващата си стъпка. Той може да включва инструкции, по-ранни съобщения, резултати от търсене и текст от уебсайтове или файлове. Докато агентът работи, той може да добавя още.

Да кажем например, че задачата на агента е да намери доставчици, които доставят в рамките на две седмици. В началото контекстът му съдържа само тази заявка. По средата на задачата контекстът ще включва и текста на десетки уебсайтове на доставчици, няколко страници с резултати от търсене и бележки кои доставчици агентът вече е проверил.

Има ограничение за това колко контекст може да побере един модел (т.нар. контекстен прозорец). Прозорецът се измерва в токени – малки части от текст, обикновено дума или част от дума. Деградацията на контекста се засилва с нарастването на контекста, затова е най-вероятно да се появи при дълги задачи с много стъпки.

Колкото повече се задълбочава деградацията на контекста, толкова по-неточен става агентът. Той може да следва първоначалните си инструкции по-малко стриктно, да пропуска подробности или да бърка сходно изглеждаща информация с тази, която му е нужна.

Например агентът може да започне да включва доставчици, на които им трябват шест седмици, въпреки че му е било казано да намери доставка до две седмици. Инструкцията все още е в контекста му, но вече не определя изборите на агента.

Деградацията на контекста не е същото като просто изчерпване на мястото в контекстния прозорец. Когато контекстът на дадена задача надхвърли прозореца, част от материала се отрязва или задачата се проваля. Деградацията на контекста започва доста преди този момент, докато всичко все още се побира.

Тя не е същото и като отравянето на контекста (когато подвеждаща или вредна информация попадне в контекста на агента). Агент с точна и пълна информация пак може да бъде засегнат от деградация на контекста.

Защо възниква деградацията на контекста

Деградацията на контекста възниква, защото вниманието на модела е ограничено, дори когато в контекстния му прозорец има свободно място. При моделите на ИИ вниманието (attention) е техническият термин за начина, по който моделът решава на кои части от входните данни да се опре, докато пише всяка дума от отговора. Всяка част от контекста се състезава за това внимание. Колкото повече текст има, толкова по-малко внимание получава всяка част.

Например Chroma публикува проучване за това как дължината на входните данни влияе на моделите на ИИ. В него са тествани 18 модела на Anthropic, OpenAI, Google и Alibaba. В един от тестовете изследователите скриха изречение със съвет за писане в дълга сбирка от есета. След това попитаха модела какъв е съветът.

Те проведоха теста многократно, като всеки път добавяха още текст от есетата. Изречението и въпросът никога не се променяха. Променяше се само количеството текст около тях.

Колкото повече текст трябваше да прочетат моделите, толкова по-зле се справяха. Този резултат се потвърди във всеки тест от доклада. Изследователите предвиждат, че спадът в точността би бил още по-голям при реална работа с много стъпки, каквито са повечето задачи на агентите.

Как деградацията на контекста може да засегне ИИ агентите

Деградацията на контекста обикновено се проявява по един от четири начина:

Изпускане от поглед на първоначалните инструкции

Най-простият тест на Chroma изискваше от моделите да копират точно дълъг низ от повтарящи се думи, в който някъде е вмъкната една различна дума. Това беше тривиална задача с изрична инструкция. Въпреки това резултатите на всички модели се влошаваха с удължаването на текста. Някои модели започнаха да генерират думи, които изобщо не присъстваха във входните данни.

При задачите на агентите потребителят обикновено задава конкретни ограничения в началото, например бюджет или задължителен формат. С нарастването на контекста агентът може да ги прилага все по-непоследователно. Причината е общата дължина на контекста, а не мястото на инструкцията.

Пропуснати подробности от средата на задачата

Според проучване на Станфорд от 2023 г. моделите на ИИ използват информацията най-надеждно, когато тя се намира в самото начало или в самия край на входните им данни. В един от тестовете изследователите дадоха на моделите набор от 20 документа и зададоха въпрос, на който отговаряше само един от тях. Когато този документ беше първи или последен, моделите обикновено намираха отговора. Когато се намираше в средата на набора, те го пропускаха много по-често. Изследователите наричат това позиционен ефект.

Същата закономерност важи и за агентите. Информацията, открита по-рано в задачата, може да се окаже в средата на дълъг разговор, където някои модели по-трудно я използват. В примера с доставчиците крайният списък може да пропусне добър доставчик, когото агентът е проверил по средата на задачата.

Объркване на сходна информация

С нарастването на контекста агентите може да започнат по-трудно да разпознават коя информация отговаря на инструкциите им. Да кажем например, че потребителят е казал на агента да намери доставчици, които доставят „в рамките на две седмици“. На уебсайта на даден доставчик пише „пристига в рамките на 14 календарни дни от поръчката“. При кратка задача агентът вероятно би забелязал, че това означава едно и също. Затрупан сред десетки други страници на доставчици, той по-вероятно ще пропусне съвпадението.

Възможно е също агентът да започне да включва резултати, които не са релевантни. Да кажем, че агентът търси доставчици на офис столове. Уебсайтът на един доставчик обещава доставка до две седмици, но само за бюра. Столовете му се доставят за шест седмици. Уебсайтът използва същите думи като инструкцията, така че агентът може все пак да добави доставчика в списъка си. Изследователите наричат такава информация дистрактор. Тя изглежда релевантна, но не е, затова се състезава с информацията, която има значение.

Проучването на Chroma установи, че и двата проблема се задълбочават с нарастването на количеството околен текст.

Грешки, които трудно се забелязват

Деградацията на контекста не предизвиква съобщение за грешка. Агентът продължава да работи и връща резултат, който изглежда завършен. Затова грешките му лесно остават незабелязани.

В тестовете на Chroma тези грешки бяха два вида. Понякога моделът даваше уверен, но грешен отговор. В примера с проучването на доставчици агентът може да предостави спретнат, добре форматиран списък, който включва доставчик, чиито условия за доставка е разчел погрешно.

Друг път моделът заявяваше, че не може да намери информация, която всъщност е била там. Например агентът може да предостави доклад, според който нито един доставчик не отговаря на ограничението от две седмици, когато всъщност няколко отговарят.

Как да настроите задачите на агента, за да намалите деградацията на контекста

Правилната настройка на задачите свежда до минимум влиянието на деградацията на контекста и поддържа агента възможно най-точен през цялата задача. Следните добри практики могат да помогнат.

Формулирайте задачата като конкретно задание

Ясното задание поддържа контекста по-малък. Агентът знае кога е приключил, така че спира да събира материали, щом има достатъчно. Конкретните изисквания също му дават нещо осезаемо, спрямо което да проверява всяка страница. Така агентът по-лесно открива правилната информация.

Преди да изпратите задача, проверете дали тя обхваща три неща:

  • Задачата: какво трябва да направи и да предостави агентът, например „намери доставчици и върни кратък списък“.
  • Изискванията: фактите, които агентът не може да отгатне, например бюджетът, крайният срок, адресът за доставка и за кого е предназначен резултатът.
  • Резултатът: форматът, дължината и структурата, например „таблица с име, цена на стол и срок за доставка“.

Събрана на едно място, заявката за задачата с доставчиците може да изглежда така:

„Намери 10 доставчици, които могат да доставят 40 офис стола до офиса ни в Чикаго в рамките на две седмици, на цена под 250 $ за стол. Върни таблица с име на доставчика, цена на стол, срок за доставка и връзка към страницата на продукта. Списъкът е за офис мениджъра ни, който ще направи поръчката.“

Поддържайте всяка задача фокусирана

Една задача с една ясна цел поддържа контекста малък. Освен това дългите задачи струват повече. Всяка стъпка обработва всичко, събрано дотук, така че раздутият контекст изразходва повече кредити на всяка стъпка.

Ако проектът има няколко части, разделете го:

  1. Избройте отделните крайни продукти, например търсене на доставчици, сравнение на цените и имейл до избрания доставчик.
  2. Изпълнявайте всеки краен продукт като отделна задача.
  3. Предавайте от една задача на следващата само готовия резултат. Например качете таблицата с доставчиците като файл, за да започнете задачата за сравнение, вместо да продължавате в темата, в която е създадена.

Тогава задачата за сравнение започва с една таблица вместо с всички страници.

Насочете агента към правилните източници

Всяка страница, която агентът прочита, се добавя към контекста му, включително менютата, рекламите и шаблонния текст около полезната част. Когато дадете на агента източниците директно, този шум намалява.

Качете файловете, от които зависи задачата, например списъка с одобрени доставчици, като ги прикачите към заявката. Когато агентът трябва да търси в мрежата, посочете уебсайтовете, в които си струва да търси, например два надеждни каталога на доставчици.

Свържете инструментите, в които се намира информацията. Например в Perplexity Computer отворете „Конектори“ в страничната лента и активирайте приложенията, от които се нуждае задачата, например Google Drive или Slack. След това ги споменете в заявката: „Използвай спецификациите на столовете в нашия Google Drive.“ Свързвайте само релевантни приложения, тъй като всеки конектор заема част от контекста на агента.

Ако информацията се намира в приложение, което не е в списъка с конектори, може все пак да е възможно да го свържете. Много приложения предлагат конектор за MCP (Model Context Protocol) – стандартен начин, по който ИИ инструментите се свързват с друг софтуер. Computer може да ги използва наред с вградените си конектори. При фирмен акаунт може първо да се наложи администратор да ги активира.

Поискайте финална проверка спрямо инструкциите

Завършете заявката със стъпка за преглед, в която са посочени най-важните ограничения:

„Преди да приключиш, провери всеки доставчик спрямо следните изисквания: доставка в рамките на две седмици, под 250 $ на стол. Отбележи всички, които не отговарят на тези изисквания, вместо да ги пропускаш.“

Ограниченията все още стоят в началото на контекста. Стъпката за преглед дава на агента причина да сравни крайния си резултат с ограниченията, вместо да разчита инструкциите да запазят влиянието си през всяка стъпка.

Освен това, ако го помолите да отбелязва проблемите, вместо просто да изключва тези резултати, грешките се улавят по-лесно (например отхвърляне на доставчик, който обещава доставка в рамките на 14 календарни дни, защото не използва думите „две седмици“).

Преглеждайте работата на контролни точки

При по-дълги задачи включете контролна точка в заявката:

„Започни с намирането на 20 потенциални доставчици, след това спри. Ще потвърдя списъка, преди да събереш цените.“

Проверете краткия списък спрямо първоначалните инструкции. Коригирайте всичко неточно в следващо съобщение, след което оставете агента да продължи. Грешките, уловени на този етап, няма да се пренесат във всяка следваща стъпка.

Започнете нова задача, когато някоя се отклони от курса

Ако агентът повтаря същата грешка след корекциите, започнете нова задача. Всяка корекция добавя още текст към и без това дългия контекст. Вместо това създайте нова задача. Повторете инструкциите, качете всеки полезен резултат от първия опит и започнете отначало.

Някои агенти правят вариант на това автоматично – процес, наречен уплътняване (compaction). Когато задачата стане дълга, агентът заменя по-стария материал, например пълния текст на страниците, прочетени в началото, с кратко резюме на откритото. Portable Computer на Perplexity уплътнява контекста си по този начин, така че моделът да остава в рамките на обема, с който може да се справи добре.

Важно е също да започнете нова задача, ако целта се промени. Тема, започнала като търсене на доставчици, не бива да се превръща и в преглед на договор.

Превърнете повтарящите се инструкции в умение

Някои инструкции се повтарят във всяка задача от определен вид, например предпочитан формат на таблицата, списък с доставчици, които да се избягват, или стандартна стъпка за преглед. В Computer те могат да бъдат запазени като умение – набор от инструкции за многократна употреба, които агентът следва всеки път. Умението вгражда останалите добри практики във всяка задача, която го използва.

За да настроите умение:

  1. Изберете задача, която се повтаря често, например проучване на доставчици.
  2. Запишете инструкциите, които давате всеки път: формата, проверките, източниците, които да се използват или избягват.
  3. Запазете ги като умение. Инструкциите, които вече са написани в Markdown, могат да бъдат импортирани директно.
  4. Посочвайте умението в бъдещите заявки: „Използвай умението за проучване на доставчици, за да намериш доставчици на столове за офиса в Денвър.“

Как Perplexity подхожда към контекста в работата на агентите

Perplexity Computer се справя с дългите задачи по начини, които поддържат контекста на всеки модел малък и релевантен. Три елемента от дизайна му ограничават колко трябва да прочете даден модел наведнъж.

Разпределяне на работата между подагенти

Computer разделя заявката на задачи и подзадачи, след което създава подагенти, които да ги изпълнят. Всеки подагент работи върху една част от работата в собствен контекст. В задачата с доставчиците един подагент може да проучва цените, докато друг проверява условията за доставка. Никой от тях не трябва да чете всичко, което е прочел другият.

Съхраняване на работата във файлове

Всяка задача в Computer получава собствено работно пространство със свои файлове, уеб браузър и инструменти. Агентът може да запази работата си във файл, например в текуща таблица на проверените доставчици. След това отваря този файл отново само когато има нужда от него.

Подбор на релевантни пасажи от резултатите от търсенето

Уеб страниците са пълни с материал, от който моделът не се нуждае, например менюта, реклами, метаданни и текст по други теми. Компресията на контекста, съобразена със заявката, премахва всичко това. Преди дадена страница да стигне до модела, Perplexity запазва само изреченията, свързани със заявката.

Разгледайте съвети, ръководства и примерни задачи за Perplexity Computer, за да приложите тези стъпки на практика.

Често задавани въпроси

Деградацията на контекста същото ли е като халюцинацията?

Не, но двете са свързани. Халюцинация е всеки отговор, който твърди нещо невярно или необосновано. Деградацията на контекста е едно от условията, които правят халюцинациите по-вероятни, наред с други грешки като пренебрегнати инструкции и пропуснати подробности.

Може ли по-добра заявка да реши проблема с деградацията на контекста?

Ясната заявка намалява деградацията на контекста, като поддържа задачата фокусирана. Тя обаче не може да спре нарастването на контекста. При достатъчно дълга задача агентът пак събира повече, отколкото може да използва добре, затова разделянето на работата и проверката ѝ в хода на изпълнението са толкова важни, колкото и самата заявка.

Засяга ли деградацията на контекста и обикновените чатове с ИИ, а не само агентите?

Да. В чата контекстът е целият разговор дотук, включително всяко съобщение и всички документи, поставени или качени в него. Тема, която продължава с часове и обхваща няколко различни въпроса, може да доведе до същите грешки като дълга задача на агент. Ако започвате нова тема за всеки нов въпрос, всеки разговор остава фокусиран.

Колко дълга може да стане една задача, преди да настъпи деградация на контекста?

Няма фиксирана граница. Зависи от модела и задачата. Например моделите, работещи на устройството, с контекстни прозорци от 260 000 токена започват да се затрудняват след около 100 000 токена – доста под лимита си. Освен това спадът е постепенен, а не внезапен.