Деградација контекста код AI агената: зашто дуги задаци губе на тачности и како то спријечити
Водич о томе шта се гомила у контексту AI агента, зашто то нарушава тачност и како поставити задатке који остају поуздани.

Шта деградација контекста значи за AI агенте
Деградација контекста код AI агената је постепени губитак тачности до којег долази како се контекст агента попуњава током дугог задатка.
Контекст агента су информације које модел има на располагању за свој сљедећи корак. Он може да обухвата упутства, раније поруке, резултате претраге и текст са веб-сајтова или из фајлова. Док агент ради, може да додаје још садржаја.
На примјер, рецимо да је задатак агента да пронађе добављаче који испоручују у року од двије седмице. На почетку, његов контекст садржи само тај захтјев. Средином задатка, контекст ће садржати и текст са десетина веб-сајтова добављача, неколико страница резултата претраге и биљешке о томе које је добављаче агент већ провјерио.
Постоји ограничење колико контекста модел може да задржи (то се зове контекстни прозор). Прозор се мјери у токенима, који су мали дијелови текста, обично ријеч или дио ријечи. Деградација контекста се појачава како контекст расте, због чега је највјероватнија у дугим задацима са много корака.
Како деградација контекста напредује, агент постаје мање тачан. Може мање досљедно да се придржава првобитних упутстава, да превиди детаље или да информације које изгледају слично замијени са оним што му је потребно.
На примјер, агент би могао да почне да укључује добављаче којима за испоруку треба шест седмица, иако му је речено да пронађе испоруку за двије седмице. Упутство је и даље у његовом контексту, али више не усмјерава одлуке агента.
Деградација контекста није исто што и једноставно понестајање простора у контекстном прозору. Када контекст задатка премаши прозор, дио садржаја се одсијеца или задатак не успије. Деградација контекста почиње много прије тога, док још све стаје у прозор.
Није исто ни што и тровање контекста (када обмањујуће или штетне информације доспију у контекст агента). Агент са тачним и потпуним информацијама и даље може да искуси деградацију контекста.
Зашто долази до деградације контекста
До деградације контекста долази зато што је пажња модела ограничена, чак и када у његовом контекстном прозору има још доста мјеста. Код AI модела, пажња је технички термин за начин на који модел одлучује на које дијелове свог улаза да се ослони док пише сваку ријеч одговора. Сви дијелови контекста се надмећу за ту пажњу. Што је више текста, сваки дио добија мање пажње.
На примјер, Chroma је објавила студију о томе како дужина улаза утиче на AI моделе. Тестирано је 18 модела компанија Anthropic, OpenAI, Google и Alibaba. У једном тесту, истраживачи су сакрили реченицу са савјетом о писању у дугачку збирку есеја. Затим су питали модел који је то савјет био.
Тест су поновили много пута, сваки пут додајући још текста из есеја. Реченица и питање се никада нису мијењали. Мијењала се само количина текста око њих.
Што су модели морали да прочитају више текста, то су лошије радили. Овај налаз се потврдио у свим тестовима у извјештају. Истраживачи предвиђају да би пад тачности био још већи у стварном раду који захтијева много корака, као што је већина задатака агената.
Како деградација контекста може да утиче на AI агенте
Деградација контекста се обично испољава на један од четири начина:
Губљење из вида првобитних упутстава
Најједноставнији тест компаније Chroma тражио је од модела да тачно препишу дугачак низ поновљених ријечи, у који је негдје уметнута једна другачија ријеч. Био је то тривијалан задатак са експлицитним упутством. Ипак, учинак свих модела је опадао како је текст постајао дужи. Неки модели су почели да генеришу ријечи којих уопште није било у улазу.
У задатку агента, корисник обично на почетку задаје одређена ограничења, као што су буџет или обавезни формат. Агент их може примјењивати мање досљедно како контекст расте. Узрок је укупна дужина контекста, а не мјесто на којем се упутство налази.
Пропуштени детаљи из средине задатка
AI модели најпоузданије користе информације када се оне налазе на самом почетку или на самом крају њиховог улаза, према студији Универзитета Стенфорд из 2023. године. У једном тесту, истраживачи су моделима дали скуп од 20 докумената и поставили питање на које је одговор садржао само један од њих. Када је тај документ био први или посљедњи, модели су обично проналазили одговор. Када се налазио у средини скупа, много чешће су га пропуштали. Истраживачи ово називају ефектом позиције.
Исти образац важи и за агенте. Информације пронађене раније у задатку могу се наћи у средини дугачког разговора, гдје неки модели теже успијевају да их искористе. У примјеру са добављачима, коначна листа би могла да изостави доброг добављача којег је агент провјерио на пола задатка.
Мијешање сличних информација
Како контекст расте, агентима може бити све теже да препознају које информације одговарају њиховим упутствима. На примјер, рецимо да је корисник рекао агенту да пронађе добављаче који шаљу робу „у року од двије седмице“. На веб-сајту једног добављача пише „стиже у року од 14 календарских дана од наручивања“. У кратком задатку, агент би вјероватно уочио да то значи исто. Када је затрпан међу десетинама страница других добављача, већа је вјероватноћа да ће пропустити ово подударање.
Друга могућност је да агент почне да укључује резултате који нису релевантни. Рецимо да агент тражи добављаче канцеларијских столица. Веб-сајт једног добављача обећава испоруку за двије седмице, али само за столове. Његове столице стижу за шест седмица. Веб-сајт користи исте ријечи као упутство, па агент ипак може да дода тог добављача на своју листу. Истраживачи овакве информације називају дистрактором. Оне дјелују релевантно, али нису, па се надмећу са информацијама које су важне.
Студија компаније Chroma показала је да су се оба проблема погоршавала како је количина околног текста расла.
Грешке које је тешко уочити
Деградација контекста не покреће поруку о грешци. Агент наставља да ради и враћа резултат који изгледа завршено. Због тога је његове грешке лако превидјети.
У тестовима компаније Chroma, ове грешке су имале два облика. Понекад је модел самоувјерено давао погрешан одговор. У примјеру истраживања добављача, агент би могао да испоручи уредну, добро форматирану листу добављача која укључује добављача чије је услове испоруке погрешно протумачио.
Други пут је модел тврдио да не може да пронађе информације које су заправо биле ту. На примјер, агент би могао да преда извјештај у којем пише да ниједан добављач не испуњава рок од двије седмице, иако га неколико њих испуњава.
Како поставити задатке агента да бисте смањили деградацију контекста
Правилно постављени задаци умањиће утицај деградације контекста и одржати агента што тачнијим током цијелог задатка. Помоћи ће вам сљедеће најбоље праксе.
Напишите задатак као задужење
Јасно задужење одржава контекст мањим. Агент зна када је завршио, па престаје да прикупља материјал чим има довољно. Конкретни захтјеви му такође дају нешто опипљиво са чим може да упореди сваку страницу. Тако агент лакше уочава праве информације.
Прије слања задатка, провјерите да ли обухвата три ствари:
- Задатак: шта агент треба да уради и испоручи, на примјер „пронађи добављаче и врати ужи избор“.
- Захтјеви: чињенице које агент не може да погоди, као што су буџет, рок, адреса за испоруку и за кога је резултат намијењен.
- Резултат: формат, дужина и структура, на примјер „табела са називом, цијеном по столици и роком испоруке“.
Када се све споји, упит за задатак са добављачима могао би да изгледа овако:
„Пронађи 10 добављача који могу да испоруче 40 канцеларијских столица у нашу канцеларију у Чикагу у року од двије седмице, по цијени мањој од 250 долара по столици. Врати табелу са називом добављача, цијеном по столици, роком испоруке и линком ка страници производа. Листа је за нашег управника канцеларије, који ће направити поруџбину.“
Нека сваки задатак буде фокусиран
Један задатак са једним јасним циљем одржава контекст малим. Дуги задаци су и скупљи. Сваки корак обрађује све што је до тада прикупљено, па претрпан контекст троши више кредита у сваком кораку.
Ако пројекат има више дијелова, подијелите га:
- Наведите засебне резултате које треба испоручити, на примјер претрагу добављача, поређење цијена и имејл изабраном добављачу.
- Сваки од њих покрените као засебан задатак.
- Из једног задатка у сљедећи пренесите само готов резултат. На примјер, отпремите табелу добављача као фајл да бисте започели задатак поређења, умјесто да наставите у треду у којем је настала.
Задатак поређења тада почиње са једном табелом умјесто са свим страницама.
Усмјерите агента на праве изворе
Свака страница коју агент прочита додаје се његовом контексту, укључујући меније, огласе и шаблонски текст око корисног дијела. Ако агенту директно дате изворе, смањујете тај шум.
Отпремите фајлове од којих задатак зависи, као што је листа одобрених добављача, тако што ћете их приложити уз упит. Када агент мора да претражује веб, наведите веб-сајтове које вриједи претражити, на примјер два поуздана именика добављача.
Повежите алате у којима се налазе информације. На примјер, у Perplexity Computer отворите „Конектори“ на бочној траци и омогућите апликације потребне за задатак, као што су Google Drive или Slack. Затим их наведите у упиту: „Користи спецификације столица из нашег Google Drive-а.“ Повезујте само релевантне апликације, јер сваки конектор заузима дио контекста агента.
Ако се информације налазе у апликацији које нема на листи „Конектори“, можда је ипак могуће повезати је. Многе апликације нуде MCP (Model Context Protocol) конектор, стандардни начин на који се AI алати повезују са другим софтвером. Computer може да их користи уз своје уграђене конекторе. На пословном налогу, администратор ће можда прво морати да их омогући.
Затражите завршну провјеру у односу на упутства
Завршите упит кораком провјере који наводи најважнија ограничења:
„Прије него што завршиш, провјери сваког добављача у односу на ове захтјеве: испорука у року од двије седмице, цијена мања од 250 долара по столици. Означи све који не испуњавају те захтјеве умјесто да их изоставиш.“
Ограничења се и даље налазе на почетку контекста. Корак провјере даје агенту разлог да упореди свој коначни резултат са ограничењима, умјесто да се ослања на то да ће упутства задржати свој утицај кроз сваки корак.
Истовремено, ако од агента тражите да означи проблеме умјесто да само одбаци такве резултате, грешке ћете лакше уочити (на примјер, одбацивање добављача који обећава испоруку у року од 14 календарских дана зато што не користи ријечи „двије седмице“).
Провјеравајте рад на контролним тачкама
За дуже задатке, уградите контролну тачку у упит:
„Почни тако што ћеш пронаћи 20 потенцијалних добављача, а онда стани. Потврдићу листу прије него што почнеш да прикупљаш цијене.“
Провјерите ужи избор у односу на првобитна упутства. Исправите све што није у реду у сљедећој поруци, а затим пустите агента да настави. Грешке уочене у овој фази неће се пренијети на сваки сљедећи корак.
Покрените нови задатак када неки скрене с правца
Ако агент понавља исту грешку и након исправки, покрените нови задатак. Свака исправка додаје још текста већ дугачком контексту. Умјесто тога, направите нови задатак. Поново наведите упутства, отпремите сваки добар резултат из првог покушаја и почните изнова.
Неки агенти аутоматски раде нешто слично, кроз процес који се зове сажимање. Како задатак постаје дуг, агент замјењује старији материјал, као што је цио текст страница које је прочитао на почетку, кратким резимеом онога што је пронашао. Portable Computer компаније Perplexity сажима свој контекст на овај начин, тако да модел остаје у оквиру количине коју може добро да обради.
Такође је важно покренути нови задатак ако се циљ промијени. Тред који је почео као претрага добављача не би требало да постане и преглед уговора.
Претворите упутства која се понављају у вјештину
Нека упутства се понављају у сваком задатку одређене врсте, као што су жељени формат табеле, листа добављача које треба избјегавати или стандардни корак провјере. У апликацији Computer она се могу сачувати као вјештина, скуп упутстава за вишекратну употребу које агент сваки пут слиједи. Вјештина уграђује остале најбоље праксе у сваки задатак који је користи.
Да бисте је подесили:
- Изаберите задатак који се често понавља, као што је истраживање добављача.
- Запишите упутства која дајете сваки пут: формат, провјере, изворе које треба користити или избјегавати.
- Сачувајте их као вјештину. Упутства која су већ написана у формату Markdown могу се директно увести.
- Наведите вјештину у будућим упитима: „Користи вјештину за истраживање добављача да пронађеш добављаче столица за канцеларију у Денверу.“
Како Perplexity приступа контексту у раду агената
Perplexity Computer обрађује дуге задатке на начине који контекст сваког модела одржавају малим и релевантним. Три дијела његовог дизајна ограничавају колико модел мора да прочита одједном.
Подјела посла међу подагентима
Computer разлаже захтјев на задатке и подзадатке, а затим креира подагенте који их извршавају. Сваки подагент ради на једном дијелу посла у сопственом контексту. У задатку са добављачима, један подагент може истраживати цијене док други провјерава услове испоруке. Ниједан не мора да прочита све што је прочитао онај други.
Чување рада у фајловима
Сваки задатак у апликацији Computer добија сопствени радни простор, са сопственим фајловима, веб-прегледачем и алатима. Агент може да сачува свој рад у фајл, на примјер у табелу провјерених добављача коју стално допуњује. Тај фајл затим поново отвара само када му затреба.
Издвајање релевантних пасуса из резултата претраге
Веб-странице су пуне садржаја који моделу није потребан, као што су менији, огласи, метаподаци и текст о другим темама. Компресија контекста прилагођена упиту то уклања. Прије него што страница стигне до модела, Perplexity задржава само реченице које се односе на упит.
Истражите савјете, водиче и примјере задатака за Perplexity Computer да бисте ове кораке примијенили у пракси.
Често постављана питања
Да ли је деградација контекста исто што и халуцинација?
Не, али су повезане. Халуцинација је сваки одговор који износи нешто нетачно или непоткријепљено. Деградација контекста је један од услова који повећавају вјероватноћу халуцинација, али и других грешака, као што су занемарена упутства и пропуштени детаљи.
Може ли бољи упит да ријеши деградацију контекста?
Јасан упит смањује деградацију контекста тако што задатак одржава фокусираним. Ипак, не може да спријечи раст контекста. У довољно дугом задатку, агент и даље прикупља више него што може добро да искористи, због чега су подјела посла и провјера у току рада важни колико и сам упит.
Да ли деградација контекста утиче и на обична AI ћаскања, а не само на агенте?
Да. У ћаскању, контекст је цијели досадашњи разговор, укључујући сваку поруку и све документе који су у њега налијепљени или отпремљени. Тред који траје сатима и обухвата неколико тема може да доведе до истих грешака као дуги задатак агента. Покретање новог треда за нову тему одржава сваки разговор фокусираним.
Колико дуго задатак може да траје прије него што наступи деградација контекста?
Не постоји фиксна граница. То зависи од модела и задатка. На примјер, модели на уређају са контекстним прозором од 260.000 токена почињу да имају потешкоћа изнад приближно 100.000 токена, знатно прије него што достигну своју границу. Пад је притом постепен, а не нагао.