Truljenje konteksta kod AI agenata: zašto dugi zadaci gube na točnosti i kako to spriječiti
Vodič o tome što se nakuplja u kontekstu AI agenta, zašto to šteti točnosti i kako postaviti zadatke koji ostaju pouzdani.

Što truljenje konteksta znači za AI agente
Truljenje konteksta (engl. context rot) kod AI agenata postupni je gubitak točnosti koji nastupa kako se kontekst agenta puni tijekom dugog zadatka.
Kontekst agenta čine informacije koje model ima na raspolaganju za sljedeći korak. Može uključivati upute, ranije poruke, rezultate pretraživanja te tekst s web-stranica ili iz datoteka. Dok agent radi, može dodavati još informacija.
Na primjer, recimo da je zadatak agenta pronaći dobavljače koji isporučuju u roku od dva tjedna. Na početku njegov kontekst sadrži samo taj zahtjev. Do sredine zadatka kontekst će uključivati i tekst s desetaka web-stranica dobavljača, nekoliko stranica rezultata pretraživanja i bilješke o tome koje je dobavljače agent već provjerio.
Postoji ograničenje koliko konteksta model može zadržati (to se naziva kontekstni prozor). Prozor se mjeri u tokenima, malim dijelovima teksta koji su obično riječ ili dio riječi. Truljenje konteksta pojačava se kako kontekst raste, zbog čega se najčešće javlja u dugim zadacima s mnogo koraka.
Kako se truljenje konteksta pogoršava, agent postaje manje točan. Može se manje dosljedno pridržavati izvornih uputa, previdjeti pojedinosti ili zamijeniti informacije koje samo izgledaju slično s onima koje su mu potrebne.
Na primjer, agent bi mogao početi uključivati dobavljače kojima isporuka traje šest tjedana, iako mu je rečeno da traži isporuku u roku od dva tjedna. Uputa je i dalje u njegovu kontekstu, ali više ne usmjerava agentove odluke.
Truljenje konteksta nije isto što i jednostavno ostati bez mjesta u kontekstnom prozoru. Kada kontekst zadatka preraste prozor, dio sadržaja se odsiječe ili zadatak ne uspije. Truljenje konteksta počinje mnogo prije te točke, dok sve još stane u prozor.
Nije ni isto što i trovanje konteksta (kada obmanjujuće ili štetne informacije dospiju u kontekst agenta). I agent s točnim, potpunim informacijama može iskusiti truljenje konteksta.
Zašto dolazi do truljenja konteksta
Do truljenja konteksta dolazi zato što je pažnja modela ograničena, čak i kada u njegovu kontekstnom prozoru ima još dovoljno mjesta. Kod AI modela pažnja (engl. attention) stručni je naziv za način na koji model odlučuje na koje će se dijelove ulaza osloniti dok piše svaku riječ odgovora. Svi dijelovi konteksta natječu se za tu pažnju. Što je teksta više, svaki dio dobiva manje pažnje.
Na primjer, Chroma je objavila studiju o tome kako duljina ulaza utječe na AI modele. Testirano je 18 modela tvrtki Anthropic, OpenAI, Google i Alibaba. U jednom testu istraživači su sakrili rečenicu sa savjetom o pisanju u dugu zbirku eseja. Zatim su model pitali koji je to savjet.
Test su ponovili mnogo puta, svaki put dodajući još teksta iz eseja. Rečenica i pitanje nikad se nisu mijenjali. Mijenjala se samo količina teksta oko njih.
Što su modeli morali pročitati više teksta, to su lošije prolazili. Taj se nalaz potvrdio u svim testovima iz izvješća. Istraživači predviđaju da bi pad točnosti bio još veći u stvarnom radu koji zahtijeva mnogo koraka, kao što je većina zadataka agenata.
Kako truljenje konteksta može utjecati na AI agente
Truljenje konteksta obično se očituje na jedan od četiri načina:
Gubljenje izvornih uputa iz vida
U najjednostavnijem testu tvrtke Chroma modeli su trebali točno prepisati dug niz ponovljenih riječi u koji je negdje umetnuta jedna drukčija riječ. Bio je to trivijalan zadatak s izričitom uputom. Unatoč tome, uspješnost svih modela opadala je kako je tekst postajao duži. Neki su modeli počeli generirati riječi kojih u ulazu uopće nije bilo.
U zadatku za agenta korisnik obično na početku postavlja konkretna ograničenja, poput budžeta ili zadanog formata. Kako kontekst raste, agent bi ih mogao primjenjivati manje dosljedno. Uzrok je ukupna duljina konteksta, a ne mjesto na kojem se uputa nalazi.
Propuštene pojedinosti iz sredine zadatka
Prema studiji Sveučilišta Stanford iz 2023., AI modeli najpouzdanije koriste informacije koje se nalaze na samom početku ili na samom kraju ulaza. U jednom testu istraživači su modelima dali skup od 20 dokumenata i postavili pitanje na koje je odgovarao samo jedan od njih. Kada je taj dokument bio prvi ili posljednji, modeli su obično pronašli odgovor. Kada se nalazio u sredini skupa, mnogo su ga češće propuštali. Istraživači to nazivaju efektom položaja.
Isti obrazac vrijedi i za agente. Informacije pronađene ranije u zadatku mogu se naći u sredini dugog razgovora, gdje ih neki modeli teže koriste. U primjeru s dobavljačima konačni popis mogao bi izostaviti dobrog dobavljača kojeg je agent provjerio negdje usred zadatka.
Miješanje sličnih informacija
Kako kontekst raste, agenti mogu sve lošije prepoznavati koje informacije odgovaraju njihovim uputama. Na primjer, recimo da je korisnik agentu rekao da pronađe dobavljače koji isporučuju „u roku od dva tjedna“. Na web-stranici jednog dobavljača piše „stiže u roku od 14 kalendarskih dana od narudžbe“. U kratkom zadatku agent bi vjerojatno uočio da to znači isto. Zatrpan među desecima stranica drugih dobavljača, vjerojatnije će propustiti to podudaranje.
S druge strane, agent bi mogao početi uključivati rezultate koji nisu relevantni. Recimo da agent traži dobavljače uredskih stolica. Web-stranica jednog dobavljača obećava isporuku u roku od dva tjedna, ali samo za stolove. Njegove stolice stižu za šest tjedana. Web-stranica koristi iste riječi kao i uputa pa bi agent ipak mogao dodati tog dobavljača na popis. Takvu informaciju istraživači nazivaju distraktorom. Ona izgleda relevantno, ali nije, pa se natječe s informacijama koje su zaista važne.
Studija tvrtke Chroma pokazala je da su se oba problema pogoršavala kako je rasla količina okolnog teksta.
Pogreške koje je teško uočiti
Truljenje konteksta ne izaziva poruku o pogrešci. Agent nastavlja raditi i vraća rezultat koji izgleda dovršeno. Zbog toga je njegove pogreške lako previdjeti.
U testovima tvrtke Chroma te su se pogreške javljale u dva oblika. Ponekad je model samouvjereno dao pogrešan odgovor. U primjeru istraživanja dobavljača agent bi mogao isporučiti uredan, dobro oblikovan popis dobavljača koji uključuje dobavljača čije je uvjete isporuke pogrešno protumačio.
U drugim je slučajevima model tvrdio da ne može pronaći informacije koje su zapravo bile ondje. Na primjer, agent bi mogao isporučiti izvješće u kojem stoji da nijedan dobavljač ne ispunjava rok od dva tjedna, iako ga nekoliko njih ispunjava.
Kako postaviti zadatke za agente da biste smanjili truljenje konteksta
Pravilno postavljeni zadaci smanjit će utjecaj truljenja konteksta i održati agenta što točnijim tijekom cijelog zadatka. U tome mogu pomoći sljedeće najbolje prakse.
Napišite zadatak kao konkretan nalog
Jasan nalog održava kontekst manjim. Agent zna kada je gotov pa prestaje prikupljati materijal čim ga ima dovoljno. Konkretni zahtjevi također mu daju nešto određeno s čime može usporediti svaku stranicu. Tako agent lakše uočava prave informacije.
Prije slanja zadatka provjerite obuhvaća li tri stvari:
- Zadatak: što agent treba učiniti i isporučiti, na primjer „pronađi dobavljače i vrati uži izbor“.
- Zahtjevi: činjenice koje agent ne može pogoditi, poput budžeta, roka, adrese za dostavu i toga kome je rezultat namijenjen.
- Rezultat: format, duljina i struktura, na primjer „tablica s nazivom, cijenom po stolici i rokom isporuke“.
Kada se sve spoji, upit za zadatak s dobavljačima mogao bi izgledati ovako:
„Pronađi 10 dobavljača koji mogu isporučiti 40 uredskih stolica u naš ured u Chicagu u roku od dva tjedna, po cijeni manjoj od 250 $ po stolici. Vrati tablicu s nazivom dobavljača, cijenom po stolici, rokom isporuke i poveznicom na stranicu proizvoda. Popis je za našeg voditelja ureda, koji će izvršiti narudžbu.“
Neka svaki zadatak bude usmjeren
Jedan zadatak s jednim jasnim ciljem održava kontekst malim. Dugi zadaci također više koštaju. Svaki korak obrađuje sve što je dotad prikupljeno pa prenapuhan kontekst u svakom koraku troši više kredita.
Ako projekt ima više dijelova, podijelite ga:
- Navedite zasebne rezultate koje trebate, na primjer pretraživanje dobavljača, usporedbu cijena i e-poruku odabranom dobavljaču.
- Svaki rezultat izradite kao zaseban zadatak.
- Iz jednog zadatka u sljedeći prenesite samo gotov rezultat. Na primjer, učitajte tablicu dobavljača kao datoteku kako biste započeli zadatak usporedbe, umjesto da nastavite u niti u kojoj je tablica nastala.
Zadatak usporedbe tada počinje s jednom tablicom umjesto sa svim stranicama.
Uputite agenta na prave izvore
Svaka stranica koju agent pročita povećava njegov kontekst, uključujući izbornike, oglase i šablonski tekst oko korisnog dijela. Ako agentu izravno date izvore, smanjujete taj šum.
Učitajte datoteke o kojima zadatak ovisi, poput popisa odobrenih dobavljača, tako da ih priložite upitu. Ako agent mora pretraživati web, navedite web-stranice koje se isplati pretražiti, primjerice dva pouzdana imenika dobavljača.
Povežite alate u kojima se informacije nalaze. Na primjer, u aplikaciji Perplexity Computer otvorite odjeljak Konektori na bočnoj traci i omogućite aplikacije koje su potrebne za zadatak, kao što su Google Drive ili Slack. Zatim ih spomenite u upitu: „Koristi specifikacije stolica s našeg Google Drivea.“ Povežite samo relevantne aplikacije jer svaki konektor zauzima dio konteksta agenta.
Ako se informacije nalaze u aplikaciji koje nema na popisu Konektori, možda je ipak moguće povezati je. Mnoge aplikacije nude MCP (Model Context Protocol) konektor, standardni način na koji se AI alati povezuju s drugim softverom. Computer ih može koristiti uz svoje ugrađene konektore. U poslovnom računu administrator ih možda najprije mora omogućiti.
Zatražite završnu provjeru u odnosu na upute
Završite upit korakom provjere koji navodi najvažnija ograničenja:
„Prije završetka provjeri svakog dobavljača u odnosu na ove zahtjeve: isporuka u roku od dva tjedna, cijena manja od 250 $ po stolici. Označi one koji ne ispunjavaju te zahtjeve umjesto da ih izostaviš.“
Ograničenja su i dalje na početku konteksta. Korak provjere daje agentu razlog da svoj konačni rezultat usporedi s ograničenjima, umjesto da se oslanja na to da će upute zadržati utjecaj kroz svaki korak.
Osim toga, ako od agenta zatražite da označi probleme umjesto da takve rezultate jednostavno izbaci, lakše ćete uočiti pogreške (primjerice odbacivanje dobavljača koji obećava dostavu u roku od 14 kalendarskih dana samo zato što ne koristi riječi „dva tjedna“).
Provjeravajte rad na kontrolnim točkama
Kod duljih zadataka ugradite kontrolnu točku u upit:
„Počni tako da pronađeš 20 potencijalnih dobavljača, a zatim stani. Potvrdit ću popis prije nego što prikupiš cijene.“
Provjerite uži izbor u odnosu na izvorne upute. Sve što nije u redu ispravite u sljedećoj poruci, a zatim pustite agenta da nastavi. Pogreške uočene u ovoj fazi neće se prenijeti u svaki sljedeći korak.
Pokrenite novi zadatak kada jedan skrene s puta
Ako agent nakon ispravaka ponavlja istu pogrešku, pokrenite novi zadatak. Svaki ispravak dodaje još teksta već dugom kontekstu. Umjesto toga stvorite novi zadatak. Ponovno navedite upute, učitajte sve dobre rezultate iz prvog pokušaja i počnite ispočetka.
Neki agenti nešto slično rade automatski, a taj se postupak naziva sažimanje (engl. compaction). Kako zadatak postaje dug, agent starije materijale, poput cjelovitog teksta stranica koje je pročitao na početku, zamjenjuje kratkim sažetkom onoga što je pronašao. Portable Computer tvrtke Perplexity na taj način sažima svoj kontekst, tako da model ostaje unutar količine koju može dobro obraditi.
Važno je pokrenuti novi zadatak i kada se promijeni cilj. Nit koja je započela kao pretraživanje dobavljača ne bi trebala postati i pregled ugovora.
Pretvorite ponavljane upute u Skill
Neke se upute ponavljaju u svakom zadatku određene vrste, poput željenog formata tablice, popisa dobavljača koje treba izbjegavati ili standardnog koraka provjere. U aplikaciji Computer možete ih spremiti kao Skill, skup uputa za višekratnu upotrebu koje agent slijedi svaki put. Skill ugrađuje ostale najbolje prakse u svaki zadatak koji ga koristi.
Kako ga postaviti:
- Odaberite zadatak koji se često ponavlja, poput istraživanja dobavljača.
- Zapišite upute koje dajete svaki put: format, provjere te izvore koje treba koristiti ili izbjegavati.
- Spremite ih kao Skill. Upute koje su već napisane u Markdownu možete izravno uvesti.
- Navedite Skill u budućim upitima: „Koristi Skill za istraživanje dobavljača da pronađeš dobavljače stolica za ured u Denveru.“
Kako Perplexity pristupa kontekstu u radu agenata
Perplexity Computer obrađuje duge zadatke na načine koji kontekst svakog modela održavaju malim i relevantnim. Tri dijela njegova dizajna ograničavaju koliko model mora pročitati odjednom.
Raspodjela rada na podagente
Computer rastavlja zahtjev na zadatke i podzadatke, a zatim stvara podagente koji ih izvršavaju. Svaki podagent radi na jednom dijelu posla u vlastitom kontekstu. U zadatku s dobavljačima jedan podagent mogao bi istraživati cijene dok drugi provjerava uvjete isporuke. Nijedan ne mora pročitati sve što je pročitao onaj drugi.
Čuvanje rada u datotekama
Svaki zadatak u aplikaciji Computer dobiva vlastiti radni prostor s vlastitim datotekama, web-preglednikom i alatima. Agent može spremiti svoj rad u datoteku, poput tablice dobavljača koje je dosad provjerio, koju usput ažurira. Tu datoteku zatim ponovno otvara samo kada mu zatreba.
Odabir relevantnih odlomaka iz rezultata pretraživanja
Web-stranice prepune su sadržaja koji modelu nije potreban, poput izbornika, oglasa, metapodataka i teksta o drugim temama. Sažimanje konteksta prilagođeno upitu to uklanja. Prije nego što stranica stigne do modela, Perplexity zadržava samo rečenice koje se odnose na upit.
Istražite savjete, vodiče i primjere zadataka za Perplexity Computer kako biste ove korake primijenili u praksi.
Česta pitanja
Je li truljenje konteksta isto što i halucinacija?
Nije, ali povezani su. Halucinacija je svaki odgovor koji navodi nešto netočno ili neutemeljeno. Truljenje konteksta jedan je od uvjeta koji povećavaju vjerojatnost halucinacija, kao i drugih pogrešaka poput zanemarenih uputa i propuštenih pojedinosti.
Može li bolji upit ukloniti truljenje konteksta?
Jasan upit smanjuje truljenje konteksta jer zadatak drži usmjerenim. Međutim, ne može spriječiti rast konteksta. U dovoljno dugom zadatku agent i dalje prikupi više nego što može dobro iskoristiti, zbog čega su podjela rada i usputna provjera jednako važne kao i sam upit.
Utječe li truljenje konteksta i na obične razgovore s AI-jem, a ne samo na agente?
Da. U chatu kontekst čini cijeli dosadašnji razgovor, uključujući svaku poruku i sve dokumente koji su u njega zalijepljeni ili preneseni. Nit koja traje satima i obuhvaća nekoliko tema može dovesti do istih pogrešaka kao dug zadatak agenta. Ako za novu temu pokrenete novu nit, svaki razgovor ostaje usredotočen.
Koliko dug može biti zadatak prije nego što nastupi truljenje konteksta?
Ne postoji fiksna granica. To ovisi o modelu i zadatku. Na primjer, modeli na uređaju s kontekstnim prozorom od 260.000 tokena počinju imati poteškoća iznad otprilike 100.000 tokena, daleko ispod svojeg ograničenja. Pad je također postupan, a ne nagao.