Konteksti mädanemine AI-agentides: miks pikkade ülesannete täpsus langeb ja kuidas seda vältida
Juhend sellest, mis AI-agendi konteksti koguneb, miks see täpsust kahjustab ja kuidas seadistada ülesandeid, mis püsivad usaldusväärsed.

Mida tähendab konteksti mädanemine AI-agentide puhul
Konteksti mädanemine (ingl context rot) on AI-agentide puhul täpsuse järkjärguline kadu, mis tekib, kui agendi kontekst pika ülesande käigus täitub.
Agendi kontekst on teave, mis on mudelile järgmise sammu jaoks kättesaadav. See võib sisaldada juhiseid, varasemaid sõnumeid, otsingutulemusi ning veebisaitide või failide teksti. Töö käigus võib agent sinna veel teavet lisada.
Oletame näiteks, et agendi ülesanne on leida tarnijad, kes tarnivad kahe nädala jooksul. Alguses sisaldab tema kontekst ainult seda palvet. Ülesande keskel sisaldab kontekst ka kümnete tarnijate veebisaitide teksti, mitu lehekülge otsingutulemusi ja märkmeid selle kohta, milliseid tarnijaid agent on juba kontrollinud.
Sellel, kui palju konteksti mudel suudab hoida, on piir (seda nimetatakse kontekstiaknaks). Akent mõõdetakse tokenites, mis on väikesed tekstitükid, tavaliselt sõna või sõna osa. Konteksti mädanemine süveneb konteksti kasvades, mistõttu esineb see kõige tõenäolisemalt pikkades ja paljude sammudega ülesannetes.
Konteksti mädanemise süvenedes muutub agent vähem täpseks. Ta võib oma esialgseid juhiseid vähem täpselt järgida, detaile kahe silma vahele jätta või pidada sarnase välimusega teavet selleks, mida ta vajab.
Näiteks võib agent hakata lisama tarnijaid, kelle tarneaeg on kuus nädalat, kuigi talle anti ülesandeks leida kahenädalase tarneajaga tarnijad. Juhis on endiselt tema kontekstis, kuid see ei suuna enam agendi valikuid.
Konteksti mädanemine ei ole sama mis lihtsalt kontekstiaknas ruumi otsasaamine. Kui ülesande kontekst kasvab aknast suuremaks, lõigatakse osa materjalist ära või ülesanne ebaõnnestub. Konteksti mädanemine algab juba tükk aega enne seda, kui kõik veel mahub.
See ei ole ka sama mis konteksti mürgitamine (kui eksitav või kahjulik teave satub agendi konteksti). Konteksti mädanemine võib esineda ka agendil, kellel on täpne ja täielik teave.
Miks konteksti mädanemine tekib
Konteksti mädanemine tekib, sest mudeli tähelepanu on piiratud, isegi kui tema kontekstiaknas on veel vaba ruumi. AI-mudelite puhul on tähelepanu tehniline termin, mis kirjeldab, kuidas mudel otsustab, milliseid sisendi osi ta vastuse iga sõna kirjutamisel kasutab. Kõik konteksti osad konkureerivad selle tähelepanu pärast. Mida rohkem on teksti, seda vähem tähelepanu iga osa saab.
Näiteks avaldas Chroma uuringu selle kohta, kuidas sisendi pikkus mõjutab AI-mudeleid. Selles testiti 18 mudelit ettevõtetelt Anthropic, OpenAI, Google ja Alibaba. Ühes testis peitsid teadlased kirjutamisnõuannet käsitleva lause pika esseekogumiku sisse. Seejärel küsisid nad mudelilt, milline see nõuanne oli.
Nad kordasid testi mitu korda ja lisasid iga kord rohkem esseeteksti. Lause ja küsimus ei muutunud kordagi. Muutus ainult neid ümbritseva teksti hulk.
Mida rohkem teksti mudelid pidid lugema, seda halvemini neil läks. See tulemus kehtis aruande kõigis testides. Teadlased ennustavad, et täpsuse langus oleks veelgi suurem päris töös, mis koosneb paljudest sammudest, nagu enamik agendi ülesandeid.
Kuidas konteksti mädanemine võib AI-agente mõjutada
Konteksti mädanemine avaldub tavaliselt ühel neljast viisist:
Esialgsete juhiste silmist kaotamine
Chroma kõige lihtsamas testis paluti mudelitel kopeerida täpselt pikk korduvate sõnade jada, millesse oli kuhugi lisatud üks erinev sõna. See oli lihtne ülesanne selgesõnalise juhisega. Sellegipoolest langes teksti pikenedes kõigi mudelite jõudlus. Mõned mudelid hakkasid väljastama sõnu, mida sisendis üldse polnud.
Agendi ülesande puhul seab kasutaja tavaliselt ülesande alguses konkreetsed piirangud, näiteks eelarve või nõutava vormingu. Konteksti kasvades võib agent neid vähem järjekindlalt rakendada. Põhjus on konteksti üldine pikkus, mitte see, kus juhis asub.
Ülesande keskelt kahe silma vahele jäänud detailid
2023. aasta Stanfordi uuringu järgi kasutavad AI-mudelid teavet kõige usaldusväärsemalt siis, kui see asub nende sisendi päris alguses või päris lõpus. Ühes testis andsid teadlased mudelitele 20 dokumendist koosneva kogumi ja esitasid küsimuse, millele vastas ainult üks neist. Kui see dokument oli esimene või viimane, leidsid mudelid vastuse tavaliselt üles. Kui see asus kogumi keskel, jäi vastus neil palju sagedamini leidmata. Teadlased nimetavad seda positsiooniefektiks.
Sama muster kehtib ka agentide puhul. Ülesande varasemas etapis leitud teave võib jääda pika vestluse keskele, kus mõnel mudelil on seda raskem kasutada. Tarnijate näites võib lõplikust loendist välja jääda hea tarnija, keda agent kontrollis ülesande keskel.
Sarnase teabe segiajamine
Konteksti kasvades võivad agendid halvemini ära tunda, milline teave nende juhistele vastab. Oletame näiteks, et kasutaja käskis agendil leida tarnijad, kes tarnivad „kahe nädala jooksul“. Ühe tarnija veebisaidil on kirjas „saabub 14 kalendripäeva jooksul alates tellimisest“. Lühikese ülesande puhul märkaks agent tõenäoliselt, et need tähendavad sama. Kümnete teiste tarnijate lehtede vahele mattununa jääb see vaste tal suurema tõenäosusega märkamata.
Teise võimalusena võib agent hakata lisama tulemusi, mis ei ole asjakohased. Oletame, et agent otsib kontoritoolide tarnijaid. Ühe tarnija veebisait lubab kahenädalast tarneaega, kuid ainult laudadele. Selle tarnija toolide tarneaeg on kuus nädalat. Veebisaidil kasutatakse samu sõnu mis juhises, nii et agent võib selle tarnija ikkagi oma loendisse lisada. Teadlased nimetavad sellist teavet segajaks (distraktoriks). See näib asjakohane, kuid ei ole, mistõttu konkureerib see olulise teabega.
Chroma uuring näitas, et mõlemad probleemid süvenesid ümbritseva teksti hulga kasvades.
Raskesti märgatavad vead
Konteksti mädanemine ei põhjusta veateadet. Agent jätkab tööd ja tagastab väljundi, mis näib valmis olevat. Seetõttu on tema vigu lihtne märkamata jätta.
Chroma testides esinesid need vead kahel kujul. Mõnikord andis mudel enesekindla, kuid vale vastuse. Tarnijauuringu näites võib agent esitada korraliku, hästi vormindatud tarnijate loendi, milles on tarnija, kelle tarnetingimusi ta valesti luges.
Teinekord väitis mudel, et ei leidnud teavet, mis oli tegelikult olemas. Näiteks võib agent esitada aruande, mille kohaselt ükski tarnija ei vasta kahenädalasele piirangule, kuigi mitu tarnijat vastab.
Kuidas seadistada agendi ülesandeid nii, et konteksti mädanemist oleks vähem
Ülesannete õige seadistamine vähendab konteksti mädanemise mõju ja hoiab agendi kogu ülesande vältel võimalikult täpsena. Abiks on järgmised parimad tavad.
Sõnasta ülesanne selge tööülesandena
Selge tööülesanne hoiab konteksti väiksemana. Agent teab, millal ta on valmis, ja lõpetab materjali kogumise, kui seda on piisavalt. Konkreetsed nõuded annavad talle ka midagi kindlat, millega iga lehte võrrelda. Nii on agendil lihtsam õiget teavet märgata.
Enne ülesande saatmist kontrolli, et see hõlmaks kolme asja:
- Ülesanne: mida agent peaks tegema ja tulemuseks andma, näiteks „leia tarnijad ja tagasta lühinimekiri“.
- Nõuded: faktid, mida agent ära arvata ei saa, näiteks eelarve, tähtaeg, tarneaadress ja see, kellele tulemus on mõeldud.
- Väljund: vorming, pikkus ja struktuur, näiteks „tabel, milles on nimi, tooli hind ja tarneaeg“.
Kokku pandud tarnijaülesande päring võiks välja näha selline:
„Leia 10 tarnijat, kes suudavad kahe nädala jooksul tarnida 40 kontoritooli meie Chicago kontorisse hinnaga alla 250 $ tooli kohta. Tagasta tabel, milles on tarnija nimi, tooli hind, tarneaeg ja link tootelehele. Loend on mõeldud meie kontorijuhile, kes esitab tellimuse.“
Hoia iga ülesanne fookuses
Üks ülesanne ühe selge eesmärgiga hoiab konteksti väikesena. Pikad ülesanded on ka kallimad. Iga samm töötleb kõike seni kogutut, nii et paisunud kontekst kulutab igal sammul rohkem krediite.
Mitmeosalise projekti puhul jaga see osadeks:
- Loetle eraldi tulemid, näiteks tarnijate otsing, hindade võrdlus ja e-kiri valitud tarnijale.
- Käivita iga tulem eraldi ülesandena.
- Anna ühest ülesandest järgmisse edasi ainult valmis tulemus. Näiteks laadi võrdlusülesande alustamiseks tarnijate tabel failina üles, selle asemel et jätkata lõimes, kus see loodi.
Siis algab võrdlusülesanne ühe tabeliga, mitte kõigi lehtedega.
Suuna agent õigete allikate juurde
Iga leht, mida agent loeb, suurendab tema konteksti, sealhulgas kasuliku osa ümber olevad menüüd, reklaamid ja standardtekst. Kui annad agendile allikad otse, väheneb see müra.
Laadi üles failid, millest ülesanne sõltub, näiteks heakskiidetud tarnijate loend, lisades need päringule. Kui agent peab veebist otsima, nimeta veebisaidid, kust tasub otsida, näiteks kaks usaldusväärset tarnijakataloogi.
Ühenda tööriistad, kus teave asub. Näiteks ava rakenduses Perplexity Computer külgribal jaotis Konnektorid ja luba rakendused, mida ülesanne vajab, näiteks Google Drive või Slack. Seejärel maini neid päringus: „Kasuta toolide spetsifikatsioone, mis on meie Google Drive’is.“ Ühenda ainult asjakohased rakendused, sest iga konnektor võtab osa agendi kontekstist.
Kui teave asub rakenduses, mida konnektorite loendis pole, võib selle siiski olla võimalik ühendada. Paljud rakendused pakuvad MCP (Model Context Protocol) konnektorit, mis on standardne viis AI-tööriistade ühendamiseks muu tarkvaraga. Computer saab neid kasutada koos oma sisseehitatud konnektoritega. Ettevõtte kontol võib olla vaja, et administraator need kõigepealt lubaks.
Palu lõpus tulemust juhiste põhjal kontrollida
Lõpeta päring kontrollisammuga, milles on nimetatud kõige olulisemad piirangud:
„Enne lõpetamist kontrolli iga tarnijat nende nõuete põhjal: tarne kahe nädala jooksul, alla 250 $ tooli kohta. Märgi ära kõik, kes neile nõuetele ei vasta, selle asemel et neid välja jätta.“
Piirangud asuvad endiselt konteksti alguses. Kontrollisamm annab agendile põhjuse võrrelda oma lõplikku väljundit piirangutega, selle asemel et loota, et juhised säilitavad oma mõju igal sammul.
Kui palud agendil probleemid ära märkida, selle asemel et need tulemused lihtsalt välja jätta, on vigu ka lihtsam tabada (näiteks kui agent lükkab tagasi tarnija, kes lubab kohaletoimetamist 14 kalendripäeva jooksul, sest tarnija ei kasuta sõnu „kaks nädalat“).
Vaata tööd kontrollpunktides üle
Pikemate ülesannete puhul lisa päringusse kontrollpunkt:
„Alusta 20 tarnijakandidaadi leidmisest ja peatu siis. Kinnitan loendi, enne kui sa hinnad kogud.“
Kontrolli lühinimekirja esialgsete juhiste põhjal. Paranda järgmises sõnumis kõik, mis on valesti, ja lase siis agendil jätkata. Selles etapis tabatud vead ei kandu edasi kõigisse järgmistesse sammudesse.
Alusta uut ülesannet, kui töö läheb rööpast välja
Kui agent kordab sama viga ka pärast parandusi, alusta uut ülesannet. Iga parandus lisab juba niigi pikale kontekstile veel teksti. Loo selle asemel uus ülesanne. Sõnasta juhised uuesti, laadi üles esimese katse head tulemused ja alusta otsast peale.
Mõned agendid teevad midagi sarnast automaatselt – seda protsessi nimetatakse tihendamiseks. Kui ülesanne pikeneb, asendab agent vanema materjali, näiteks alguses loetud lehtede täisteksti, lühikese kokkuvõttega sellest, mida ta leidis. Perplexity Portable Computer tihendab oma konteksti just nii, et mudel püsiks mahus, millega ta hästi toime tuleb.
Uut ülesannet on oluline alustada ka siis, kui eesmärk muutub. Lõim, mis algas tarnijate otsinguna, ei peaks muutuma ka lepingu ülevaatuseks.
Muuda korduvad juhised Skilliks
Mõned juhised korduvad igas teatud tüüpi ülesandes, näiteks eelistatud tabelivorming, välditavate tarnijate loend või standardne kontrollisamm. Rakenduses Computer saab need salvestada Skillina – korduvkasutatava juhiste kogumina, mida agent iga kord järgib. Skill integreerib ülejäänud parimad tavad igasse ülesandesse, mis seda kasutab.
Selle seadistamiseks:
- Vali ülesanne, mis tuleb sageli ette, näiteks tarnijauuring.
- Kirjuta üles juhised, mida annad iga kord: vorming, kontrollid ning allikad, mida kasutada või vältida.
- Salvesta need Skillina. Markdownis juba kirjutatud juhised saab otse importida.
- Nimeta Skill tulevastes päringutes: „Kasuta tarnijauuringu Skilli, et leida Denveri kontorile toolide tarnijad.“
Kuidas Perplexity agenditöös konteksti käsitleb
Perplexity Computer käsitleb pikki ülesandeid nii, et iga mudeli kontekst püsiks väike ja asjakohane. Kolm selle ülesehituse osa piiravad seda, kui palju peab mudel korraga lugema.
Töö jagamine alamagentide vahel
Computer jaotab palve ülesanneteks ja alamülesanneteks ning loob seejärel nende täitmiseks alamagendid. Iga alamagent töötab ühe tööosa kallal omaenda kontekstis. Tarnijaülesandes võib üks alamagent uurida hindu, samal ajal kui teine kontrollib tarnetingimusi. Kumbki ei pea lugema kõike, mida teine luges.
Töö hoidmine failides
Iga ülesanne rakenduses Computer saab oma tööruumi koos oma failide, veebibrauseri ja tööriistadega. Agent saab oma töö faili salvestada, näiteks pidevalt täieneva tabeli tarnijatest, keda ta on kontrollinud. Seejärel avab ta selle faili uuesti ainult siis, kui seda vajab.
Asjakohaste lõikude valimine otsingutulemustest
Veebilehed on täis materjali, mida mudel ei vaja, näiteks menüüsid, reklaame, metaandmeid ja muudel teemadel teksti. Päringuteadlik konteksti tihendamine eemaldab selle. Enne kui leht mudelini jõuab, jätab Perplexity alles ainult päringuga seotud laused.
Tutvu näpunäidete, juhendite ja näidisülesannetega rakenduse Perplexity Computer jaoks, et neid samme praktikas rakendada.
KKK
Kas konteksti mädanemine on sama mis hallutsineerimine?
Ei, aga need on omavahel seotud. Hallutsinatsioon on mis tahes vastus, mis väidab midagi valet või põhjendamatut. Konteksti mädanemine on üks tingimustest, mis muudavad tõenäolisemaks nii hallutsinatsioonid kui ka muud vead, näiteks eiratud juhised ja kahe silma vahele jäänud detailid.
Kas parem päring suudab konteksti mädanemise kõrvaldada?
Selge päring vähendab konteksti mädanemist, hoides ülesande fookuses. Konteksti kasvamist see siiski peatada ei saa. Piisavalt pika ülesande puhul kogub agent ikkagi rohkem, kui ta suudab hästi kasutada, mistõttu on töö jagamine ja selle jooksev kontrollimine sama olulised kui päring ise.
Kas konteksti mädanemine mõjutab ka tavalisi AI-vestlusi, mitte ainult agente?
Jah. Vestluses on kontekstiks kogu senine vestlus, sealhulgas iga sõnum ja kõik sinna kleebitud või üles laaditud dokumendid. Lõim, mis on kestnud tunde ja hõlmanud mitut teemat, võib põhjustada samu vigu nagu pikk agendi ülesanne. Kui alustad uue teema jaoks uut lõime, püsib iga vestlus fookuses.
Kui pikaks võib ülesanne venida, enne kui konteksti mädanemine algab?
Kindlat piiri ei ole. See sõltub mudelist ja ülesandest. Näiteks seadmes töötavatel mudelitel, mille kontekstiaken on 260 000 tokenit, tekivad raskused juba umbes 100 000 tokeni järel, mis jääb nende piirist tublisti allapoole. Langus on ka pigem järkjärguline kui äkiline.