Konteksto irimas DI agentuose: kodėl ilgose užduotyse mažėja tikslumas ir kaip to išvengti
Vadovas apie tai, kas kaupiasi DI agento kontekste, kodėl tai mažina tikslumą ir kaip parengti užduotis, kurios išliktų patikimos.

Ką konteksto irimas reiškia DI agentams
Konteksto irimas DI agentuose – tai laipsniškas tikslumo mažėjimas, kuris prasideda agento kontekstui pildantis ilgos užduoties metu.
Agento kontekstas – tai informacija, kurią modelis turi kitam savo žingsniui. Ją gali sudaryti instrukcijos, ankstesnės žinutės, paieškos rezultatai ir tekstas iš svetainių ar failų. Agentui dirbant, jis gali pridėti daugiau informacijos.
Pavyzdžiui, tarkime, agento užduotis – rasti tiekėjus, kurie pristato per dvi savaites. Pradžioje jo kontekste yra tik ši užklausa. Įpusėjus užduočiai, kontekste taip pat bus dešimčių tiekėjų svetainių tekstas, keli puslapiai paieškos rezultatų ir pastabos apie tai, kuriuos tiekėjus agentas jau patikrino.
Konteksto kiekis, kurį modelis gali talpinti, yra ribotas (ši riba vadinama konteksto langu). Langas matuojamas žetonais (angl. tokens) – nedideliais teksto fragmentais, dažniausiai žodžiu ar žodžio dalimi. Konteksto irimas stiprėja augant kontekstui, todėl jis labiausiai tikėtinas ilgose, daug žingsnių turinčiose užduotyse.
Konteksto irimui stiprėjant, agento tikslumas mažės. Jis gali mažiau tiksliai laikytis pradinių instrukcijų, praleisti detales arba panašiai atrodančią informaciją palaikyti ta, kurios jam reikia.
Pavyzdžiui, agentas gali pradėti įtraukti tiekėjus, kuriems pristatyti reikia šešių savaičių, nors jam buvo nurodyta rasti pristatančius per dvi savaites. Instrukcija vis dar yra jo kontekste, tačiau nebeturi įtakos agento pasirinkimams.
Konteksto irimas nėra tas pats, kas paprasčiausias vietos konteksto lange pritrūkimas. Kai užduoties kontekstas viršija langą, dalis medžiagos nukerpama arba užduotis nepavyksta. Konteksto irimas prasideda gerokai anksčiau, kol viskas dar telpa.
Tai taip pat ne tas pats, kas konteksto užnuodijimas (kai į agento kontekstą patenka klaidinanti ar žalinga informacija). Konteksto irimas gali paveikti net agentą, turintį tikslią ir išsamią informaciją.
Kodėl atsiranda konteksto irimas
Konteksto irimas atsiranda todėl, kad modelio dėmesys yra ribotas, net kai jo konteksto lange dar yra laisvos vietos. DI modeliuose dėmesys (angl. attention) – tai techninis terminas, apibūdinantis, kaip modelis nusprendžia, kuriomis įvesties dalimis remtis rašydamas kiekvieną atsakymo žodį. Visos konteksto dalys varžosi dėl šio dėmesio. Kuo daugiau teksto, tuo mažiau dėmesio tenka kiekvienai daliai.
Pavyzdžiui, bendrovė Chroma paskelbė tyrimą apie tai, kaip įvesties ilgis veikia DI modelius. Jame išbandyta 18 modelių iš Anthropic, OpenAI, Google ir Alibaba. Viename teste tyrėjai paslėpė sakinį su patarimu apie rašymą ilgame esė rinkinyje. Tada jie paklausė modelio, koks buvo tas patarimas.
Testą jie kartojo daug kartų, kaskart pridėdami daugiau esė teksto. Sakinys ir klausimas niekada nesikeitė. Keitėsi tik juos supančio teksto kiekis.
Kuo daugiau teksto modeliams reikėjo perskaityti, tuo prasčiau jiems sekėsi. Ši išvada pasitvirtino visuose ataskaitos testuose. Tyrėjai prognozuoja, kad atliekant realų daug žingsnių reikalaujantį darbą, kaip ir daugumą agentų užduočių, tikslumas kristų dar labiau.
Kaip konteksto irimas gali paveikti DI agentus
Konteksto irimas paprastai pasireiškia vienu iš keturių būdų:
Pradinių instrukcijų pamiršimas
Paprasčiausiame Chroma teste modelių buvo prašoma tiksliai nukopijuoti ilgą pasikartojančių žodžių eilutę, kurioje kažkur buvo įterptas vienas kitoks žodis. Tai buvo elementari užduotis su aiškia instrukcija. Vis dėlto, ilgėjant tekstui, visų modelių rezultatai prastėjo. Kai kurie modeliai ėmė generuoti žodžius, kurių įvestyje apskritai nebuvo.
Agento užduotyje naudotojas paprastai užduoties pradžioje nustato konkrečius apribojimus, pavyzdžiui, biudžetą ar reikiamą formatą. Kontekstui augant, agentas gali juos taikyti vis nenuosekliau. Priežastis – bendras konteksto ilgis, o ne tai, kurioje vietoje yra instrukcija.
Praleistos detalės iš užduoties vidurio
Pasak 2023 m. Stanfordo universiteto tyrimo, DI modeliai patikimiausiai naudoja informaciją, kai ji yra pačioje įvesties pradžioje arba pačioje pabaigoje. Viename teste tyrėjai pateikė modeliams 20 dokumentų rinkinį ir uždavė klausimą, į kurį atsakymas buvo tik viename iš jų. Kai tas dokumentas būdavo pirmas arba paskutinis, modeliai dažniausiai rasdavo atsakymą. Kai jis būdavo rinkinio viduryje, jie jį praleisdavo kur kas dažniau. Tyrėjai tai vadina pozicijos efektu.
Tas pats dėsningumas galioja ir agentams. Anksčiau užduotyje rasta informacija gali atsidurti ilgo pokalbio viduryje, kur kai kuriems modeliams ją sunkiau panaudoti. Tiekėjų pavyzdyje galutiniame sąraše gali nebūti gero tiekėjo, kurį agentas patikrino įpusėjus užduočiai.
Panašios informacijos painiojimas
Kontekstui augant, agentams gali būti sunkiau atpažinti, kuri informacija atitinka jų instrukcijas. Pavyzdžiui, tarkime, naudotojas nurodė agentui rasti tiekėjus, kurie išsiunčia „per dvi savaites“. Tiekėjo svetainėje parašyta: „pristatoma per 14 kalendorinių dienų nuo užsakymo“. Trumpoje užduotyje agentas greičiausiai pastebėtų, kad tai reiškia tą patį. Paskendęs tarp dešimčių kitų tiekėjų puslapių, jis labiau linkęs šį atitikimą praleisti.
Kita vertus, agentas gali pradėti įtraukti nesusijusius rezultatus. Tarkime, agentas ieško biuro kėdžių tiekėjų. Vieno tiekėjo svetainėje žadamas pristatymas per dvi savaites, bet tik stalams. Jo kėdės pristatomos per šešias savaites. Svetainėje vartojami tie patys žodžiai kaip ir instrukcijoje, todėl agentas vis tiek gali įtraukti šį tiekėją į sąrašą. Tyrėjai tokią informaciją vadina trikdžiu (angl. distractor). Ji atrodo aktuali, bet tokia nėra, todėl konkuruoja su svarbia informacija.
Chroma tyrimas parodė, kad abi problemos stiprėjo didėjant aplinkinio teksto kiekiui.
Sunkiai pastebimos klaidos
Konteksto irimas nesukelia klaidos pranešimo. Agentas toliau dirba ir pateikia rezultatą, kuris atrodo užbaigtas. Dėl to jo klaidas lengva praleisti.
Chroma testuose šios klaidos pasireiškė dviem formomis. Kartais modelis užtikrintai pateikdavo neteisingą atsakymą. Tiekėjų paieškos pavyzdyje agentas galėtų pateikti tvarkingą, gerai suformatuotą tiekėjų sąrašą, į kurį įtrauktas tiekėjas, kurio pristatymo sąlygas jis klaidingai suprato.
Kitais atvejais modelis teigdavo negalintis rasti informacijos, kuri iš tikrųjų buvo. Pavyzdžiui, agentas galėtų pateikti ataskaitą, kad nė vienas tiekėjas neatitinka dviejų savaičių termino, nors keli atitinka.
Kaip parengti agento užduotis, kad konteksto irimas būtų mažesnis
Tinkamai parengtos užduotys sumažina konteksto irimo poveikį ir padeda agentui išlikti kuo tikslesniam visos užduoties metu. Padėti gali toliau pateikta geroji praktika.
Formuluokite užduotį kaip pavedimą
Aiškus pavedimas padeda išlaikyti mažesnį kontekstą. Agentas žino, kada darbas baigtas, todėl surinkęs pakankamai medžiagos nustoja jos rinkti. Konkretūs reikalavimai taip pat suteikia jam aiškų kriterijų, pagal kurį tikrinti kiekvieną puslapį. Taip agentui lengviau rasti tinkamą informaciją.
Prieš siųsdami užduotį patikrinkite, ar ji apima tris dalykus:
- Užduotis: ką agentas turi padaryti ir pateikti, pavyzdžiui, „rask tiekėjus ir pateik trumpąjį sąrašą“.
- Reikalavimai: faktai, kurių agentas negali atspėti, pavyzdžiui, biudžetas, terminas, pristatymo adresas ir kam skirtas rezultatas.
- Rezultatas: formatas, apimtis ir struktūra, pavyzdžiui, „lentelė su pavadinimu, vienos kėdės kaina ir pristatymo laiku“.
Sujungus viską, tiekėjų užduoties užklausa galėtų atrodyti taip:
„Rask 10 tiekėjų, kurie per dvi savaites gali pristatyti 40 biuro kėdžių į mūsų biurą Čikagoje, kai vienos kėdės kaina mažesnė nei 250 USD. Pateik lentelę su tiekėjo pavadinimu, vienos kėdės kaina, pristatymo laiku ir nuoroda į produkto puslapį. Sąrašas skirtas mūsų biuro vadovui, kuris pateiks užsakymą.“
Kiekvieną užduotį sutelkite į vieną tikslą
Viena užduotis su vienu aiškiu tikslu padeda išlaikyti mažą kontekstą. Be to, ilgos užduotys kainuoja daugiau. Kiekviename žingsnyje apdorojama viskas, kas iki tol surinkta, todėl išpūstas kontekstas kiekviename žingsnyje sunaudoja daugiau kreditų.
Jei projektą sudaro kelios dalys, išskaidykite jį:
- Išvardykite atskirus rezultatus, pavyzdžiui, tiekėjų paiešką, kainų palyginimą ir el. laišką pasirinktam tiekėjui.
- Kiekvienam rezultatui sukurkite atskirą užduotį.
- Iš vienos užduoties į kitą perduokite tik galutinį rezultatą. Pavyzdžiui, palyginimo užduotį pradėkite įkeldami tiekėjų lentelę kaip failą, užuot tęsę giją, kurioje ji buvo sukurta.
Tada palyginimo užduotis prasideda nuo vienos lentelės, o ne nuo visų puslapių.
Nurodykite agentui tinkamus šaltinius
Kiekvienas agento perskaitytas puslapis papildo jo kontekstą, įskaitant meniu, reklamas ir šabloninį tekstą aplink naudingą dalį. Tiesiogiai pateikę agentui šaltinius, šį triukšmą sumažinsite.
Įkelkite failus, nuo kurių priklauso užduotis, pavyzdžiui, patvirtintų tiekėjų sąrašą, pridėdami juos prie užklausos. Kai agentui reikia ieškoti internete, nurodykite svetaines, kuriose verta ieškoti, pavyzdžiui, du patikimus tiekėjų katalogus.
Prijunkite įrankius, kuriuose yra reikiama informacija. Pavyzdžiui, Perplexity Computer šoninėje juostoje atidarykite skiltį „Jungtys“ ir įjunkite užduočiai reikalingas programas, tokias kaip Google Drive ar Slack. Tada paminėkite jas užklausoje: „Naudok kėdžių specifikacijas iš mūsų Google Drive.“ Prijunkite tik aktualias programas, nes kiekviena jungtis užima dalį agento konteksto.
Jei informacija yra programoje, kurios nėra sąraše „Jungtys“, ją vis tiek gali būti įmanoma prijungti. Daugelis programų siūlo MCP (Model Context Protocol) jungtį – standartinį būdą DI įrankiams prisijungti prie kitos programinės įrangos. Computer gali jas naudoti kartu su savo integruotomis jungtimis. Įmonės paskyroje administratoriui gali tekti pirmiausia jas įjungti.
Paprašykite galutinio patikrinimo pagal instrukcijas
Užbaikite užklausą peržiūros žingsniu, kuriame įvardijami svarbiausi apribojimai:
„Prieš baigdamas patikrink kiekvieną tiekėją pagal šiuos reikalavimus: pristatymas per dvi savaites, vienos kėdės kaina mažesnė nei 250 USD. Pažymėk tuos, kurie neatitinka šių reikalavimų, užuot juos praleidęs.“
Apribojimai vis tiek lieka konteksto pradžioje. Peržiūros žingsnis suteikia agentui priežastį palyginti galutinį rezultatą su apribojimais, užuot tikėjusis, kad instrukcijos išlaikys savo įtaką kiekviename žingsnyje.
Be to, paprašius pažymėti problemas, o ne tiesiog atmesti tokius rezultatus, klaidas lengviau pastebėti (pavyzdžiui, kai atmetamas tiekėjas, žadantis pristatyti per 14 kalendorinių dienų, vien todėl, kad jis nevartoja žodžių „dvi savaitės“).
Peržiūrėkite darbą kontroliniuose taškuose
Ilgesnėms užduotims į užklausą įtraukite kontrolinį tašką:
„Pirmiausia rask 20 galimų tiekėjų ir sustok. Prieš tau renkant kainas, patvirtinsiu sąrašą.“
Patikrinkite trumpąjį sąrašą pagal pradines instrukcijas. Tolesne žinute pataisykite tai, kas netinka, ir leiskite agentui tęsti. Šiame etape pastebėtos klaidos nepersikels į visus tolesnius žingsnius.
Jei užduotis nukrypo nuo kurso, pradėkite naują
Jei agentas po pataisymų kartoja tą pačią klaidą, pradėkite naują užduotį. Kiekvienas pataisymas prideda dar daugiau teksto prie ir taip ilgo konteksto. Vietoj to sukurkite naują užduotį. Iš naujo išdėstykite instrukcijas, įkelkite gerus pirmojo bandymo rezultatus ir pradėkite iš naujo.
Kai kurie agentai tam tikrą to versiją atlieka automatiškai – šis procesas vadinamas suglaudinimu (angl. compaction). Užduočiai ilgėjant, agentas senesnę medžiagą, pavyzdžiui, visą anksčiau perskaitytų puslapių tekstą, pakeičia trumpa rastos informacijos santrauka. Perplexity Portable Computer būtent taip suglaudina savo kontekstą, kad modelis neviršytų kiekio, kurį gali gerai apdoroti.
Taip pat svarbu pradėti naują užduotį, jei pasikeičia tikslas. Gija, kuri prasidėjo kaip tiekėjų paieška, neturėtų virsti dar ir sutarties peržiūra.
Pasikartojančias instrukcijas paverskite Skill
Kai kurios instrukcijos kartojasi kiekvienoje tam tikros rūšies užduotyje, pavyzdžiui, pageidaujamas lentelės formatas, vengtinų tiekėjų sąrašas ar standartinis peržiūros žingsnis. Naudojant Computer, jas galima išsaugoti kaip Skill – daugkartinio naudojimo instrukcijų rinkinį, kurio agentas laikosi kiekvieną kartą. Skill įtraukia kitas gerąsias praktikas į kiekvieną jį naudojančią užduotį.
Kaip jį sukurti:
- Pasirinkite dažnai pasikartojančią užduotį, pavyzdžiui, tiekėjų paiešką.
- Užrašykite instrukcijas, kurias pateikiate kiekvieną kartą: formatą, patikras, šaltinius, kuriuos reikia naudoti arba kurių reikia vengti.
- Išsaugokite jas kaip Skill. Jau Markdown formatu parašytas instrukcijas galima importuoti tiesiogiai.
- Būsimose užklausose nurodykite Skill pavadinimą: „Naudok tiekėjų paieškos Skill ir rask kėdžių tiekėjus Denverio biurui.“
Kaip Perplexity tvarko kontekstą agentų darbe
Perplexity Computer ilgas užduotis atlieka taip, kad kiekvieno modelio kontekstas išliktų mažas ir aktualus. Trys jo architektūros dalys riboja, kiek modeliui reikia perskaityti vienu metu.
Darbo paskirstymas subagentams
Computer suskaido užklausą į užduotis ir dalines užduotis, tada sukuria subagentus joms atlikti. Kiekvienas subagentas savo kontekste dirba su viena darbo dalimi. Tiekėjų užduotyje vienas subagentas gali tirti kainas, o kitas – tikrinti pristatymo sąlygas. Nė vienam nereikia perskaityti visko, ką perskaitė kitas.
Darbo saugojimas failuose
Kiekviena Computer užduotis gauna savo darbo aplinką su atskirais failais, žiniatinklio naršykle ir įrankiais. Agentas gali išsaugoti savo darbą faile, pavyzdžiui, nuolat pildomą jau patikrintų tiekėjų lentelę. Vėliau jis tą failą atidaro tik tada, kai jo prireikia.
Aktualių ištraukų atranka iš paieškos rezultatų
Tinklalapiuose gausu modeliui nereikalingos medžiagos, pavyzdžiui, meniu, reklamų, metaduomenų ir tekstų kitomis temomis. Į užklausą atsižvelgiantis konteksto glaudinimas visa tai pašalina. Prieš puslapiui pasiekiant modelį, Perplexity palieka tik su užklausa susijusius sakinius.
Peržiūrėkite patarimus, vadovus ir užduočių pavyzdžius, skirtus Perplexity Computer, kad šiuos žingsnius pritaikytumėte praktikoje.
DUK
Ar konteksto irimas yra tas pats, kas haliucinacija?
Ne, bet jie susiję. Haliucinacija – tai bet koks atsakymas, kuriame teigiama kažkas klaidingo ar nepagrįsto. Konteksto irimas yra viena iš sąlygų, didinančių haliucinacijų tikimybę, kaip ir kitų klaidų, pavyzdžiui, ignoruojamų instrukcijų ar praleistų detalių.
Ar geresnė užklausa gali išspręsti konteksto irimo problemą?
Aiški užklausa sumažina konteksto irimą, nes išlaiko užduotį sutelktą. Vis dėlto ji negali sustabdyti konteksto augimo. Pakankamai ilgoje užduotyje agentas vis tiek surenka daugiau, nei gali gerai panaudoti, todėl darbo skaidymas ir tikrinimas eigoje yra ne mažiau svarbūs nei pati užklausa.
Ar konteksto irimas paveikia ir įprastus pokalbius su DI, o ne tik agentus?
Taip. Pokalbyje kontekstas yra visas iki šiol vykęs pokalbis, įskaitant kiekvieną žinutę ir visus į jį įklijuotus ar įkeltus dokumentus. Gija, kuri tęsiasi ištisas valandas ir apima kelias temas, gali sukelti tas pačias klaidas kaip ir ilga agento užduotis. Naują temą pradedant naujoje gijoje, kiekvienas pokalbis išlieka sutelktas.
Kokio ilgio gali būti užduotis, kol prasideda konteksto irimas?
Fiksuotos ribos nėra. Tai priklauso nuo modelio ir užduoties. Pavyzdžiui, įrenginyje veikiantys modeliai su 260 000 žetonų konteksto langais pradeda prasčiau veikti peržengus maždaug 100 000 žetonų, gerokai anksčiau nei pasiekiama jų riba. Be to, tikslumas mažėja palaipsniui, o ne staiga.