ЖИ агенттеріндегі контекст тозуы: ұзақ тапсырмаларда дәлдік неліктен төмендейді және оның алдын қалай алуға болады
ЖИ агентінің контекстінде не жиналатыны, оның дәлдікке неліктен зиян келтіретіні және сенімді жұмыс істейтін тапсырмаларды қалай баптау керектігі туралы нұсқаулық.

Контекст тозуы ЖИ агенттері үшін нені білдіреді
ЖИ агенттеріндегі контекст тозуы — ұзақ тапсырма барысында агенттің контексті толған сайын пайда болатын дәлдіктің біртіндеп төмендеуі.
Агенттің контексті — модельдің келесі қадамы үшін қолжетімді ақпарат. Оған нұсқаулар, бұрынғы хабарлар, іздеу нәтижелері және веб-сайттар мен файлдардағы мәтін кіруі мүмкін. Агент жұмыс істеген сайын оған жаңа ақпарат қоса алады.
Мысалы, агенттің тапсырмасы екі апта ішінде жеткізетін жеткізушілерді табу делік. Басында оның контекстінде тек осы сұрау болады. Тапсырманың ортасына қарай контекстке ондаған жеткізуші веб-сайтының мәтіні, іздеу нәтижелерінің бірнеше беті және агент қай жеткізушілерді тексеріп үлгергені туралы жазбалар да қосылады.
Модель сыйғыза алатын контекст көлемінің шегі бар (оны контекст терезесі деп атайды). Терезе токендермен өлшенеді — бұл мәтіннің шағын бөліктері, әдетте бір сөз немесе сөздің бөлігі. Контекст тозуы контекст ұлғайған сайын күшейеді, сондықтан ол көп қадамды ұзақ тапсырмаларда жиі кездеседі.
Контекст тозуы күшейген сайын агенттің дәлдігі төмендейді. Ол бастапқы нұсқауларды бұрынғыдай мұқият орындамауы, егжей-тегжейлерді назардан тыс қалдыруы немесе ұқсас көрінетін ақпаратты өзіне қажетті ақпарат деп қателесуі мүмкін.
Мысалы, агентке екі аптада жеткізетін жеткізушілерді табу тапсырылғанына қарамастан, ол алты аптада жеткізетін жеткізушілерді де қоса бастауы мүмкін. Нұсқау әлі де оның контекстінде тұр, бірақ енді агенттің таңдауына әсер етпейді.
Контекст тозуы контекст терезесінде орынның жай ғана таусылуымен бірдей емес. Тапсырманың контексті терезеден асып кетсе, материалдың бір бөлігі кесіліп қалады немесе тапсырма орындалмай қалады. Контекст тозуы бұл сәттен әлдеқайда бұрын, бәрі әлі сыйып тұрған кезде басталады.
Ол сондай-ақ контексті улаумен де бірдей емес (агент контекстіне жаңылыстыратын немесе зиянды ақпарат енген жағдай). Дәл әрі толық ақпараты бар агентте де контекст тозуы орын алуы мүмкін.
Контекст тозуы неліктен пайда болады
Контекст тозуы модельдің назары шектеулі болғандықтан туындайды, тіпті контекст терезесінде бос орын жеткілікті болса да. ЖИ модельдерінде назар — модельдің жауаптың әр сөзін жазу кезінде кіріс деректерінің қай бөліктеріне сүйенетінін анықтау тәсілін білдіретін техникалық термин. Контекстің әрбір бөлігі осы назар үшін бәсекелеседі. Мәтін неғұрлым көп болса, әр бөлікке соғұрлым аз назар бөлінеді.
Мысалы, Chroma кіріс мәтінінің ұзындығы ЖИ модельдеріне қалай әсер ететіні туралы зерттеу жариялады. Онда Anthropic, OpenAI, Google және Alibaba компанияларының 18 моделі сыналды. Бір сынақта зерттеушілер жазу бойынша кеңес туралы сөйлемді ұзақ эсселер жинағының ішіне жасырды. Содан кейін модельден бұл кеңестің не екенін сұрады.
Олар сынақты әр жолы эссе мәтінін көбейте отырып, көп рет қайталады. Сөйлем мен сұрақ ешқашан өзгерген жоқ. Тек олардың айналасындағы мәтін көлемі ғана өзгерді.
Модельдер оқуы тиіс мәтін неғұрлым көп болған сайын, нәтижелері соғұрлым нашарлады. Бұл қорытынды есептегі барлық сынақта расталды. Зерттеушілердің болжауынша, агент тапсырмаларының көбі сияқты көп қадамды нақты жұмыста дәлдіктің төмендеуі бұдан да үлкен болады.
Контекст тозуы ЖИ агенттеріне қалай әсер етуі мүмкін
Контекст тозуы әдетте төрт жолдың бірімен байқалады:
Бастапқы нұсқауларды естен шығару
Chroma-ның ең қарапайым сынағында модельдерден қайталанатын сөздерден тұратын ұзын жолды дәлме-дәл көшіру сұралды, оның бір жеріне басқа сөз қойылған еді. Бұл нақты нұсқауы бар оп-оңай тапсырма болатын. Соған қарамастан, мәтін ұзарған сайын барлық модельдің нәтижелері төмендеді. Кейбір модельдер кіріс мәтінінде мүлдем болмаған сөздерді шығара бастады.
Агент тапсырмасында пайдаланушы әдетте тапсырманың басында бюджет немесе қажетті формат сияқты нақты шектеулер қояды. Контекст ұлғайған сайын агент оларды бұрынғыдай жүйелі қолданбауы мүмкін. Мұның себебі — нұсқаудың қай жерде тұрғаны емес, контекстің жалпы ұзындығы.
Тапсырманың ортасындағы егжей-тегжейлерді жіберіп алу
2023 жылғы Стэнфорд зерттеуіне сәйкес, ЖИ модельдері ақпаратты кіріс деректерінің ең басында немесе ең соңында тұрғанда ең сенімді пайдаланады. Бір сынақта зерттеушілер модельдерге 20 құжаттан тұратын жиынтық беріп, тек біреуінде ғана жауабы бар сұрақ қойды. Ол құжат бірінші немесе соңғы тұрғанда модельдер әдетте жауапты тапты. Ал ол жиынтықтың ортасында тұрғанда, модельдер оны әлдеқайда жиі жіберіп алды. Зерттеушілер мұны позиция әсері деп атайды.
Агенттерге де осы заңдылық тән. Тапсырманың ертерек кезеңінде табылған ақпарат ұзақ сөйлесудің ортасында қалуы мүмкін, ал кейбір модельдерге оны пайдалану қиынырақ. Жеткізушілер мысалында соңғы тізімге агент тапсырманың ортасында тексерген жақсы жеткізуші енбей қалуы мүмкін.
Ұқсас ақпаратты шатастыру
Контекст ұлғайған сайын агенттер қай ақпараттың нұсқауларына сәйкес келетінін ажыратуда нашарлауы мүмкін. Мысалы, пайдаланушы агентке «екі апта ішінде» жөнелтетін жеткізушілерді табуды тапсырды делік. Бір жеткізушінің веб-сайтында «тапсырыс берілгеннен кейін 14 күнтізбелік күн ішінде жетеді» деп жазылған. Қысқа тапсырмада агент бұлардың бір мағынаны білдіретінін байқауы әбден мүмкін. Ал ондаған басқа жеткізуші беттерінің арасында қалып қойғанда, бұл сәйкестікті жіберіп алу ықтималдығы жоғарылайды.
Немесе агент қатысы жоқ нәтижелерді де қоса бастауы мүмкін. Агент кеңсе орындықтарын жеткізушілерді іздеп жатыр делік. Бір жеткізушінің веб-сайтында екі апталық жеткізу уәде етілген, бірақ тек үстелдер үшін. Оның орындықтарын жеткізуге алты апта кетеді. Веб-сайтта нұсқаудағыдай сөздер қолданылғандықтан, агент бәрібір бұл жеткізушіні тізіміне қосуы мүмкін. Зерттеушілер мұндай ақпаратты алаңдатқыш деп атайды. Ол қатысты болып көрінеді, бірақ олай емес, сондықтан шынымен маңызды ақпаратпен бәсекелеседі.
Chroma зерттеуі айналадағы мәтін көлемі өскен сайын екі мәселенің де ушыққанын анықтады.
Байқау қиын қателер
Контекст тозуы қате туралы хабар шығармайды. Агент жұмысын жалғастырып, аяқталған болып көрінетін нәтиже қайтарады. Сондықтан оның қателерін байқамай қалу оңай.
Chroma сынақтарында бұл қателер екі түрде көрінді. Кейде модель сенімді, бірақ қате жауап берді. Жеткізушілерді зерттеу мысалында агент ұқыпты, жақсы рәсімделген жеткізушілер тізімін ұсынуы мүмкін, бірақ оған жеткізу шарттарын қате түсінген жеткізуші енген болады.
Басқа жағдайларда модель шын мәнінде бар ақпаратты таба алмағанын айтты. Мысалы, бірнеше жеткізуші екі апталық шектеуге сай келсе де, агент ешбір жеткізуші сай келмейді деген есеп ұсынуы мүмкін.
Контекст тозуын азайту үшін агент тапсырмаларын қалай баптау керек
Тапсырмаларды дұрыс баптау контекст тозуының әсерін барынша азайтып, тапсырма бойы агенттің дәлдігін мүмкіндігінше жоғары деңгейде сақтауға көмектеседі. Төмендегі үздік тәжірибелер осыған септігін тигізеді.
Тапсырманы техникалық тапсырма сияқты жазыңыз
Айқын тапсырма контексті шағынырақ етіп сақтайды. Агент жұмыстың қашан аяқталатынын біледі, сондықтан жеткілікті материал жинағаннан кейін іздеуді тоқтатады. Нақты талаптар оған әр бетті салыстырып тексеретін айқын өлшем де береді. Бұл агентке дұрыс ақпаратты табуды жеңілдетеді.
Тапсырманы жібермес бұрын оның үш нәрсені қамтитынын тексеріңіз:
- Тапсырма: агент не істеуі және не ұсынуы керек, мысалы, «жеткізушілерді тауып, қысқа тізім қайтару».
- Талаптар: агент болжай алмайтын фактілер, мысалы, бюджет, мерзім, жеткізу мекенжайы және нәтиже кімге арналғаны.
- Нәтиже: формат, көлем және құрылым, мысалы, «атауы, бір орындықтың бағасы және жеткізу уақыты көрсетілген кесте».
Осының бәрін біріктіргенде, жеткізушілер тапсырмасының сұрауы былай көрінуі мүмкін:
«Чикагодағы кеңсемізге екі апта ішінде 40 кеңсе орындығын бір орындық үшін 250 $-дан аспайтын бағамен жеткізе алатын 10 жеткізушіні табыңыз. Жеткізуші атауы, бір орындықтың бағасы, жеткізу уақыты және өнім бетіне сілтеме көрсетілген кесте қайтарыңыз. Тізім тапсырысты беретін кеңсе менеджерімізге арналған.»
Әр тапсырманы бір мақсатқа бағыттаңыз
Бір айқын мақсаты бар бір тапсырма контексті шағын күйде сақтайды. Ұзақ тапсырмалар қымбатқа да түседі. Әр қадам осы уақытқа дейін жиналғанның бәрін өңдейді, сондықтан шамадан тыс ұлғайған контекст әр қадамда кредиттерді көбірек жұмсайды.
Бірнеше бөліктен тұратын жобаны бөліп орындаңыз:
- Жеке нәтижелерді тізіп шығыңыз, мысалы, жеткізушілерді іздеу, бағаларды салыстыру және таңдалған жеткізушіге электрондық хат.
- Әр нәтижені жеке тапсырма ретінде іске қосыңыз.
- Бір тапсырмадан келесісіне тек дайын нәтижені беріңіз. Мысалы, кестені жасаған тредте жалғастырудың орнына, салыстыру тапсырмасын бастау үшін жеткізушілер кестесін файл ретінде жүктеңіз.
Сонда салыстыру тапсырмасы әрбір беттің орнына бір кестеден басталады.
Агентке дұрыс дереккөздерді көрсетіңіз
Агент оқитын әр бет оның контекстін толықтырады, соның ішінде пайдалы бөліктің айналасындағы мәзірлер, жарнамалар және шаблондық мәтін де. Дереккөздерді агентке тікелей беру осы артық ақпаратты азайтады.
Тапсырмаға қажетті файлдарды, мысалы, бекітілген жеткізушілер тізімін, сұрауға тіркеп жүктеңіз. Агент интернеттен іздеуі керек болса, іздеуге тұрарлық веб-сайттарды, мысалы, сенімді екі жеткізушілер каталогын атаңыз.
Ақпарат сақталған құралдарды қосыңыз. Айталық, Perplexity Computer-де бүйірлік тақтадағы «Коннекторлар» бөлімін ашып, тапсырмаға қажетті қолданбаларды, мысалы, Google Drive немесе Slack-ті қосыңыз. Содан кейін оларды сұрауда атаңыз: «Біздің Google Drive-тағы орындық сипаттамаларын пайдаланыңыз». Тек қатысты қолданбаларды ғана қосыңыз, өйткені әр коннектор агент контекстінің бір бөлігін алады.
Егер ақпарат «Коннекторлар» тізімінде жоқ қолданбада сақталса, оны бәрібір қосуға болуы мүмкін. Көптеген қолданбалар MCP (Model Context Protocol) коннекторын ұсынады — бұл ЖИ құралдарын басқа бағдарламалық жасақтамаға қосудың стандартты тәсілі. Computer оларды кірістірілген коннекторларымен қатар пайдалана алады. Компания аккаунтында оларды алдымен әкімші қосуы қажет болуы мүмкін.
Соңында нұсқаулар бойынша тексеру жүргізуді сұраңыз
Сұрауды ең маңызды шектеулерді атап көрсететін тексеру қадамымен аяқтаңыз:
«Аяқтамас бұрын әр жеткізушінің мына талаптарға сай келетінін тексеріңіз: екі апта ішінде жеткізу, бір орындық үшін 250 $-дан төмен баға. Бұл талаптарға сай келмейтіндерін алып тастамай, белгілеңіз.»
Шектеулер бұрынғыша контекстің басында тұрады. Тексеру қадамы агентке нұсқаулардың әр қадамда өз әсерін сақтауына сенім артудың орнына, соңғы нәтижесін шектеулермен салыстыруға себеп береді.
Сонымен қатар одан ондай нәтижелерді жай ғана алып тастаудың орнына мәселелерді белгілеуді сұрау қателерді анықтауды жеңілдетеді (мысалы, «екі апта» деген сөздерді қолданбағаны үшін 14 күнтізбелік күн ішінде жеткізуді уәде ететін жеткізушіні қабылдамау сияқты).
Жұмысты бақылау нүктелерінде тексеріңіз
Ұзағырақ тапсырмалар үшін сұрауға бақылау нүктесін енгізіңіз:
«Алдымен 20 үміткер жеткізушіні тауып, тоқтаңыз. Бағаларды жинамас бұрын мен тізімді растаймын.»
Қысқа тізімді бастапқы нұсқаулармен салыстырып тексеріңіз. Дұрыс емес нәрселерді келесі хабарламада түзетіп, агентке жұмысты жалғастыруға мүмкіндік беріңіз. Осы кезеңде анықталған қателер кейінгі әр қадамға ауыспайды.
Тапсырма бағытынан ауытқыса, жаңасын бастаңыз
Агент түзетулерден кейін де бір қатені қайталай берсе, жаңа тапсырма бастаңыз. Әр түзету онсыз да ұзын контекстке тағы мәтін қосады. Оның орнына жаңа тапсырма жасаңыз. Нұсқауларды қайта жазып, бірінші әрекеттен алынған жақсы нәтижелерді жүктеп, қайтадан бастаңыз.
Кейбір агенттер мұның бір түрін автоматты түрде орындайды — бұл процесс ықшамдау деп аталады. Тапсырма ұзарған сайын агент ескі материалды, мысалы, басында оқыған беттердің толық мәтінін, тапқан нәрселерінің қысқаша түйіндемесімен алмастырады. Perplexity-дің Portable Computer құралы өз контекстін осылай ықшамдайды, сондықтан модель өзі жақсы өңдей алатын көлемнен аспайды.
Мақсат өзгерсе де, жаңа тапсырма бастау маңызды. Жеткізушілерді іздеуден басталған тред келісімшартты тексеруге айналмауы керек.
Қайталанатын нұсқауларды Skill-ге айналдырыңыз
Кейбір нұсқаулар белгілі бір түрдегі әр тапсырмада қайталанады, мысалы, кестенің қалаулы форматы, аулақ болу керек жеткізушілер тізімі немесе стандартты тексеру қадамы. Computer-де оларды Skill ретінде сақтауға болады — бұл агент әр жолы орындайтын, қайта қолдануға болатын нұсқаулар жиынтығы. Skill басқа үздік тәжірибелерді оны пайдаланатын әр тапсырмаға енгізеді.
Оны баптау үшін:
- Жиі кездесетін тапсырманы таңдаңыз, мысалы, жеткізушілерді зерттеу.
- Әр жолы беретін нұсқауларды жазып алыңыз: формат, тексерулер, пайдалану немесе аулақ болу керек дереккөздер.
- Оларды Skill ретінде сақтаңыз. Markdown форматында жазылған нұсқауларды тікелей импорттауға болады.
- Болашақ сұрауларда Skill атауын көрсетіңіз: «Денвер кеңсесіне орындық жеткізушілерін табу үшін жеткізушілерді зерттеу Skill-ін пайдаланыңыз».
Perplexity агент жұмысындағы контекстке қалай қарайды
Perplexity Computer ұзақ тапсырмаларды әр модельдің контекстін шағын әрі мәнді күйде сақтайтындай етіп орындайды. Оның құрылымының үш бөлігі модельдің бір уақытта қанша оқуы керектігін шектейді.
Жұмысты субагенттерге бөлу
Computer сұрауды тапсырмалар мен ішкі тапсырмаларға бөліп, оларды орындау үшін субагенттер жасайды. Әр субагент жұмыстың бір бөлігімен өз контекстінде айналысады. Жеткізушілер тапсырмасында бір субагент бағаларды зерттесе, екіншісі жеткізу шарттарын тексеруі мүмкін. Олардың ешқайсысына екіншісі оқығанның бәрін оқудың қажеті жоқ.
Жұмысты файлдарда сақтау
Computer-дегі әр тапсырманың өз файлдары, веб-браузері және құралдары бар жеке жұмыс кеңістігі болады. Агент өз жұмысын файлға сақтай алады, мысалы, тексерген жеткізушілерінің үнемі толықтырылып отыратын кестесін. Содан кейін ол бұл файлды тек қажет болғанда ғана қайта ашады.
Іздеу нәтижелерінен қатысты үзінділерді таңдау
Веб-беттер модельге қажетсіз материалға толы: мәзірлер, жарнамалар, метадеректер және басқа тақырыптағы мәтін. Сұрауды ескеретін контекст сығымдау осының бәрін алып тастайды. Бет модельге жетпес бұрын, Perplexity онда тек сұрауға қатысты сөйлемдерді ғана қалдырады.
Осы қадамдарды іс жүзінде қолдану үшін Perplexity Computer бойынша кеңестерді, нұсқаулықтарды және тапсырма мысалдарын қараңыз.
Жиі қойылатын сұрақтар
Контекст тозуы галлюцинациямен бірдей ме?
Жоқ, бірақ олар өзара байланысты. Галлюцинация — жалған немесе негізсіз нәрсені айтатын кез келген жауап. Контекст тозуы — галлюцинациялардың, сондай-ақ нұсқауларды елемеу және егжей-тегжейлерді жіберіп алу сияқты басқа қателердің ықтималдығын арттыратын жағдайлардың бірі.
Жақсырақ сұрау контекст тозуын түзете ала ма?
Айқын сұрау тапсырманы бір мақсатқа бағыттап, контекст тозуын азайтады. Дегенмен ол контекстің ұлғаюын тоқтата алмайды. Жеткілікті ұзақ тапсырмада агент бәрібір тиімді пайдалана алатыннан көбірек материал жинайды, сондықтан жұмысты бөлу және оны жол-жөнекей тексеру сұраудың өзі сияқты маңызды.
Контекст тозуы тек агенттерге ғана емес, кәдімгі ЖИ чаттарына да әсер ете ме?
Иә. Чатта контекст — осы уақытқа дейінгі бүкіл сөйлесу, соның ішінде әр хабар және оған қойылған не жүктелген кез келген құжат. Бірнеше тақырып бойынша сағаттап жалғасқан тред ұзақ агент тапсырмасындағыдай қателерге әкелуі мүмкін. Жаңа тақырып үшін жаңа тред бастау әр сөйлесуді бір мақсатқа бағыттайды.
Контекст тозуы басталмас бұрын тапсырма қаншалықты ұзаққа созылуы мүмкін?
Нақты шек жоқ. Бұл модель мен тапсырмаға байланысты. Мысалы, контекст терезесі 260 000 токендік құрылғыдағы модельдер шамамен 100 000 токеннен кейін қиындыққа тап бола бастайды, бұл олардың шегінен әлдеқайда төмен. Сондай-ақ нашарлау кенеттен емес, біртіндеп жүреді.