Degradarea contextului la agenții AI: de ce pierd sarcinile lungi din acuratețe și cum o puteți preveni
Un ghid despre ce se acumulează în contextul unui agent AI, de ce afectează acuratețea și cum să configurați sarcini care rămân fiabile.

Ce înseamnă degradarea contextului pentru agenții AI
Degradarea contextului (context rot) la agenții AI este pierderea treptată a acurateței care apare pe măsură ce contextul unui agent se umple în timpul unei sarcini lungi.
Contextul unui agent reprezintă informațiile de care dispune modelul pentru următorul pas. Acesta poate include instrucțiuni, mesaje anterioare, rezultate de căutare și text de pe site-uri web sau din fișiere. Pe măsură ce agentul lucrează, poate adăuga și mai multe.
De exemplu, să presupunem că sarcina unui agent este să găsească furnizori care livrează în termen de două săptămâni. La început, contextul său conține doar această solicitare. La jumătatea sarcinii, contextul va include și textul a zeci de site-uri ale furnizorilor, mai multe pagini de rezultate de căutare și notițe despre furnizorii pe care agentul i-a verificat deja.
Există o limită a cantității de context pe care o poate reține un model (numită fereastră de context). Fereastra se măsoară în tokenuri, adică mici fragmente de text, de obicei un cuvânt sau o parte dintr-un cuvânt. Degradarea contextului se accentuează pe măsură ce contextul crește, motiv pentru care apare cel mai probabil în sarcinile lungi, cu mulți pași.
Pe măsură ce degradarea contextului se agravează, agentul devine mai puțin precis. S-ar putea să urmeze mai puțin fidel instrucțiunile inițiale, să treacă cu vederea detalii sau să confunde informații asemănătoare cu cele de care are nevoie.
De exemplu, agentul ar putea începe să includă furnizori care livrează în șase săptămâni, deși i s-a cerut să găsească livrare în două săptămâni. Instrucțiunea se află în continuare în contextul său, dar nu mai influențează alegerile agentului.
Degradarea contextului nu este același lucru cu simpla epuizare a spațiului din fereastra de context. Când contextul unei sarcini depășește fereastra, o parte din material este eliminată sau sarcina eșuează. Degradarea contextului începe cu mult înainte de acel moment, cât timp totul încă încape.
Nu este nici același lucru cu otrăvirea contextului (când informații înșelătoare sau dăunătoare ajung în contextul agentului). Un agent cu informații corecte și complete se poate confrunta totuși cu degradarea contextului.
De ce apare degradarea contextului
Degradarea contextului apare deoarece atenția unui model este limitată, chiar și atunci când fereastra sa de context mai are spațiu liber. În modelele AI, atenția este termenul tehnic pentru modul în care un model decide pe ce părți ale datelor de intrare să se bazeze în timp ce scrie fiecare cuvânt al unui răspuns. Fiecare parte a contextului concurează pentru această atenție. Cu cât există mai mult text, cu atât fiecare parte primește mai puțină atenție.
De exemplu, Chroma a publicat un studiu despre modul în care lungimea datelor de intrare afectează modelele AI. Studiul a testat 18 modele de la Anthropic, OpenAI, Google și Alibaba. Într-unul dintre teste, cercetătorii au ascuns o propoziție despre sfaturi de scriere într-o colecție lungă de eseuri. Apoi au întrebat modelul care era sfatul.
Au repetat testul de multe ori, adăugând de fiecare dată mai mult text din eseuri. Propoziția și întrebarea nu s-au schimbat niciodată. S-a schimbat doar cantitatea de text din jurul lor.
Cu cât modelele aveau mai mult text de citit, cu atât rezultatele erau mai slabe. Această constatare s-a confirmat în toate testele din raport. Cercetătorii estimează că scăderea acurateței ar fi și mai mare în activitățile reale care necesită mulți pași, cum sunt majoritatea sarcinilor agenților.
Cum poate afecta degradarea contextului agenții AI
Degradarea contextului se manifestă de obicei în unul dintre următoarele patru moduri:
Pierderea din vedere a instrucțiunilor inițiale
Cel mai simplu test al Chroma le-a cerut modelelor să copieze exact un șir lung de cuvinte repetate, în care fusese inserat undeva un cuvânt diferit. Era o sarcină banală, cu o instrucțiune explicită. Chiar și așa, performanța tuturor modelelor a scăzut pe măsură ce textul devenea mai lung. Unele modele au început să genereze cuvinte care nici nu existau în datele de intrare.
Într-o sarcină pentru un agent, utilizatorul stabilește de obicei constrângeri specifice la începutul sarcinii, cum ar fi un buget sau un format obligatoriu. Agentul le-ar putea aplica mai puțin consecvent pe măsură ce contextul crește. Cauza este lungimea totală a contextului, nu locul în care se află instrucțiunea.
Detalii omise de la mijlocul unei sarcini
Modelele AI folosesc informațiile cel mai fiabil atunci când acestea se află chiar la începutul sau chiar la sfârșitul datelor de intrare, potrivit unui studiu Stanford din 2023. Într-unul dintre teste, cercetătorii le-au dat modelelor un set de 20 de documente și le-au pus o întrebare la care răspundea doar unul dintre ele. Când acel document era primul sau ultimul, modelele găseau de obicei răspunsul. Când se afla la mijlocul setului, îl ratau mult mai des. Cercetătorii numesc acest fenomen efect de poziție.
Același tipar se aplică și agenților. Informațiile găsite mai devreme într-o sarcină pot ajunge la mijlocul unei conversații lungi, unde unele modele le folosesc mai greu. În exemplul cu furnizorii, lista finală ar putea omite un furnizor bun pe care agentul l-a verificat la jumătatea sarcinii.
Confundarea informațiilor similare
Pe măsură ce contextul crește, agenții pot recunoaște tot mai greu ce informații corespund instrucțiunilor lor. De exemplu, să presupunem că utilizatorul i-a cerut agentului să găsească furnizori care livrează „în termen de două săptămâni”. Site-ul unui furnizor menționează „ajunge în 14 zile calendaristice de la comandă”. Într-o sarcină scurtă, un agent ar observa probabil că acestea înseamnă același lucru. Îngropat printre zeci de alte pagini ale furnizorilor, este mai probabil să rateze corespondența.
Alternativ, agentul ar putea începe să includă rezultate irelevante. Să presupunem că agentul caută furnizori de scaune de birou. Site-ul unui furnizor promite livrare în două săptămâni, dar numai pentru birouri. Scaunele sale se livrează în șase săptămâni. Site-ul folosește aceleași cuvinte ca instrucțiunea, așa că agentul ar putea adăuga oricum furnizorul pe listă. Cercetătorii numesc astfel de informații distractori. Par relevante, dar nu sunt, așa că concurează cu informațiile care contează.
Studiul Chroma a constatat că ambele probleme s-au agravat pe măsură ce cantitatea de text din jur a crescut.
Erori greu de observat
Degradarea contextului nu declanșează niciun mesaj de eroare. Agentul continuă să lucreze și livrează un rezultat care pare finalizat. De aceea, greșelile sale sunt ușor de trecut cu vederea.
În testele Chroma, aceste greșeli au luat două forme. Uneori, un model dădea cu încredere un răspuns greșit. În exemplul cercetării furnizorilor, agentul ar putea livra o listă de furnizori ordonată și bine formatată, care include un furnizor ale cărui condiții de livrare le-a interpretat greșit.
Alteori, un model spunea că nu a putut găsi informații care existau de fapt. De exemplu, agentul ar putea livra un raport care afirmă că niciun furnizor nu respectă limita de două săptămâni, deși mai mulți o respectă.
Cum să configurați sarcinile agenților pentru a reduce degradarea contextului
Configurarea corectă a sarcinilor va reduce la minimum impactul degradării contextului și va menține agentul cât mai precis pe parcursul sarcinii. Următoarele bune practici vă pot ajuta.
Formulați sarcina ca pe o însărcinare clară
O însărcinare clară menține contextul mai mic. Agentul știe când a terminat, așa că nu mai adună material odată ce are suficient. Cerințele specifice îi oferă, de asemenea, un reper concret cu care să compare fiecare pagină. Astfel, agentul identifică mai ușor informațiile potrivite.
Înainte de a trimite o sarcină, verificați dacă aceasta acoperă trei aspecte:
- Sarcina: ce trebuie să facă și să producă agentul, de exemplu „găsește furnizori și returnează o listă scurtă”.
- Cerințele: informațiile pe care agentul nu le poate ghici, cum ar fi bugetul, termenul-limită, adresa de livrare și persoana căreia îi este destinat rezultatul.
- Rezultatul: formatul, lungimea și structura, de exemplu „un tabel cu numele, prețul per scaun și termenul de livrare”.
Pusă cap la cap, interogarea pentru sarcina privind furnizorii ar putea arăta astfel:
„Găsește 10 furnizori care pot livra 40 de scaune de birou la biroul nostru din Chicago în termen de două săptămâni, la sub 250 USD per scaun. Returnează un tabel cu numele furnizorului, prețul per scaun, termenul de livrare și un link către pagina produsului. Lista este pentru administratorul biroului nostru, care va plasa comanda.”
Mențineți fiecare sarcină concentrată
O singură sarcină cu un singur obiectiv clar menține contextul mic. De asemenea, sarcinile lungi costă mai mult. Fiecare pas procesează tot ce a fost adunat până atunci, așa că un context supraîncărcat consumă mai multe credite la fiecare pas.
Pentru un proiect cu mai multe părți, împărțiți-l:
- Enumerați livrabilele separate, de exemplu o căutare de furnizori, o comparație de prețuri și un e-mail către furnizorul ales.
- Rulați fiecare livrabil ca sarcină separată.
- Transmiteți de la o sarcină la următoarea doar rezultatul final. De exemplu, încărcați tabelul cu furnizori ca fișier pentru a începe sarcina de comparare, în loc să continuați în firul care l-a generat.
Sarcina de comparare începe astfel cu un singur tabel, în loc de toate paginile.
Indicați-i agentului sursele potrivite
Fiecare pagină citită de agent se adaugă la contextul său, inclusiv meniurile, reclamele și textul standard din jurul părții utile. Dacă îi oferiți agentului sursele direct, reduceți acest zgomot.
Încărcați fișierele de care depinde sarcina, cum ar fi lista furnizorilor aprobați, atașându-le la interogare. Când agentul trebuie să caute pe web, numiți site-urile în care merită căutat, de exemplu două directoare de furnizori de încredere.
Conectați instrumentele în care se află informațiile. De exemplu, în Perplexity Computer, deschideți Conectori din bara laterală și activați aplicațiile de care are nevoie sarcina, cum ar fi Google Drive sau Slack. Apoi menționați-le în interogare: „Folosește specificațiile scaunelor din Google Drive-ul nostru”. Conectați doar aplicațiile relevante, deoarece fiecare conector ocupă o parte din contextul agentului.
Dacă informațiile se află într-o aplicație care nu apare în lista Conectori, s-ar putea să fie totuși posibilă conectarea acesteia. Multe aplicații oferă un conector MCP (Model Context Protocol), o modalitate standard prin care instrumentele AI se pot conecta la alte programe software. Computer le poate folosi alături de conectorii săi integrați. Într-un cont de companie, este posibil ca un administrator să trebuiască să le activeze mai întâi.
Cereți o verificare finală în raport cu instrucțiunile
Încheiați interogarea cu un pas de verificare care numește constrângerile cele mai importante:
„Înainte de a termina, verifică fiecare furnizor în raport cu aceste cerințe: livrare în termen de două săptămâni, sub 250 USD per scaun. Semnalează-i pe cei care nu îndeplinesc aceste cerințe, în loc să-i omiți.”
Constrângerile se află în continuare la începutul contextului. Pasul de verificare îi oferă agentului un motiv să compare rezultatul final cu constrângerile, în loc să se bazeze pe faptul că instrucțiunile își vor păstra influența pe parcursul fiecărui pas.
Totodată, dacă îi cereți să semnaleze problemele, în loc să elimine pur și simplu acele rezultate, greșelile devin mai ușor de depistat (cum ar fi respingerea unui furnizor care promite livrarea în 14 zile calendaristice pentru că nu folosește cuvintele „două săptămâni”).
Verificați munca la puncte de control
Pentru sarcinile mai lungi, includeți un punct de control în interogare:
„Începe prin a găsi 20 de furnizori candidați, apoi oprește-te. Voi confirma lista înainte să colectezi prețurile.”
Verificați lista scurtă în raport cu instrucțiunile inițiale. Corectați orice problemă într-un mesaj ulterior, apoi lăsați agentul să continue. Greșelile depistate în acest moment nu se vor propaga în toți pașii următori.
Începeți o sarcină nouă când una deviază de la curs
Dacă agentul repetă aceeași greșeală după corecturi, începeți o sarcină nouă. Fiecare corectură adaugă mai mult text la un context deja lung. Creați în schimb o sarcină nouă. Reformulați instrucțiunile, încărcați orice rezultat bun din prima încercare și începeți din nou.
Unii agenți fac automat o versiune a acestui lucru, un proces numit compactare. Pe măsură ce o sarcină devine lungă, agentul înlocuiește materialul mai vechi, cum ar fi textul integral al paginilor citite la început, cu un scurt rezumat al celor găsite. Portable Computer de la Perplexity își compactează contextul în acest fel, astfel încât modelul rămâne în limita cantității pe care o poate gestiona bine.
Este important, de asemenea, să începeți o sarcină nouă dacă obiectivul se schimbă. Un fir care a început ca o căutare de furnizori nu ar trebui să devină și o analiză de contract.
Transformați instrucțiunile repetate într-un Skill
Unele instrucțiuni apar în fiecare sarcină de un anumit tip, cum ar fi un format de tabel preferat, o listă de furnizori de evitat sau un pas standard de verificare. În Computer, acestea pot fi salvate ca Skill, un set reutilizabil de instrucțiuni pe care agentul îl urmează de fiecare dată. Un Skill integrează celelalte bune practici în fiecare sarcină care îl folosește.
Pentru a configura unul:
- Alegeți o sarcină care apare des, cum ar fi cercetarea furnizorilor.
- Notați instrucțiunile pe care le dați de fiecare dată: formatul, verificările, sursele de folosit sau de evitat.
- Salvați-le ca Skill. Instrucțiunile deja scrise în Markdown pot fi importate direct.
- Menționați Skill-ul după nume în interogările viitoare: „Folosește Skill-ul de cercetare a furnizorilor pentru a găsi furnizori de scaune pentru biroul din Denver”.
Cum abordează Perplexity contextul în activitatea agenților
Perplexity Computer gestionează sarcinile lungi astfel încât contextul fiecărui model să rămână mic și relevant. Trei elemente ale designului său limitează cât de mult trebuie să citească un model deodată.
Împărțirea muncii între subagenți
Computer împarte o solicitare în sarcini și subsarcini, apoi creează subagenți care să le ducă la îndeplinire. Fiecare subagent lucrează la o parte a activității, în propriul context. În sarcina privind furnizorii, un subagent ar putea cerceta prețurile, în timp ce altul verifică condițiile de livrare. Niciunul nu trebuie să citească tot ce a citit celălalt.
Păstrarea muncii în fișiere
Fiecare sarcină Computer primește propriul spațiu de lucru, cu propriile fișiere, propriul browser web și propriile instrumente. Agentul își poate salva munca într-un fișier, de exemplu un tabel actualizat continuu cu furnizorii pe care i-a verificat. Apoi redeschide fișierul respectiv doar când are nevoie de el.
Selectarea pasajelor relevante din rezultatele căutării
Paginile web sunt pline de material de care modelul nu are nevoie, cum ar fi meniuri, reclame, metadate și text despre alte subiecte. Comprimarea contextului în funcție de interogare elimină aceste elemente. Înainte ca o pagină să ajungă la model, Perplexity păstrează doar propozițiile care au legătură cu interogarea.
Explorați sfaturi, ghiduri și exemple de sarcini pentru Perplexity Computer pentru a pune acești pași în practică.
Întrebări frecvente
Este degradarea contextului același lucru cu halucinația?
Nu, dar sunt legate. O halucinație este orice răspuns care afirmă ceva fals sau nefondat. Degradarea contextului este una dintre condițiile care fac halucinațiile mai probabile, alături de alte greșeli precum instrucțiunile ignorate și detaliile omise.
Poate o interogare mai bună să remedieze degradarea contextului?
O interogare clară reduce degradarea contextului, menținând sarcina concentrată. Totuși, nu poate împiedica creșterea contextului. Într-o sarcină suficient de lungă, agentul tot adună mai mult decât poate folosi bine, motiv pentru care împărțirea muncii și verificarea ei pe parcurs contează la fel de mult ca interogarea în sine.
Afectează degradarea contextului și chaturile AI obișnuite, nu doar agenții?
Da. Într-un chat, contextul este întreaga conversație de până acum, inclusiv fiecare mesaj și orice documente lipite sau încărcate în ea. Un fir care rulează de ore întregi pe mai multe subiecte poate produce aceleași greșeli ca o sarcină lungă a unui agent. Începerea unui fir nou pentru un subiect nou menține fiecare conversație concentrată.
Cât de lungă poate deveni o sarcină înainte să apară degradarea contextului?
Nu există un prag fix. Depinde de model și de sarcină. De exemplu, modelele care rulează pe dispozitiv, cu ferestre de context de 260.000 de tokenuri, încep să întâmpine dificultăți dincolo de aproximativ 100.000 de tokenuri, cu mult sub limita lor. De asemenea, declinul este treptat, nu brusc.