Il degrado del contesto negli agenti AI: perché le attività lunghe perdono accuratezza e come prevenirlo
Una guida su cosa si accumula nel contesto di un agente AI, perché compromette l'accuratezza e come impostare attività che restino affidabili.

Cosa significa il degrado del contesto per gli agenti AI
Il degrado del contesto (context rot) negli agenti AI è la progressiva perdita di accuratezza che si manifesta man mano che il contesto di un agente si riempie durante un'attività lunga.
Il contesto di un agente è l'insieme delle informazioni di cui il modello dispone per il passaggio successivo. Può includere istruzioni, messaggi precedenti, risultati di ricerca e testo proveniente da siti web o file. Man mano che l'agente lavora, può aggiungerne altre.
Supponiamo, ad esempio, che l'attività di un agente sia trovare fornitori che consegnano entro due settimane. All'inizio, il suo contesto contiene solo quella richiesta. A metà dell'attività, il contesto includerà anche il testo di decine di siti web di fornitori, diverse pagine di risultati di ricerca e appunti su quali fornitori l'agente ha già verificato.
Esiste un limite alla quantità di contesto che un modello può contenere (la cosiddetta finestra di contesto). La finestra si misura in token, piccoli frammenti di testo che di solito corrispondono a una parola o a parte di una parola. Il degrado del contesto aumenta con la crescita del contesto, ed è per questo che è più probabile nelle attività lunghe e composte da molti passaggi.
Con il peggiorare del degrado del contesto, l'agente diventa meno accurato. Potrebbe seguire con meno rigore le istruzioni originali, trascurare dettagli o scambiare informazioni simili per quelle di cui ha bisogno.
Ad esempio, l'agente potrebbe iniziare a includere fornitori che impiegano sei settimane, anche se gli era stato chiesto di trovare consegne in due settimane. L'istruzione è ancora nel suo contesto, ma non orienta più le scelte dell'agente.
Il degrado del contesto non equivale semplicemente a esaurire lo spazio nella finestra di contesto. Quando il contesto di un'attività supera la finestra, parte del materiale viene tagliata oppure l'attività non va a buon fine. Il degrado del contesto inizia molto prima di quel punto, quando tutto ci sta ancora.
Non è nemmeno la stessa cosa dell'avvelenamento del contesto (context poisoning), che si verifica quando informazioni fuorvianti o dannose entrano nel contesto dell'agente. Anche un agente con informazioni accurate e complete può subire il degrado del contesto.
Perché si verifica il degrado del contesto
Il degrado del contesto si verifica perché l'attenzione di un modello è limitata, anche quando la sua finestra di contesto ha ancora spazio in abbondanza. Nei modelli di AI, attenzione è il termine tecnico che indica il modo in cui un modello decide su quali parti del suo input basarsi mentre scrive ogni parola di una risposta. Ogni parte del contesto compete per quell'attenzione. Più testo c'è, meno attenzione riceve ciascuna parte.
Ad esempio, Chroma ha pubblicato uno studio su come la lunghezza dell'input influisce sui modelli di AI. Lo studio ha testato 18 modelli di Anthropic, OpenAI, Google e Alibaba. In un test, i ricercatori hanno nascosto una frase contenente un consiglio di scrittura all'interno di una lunga raccolta di saggi. Poi hanno chiesto al modello quale fosse il consiglio.
Hanno eseguito il test molte volte, aggiungendo ogni volta altro testo dei saggi. La frase e la domanda non sono mai cambiate. È cambiata solo la quantità di testo intorno a esse.
Più testo i modelli dovevano leggere, peggiori erano i risultati. Questo risultato si è confermato in tutti i test del report. I ricercatori prevedono che il calo di accuratezza sarebbe ancora maggiore nel lavoro reale che richiede molti passaggi, come la maggior parte delle attività degli agenti.
Come il degrado del contesto può influire sugli agenti AI
Il degrado del contesto si manifesta in genere in uno di questi quattro modi:
Perdere di vista le istruzioni originali
Il test più semplice di Chroma chiedeva ai modelli di copiare esattamente una lunga stringa di parole ripetute, con una parola diversa inserita in un punto qualsiasi. Era un compito banale con un'istruzione esplicita. Nonostante ciò, le prestazioni sono calate in tutti i modelli man mano che il testo si allungava. Alcuni modelli hanno iniziato a produrre parole che non comparivano affatto nell'input.
In un'attività affidata a un agente, l'utente di solito fissa vincoli specifici all'inizio, come un budget o un formato richiesto. Con la crescita del contesto, l'agente potrebbe applicarli in modo meno coerente. La causa è la lunghezza complessiva del contesto, non la posizione dell'istruzione.
Dettagli persi a metà di un'attività
I modelli di AI usano le informazioni in modo più affidabile quando si trovano proprio all'inizio o proprio alla fine del loro input, secondo uno studio di Stanford del 2023. In un test, i ricercatori hanno fornito ai modelli una serie di 20 documenti e hanno posto una domanda a cui rispondeva solo uno di essi. Quando quel documento era il primo o l'ultimo, i modelli di solito trovavano la risposta. Quando si trovava a metà della serie, la mancavano molto più spesso. I ricercatori chiamano questo fenomeno effetto di posizione.
Lo stesso schema vale per gli agenti. Le informazioni trovate nelle prime fasi di un'attività possono finire a metà di una lunga conversazione, dove alcuni modelli hanno più difficoltà a utilizzarle. Nell'esempio dei fornitori, l'elenco finale potrebbe escludere un buon fornitore che l'agente aveva verificato a metà dell'attività.
Confondere informazioni simili
Con la crescita del contesto, gli agenti possono diventare meno abili nel riconoscere quali informazioni corrispondono alle loro istruzioni. Supponiamo, ad esempio, che l'utente abbia chiesto all'agente di trovare fornitori che spediscono “entro due settimane”. Il sito web di un fornitore dice “arriva entro 14 giorni di calendario dall'ordine”. In un'attività breve, un agente probabilmente capirebbe che le due espressioni significano la stessa cosa. Sepolto tra decine di altre pagine di fornitori, è più probabile che non colga la corrispondenza.
In alternativa, l'agente potrebbe iniziare a includere risultati non pertinenti. Supponiamo che l'agente stia cercando fornitori di sedie da ufficio. Il sito web di un fornitore promette la consegna in due settimane, ma solo per le scrivanie. Le sue sedie richiedono sei settimane. Il sito usa le stesse parole dell'istruzione, quindi l'agente potrebbe comunque aggiungere il fornitore al suo elenco. I ricercatori chiamano questo tipo di informazione distrattore. Sembra pertinente ma non lo è, quindi compete con le informazioni che contano.
Lo studio di Chroma ha rilevato che entrambi i problemi peggioravano con l'aumentare della quantità di testo circostante.
Errori difficili da individuare
Il degrado del contesto non genera alcun messaggio di errore. L'agente continua a lavorare e restituisce un output che sembra completo. Per questo i suoi errori passano facilmente inosservati.
Nei test di Chroma, questi errori hanno assunto due forme. A volte un modello dava con sicurezza una risposta sbagliata. Nell'esempio della ricerca di fornitori, l'agente potrebbe consegnare un elenco di fornitori ordinato e ben formattato che include un fornitore di cui ha frainteso le condizioni di consegna.
Altre volte un modello affermava di non riuscire a trovare informazioni che in realtà erano presenti. Ad esempio, l'agente potrebbe consegnare un report in cui afferma che nessun fornitore rispetta il limite delle due settimane, quando invece diversi lo rispettano.
Come impostare le attività degli agenti per ridurre il degrado del contesto
Impostare correttamente le attività riduce al minimo l'impatto del degrado del contesto e mantiene l'agente il più accurato possibile per tutta la durata dell'attività. Le seguenti buone pratiche possono aiutarti.
Scrivi l'attività come un incarico
Un incarico chiaro mantiene il contesto più ridotto. L'agente sa quando ha finito, quindi smette di raccogliere materiale non appena ne ha abbastanza. Requisiti specifici gli forniscono inoltre un riferimento concreto con cui confrontare ogni pagina. In questo modo, per l'agente è più facile individuare le informazioni giuste.
Prima di inviare un'attività, verifica che copra tre aspetti:
- L'attività: cosa deve fare e produrre l'agente, ad esempio “trova fornitori e restituisci una rosa di candidati”.
- I requisiti: i dati che l'agente non può indovinare, come il budget, la scadenza, l'indirizzo di consegna e il destinatario del risultato.
- L'output: formato, lunghezza e struttura, ad esempio “una tabella con nome, prezzo per sedia e tempi di consegna”.
Messa insieme, la query per l'attività sui fornitori potrebbe essere simile a questa:
“Trova 10 fornitori in grado di consegnare 40 sedie da ufficio alla nostra sede di Chicago entro due settimane, a meno di 250 $ per sedia. Restituisci una tabella con nome del fornitore, prezzo per sedia, tempi di consegna e un link alla pagina del prodotto. L'elenco è destinato al nostro office manager, che effettuerà l'ordine.”
Mantieni ogni attività mirata
Un'attività con un solo obiettivo chiaro mantiene il contesto ridotto. Le attività lunghe, inoltre, costano di più. Ogni passaggio elabora tutto ciò che è stato raccolto fino a quel momento, quindi un contesto sovraccarico consuma più crediti a ogni passaggio.
Per un progetto composto da più parti, suddividilo:
- Elenca i singoli risultati da consegnare, ad esempio una ricerca di fornitori, un confronto dei prezzi e un'email al fornitore scelto.
- Esegui ogni risultato come un'attività a sé.
- Passa da un'attività all'altra solo il risultato finale. Ad esempio, carica la tabella dei fornitori come file per avviare l'attività di confronto, invece di continuare nel thread che l'ha prodotta.
L'attività di confronto inizia così con una sola tabella invece che con tutte le pagine.
Indica all'agente le fonti giuste
Ogni pagina che l'agente legge si aggiunge al suo contesto, inclusi menu, annunci pubblicitari e testo standard che circondano la parte utile. Fornire direttamente le fonti all'agente riduce questo rumore.
Carica i file da cui dipende l'attività, come l'elenco dei fornitori approvati, allegandoli alla query. Quando l'agente deve cercare sul web, indica i siti in cui vale la pena cercare, ad esempio due directory di fornitori affidabili.
Collega gli strumenti in cui si trovano le informazioni. Ad esempio, in Perplexity Computer, apri Connettori nella barra laterale e attiva le app necessarie per l'attività, come Google Drive o Slack. Poi menzionale nella query: “Usa le specifiche delle sedie nel nostro Google Drive”. Collega solo le app pertinenti, poiché ogni connettore occupa una parte del contesto dell'agente.
Se le informazioni si trovano in un'app che non è nell'elenco Connettori, potrebbe comunque essere possibile collegarla. Molte app offrono un connettore MCP (Model Context Protocol), un metodo standard che consente agli strumenti di AI di collegarsi ad altri software. Computer può usarli insieme ai suoi connettori integrati. In un account aziendale, potrebbe essere necessario che un amministratore li abiliti prima.
Chiedi una verifica finale rispetto alle istruzioni
Concludi la query con un passaggio di revisione che indichi i vincoli più importanti:
“Prima di concludere, verifica ogni fornitore rispetto a questi requisiti: consegna entro due settimane, meno di 250 $ per sedia. Segnala quelli che non soddisfano questi requisiti invece di escluderli.”
I vincoli si trovano ancora all'inizio del contesto. Il passaggio di revisione dà all'agente un motivo per confrontare il suo output finale con i vincoli, invece di affidarsi al fatto che le istruzioni mantengano la loro influenza in ogni passaggio.
Inoltre, chiedergli di segnalare i problemi, invece di scartare semplicemente quei risultati, rende più facile individuare gli errori (come scartare un fornitore che promette l'arrivo entro 14 giorni di calendario perché non usa le parole “due settimane”).
Rivedi il lavoro nei punti di controllo
Per le attività più lunghe, inserisci un punto di controllo nella query:
“Inizia trovando 20 fornitori candidati, poi fermati. Confermerò l'elenco prima che tu raccolga i prezzi.”
Confronta la rosa di candidati con le istruzioni originali. Correggi tutto ciò che non va con un messaggio successivo, poi lascia che l'agente continui. Gli errori individuati in questa fase non si trascineranno in tutti i passaggi successivi.
Avvia una nuova attività quando una va fuori strada
Se l'agente ripete lo stesso errore dopo le correzioni, avvia una nuova attività. Ogni correzione aggiunge altro testo a un contesto già lungo. Crea invece una nuova attività. Riformula le istruzioni, carica l'eventuale output valido del primo tentativo e ricomincia.
Alcuni agenti fanno automaticamente qualcosa di simile, con un processo chiamato compattazione. Man mano che un'attività si allunga, l'agente sostituisce il materiale meno recente, come il testo completo delle pagine lette all'inizio, con un breve riepilogo di ciò che ha trovato. Portable Computer di Perplexity compatta il suo contesto in questo modo, così il modello resta entro la quantità che riesce a gestire bene.
È importante avviare una nuova attività anche se l'obiettivo cambia. Un thread nato come ricerca di fornitori non dovrebbe trasformarsi anche nella revisione di un contratto.
Trasforma le istruzioni ripetute in una Skill
Alcune istruzioni si ripetono in ogni attività di un certo tipo, come un formato di tabella preferito, un elenco di fornitori da evitare o un passaggio di revisione standard. In Computer, queste istruzioni possono essere salvate come Skill, un insieme riutilizzabile di istruzioni che l'agente segue ogni volta. Una Skill integra le altre buone pratiche in ogni attività che la utilizza.
Per configurarne una:
- Scegli un'attività che si ripete spesso, come la ricerca di fornitori.
- Annota le istruzioni che dai ogni volta: il formato, le verifiche, le fonti da usare o da evitare.
- Salvale come Skill. Le istruzioni già scritte in Markdown possono essere importate direttamente.
- Indica la Skill nelle query future: “Usa la Skill di ricerca fornitori per trovare fornitori di sedie per la sede di Denver”.
Come Perplexity gestisce il contesto nel lavoro degli agenti
Perplexity Computer gestisce le attività lunghe in modo da mantenere il contesto di ogni modello ridotto e pertinente. Tre elementi della sua architettura limitano la quantità di testo che un modello deve leggere in una volta.
Suddividere il lavoro tra sotto-agenti
Computer suddivide una richiesta in attività e sottoattività, quindi crea sotto-agenti per svolgerle. Ogni sotto-agente lavora su una parte del lavoro nel proprio contesto. Nell'attività sui fornitori, un sotto-agente potrebbe fare ricerche sui prezzi mentre un altro verifica le condizioni di consegna. Nessuno dei due deve leggere tutto ciò che ha letto l'altro.
Conservare il lavoro nei file
Ogni attività di Computer dispone di un proprio ambiente di lavoro, con file, browser web e strumenti dedicati. L'agente può salvare il proprio lavoro in un file, ad esempio una tabella aggiornata dei fornitori già verificati. Poi riapre quel file solo quando ne ha bisogno.
Selezionare i brani pertinenti dai risultati di ricerca
Le pagine web sono piene di materiale di cui il modello non ha bisogno, come menu, annunci pubblicitari, metadati e testo su altri argomenti. La compressione del contesto basata sulla query elimina tutto questo. Prima che una pagina raggiunga il modello, Perplexity conserva solo le frasi pertinenti alla query.
Esplora suggerimenti, guide e attività di esempio per Perplexity Computer per mettere in pratica questi passaggi.
Domande frequenti
Il degrado del contesto è la stessa cosa di un'allucinazione?
No, ma sono fenomeni correlati. Un'allucinazione è qualsiasi risposta che afferma qualcosa di falso o infondato. Il degrado del contesto è una delle condizioni che rendono più probabili le allucinazioni, insieme ad altri errori come istruzioni ignorate e dettagli trascurati.
Una query migliore può risolvere il degrado del contesto?
Una query chiara riduce il degrado del contesto mantenendo l'attività mirata. Tuttavia, non può impedire al contesto di crescere. In un'attività abbastanza lunga, l'agente raccoglie comunque più informazioni di quante ne possa usare bene, ed è per questo che suddividere il lavoro e verificarlo strada facendo conta quanto la query stessa.
Il degrado del contesto riguarda anche le normali chat con l'AI, non solo gli agenti?
Sì. In una chat, il contesto è l'intera conversazione fino a quel momento, inclusi tutti i messaggi e gli eventuali documenti incollati o caricati. Un thread che va avanti da ore su diversi argomenti può produrre gli stessi errori di una lunga attività di un agente. Avviare un nuovo thread per un nuovo argomento mantiene ogni conversazione mirata.
Quanto può durare un'attività prima che inizi il degrado del contesto?
Non esiste un punto fisso. Dipende dal modello e dall'attività. I modelli eseguiti sul dispositivo con finestre di contesto da 260.000 token, ad esempio, iniziano ad avere difficoltà oltre i 100.000 token circa, ben prima del loro limite. Il calo, inoltre, è graduale anziché improvviso.