Degradació del context en els agents d'IA: per què les tasques llargues perden precisió i com evitar-ho

Una guia sobre què s'acumula en el context d'un agent d'IA, per què en perjudica la precisió i com configurar tasques que continuïn sent fiables.

Diagram of an AI agent's context growing from task start to late in a task: instructions are joined by stacked search results, websites, documents, and notes, while a bar showing how closely the agent follows the original instructions shrinks.

Què significa la degradació del context per als agents d'IA

La degradació del context en els agents d'IA és la pèrdua gradual de precisió que es produeix a mesura que el context d'un agent s'omple durant una tasca llarga.

El context d'un agent és la informació que el model té disponible per al pas següent. Pot incloure instruccions, missatges anteriors, resultats de cerca i text de llocs web o fitxers. A mesura que l'agent treballa, en pot afegir més.

Per exemple, suposem que la tasca d'un agent és trobar proveïdors que facin lliuraments en un termini de dues setmanes. Al principi, el seu context només conté aquesta petició. A mitja tasca, el context també inclourà el text de desenes de llocs web de proveïdors, diverses pàgines de resultats de cerca i notes sobre quins proveïdors ja ha comprovat l'agent.

Hi ha un límit en la quantitat de context que pot contenir un model (l'anomenada finestra de context). La finestra es mesura en tokens, que són petits fragments de text, normalment una paraula o part d'una paraula. La degradació del context augmenta a mesura que el context creix, i per això és més probable que es produeixi en tasques llargues amb molts passos.

A mesura que la degradació del context s'agreuja, l'agent perd precisió. Pot seguir les instruccions originals amb menys fidelitat, passar per alt detalls o confondre informació d'aparença similar amb la que necessita.

Per exemple, l'agent podria començar a incloure proveïdors que triguen sis setmanes, tot i que se li va demanar que trobés lliuraments en dues setmanes. La instrucció continua en el seu context, però ja no orienta les decisions de l'agent.

La degradació del context no és el mateix que quedar-se sense espai a la finestra de context. Quan el context d'una tasca supera la finestra, part del material es talla o la tasca falla. La degradació del context comença molt abans d'aquest punt, quan encara hi cap tot.

Tampoc no és el mateix que l'enverinament del context (quan informació enganyosa o perjudicial entra al context de l'agent). Un agent amb informació precisa i completa pot patir igualment degradació del context.

Per què es produeix la degradació del context

La degradació del context es produeix perquè l'atenció d'un model és limitada, fins i tot quan a la finestra de context encara hi ha espai de sobres. En els models d'IA, l'atenció és el terme tècnic que designa com decideix un model en quines parts de l'entrada es basa mentre escriu cada paraula d'una resposta. Totes les parts del context competeixen per aquesta atenció. Com més text hi ha, menys atenció rep cada part.

Per exemple, Chroma va publicar un estudi sobre com afecta la longitud de l'entrada als models d'IA. Va provar 18 models d'Anthropic, OpenAI, Google i Alibaba. En una de les proves, els investigadors van amagar una frase sobre consells d'escriptura dins d'una llarga col·lecció d'assajos. Després van preguntar al model quin era el consell.

Van fer la prova moltes vegades i cada vegada hi afegien més text d'assajos. La frase i la pregunta no canviaven mai. Només canviava la quantitat de text que les envoltava.

Com més text havien de llegir els models, pitjors eren els resultats. Aquesta conclusió es va mantenir en totes les proves de l'informe. Els investigadors preveuen que la caiguda de precisió seria encara més gran en tasques reals de molts passos, com la majoria de tasques d'agents.

Com pot afectar la degradació del context els agents d'IA

La degradació del context se sol manifestar d'una d'aquestes quatre maneres:

Perdre de vista les instruccions originals

La prova més senzilla de Chroma demanava als models que copiessin exactament una llarga cadena de paraules repetides amb una paraula diferent inserida en algun punt. Era una tasca trivial amb una instrucció explícita. Tot i així, el rendiment va disminuir en tots els models a mesura que el text s'allargava. Alguns models van començar a generar paraules que ni tan sols eren a l'entrada.

En una tasca d'agent, l'usuari sol establir restriccions concretes a l'inici, com ara un pressupost o un format obligatori. L'agent podria aplicar-les de manera menys coherent a mesura que el context creix. La causa és la longitud total del context, no el lloc on es troba la instrucció.

Detalls passats per alt a mitja tasca

Els models d'IA utilitzen la informació de manera més fiable quan es troba just al principi o just al final de l'entrada, segons un estudi de Stanford del 2023. En una prova, els investigadors van donar als models un conjunt de 20 documents i els van fer una pregunta que només responia un d'ells. Quan aquest document anava primer o últim, els models solien trobar la resposta. Quan era al mig del conjunt, la passaven per alt molt més sovint. Els investigadors anomenen aquest fenomen efecte de posició.

El mateix patró s'aplica als agents. La informació trobada abans en una tasca pot quedar al mig d'una conversa llarga, on alguns models tenen més dificultats per utilitzar-la. En l'exemple dels proveïdors, la llista final podria ometre un bon proveïdor que l'agent va comprovar a mitja tasca.

Confondre informació similar

A mesura que el context creix, els agents poden reconèixer pitjor quina informació s'ajusta a les instruccions. Per exemple, suposem que l'usuari ha demanat a l'agent que trobi proveïdors que facin enviaments «en un termini de dues setmanes». El lloc web d'un proveïdor diu «arriba en un termini de 14 dies naturals des de la comanda». En una tasca curta, probablement l'agent s'adonaria que totes dues expressions volen dir el mateix. Enterrat entre desenes de pàgines d'altres proveïdors, és més probable que no vegi la coincidència.

També pot passar que l'agent comenci a incloure resultats que no són rellevants. Suposem que l'agent busca proveïdors de cadires d'oficina. El lloc web d'un proveïdor promet lliurament en dues setmanes, però només per als escriptoris. Les cadires triguen sis setmanes. El lloc web fa servir les mateixes paraules que la instrucció, de manera que l'agent podria afegir igualment el proveïdor a la llista. Els investigadors anomenen distractor aquest tipus d'informació. Sembla rellevant però no ho és, i per tant competeix amb la informació que importa.

L'estudi de Chroma va constatar que tots dos problemes s'agreujaven a mesura que augmentava la quantitat de text circumdant.

Errors difícils de detectar

La degradació del context no genera cap missatge d'error. L'agent continua treballant i lliura un resultat que sembla acabat. Per això és fàcil que els errors passin desapercebuts.

A les proves de Chroma, aquests errors es van presentar de dues maneres. De vegades, un model donava amb seguretat una resposta incorrecta. En l'exemple de recerca de proveïdors, l'agent podria lliurar una llista de proveïdors endreçada i ben formatada que inclogués un proveïdor les condicions de lliurament del qual ha interpretat malament.

Altres vegades, un model deia que no trobava informació que sí que hi era. Per exemple, l'agent podria lliurar un informe que digués que cap proveïdor no compleix el límit de dues setmanes quan n'hi ha diversos que sí que el compleixen.

Com configurar les tasques d'agents per reduir la degradació del context

Configurar bé les tasques minimitza l'impacte de la degradació del context i manté l'agent tan precís com sigui possible al llarg de la tasca. Aquestes bones pràctiques et poden ajudar.

Planteja la tasca com un encàrrec

Un encàrrec clar fa que el context sigui més petit. L'agent sap quan ha acabat, de manera que deixa de recopilar material quan ja en té prou. Els requisits concrets també li donen una referència tangible amb què contrastar cada pàgina. Així és més fàcil que l'agent detecti la informació correcta.

Abans d'enviar una tasca, comprova que inclogui tres coses:

  • La tasca: què ha de fer i produir l'agent, com ara «troba proveïdors i torna una llista preseleccionada».
  • Els requisits: les dades que l'agent no pot endevinar, com ara el pressupost, la data límit, l'adreça de lliurament i a qui va destinat el resultat.
  • El resultat: el format, la longitud i l'estructura, com ara «una taula amb el nom, el preu per cadira i el termini de lliurament».

Tot junt, la consulta de la tasca dels proveïdors podria ser així:

«Troba 10 proveïdors que puguin lliurar 40 cadires d'oficina a la nostra oficina de Chicago en un termini de dues setmanes, per menys de 250 $ per cadira. Torna una taula amb el nom del proveïdor, el preu per cadira, el termini de lliurament i un enllaç a la pàgina del producte. La llista és per a la persona responsable de la nostra oficina, que farà la comanda.»

Mantén cada tasca centrada

Una tasca amb un sol objectiu clar manté el context petit. A més, les tasques llargues costen més. Cada pas processa tot el que s'ha recopilat fins aleshores, de manera que un context sobrecarregat consumeix més crèdits a cada pas.

Si un projecte té diverses parts, divideix-lo:

  1. Enumera els lliurables per separat, per exemple una cerca de proveïdors, una comparació de preus i un correu electrònic al proveïdor triat.
  2. Executa cada lliurable com una tasca independent.
  3. Passa només el resultat final d'una tasca a la següent. Per exemple, penja la taula de proveïdors com a fitxer per començar la tasca de comparació, en lloc de continuar al fil que l'ha generada.

Així, la tasca de comparació comença amb una sola taula en lloc de totes les pàgines.

Indica a l'agent les fonts adequades

Cada pàgina que llegeix l'agent s'afegeix al seu context, inclosos els menús, els anuncis i el text estàndard que envolta la part útil. Si proporciones directament les fonts a l'agent, redueixes aquest soroll.

Penja els fitxers dels quals depèn la tasca, com ara la llista de proveïdors aprovats, adjuntant-los a la consulta. Si l'agent ha de cercar al web, indica-li quins llocs web val la pena consultar, com ara dos directoris de proveïdors de confiança.

Connecta les eines on es troba la informació. Per exemple, a Perplexity Computer, obre Connectors a la barra lateral i activa les aplicacions que necessita la tasca, com ara Google Drive o Slack. Després, esmenta-les a la consulta: «Fes servir les especificacions de les cadires que tenim a Google Drive». Connecta només les aplicacions rellevants, perquè cada connector ocupa part del context de l'agent.

Si la informació es troba en una aplicació que no és a la llista de Connectors, potser encara la pots connectar. Moltes aplicacions ofereixen un connector MCP (Model Context Protocol), una manera estàndard perquè les eines d'IA es connectin a altre programari. Computer pot utilitzar-los juntament amb els seus connectors integrats. En un compte d'empresa, és possible que primer els hagi d'activar un administrador.

Demana una comprovació final amb les instruccions

Acaba la consulta amb un pas de revisió que indiqui les restriccions més importants:

«Abans d'acabar, comprova que cada proveïdor compleixi aquests requisits: lliurament en un termini de dues setmanes i menys de 250 $ per cadira. Marca els que no compleixin aquests requisits en lloc d'excloure'ls.»

Les restriccions continuen a l'inici del context. El pas de revisió dona a l'agent un motiu per comparar el resultat final amb les restriccions, en lloc de confiar que les instruccions mantinguin la seva influència en cada pas.

Al mateix temps, demanar-li que marqui els problemes, en lloc de simplement descartar aquests resultats, fa que sigui més fàcil detectar errors (com ara rebutjar un proveïdor que promet l'arribada en un termini de 14 dies naturals perquè no fa servir les paraules «dues setmanes»).

Revisa la feina en punts de control

En les tasques més llargues, inclou un punt de control a la consulta:

«Comença trobant 20 proveïdors candidats i després atura't. Confirmaré la llista abans que recopilis els preus.»

Comprova la llista preseleccionada amb les instruccions originals. Corregeix el que no sigui correcte en un missatge de seguiment i després deixa que l'agent continuï. Els errors detectats en aquest punt no s'arrossegaran a tots els passos següents.

Comença una tasca nova quan una es desviï

Si l'agent repeteix el mateix error després de les correccions, comença una tasca nova. Cada correcció afegeix més text a un context que ja és llarg. En lloc d'això, crea una tasca nova. Torna a exposar les instruccions, penja qualsevol resultat bo del primer intent i torna a començar.

Alguns agents fan una versió d'això automàticament, un procés anomenat compactació. Quan una tasca s'allarga, l'agent substitueix el material més antic, com ara el text complet de les pàgines que ha llegit al principi, per un breu resum del que hi ha trobat. Portable Computer de Perplexity compacta el context d'aquesta manera perquè el model es mantingui dins de la quantitat que pot gestionar bé.

També és important començar una tasca nova si l'objectiu canvia. Un fil que va començar com una cerca de proveïdors no s'hauria de convertir també en una revisió de contractes.

Converteix les instruccions repetides en una Skill

Algunes instruccions apareixen en totes les tasques d'un tipus determinat, com ara un format de taula preferit, una llista de proveïdors que cal evitar o un pas de revisió estàndard. A Computer, es poden desar com a Skill, un conjunt reutilitzable d'instruccions que l'agent segueix cada vegada. Una Skill incorpora les altres bones pràctiques a cada tasca que la fa servir.

Per configurar-ne una:

  1. Tria una tasca que es repeteixi sovint, com ara la recerca de proveïdors.
  2. Anota les instruccions que dones cada vegada: el format, les comprovacions i les fonts que cal utilitzar o evitar.
  3. Desa-les com a Skill. Les instruccions que ja estiguin escrites en Markdown es poden importar directament.
  4. Esmenta la Skill en consultes futures: «Fes servir la Skill de recerca de proveïdors per trobar proveïdors de cadires per a l'oficina de Denver».

Com aborda Perplexity el context en el treball dels agents

Perplexity Computer gestiona les tasques llargues de manera que el context de cada model sigui petit i rellevant. Tres aspectes del seu disseny limiten la quantitat de text que un model ha de llegir alhora.

Repartir la feina entre subagents

Computer divideix una petició en tasques i subtasques i després crea subagents per executar-les. Cada subagent treballa en una part de la feina amb el seu propi context. En la tasca dels proveïdors, un subagent podria investigar els preus mentre un altre comprova les condicions de lliurament. Cap dels dos no ha de llegir tot el que ha llegit l'altre.

Desar la feina en fitxers

Cada tasca de Computer té el seu propi espai de treball, amb fitxers, navegador web i eines propis. L'agent pot desar la feina en un fitxer, com ara una taula que va actualitzant amb els proveïdors que ha comprovat. Després només torna a obrir aquest fitxer quan el necessita.

Seleccionar els fragments rellevants dels resultats de cerca

Les pàgines web estan plenes de material que el model no necessita, com ara menús, anuncis, metadades i text sobre altres temes. La compressió de context basada en la consulta elimina tot això. Abans que una pàgina arribi al model, Perplexity només en conserva les frases relacionades amb la consulta.

Explora consells, guies i tasques d'exemple per a Perplexity Computer per posar en pràctica aquests passos.

Preguntes freqüents

La degradació del context és el mateix que una al·lucinació?

No, però estan relacionades. Una al·lucinació és qualsevol resposta que afirma alguna cosa falsa o sense fonament. La degradació del context és una de les condicions que fan més probables les al·lucinacions, juntament amb altres errors com les instruccions ignorades i els detalls passats per alt.

Una consulta millor pot solucionar la degradació del context?

Una consulta clara redueix la degradació del context perquè manté la tasca centrada. Tanmateix, no pot impedir que el context creixi. En una tasca prou llarga, l'agent continua recopilant més informació de la que pot aprofitar bé, i per això dividir la feina i revisar-la pel camí és tan important com la consulta mateixa.

La degradació del context afecta també els xats d'IA habituals, no només els agents?

Sí. En un xat, el context és tota la conversa fins al moment, inclosos tots els missatges i qualsevol document que s'hi hagi enganxat o penjat. Un fil que s'ha allargat durant hores i ha tocat diversos temes pot produir els mateixos errors que una tasca d'agent llarga. Començar un fil nou per a cada tema nou manté cada conversa centrada.

Quant es pot allargar una tasca abans que aparegui la degradació del context?

No hi ha un punt fix. Depèn del model i de la tasca. Els models que s'executen al dispositiu amb finestres de context de 260.000 tokens, per exemple, comencen a tenir dificultats a partir d'uns 100.000 tokens, molt per sota del seu límit. A més, el deteriorament és gradual, no sobtat.