Degradación do contexto nos axentes de IA: por que as tarefas longas perden precisión e como evitalo

Unha guía sobre o que se acumula no contexto dun axente de IA, por que prexudica a precisión e como configurar tarefas que sigan sendo fiables.

Diagram of an AI agent's context growing from task start to late in a task: instructions are joined by stacked search results, websites, documents, and notes, while a bar showing how closely the agent follows the original instructions shrinks.

Que significa a degradación do contexto para os axentes de IA

A degradación do contexto nos axentes de IA é a perda gradual de precisión que se produce a medida que o contexto dun axente se enche durante unha tarefa longa.

O contexto dun axente é a información que o modelo ten dispoñible para o seu seguinte paso. Pode incluír instrucións, mensaxes anteriores, resultados de busca e texto de sitios web ou ficheiros. A medida que o axente traballa, pode engadir máis.

Por exemplo, supón que a tarefa dun axente é atopar provedores que entreguen nun prazo de dúas semanas. Ao comezo, o seu contexto só contén esa solicitude. A metade da tarefa, o contexto tamén incluirá o texto de ducias de sitios web de provedores, varias páxinas de resultados de busca e notas sobre que provedores xa comprobou o axente.

Hai un límite na cantidade de contexto que pode manter un modelo (chamado xanela de contexto). A xanela mídese en tokens, que son pequenos fragmentos de texto, normalmente unha palabra ou parte dunha palabra. A degradación do contexto aumenta a medida que medra o contexto, e por iso é máis probable que se produza en tarefas longas con moitos pasos.

A medida que se agrava a degradación do contexto, o axente vólvese menos preciso. Pode seguir as instrucións orixinais con menos rigor, pasar por alto detalles ou confundir información de aparencia similar coa que necesita.

Por exemplo, o axente podería comezar a incluír provedores que tardan seis semanas, aínda que se lle indicou que buscase entregas en dúas semanas. A instrución segue no seu contexto, pero xa non orienta as decisións do axente.

A degradación do contexto non é o mesmo que quedar simplemente sen espazo na xanela de contexto. Cando o contexto dunha tarefa supera a xanela, o material quédase fóra ou a tarefa falla. A degradación do contexto comeza moito antes dese punto, cando todo aínda cabe.

Tampouco é o mesmo que o envelenamento do contexto (cando entra no contexto do axente información enganosa ou daniña). Un axente con información precisa e completa pode sufrir igualmente degradación do contexto.

Por que se produce a degradación do contexto

A degradación do contexto prodúcese porque a atención dun modelo é limitada, aínda que a súa xanela de contexto teña espazo de sobra. Nos modelos de IA, atención é o termo técnico para a forma en que un modelo decide en que partes da súa entrada se apoia mentres escribe cada palabra dunha resposta. Todas as partes do contexto compiten por esa atención. Canto máis texto hai, menos atención recibe cada parte.

Por exemplo, Chroma publicou un estudo sobre como afecta a lonxitude da entrada aos modelos de IA. Probou 18 modelos de Anthropic, OpenAI, Google e Alibaba. Nunha das probas, os investigadores agocharon unha frase sobre consellos de escritura dentro dunha longa colección de ensaios. Despois preguntáronlle ao modelo cal era o consello.

Repetiron a proba moitas veces, engadindo máis texto de ensaios cada vez. A frase e a pregunta nunca cambiaron. Só cambiou a cantidade de texto que as rodeaba.

Canto máis texto tiñan que ler os modelos, peor o facían. Esta conclusión mantívose en todas as probas do informe. Os investigadores prevén que a caída da precisión sería aínda maior en traballos reais que requiren moitos pasos, como a maioría das tarefas de axentes.

Como pode afectar a degradación do contexto aos axentes de IA

A degradación do contexto adoita manifestarse dunha destas catro formas:

Perder o fío das instrucións orixinais

A proba máis sinxela de Chroma pedía aos modelos que copiasen exactamente unha longa cadea de palabras repetidas, cunha palabra distinta inserida nalgún punto. Era unha tarefa trivial cunha instrución explícita. Aínda así, o rendemento diminuíu en todos os modelos a medida que o texto se alongaba. Algúns modelos empezaron a producir palabras que nin sequera estaban na entrada.

Nunha tarefa dun axente, o usuario adoita establecer restricións concretas ao comezo, como un orzamento ou un formato obrigatorio. O axente pode aplicalas de forma menos coherente a medida que medra o contexto. A causa é a lonxitude total do contexto, non o lugar onde estea a instrución.

Detalles pasados por alto a metade da tarefa

Os modelos de IA usan a información de forma máis fiable cando está ao principio ou ao final da súa entrada, segundo un estudo de Stanford de 2023. Nunha proba, os investigadores déronlles aos modelos un conxunto de 20 documentos e fixeron unha pregunta que só un deles respondía. Cando ese documento aparecía en primeiro ou en último lugar, os modelos adoitaban atopar a resposta. Cando estaba no medio do conxunto, pasábana por alto con moita máis frecuencia. Os investigadores chámanlle a isto efecto de posición.

O mesmo patrón aplícase aos axentes. A información atopada antes nunha tarefa pode quedar no medio dunha conversa longa, onde algúns modelos teñen máis dificultades para usala. No exemplo dos provedores, a lista final podería deixar fóra un bo provedor que o axente comprobou a metade da tarefa.

Confundir información similar

A medida que medra o contexto, os axentes poden ter máis dificultades para recoñecer que información se axusta ás súas instrucións. Por exemplo, supón que o usuario lle pediu ao axente que atopase provedores que envíen “nun prazo de dúas semanas”. O sitio web dun provedor di “chega nun prazo de 14 días naturais desde o pedido”. Nunha tarefa curta, probablemente o axente detectaría que significan o mesmo. Enterrado entre ducias de páxinas doutros provedores, é máis probable que non vexa a coincidencia.

Tamén pode ocorrer que o axente empece a incluír resultados que non son relevantes. Supón que o axente busca provedores de cadeiras de oficina. O sitio web dun provedor promete entrega en dúas semanas, pero só para mesas. As súas cadeiras tardan seis semanas. O sitio web usa as mesmas palabras que a instrución, así que o axente pode engadir igualmente o provedor á súa lista. Os investigadores chaman a este tipo de información distractor. Parece relevante pero non o é, polo que compite coa información que importa.

O estudo de Chroma descubriu que ambos os problemas empeoraban a medida que aumentaba a cantidade de texto circundante.

Erros difíciles de detectar

A degradación do contexto non xera ningunha mensaxe de erro. O axente segue traballando e devolve un resultado que parece rematado. Iso fai que os seus erros pasen facilmente desapercibidos.

Nas probas de Chroma, estes erros adoptaron dúas formas. Ás veces, un modelo daba con total seguridade unha resposta incorrecta. No exemplo da investigación de provedores, o axente podería entregar unha lista de provedores limpa e ben formatada que inclúe un provedor cuxas condicións de entrega interpretou mal.

Outras veces, un modelo dicía que non podía atopar información que en realidade estaba alí. Por exemplo, o axente podería entregar un informe indicando que ningún provedor cumpre o límite de dúas semanas cando varios si o cumpren.

Como configurar as tarefas dos axentes para reducir a degradación do contexto

Configurar ben as tarefas minimizará o impacto da degradación do contexto e manterá o axente o máis preciso posible ao longo da tarefa. As seguintes boas prácticas poden axudar.

Redacta a tarefa como un encargo

Un encargo claro mantén o contexto máis reducido. O axente sabe cando terminou, así que deixa de reunir material en canto ten dabondo. Os requisitos específicos tamén lle dan algo concreto co que contrastar cada páxina. Iso fai que lle resulte máis doado ao axente detectar a información correcta.

Antes de enviar unha tarefa, comproba que abrangue tres cousas:

  • A tarefa: que debe facer e producir o axente, como “atopa provedores e devolve unha lista curta”.
  • Os requisitos: os datos que o axente non pode adiviñar, como o orzamento, a data límite, o enderezo de entrega e para quen é o resultado.
  • O resultado: o formato, a lonxitude e a estrutura, como “unha táboa co nome, o prezo por cadeira e o prazo de entrega”.

En conxunto, a consulta da tarefa dos provedores podería ser así:

“Atopa 10 provedores que poidan entregar 40 cadeiras de oficina na nosa oficina de Chicago nun prazo de dúas semanas, por menos de 250 $ por cadeira. Devolve unha táboa co nome do provedor, o prezo por cadeira, o prazo de entrega e unha ligazón á páxina do produto. A lista é para a persoa responsable da nosa oficina, que fará o pedido.”

Mantén cada tarefa centrada

Unha tarefa cun único obxectivo claro mantén o contexto reducido. As tarefas longas tamén custan máis. Cada paso procesa todo o que se reuniu ata ese momento, así que un contexto inchado consome máis créditos en cada paso.

Se un proxecto ten varias partes, divídeo:

  1. Enumera os entregables por separado, por exemplo unha busca de provedores, unha comparación de prezos e un correo electrónico ao provedor escollido.
  2. Executa cada entregable como unha tarefa independente.
  3. Pasa só o resultado final dunha tarefa á seguinte. Por exemplo, carga a táboa de provedores como ficheiro para iniciar a tarefa de comparación, en lugar de continuar no fío que a xerou.

Así, a tarefa de comparación comeza cunha soa táboa en vez de con todas as páxinas.

Indícalle ao axente as fontes axeitadas

Cada páxina que le o axente súmase ao seu contexto, incluídos os menús, os anuncios e o texto repetitivo que rodean a parte útil. Proporcionarlle directamente as fontes ao axente reduce ese ruído.

Carga os ficheiros dos que depende a tarefa, como a lista de provedores aprobados, anexándoos á consulta. Indica os sitios web nos que paga a pena buscar cando o axente teña que buscar na web, como dous directorios de provedores de confianza.

Conecta as ferramentas onde está a información. Por exemplo, en Perplexity Computer, abre Conectores na barra lateral e activa as aplicacións que precisa a tarefa, como Google Drive ou Slack. Despois menciónaas na consulta: “Usa as especificacións das cadeiras do noso Google Drive”. Conecta só as aplicacións relevantes, xa que cada conector ocupa parte do contexto do axente.

Se a información está nunha aplicación que non figura na lista de Conectores, aínda pode ser posible conectala. Moitas aplicacións ofrecen un conector MCP (Model Context Protocol), unha forma estándar de que as ferramentas de IA se conecten a outro software. Computer pode usalos xunto cos seus conectores integrados. Nunha conta de empresa, é posible que un administrador teña que activalos primeiro.

Pide unha comprobación final fronte ás instrucións

Remata a consulta cun paso de revisión que indique as restricións máis importantes:

“Antes de rematar, comproba cada provedor fronte a estes requisitos: entrega nun prazo de dúas semanas e menos de 250 $ por cadeira. Marca os que non cumpran eses requisitos en lugar de deixalos fóra.”

As restricións seguen estando ao comezo do contexto. O paso de revisión dálle ao axente un motivo para comparar o seu resultado final coas restricións, en lugar de depender de que as instrucións manteñan a súa influencia ao longo de todos os pasos.

Ademais, pedirlle que marque os problemas, en vez de descartar sen máis eses resultados, fai que os erros sexan máis fáciles de detectar (como rexeitar un provedor que promete a chegada nun prazo de 14 días naturais porque non usa as palabras “dúas semanas”).

Revisa o traballo en puntos de control

Nas tarefas máis longas, inclúe un punto de control na consulta:

“Comeza atopando 20 provedores candidatos e detente. Confirmarei a lista antes de que recompiles os prezos.”

Comproba a lista curta fronte ás instrucións orixinais. Corrixe o que non estea ben nunha mensaxe de seguimento e logo deixa que o axente continúe. Os erros detectados neste punto non se arrastrarán a todos os pasos seguintes.

Inicia unha nova tarefa cando unha se desvíe

Se o axente repite o mesmo erro despois das correccións, inicia unha nova tarefa. Cada corrección engade máis texto a un contexto xa longo. Crea unha nova tarefa no seu lugar. Volve expor as instrucións, carga calquera resultado bo do primeiro intento e comeza de novo.

Algúns axentes fan unha versión disto automaticamente, un proceso chamado compactación. Cando unha tarefa se alonga, o axente substitúe o material máis antigo, como o texto completo das páxinas que leu ao principio, por un breve resumo do que atopou. Portable Computer de Perplexity compacta o seu contexto deste xeito, para que o modelo se manteña dentro da cantidade que pode xestionar ben.

Tamén é importante iniciar unha nova tarefa se cambia o obxectivo. Un fío que comezou como unha busca de provedores non debería converterse tamén nunha revisión de contratos.

Converte as instrucións repetidas nunha Skill

Algunhas instrucións repítense en todas as tarefas dun certo tipo, como un formato de táboa preferido, unha lista de provedores que evitar ou un paso de revisión estándar. En Computer, pódense gardar como unha Skill, un conxunto reutilizable de instrucións que o axente segue cada vez. Unha Skill incorpora as outras boas prácticas en cada tarefa que a usa.

Para configurar unha:

  1. Escolle unha tarefa que se repita a miúdo, como a investigación de provedores.
  2. Anota as instrucións que dás cada vez: o formato, as comprobacións e as fontes que hai que usar ou evitar.
  3. Gárdaas como unha Skill. As instrucións xa escritas en Markdown pódense importar directamente.
  4. Menciona a Skill nas consultas futuras: “Usa a Skill de investigación de provedores para atopar provedores de cadeiras para a oficina de Denver”.

Como aborda Perplexity o contexto no traballo dos axentes

Perplexity Computer xestiona as tarefas longas de xeito que o contexto de cada modelo se manteña reducido e relevante. Tres aspectos do seu deseño limitan canto ten que ler un modelo dunha vez.

Repartir o traballo entre subaxentes

Computer divide unha solicitude en tarefas e subtarefas e, despois, crea subaxentes para levalas a cabo. Cada subaxente encárgase dunha parte do traballo no seu propio contexto. Na tarefa dos provedores, un subaxente podería investigar os prezos mentres outro comproba as condicións de entrega. Ningún deles ten que ler todo o que leu o outro.

Gardar o traballo en ficheiros

Cada tarefa de Computer ten o seu propio espazo de traballo, cos seus propios ficheiros, navegador web e ferramentas. O axente pode gardar o seu traballo nun ficheiro, como unha táboa que vai actualizando cos provedores que xa comprobou. Despois volve abrir ese ficheiro só cando o necesita.

Seleccionar fragmentos relevantes dos resultados de busca

As páxinas web están cheas de material que o modelo non necesita, como menús, anuncios, metadatos e texto sobre outros temas. A compresión do contexto baseada na consulta elimínao. Antes de que unha páxina chegue ao modelo, Perplexity conserva só as frases relacionadas coa consulta.

Explora consellos, guías e tarefas de exemplo para Perplexity Computer para poñer en práctica estes pasos.

Preguntas frecuentes

A degradación do contexto é o mesmo que unha alucinación?

Non, pero están relacionadas. Unha alucinación é calquera resposta que afirma algo falso ou sen fundamento. A degradación do contexto é unha das condicións que fan máis probables as alucinacións, xunto con outros erros como as instrucións ignoradas e os detalles pasados por alto.

Pode unha consulta mellor corrixir a degradación do contexto?

Unha consulta clara reduce a degradación do contexto ao manter a tarefa centrada. Iso si, non pode impedir que o contexto medre. Nunha tarefa o bastante longa, o axente segue reunindo máis do que pode usar ben, e por iso dividir o traballo e revisalo polo camiño importa tanto como a propia consulta.

A degradación do contexto afecta tamén aos chats de IA habituais, non só aos axentes?

Si. Nun chat, o contexto é toda a conversa ata o momento, incluídas todas as mensaxes e calquera documento pegado ou cargado nela. Un fío que leva horas aberto e que tratou varios temas pode producir os mesmos erros que unha tarefa longa dun axente. Iniciar un novo fío para cada tema novo mantén cada conversa centrada.

Canto pode durar unha tarefa antes de que apareza a degradación do contexto?

Non hai un punto fixo. Depende do modelo e da tarefa. Os modelos no dispositivo con xanelas de contexto de 260.000 tokens, por exemplo, empezan a ter dificultades a partir duns 100.000 tokens, moi por debaixo do seu límite. Ademais, o descenso é gradual e non repentino.