Dégradation du contexte chez les agents IA : pourquoi les longues tâches perdent en précision et comment l’éviter

Un guide sur ce qui s’accumule dans le contexte d’un agent IA, pourquoi cela nuit à sa précision et comment configurer des tâches qui restent fiables.

Diagram of an AI agent's context growing from task start to late in a task: instructions are joined by stacked search results, websites, documents, and notes, while a bar showing how closely the agent follows the original instructions shrinks.

Ce que signifie la dégradation du contexte pour les agents IA

Chez les agents IA, la dégradation du contexte désigne la perte progressive de précision qui s’installe à mesure que le contexte d’un agent se remplit au cours d’une longue tâche.

Le contexte d’un agent correspond aux informations dont le modèle dispose pour son étape suivante. Il peut inclure des instructions, des messages antérieurs, des résultats de recherche et du texte issu de sites web ou de fichiers. Au fil de son travail, l’agent peut en ajouter davantage.

Imaginons par exemple qu’un agent ait pour tâche de trouver des fournisseurs qui livrent sous deux semaines. Au départ, son contexte ne contient que cette demande. À mi-parcours, il inclura aussi le texte de dizaines de sites de fournisseurs, plusieurs pages de résultats de recherche et des notes indiquant quels fournisseurs l’agent a déjà vérifiés.

La quantité de contexte qu’un modèle peut contenir est limitée (c’est ce qu’on appelle la fenêtre de contexte). Cette fenêtre se mesure en tokens, de petits fragments de texte correspondant généralement à un mot ou à une partie de mot. La dégradation du contexte s’accentue à mesure que le contexte grossit, c’est pourquoi elle survient le plus souvent dans les longues tâches comportant de nombreuses étapes.

À mesure que la dégradation du contexte s’aggrave, l’agent perd en précision. Il peut suivre ses instructions initiales de moins près, négliger des détails ou confondre des informations d’apparence similaire avec celles dont il a besoin.

Par exemple, l’agent pourrait commencer à inclure des fournisseurs qui livrent en six semaines, alors qu’on lui a demandé de trouver une livraison sous deux semaines. L’instruction figure toujours dans son contexte, mais elle n’oriente plus ses choix.

La dégradation du contexte ne se résume pas à un simple manque de place dans la fenêtre de contexte. Lorsque le contexte d’une tâche dépasse la fenêtre, une partie du contenu est tronquée ou la tâche échoue. La dégradation du contexte commence bien avant ce stade, alors que tout tient encore dans la fenêtre.

Elle se distingue aussi de l’empoisonnement du contexte (lorsque des informations trompeuses ou nuisibles s’introduisent dans le contexte de l’agent). Un agent disposant d’informations exactes et complètes peut tout de même subir une dégradation du contexte.

Pourquoi la dégradation du contexte se produit

La dégradation du contexte se produit parce que l’attention d’un modèle est limitée, même lorsque sa fenêtre de contexte dispose encore de place. Dans les modèles d’IA, l’attention est le terme technique qui désigne la façon dont un modèle choisit les parties de son entrée sur lesquelles s’appuyer pour écrire chaque mot d’une réponse. Toutes les parties du contexte se disputent cette attention. Plus il y a de texte, moins chaque partie reçoit d’attention.

Chroma a par exemple publié une étude sur l’influence de la longueur de l’entrée sur les modèles d’IA. Elle a testé 18 modèles d’Anthropic, OpenAI, Google et Alibaba. Dans l’un des tests, les chercheurs ont caché une phrase contenant un conseil d’écriture au milieu d’un long recueil d’essais. Ils ont ensuite demandé au modèle quel était ce conseil.

Ils ont répété le test de nombreuses fois, en ajoutant chaque fois davantage de texte d’essais. La phrase et la question ne changeaient jamais. Seule la quantité de texte autour d’elles variait.

Plus les modèles avaient de texte à lire, moins ils étaient performants. Ce constat s’est vérifié dans tous les tests du rapport. Les chercheurs prévoient que la baisse de précision serait encore plus marquée dans un travail réel comportant de nombreuses étapes, comme la plupart des tâches d’agent.

Comment la dégradation du contexte peut affecter les agents IA

La dégradation du contexte se manifeste généralement de l’une des quatre façons suivantes :

Perte de vue des instructions initiales

Le test le plus simple de Chroma demandait aux modèles de recopier à l’identique une longue chaîne de mots répétés, dans laquelle un mot différent avait été inséré quelque part. C’était une tâche triviale, assortie d’une instruction explicite. Pourtant, les performances de tous les modèles ont décliné à mesure que le texte s’allongeait. Certains modèles se sont même mis à produire des mots qui ne figuraient pas du tout dans l’entrée.

Dans une tâche d’agent, l’utilisateur fixe généralement des contraintes précises au début, comme un budget ou un format imposé. L’agent risque de les appliquer de manière moins cohérente à mesure que le contexte grossit. La cause tient à la longueur globale du contexte, et non à l’emplacement de l’instruction.

Détails manqués au milieu d’une tâche

Selon une étude de Stanford de 2023, les modèles d’IA exploitent les informations de la façon la plus fiable lorsqu’elles se trouvent tout au début ou tout à la fin de leur entrée. Dans l’un des tests, les chercheurs ont fourni aux modèles un ensemble de 20 documents et posé une question à laquelle un seul d’entre eux répondait. Lorsque ce document arrivait en premier ou en dernier, les modèles trouvaient généralement la réponse. Lorsqu’il se trouvait au milieu de l’ensemble, ils la manquaient bien plus souvent. Les chercheurs appellent ce phénomène un effet de position.

Le même schéma s’applique aux agents. Les informations trouvées plus tôt dans une tâche peuvent se retrouver au milieu d’une longue conversation, là où certains modèles ont plus de mal à les exploiter. Dans l’exemple des fournisseurs, la liste finale pourrait omettre un bon fournisseur que l’agent a vérifié en cours de tâche.

Confusion entre informations similaires

À mesure que le contexte grossit, les agents peuvent avoir plus de mal à reconnaître les informations qui correspondent à leurs instructions. Imaginons par exemple que l’utilisateur ait demandé à l’agent de trouver des fournisseurs qui expédient « sous deux semaines ». Le site web d’un fournisseur indique « livraison sous 14 jours calendaires à compter de la commande ». Dans une tâche courte, un agent comprendrait probablement que ces formulations signifient la même chose. Noyé parmi des dizaines d’autres pages de fournisseurs, il risque davantage de passer à côté de la correspondance.

L’agent pourrait aussi commencer à inclure des résultats non pertinents. Imaginons que l’agent recherche des fournisseurs de chaises de bureau. Le site web d’un fournisseur promet une livraison sous deux semaines, mais uniquement pour les bureaux. Ses chaises sont livrées en six semaines. Le site emploie les mêmes mots que l’instruction, si bien que l’agent risque malgré tout d’ajouter ce fournisseur à sa liste. Les chercheurs appellent ce type d’information un distracteur. Elle semble pertinente sans l’être, et entre donc en concurrence avec les informations qui comptent.

L’étude de Chroma a montré que ces deux problèmes s’aggravaient à mesure que la quantité de texte environnant augmentait.

Erreurs difficiles à repérer

La dégradation du contexte ne déclenche aucun message d’erreur. L’agent continue de travailler et rend un résultat qui semble abouti. Ses erreurs passent donc facilement inaperçues.

Dans les tests de Chroma, ces erreurs ont pris deux formes. Parfois, un modèle donnait avec assurance une réponse erronée. Dans l’exemple de la recherche de fournisseurs, l’agent pourrait livrer une liste de fournisseurs soignée et bien mise en forme, qui inclut pourtant un fournisseur dont il a mal interprété les conditions de livraison.

D’autres fois, un modèle affirmait ne pas trouver une information qui était pourtant bien présente. Par exemple, l’agent pourrait remettre un rapport indiquant qu’aucun fournisseur ne respecte le délai de deux semaines alors que plusieurs le respectent.

Comment configurer les tâches d’agent pour limiter la dégradation du contexte

Bien configurer les tâches permet de minimiser l’impact de la dégradation du contexte et de préserver au maximum la précision de l’agent tout au long de la tâche. Les bonnes pratiques suivantes peuvent vous aider.

Rédigez la tâche comme une mission

Une mission claire limite la taille du contexte. L’agent sait quand il a terminé et cesse donc de collecter des éléments dès qu’il en a suffisamment. Des exigences précises lui donnent aussi un critère concret auquel confronter chaque page. L’agent repère ainsi plus facilement les bonnes informations.

Avant d’envoyer une tâche, vérifiez qu’elle couvre trois points :

  • La tâche : ce que l’agent doit faire et produire, par exemple « trouver des fournisseurs et renvoyer une liste restreinte ».
  • Les exigences : les informations que l’agent ne peut pas deviner, comme le budget, l’échéance, l’adresse de livraison et le destinataire du résultat.
  • Le résultat : le format, la longueur et la structure, par exemple « un tableau avec le nom, le prix par chaise et le délai de livraison ».

Une fois assemblée, la requête pour la tâche des fournisseurs pourrait ressembler à ceci :

« Trouvez 10 fournisseurs capables de livrer 40 chaises de bureau dans nos locaux de Chicago sous deux semaines, pour moins de 250 $ par chaise. Renvoyez un tableau indiquant le nom du fournisseur, le prix par chaise, le délai de livraison et un lien vers la page du produit. La liste est destinée à notre responsable des services généraux, qui passera la commande. »

Concentrez chaque tâche sur un seul objectif

Une tâche avec un objectif unique et clair limite la taille du contexte. Les longues tâches coûtent aussi plus cher. Chaque étape traite tout ce qui a été collecté jusque-là, si bien qu’un contexte surchargé consomme davantage de crédits à chaque étape.

Pour un projet en plusieurs parties, découpez-le :

  1. Listez les livrables distincts, par exemple une recherche de fournisseurs, une comparaison de prix et un e-mail au fournisseur retenu.
  2. Exécutez chaque livrable comme une tâche distincte.
  3. Transmettez uniquement le résultat final d’une tâche à la suivante. Par exemple, importez le tableau des fournisseurs sous forme de fichier pour lancer la tâche de comparaison, au lieu de poursuivre dans le fil qui l’a produit.

La tâche de comparaison démarre alors avec un seul tableau plutôt qu’avec toutes les pages.

Orientez l’agent vers les bonnes sources

Chaque page que lit l’agent alimente son contexte, y compris les menus, les publicités et le texte standard qui entourent la partie utile. Fournir directement ses sources à l’agent réduit ce bruit.

Importez les fichiers dont dépend la tâche, comme la liste des fournisseurs agréés, en les joignant à la requête. Lorsque l’agent doit effectuer des recherches sur le web, indiquez les sites qui valent la peine d’être consultés, par exemple deux annuaires de fournisseurs fiables.

Connectez les outils où se trouvent les informations. Par exemple, dans Perplexity Computer, ouvrez Connecteurs dans la barre latérale et activez les applications dont la tâche a besoin, comme Google Drive ou Slack. Mentionnez-les ensuite dans la requête : « Utilisez les caractéristiques des chaises figurant dans notre Google Drive. » Ne connectez que les applications pertinentes, car chaque connecteur occupe une partie du contexte de l’agent.

Si les informations se trouvent dans une application absente de la liste des connecteurs, il est peut-être tout de même possible de la connecter. De nombreuses applications proposent un connecteur MCP (Model Context Protocol), un moyen standard permettant aux outils d’IA de se brancher sur d’autres logiciels. Computer peut les utiliser en plus de ses connecteurs intégrés. Sur un compte d’entreprise, un administrateur devra peut-être d’abord les activer.

Demandez une vérification finale au regard des instructions

Terminez la requête par une étape de vérification qui énumère les contraintes les plus importantes :

« Avant de terminer, vérifiez que chaque fournisseur respecte ces exigences : livraison sous deux semaines, moins de 250 $ par chaise. Signalez ceux qui ne les respectent pas au lieu de les écarter. »

Les contraintes se trouvent toujours au début du contexte. L’étape de vérification donne à l’agent une raison de comparer son résultat final aux contraintes, au lieu de compter sur le fait que les instructions conservent leur influence à chaque étape.

Par ailleurs, lui demander de signaler les problèmes plutôt que d’écarter simplement ces résultats permet de repérer plus facilement les erreurs (comme le rejet d’un fournisseur qui promet une livraison sous 14 jours calendaires parce qu’il n’emploie pas les mots « deux semaines »).

Vérifiez le travail à des points de contrôle

Pour les tâches plus longues, intégrez un point de contrôle dans la requête :

« Commencez par trouver 20 fournisseurs potentiels, puis arrêtez-vous. Je validerai la liste avant que vous ne collectiez les prix. »

Comparez la liste restreinte aux instructions initiales. Corrigez ce qui ne va pas dans un message de suivi, puis laissez l’agent continuer. Les erreurs repérées à ce stade ne se propageront pas à toutes les étapes suivantes.

Lancez une nouvelle tâche lorsqu’une tâche déraille

Si l’agent répète la même erreur malgré les corrections, lancez une nouvelle tâche. Chaque correction ajoute du texte à un contexte déjà long. Créez plutôt une nouvelle tâche. Reformulez les instructions, importez tout résultat satisfaisant de la première tentative et recommencez.

Certains agents appliquent automatiquement une variante de ce principe, grâce à un processus appelé compactage. Lorsqu’une tâche s’allonge, l’agent remplace les éléments plus anciens, comme le texte intégral des pages lues au début, par un bref résumé de ce qu’il a trouvé. Portable Computer de Perplexity compacte ainsi son contexte, afin que le modèle reste dans la limite de ce qu’il peut traiter efficacement.

Il est également important de lancer une nouvelle tâche si l’objectif change. Un fil qui a commencé par une recherche de fournisseurs ne devrait pas se transformer aussi en examen de contrat.

Transformez les instructions récurrentes en Skill

Certaines instructions reviennent dans chaque tâche d’un certain type, comme un format de tableau préféré, une liste de fournisseurs à éviter ou une étape de vérification standard. Dans Computer, elles peuvent être enregistrées sous forme de Skill, un ensemble d’instructions réutilisable que l’agent suit à chaque fois. Un Skill intègre les autres bonnes pratiques dans chaque tâche qui l’utilise.

Pour en configurer un :

  1. Choisissez une tâche fréquente, comme la recherche de fournisseurs.
  2. Notez les instructions que vous donnez à chaque fois : le format, les vérifications, les sources à utiliser ou à éviter.
  3. Enregistrez-les en tant que Skill. Les instructions déjà rédigées en Markdown peuvent être importées directement.
  4. Mentionnez le Skill dans vos prochaines requêtes : « Utilisez le Skill de recherche de fournisseurs pour trouver des fournisseurs de chaises pour les locaux de Denver. »

L’approche de Perplexity en matière de contexte dans le travail des agents

Perplexity Computer gère les longues tâches de façon à garder le contexte de chaque modèle restreint et pertinent. Trois aspects de sa conception limitent la quantité de texte qu’un modèle doit lire en une seule fois.

Répartir le travail entre sous-agents

Computer décompose une demande en tâches et en sous-tâches, puis crée des sous-agents pour les exécuter. Chaque sous-agent travaille sur une partie de la mission dans son propre contexte. Dans la tâche des fournisseurs, un sous-agent pourrait se renseigner sur les prix pendant qu’un autre vérifie les conditions de livraison. Aucun des deux n’a besoin de lire tout ce que l’autre a lu.

Conserver le travail dans des fichiers

Chaque tâche Computer dispose de son propre espace de travail, avec ses propres fichiers, son navigateur web et ses outils. L’agent peut enregistrer son travail dans un fichier, comme un tableau tenu à jour des fournisseurs qu’il a vérifiés. Il ne rouvre ensuite ce fichier qu’en cas de besoin.

Sélectionner les passages pertinents dans les résultats de recherche

Les pages web regorgent d’éléments dont le modèle n’a pas besoin, comme les menus, les publicités, les métadonnées et du texte portant sur d’autres sujets. La compression du contexte en fonction de la requête les élimine. Avant qu’une page n’atteigne le modèle, Perplexity ne conserve que les phrases liées à la requête.

Découvrez des conseils, guides et exemples de tâches pour Perplexity Computer afin de mettre ces étapes en pratique.

FAQ

La dégradation du contexte est-elle la même chose qu’une hallucination ?

Non, mais les deux sont liées. Une hallucination désigne toute réponse qui affirme quelque chose de faux ou d’infondé. La dégradation du contexte est l’une des conditions qui rendent plus probables les hallucinations, mais aussi d’autres erreurs, comme des instructions ignorées ou des détails manqués.

Une meilleure requête peut-elle remédier à la dégradation du contexte ?

Une requête claire réduit la dégradation du contexte en gardant la tâche ciblée. Elle ne peut toutefois pas empêcher le contexte de grossir. Sur une tâche suffisamment longue, l’agent finit toujours par accumuler plus d’informations qu’il ne peut en exploiter correctement. C’est pourquoi découper le travail et le vérifier en cours de route comptent autant que la requête elle-même.

La dégradation du contexte touche-t-elle aussi les conversations classiques avec l’IA, et pas seulement les agents ?

Oui. Dans une conversation, le contexte correspond à l’ensemble des échanges jusque-là, y compris chaque message et tous les documents collés ou importés. Un fil qui se prolonge depuis des heures sur plusieurs sujets peut produire les mêmes erreurs qu’une longue tâche d’agent. Ouvrir un nouveau fil pour chaque nouveau sujet permet de garder chaque conversation ciblée.

Jusqu’où une tâche peut-elle s’allonger avant que la dégradation du contexte ne s’installe ?

Il n’existe pas de seuil fixe. Cela dépend du modèle et de la tâche. Les modèles embarqués dotés de fenêtres de contexte de 260 000 tokens, par exemple, commencent à peiner au-delà d’environ 100 000 tokens, bien en deçà de leur limite. Le déclin est par ailleurs progressif plutôt que soudain.