Ingénierie de harness : définition et fonctionnement

Ce que signifie l'ingénierie du harness

L'ingénierie du harness consiste à concevoir le harness d'un outil d'IA, c'est-à-dire toutes les composantes de l'outil, à l'exception du modèle d'IA.

Le modèle est le système d'IA, entraîné sur de grands volumes de texte afin de pouvoir lire et écrire du langage. Parmi les modèles d'IA, on compte GPT d'OpenAI, Claude d'Anthropic et Gemini de Google.

À lui seul, un modèle ne peut que recevoir du texte (et parfois des images ou de l'audio) et produire du texte en retour. Il ne peut pas se souvenir des conversations passées, consulter de l'information à jour ni exécuter du code. Il lui faut donc un harness qui gère l'information que reçoit le modèle, les applications qu'il peut utiliser, ce qu'il est autorisé à faire et la façon dont son travail est vérifié.

Même un simple assistant de clavardage a besoin d'un harness. Le modèle oublie chaque échange dès qu'il a répondu; le harness conserve donc un historique de la conversation. Si quelqu'un pose une question sur Paris, puis demande ensuite « quelle est sa population? », le harness envoie les deux questions ensemble au modèle. C'est ainsi que le modèle sait que « sa » renvoie à Paris.

L'ingénierie du harness est l'une des raisons pour lesquelles deux outils construits sur le même modèle peuvent offrir des performances si différentes. Par exemple, lors d'un test indépendant, des chercheurs ont conservé le même modèle (GPT5) en modifiant uniquement le harness, et l'écart de score du modèle à un test de programmation a atteint jusqu'à 11 %.

Les développeurs de modèles d'IA comme Anthropic et OpenAI conçoivent des harness pour leurs propres produits d'IA, comme Claude Code et Codex. Et les entreprises qui créent des produits d'IA conçoivent des harness pour les modèles sous-jacents qu'elles choisissent. Les personnes qui utilisent des outils d'IA façonnent aussi une partie du harness. De nombreux outils leur permettent d'ajouter des instructions permanentes, de connecter des applications et de choisir les actions qui nécessitent leur approbation avant que l'outil passe à l'action.

L'ingénierie du harness pour les agents d'IA

Chaque outil d'IA a un harness, mais l'ingénierie du harness devient particulièrement importante lorsqu'on travaille avec des agents d'IA. Les agents accomplissent seuls des tâches en plusieurs étapes, comme faire des recherches sur des concurrents et consigner les résultats dans une feuille de calcul, et le harness exécute chacune de ces étapes. Si le harness commet une erreur, par exemple en récupérant les prix de l'an dernier, celle-ci se répercutera donc aussi sur toutes les étapes suivantes.

La plupart des harness d'agents comportent six composantes principales :

1. La boucle d'agent

Agrandir

La boucle d'agent est le code du harness qui fait progresser une tâche, une étape à la fois.

Le modèle d'IA détermine la prochaine étape nécessaire pour accomplir la tâche et rédige un appel d'outil : une courte requête qui nomme un outil du harness, comme la recherche Web, et précise ce que l'outil doit faire.

Le harness repère la requête, lance la recherche et ajoute les résultats à ce que le modèle peut voir. Le modèle les lit et décide de la suite.

2. La gestion du contexte

Un modèle acquiert des connaissances générales pendant son entraînement, mais ces connaissances s'arrêtent à la date où l'entraînement a pris fin. Elles n'incluent rien de propre à la tâche à accomplir, comme les fichiers d'une entreprise, les nouvelles du jour ou ce qui a été dit plus tôt dans la conversation.

Pour tout cela, le modèle dépend de sa fenêtre de contexte : le texte que le harness lui fournit avant chaque réponse, comme ses instructions, la requête, la conversation jusqu'à présent et les résultats de recherche.

La fenêtre ne peut contenir qu'une quantité limitée de texte. Et même avant qu'elle soit pleine, les modèles ratent parfois de l'information enfouie au milieu de longues entrées.

Le harness s'occupe donc de la gestion du contexte et ne sélectionne que l'information dont chaque étape a besoin. Par exemple, si la tâche consiste à comparer les prix de cinq concurrents, le harness pourrait inclure la page de tarifs de chaque entreprise plutôt que son site Web au complet. Pour les longues tâches, le harness peut aussi remplacer l'historique détaillé des étapes précédentes par un court résumé, afin que le modèle garde le fil de ce qu'il a fait sans que cet historique remplisse la fenêtre.

3. Les outils

Les outils sont du code qui exécute les actions demandées par le modèle. Chaque outil gère un type d'action, comme effectuer une recherche sur le Web, ouvrir et lire une page Web, exécuter du code ou modifier un fichier. Lorsque le modèle rédige un appel d'outil, le harness le transmet au bon outil et renvoie le résultat.

De nombreux harness comprennent aussi des connecteurs, c'est-à-dire des outils qui relient l'agent à une application précise, comme le courriel, un calendrier ou un disque partagé, grâce à un accès accordé par une personne. Avec un connecteur de calendrier, par exemple, un agent peut vérifier les disponibilités de quelqu'un avant de proposer une heure de réunion.

4. La mémoire

La mémoire est de l'information stockée qui est conservée d'une session à l'autre. Pendant une session, le harness enregistre de courtes notes, comme les préférences d'une personne ou l'état d'avancement d'un projet. Au début de la session suivante, le harness ajoute ces notes à la fenêtre de contexte, de sorte que le modèle les lit avant de lire la nouvelle requête. C'est ainsi qu'un agent peut, par exemple, reprendre un rapport hebdomadaire là où il l'avait laissé au lieu de tout recommencer depuis le début.

5. Les autorisations

Les autorisations sont des règles qui déterminent ce à quoi un agent peut accéder et ce qu'il peut faire. Les règles d'accès définissent les fichiers, les applications ou les sites Web qu'il peut ouvrir. Les règles d'approbation définissent les actions qui doivent attendre l'aval d'une personne, comme l'envoi d'un message ou un achat.

L'entreprise qui crée l'agent définit certaines de ces règles dans le code du harness. Les administrateurs d'une organisation peuvent ensuite ajouter les leurs, et chaque utilisateur peut choisir, par exemple, les comptes à connecter.

6. La vérification

La vérification est du code qui contrôle le travail de l'agent avant qu'il parvienne à une personne. Elle s'appuie sur deux types de contrôles :

• Des règles fixes, c'est-à-dire des tests précis qui réussissent ou échouent de la même façon chaque fois, comme confirmer que chaque chiffre d'un rapport figure dans un document que l'agent a réellement lu.
• Un examen effectué par un autre modèle d'IA, qui lit le travail et l'évalue. Il peut déceler des problèmes difficiles à formuler sous forme de règle, comme un résumé qui omet un point important.

Aucun contrôle ne repère tout à lui seul; les harness combinent donc généralement les deux types. Lorsqu'un contrôle détecte un problème, le harness en ajoute une description à la fenêtre de contexte du modèle et renvoie la tâche dans la boucle d'agent. Le modèle corrige le problème et fait un nouvel essai, si bien que de nombreuses erreurs sont corrigées avant que l'utilisateur voie le résultat.

Exemples d'ingénierie du harness

Préparer une réunion avec un client

Tâche : Un gestionnaire de compte demande à un agent de préparer une note de breffage pour la réunion de demain avec un client, portant sur les questions en suspens et une ébauche d'ordre du jour.

Ce que fait le harness :

• Grâce à un connecteur de courriel, l'agent cherche dans la boîte de réception du gestionnaire les messages échangés avec le client.
• Les autorisations lui permettent de lire les courriels, mais pas d'en envoyer.
• La gestion du contexte ne transmet au modèle que les messages des trois derniers mois échangés avec ce client, et non toute la boîte de réception.
• La boucle d'agent effectue plusieurs cycles de recherche et de lecture, et le modèle regroupe ce qu'il trouve en questions en suspens.
• La vérification s'assure ensuite que chaque question de la note de breffage renvoie à un vrai courriel.

Résultat possible : Le gestionnaire reçoit une note de breffage d'une page dont chaque point peut être retracé jusqu'au courriel d'origine.

Mettre à jour un rapport de ventes mensuel

Tâche : Un responsable des opérations demande à un agent de mettre à jour le rapport de ventes mensuel avec les chiffres de ce mois-ci.

Ce que fait le harness :

• La mémoire charge les notes de la session du mois dernier, y compris le format du rapport et la demande du responsable d'arrondir les chiffres au millier près.
• Un outil de fichiers ouvre la feuille de calcul des ventes sur le disque partagé de l'équipe.
• Les autorisations permettent à l'agent de modifier l'ébauche du rapport, mais pas la feuille de calcul source, afin que les chiffres d'origine ne puissent pas être modifiés par erreur.
• La vérification s'assure que les totaux du rapport correspondent à ceux de la feuille de calcul.

Résultat possible : Le rapport est livré dans le même format que celui du mois dernier, sans que l'utilisateur ait à l'expliquer de nouveau.

Trier une boîte de réception partagée

Tâche : Une équipe de soutien demande à un agent de trier par sujet les demandes reçues en matinée et de rédiger des ébauches de réponse aux plus courantes.

Ce que fait le harness :

• La boucle d'agent traite la boîte de réception un message à la fois.
• Pour chacun d'eux, le modèle choisit une étiquette de sujet, et le harness l'applique au moyen du connecteur de courriel.
• Au début de la tâche, le harness ajoute à la fenêtre de contexte les gabarits de réponse approuvés par l'équipe pour servir de guides, afin que le modèle fonde chaque ébauche sur un gabarit.
• Une règle d'approbation conserve chaque réponse à l'état d'ébauche jusqu'à ce qu'un membre de l'équipe la révise et l'envoie.

Résultat possible : L'équipe commence la journée avec des demandes triées et des réponses prêtes à être révisées.

Corriger un bogue sur un site Web

Tâche : Un développeur demande à un agent de programmation de corriger un bogue qui empêche un bouton de paiement de fonctionner.

Ce que fait le harness :

• L'agent travaille dans un bac à sable, une copie isolée du code où ses modifications ne peuvent pas toucher le site Web en production.
• Un outil de code permet au modèle de lire et de modifier des fichiers.
• Après chaque modification, la vérification lance les tests automatisés du projet.
• Tout échec est renvoyé au modèle sous forme de nouvelle information.

Résultat possible : L'agent continue d'ajuster sa correction jusqu'à ce que les tests réussissent. Le développeur révise ensuite la modification avant sa mise en production.

Ingénierie du harness, ingénierie des requêtes et ingénierie du contexte : quelles différences?

L'ingénierie des requêtes consiste à concevoir et à optimiser une requête unique. L'ingénierie du contexte consiste à gérer tout ce que voit le modèle. L'ingénierie du harness est le processus qui consiste à concevoir et à améliorer l'ensemble du système dans lequel le modèle fonctionne.

Comment les utilisateurs peuvent influencer un harness d'IA

La majeure partie d'un harness d'agent provient de l'entreprise qui crée l'agent, mais de nombreux produits d'IA permettent aux utilisateurs d'en ajuster une partie au moyen de paramètres comme les instructions personnalisées, les applications connectées et les approbations.

Les utilisateurs peuvent façonner un harness d'agent, et améliorer les résultats de l'agent, de quatre façons :

1. Les instructions permanentes

Les instructions permanentes sont des notes qu'une personne rédige une seule fois, afin que le harness puisse les ajouter à la fenêtre de contexte au début de chaque tâche. Elles valent la peine d'être configurées pour tout ce qu'une personne répéterait autrement de requête en requête : qui elle est et ce qu'elle fait, comment elle aime que le travail soit rédigé, ou les règles d'une tâche récurrente comme le rapport mensuel d'un client.

De nombreux produits d'IA offrent des instructions permanentes à deux niveaux. Les instructions à l'échelle du compte conviennent à ce qui s'applique à tout le travail, comme les préférences orthographiques. Les instructions de projet conviennent à un seul client ou flux de travail, afin que les consignes pour l'un ne se répercutent pas sur un autre.

Les instructions permanentes fonctionnent de la même façon dans les assistants de clavardage et les agents, mais les agents en dépendent davantage. Dans un clavardage, une personne peut corriger l'IA après chaque réponse. Un agent peut franchir de nombreuses étapes avant que quiconque voie son travail; les instructions données dès le départ sont donc l'un des rares moyens de l'orienter en cours de route.

Comment rédiger des instructions permanentes efficaces

• Commencez par une courte instruction, par exemple : « Je suis gestionnaire du marketing dans une entreprise de logiciels. Rédige dans un français simple, limite les résumés à 200 mots et utilise l'orthographe et les termes en usage au Québec. »
• Enrichissez-les lorsque l'IA commet une erreur. Si l'IA continue d'arrondir des chiffres qui doivent rester exacts pour l'équipe, ajoutez une ligne à cet effet.
• Formulez des instructions précises : « Donne des chiffres exacts, jamais arrondis » vaut mieux que « Sois précis ».
• Gardez la liste courte et supprimez les lignes dès qu'elles ne sont plus utiles, puisque chaque ligne occupe de l'espace dans la fenêtre de contexte.

2. Les applications connectées

Les applications connectées relient un produit d'IA aux outils qu'une personne utilise déjà, comme le courriel, un calendrier ou un disque partagé. Une fois une application connectée, l'IA peut travailler avec l'information de la personne, et non seulement avec ce qui est collé dans le clavardage.

Il vaut la peine de configurer des connexions lorsqu'une tâche dépend d'information qui se trouve dans ces applications, comme préparer une note de breffage de réunion à partir de fils de courriels ou résumer des documents sur un disque partagé.

Comment connecter des applications en toute sécurité

• Connectez seulement les applications dont une tâche a besoin, puisque chaque connexion ajoute un risque d'erreur supplémentaire.
• Choisissez l'accès en lecture seule lorsqu'il est offert. Par exemple, un agent qui prépare des notes de breffage pour des réunions doit pouvoir lire les courriels, pas en envoyer.
• Configurez les connexions par projet lorsque le produit le permet. Dans Perplexity, par exemple, on peut choisir les connecteurs qu'utilise chaque projet.
• Pensez à déconnecter les applications qui ne sont plus utilisées.

3. Les paramètres d'approbation

Les paramètres d'approbation déterminent les actions qui doivent attendre l'aval d'une personne avant que l'IA passe à l'action. Certaines approbations sont intégrées au produit, et certains produits permettent de choisir les autres actions qui en nécessitent une.

Comment définir des règles d'approbation

• Exigez une approbation pour les actions irréversibles, comme l'envoi d'un message, un achat ou la suppression d'un fichier.
• Limitez la liste des approbations à l'essentiel. Si un agent demande un feu vert à chaque petite étape, les gens finissent par approuver sans lire.

4. Normes et vérifications

La plupart des produits d'IA intègrent déjà certaines normes. Perplexity, par exemple, cite ses sources dans ses réponses afin que chaque affirmation puisse être vérifiée. Les normes définies par l'utilisateur ajoutent ce qu'un produit ne peut pas savoir de lui-même, comme le format de rapport privilégié par une équipe.

Comment établir des normes pour le travail de l'IA

• Fournissez un gabarit pour les tâches récurrentes, afin que l'IA dispose d'une structure fixe à remplir.
• Partagez un exemple de travail antérieur que l'équipe a apprécié, afin que l'IA puisse en reproduire le ton et le niveau de détail.
• Demandez un lien vers la source à côté de chaque chiffre.
• Examinez attentivement les premiers résultats et transformez toute lacune récurrente en nouvelle instruction permanente.

Comment Perplexity aborde les harness d'agents

Perplexity Computer fonctionne sur un harness indépendant des modèles, qui réunit plus de 20 modèles avancés dans un seul système. Il divise chaque tâche en sous-tâches, les confie à des sous-agents (des agents distincts qui prennent chacun une partie en charge) et achemine chaque élément de travail vers un modèle qui lui est adapté.

Découvrez comment configurer des instructions, des fichiers et des connecteurs dans le guide des projets Perplexity.

FAQ

Qu'est-ce qu'un ingénieur de harness?

Un ingénieur de harness conçoit et maintient le système qui permet à un modèle d'IA d'effectuer un travail fiable. Il peut s'agir d'ajouter un nouvel outil que l'agent pourra utiliser, de déterminer pourquoi un agent répète sans cesse la même erreur ou de resserrer les vérifications qu'il effectue avant de terminer une tâche. Ce n'est pas un titre de poste établi, même si cela pourrait changer. Ce travail est généralement accompli par des ingénieurs logiciels au sein d'entreprises d'IA ou d'équipes qui conçoivent des agents. Dans le secteur manufacturier, le même titre anglais (« harness engineer ») désigne une personne qui conçoit des faisceaux de câbles, c'est-à-dire les ensembles de fils regroupés à l'intérieur des voitures et des machines.

Qu'est-ce qu'un harness d'agent?

Un harness d'agent désigne habituellement tout ce qui compose un agent d'IA, à l'exception du modèle lui-même. Cela comprend le code qui exécute la boucle de l'agent, gère le contexte, effectue les appels d'outils, stocke la mémoire, applique les autorisations et vérifie le travail de l'agent avant qu'il ne soit transmis à une personne.

Tous les outils d'IA ont-ils un harness?

Oui. Même un assistant conversationnel de base s'appuie sur un harness pour suivre le fil de la conversation, puisque le modèle ne se souvient pas de lui-même des messages précédents.

Les développeurs peuvent aussi utiliser un modèle en lui envoyant des requêtes depuis leur propre logiciel au moyen d'une API (une connexion qui permet à un programme d'envoyer des requêtes à un autre). Dans ce cas, c'est le code du développeur qui fait le travail du harness.

De meilleurs modèles rendront-ils les harness inutiles?

De meilleurs modèles pourraient avoir besoin de moins d'indications étape par étape, si bien qu'une partie du rôle actuel des harness pourrait diminuer. Mais à lui seul, un modèle ne fait que transformer du texte en texte. Il n'a aucune connexion Internet ni aucun accès à d'autres applications. L'accès aux fichiers, l'exécution d'actions et l'application des règles d'approbation se font tous dans le logiciel qui entoure le modèle; ce travail restera donc probablement du ressort du harness, peu importe les capacités qu'atteindront les modèles.