Des Skills qui s’améliorent d’eux-mêmes
Comment Perplexity Brain apprend des procédures récurrentes à partir de l’expérience et les tient à jour.
Introduction
Les utilisateurs ont des préférences et des exigences propres à leurs flux de travail, qu’un modèle généraliste ne peut pas connaître à l’avance. Un agent doit apprendre ces détails pour adapter son travail à l’utilisateur, plutôt que d’exiger que celui-ci explique la même procédure ou apporte les mêmes corrections à chaque session. L’apprentissage continu rend cela possible : l’expérience tirée des tâches accomplies devrait éclairer la façon dont l’agent aborde ses travaux futurs.
Brain, le système d’auto-amélioration personnalisé de Computer, permet l’apprentissage par l’expérience. Il tient déjà à jour un wiki de connaissances structuré qui relie les renseignements sur l’utilisateur et son travail aux données probantes qui les appuient. Des agents en arrière-plan mettent à jour le wiki à mesure que de nouveaux renseignements s’accumulent, de sorte que le système de mémoire s’améliore au fil du temps.
Les skills d’agent offrent une autre façon d’orienter le comportement d’un agent sans modifier le modèle sous-jacent. Les skills sont des instructions réutilisables qui guident un agent dans l’exécution de tâches précises. Ils consignent les exigences et les ressources d’appui de flux de travail récurrents que l’agent devrait autrement déduire de sa mémoire ou recevoir de l’utilisateur à chaque fois, ce qui améliore la performance sur des tâches hors distribution. Ils peuvent aussi inclure des scripts pour des procédures répétitives ou des traitements qui peuvent être exprimés de façon fiable sous forme de code, afin que l’agent puisse simplement exécuter ces scripts lorsqu’ils s’appliquent. Le harness rend les skills disponibles repérables et charge leurs instructions dans le contexte lorsque l’agent les demande. Les utilisateurs peuvent aussi indiquer directement dans la requête quels skills utiliser.
Nous étendons Brain afin qu’il crée et mette à jour automatiquement des skills d’agent. Brain s’appuie sur la mémoire et l’historique des sessions d’un utilisateur pour rédiger et peaufiner des skills personnels qui consignent les procédures propres aux flux de travail de cet utilisateur. Nous appliquons une approche semblable pour mettre à jour les skills intégrés, offerts à tous les utilisateurs de Perplexity, en fonction des tendances globales observées dans l’ensemble des sessions.
Nous décrivons d’abord notre moteur d’auto-amélioration commun à tous les types de skills, puis nous expliquons son fonctionnement pour les skills personnels et intégrés.
Moteur d’auto-amélioration partagé
Un skill utile doit tout de même évoluer à mesure que de nouvelles préférences apparaissent ou que l’expérience révèle des lacunes dans ses instructions. Brain a pour rôle de découvrir comment le comportement de l’agent devrait changer la prochaine fois que Computer rencontre une tâche semblable, et de déterminer comment le skill devrait évoluer pour mieux atteindre le résultat souhaité.
Ce processus d’amélioration forme une boucle en quatre étapes :
- Données probantes. Brain trouve les sessions passées où le skill a été utilisé, en particulier celles où il n’a pas été à la hauteur.
- Réflexion. Un agent d’amélioration étudie ces données probantes et propose des mises à jour du skill.
- Vérification. Des contrôles confirment que la proposition est bien formée et susceptible d’améliorer les résultats.
- Activation. La modification vérifiée est appliquée. Les sessions futures utilisent la nouvelle version, ce qui fournit des données probantes pour la ronde suivante.
Cette boucle s’appuie sur de nombreuses capacités existantes conçues pour Computer et Brain. Nous décrivons ici les mécanismes partagés qui rendent possibles la collecte de données probantes et la réflexion. Les procédures de vérification et d’activation varient selon qu’une modification touche un seul utilisateur ou tous les utilisateurs de Perplexity; nous les abordons donc dans les sections suivantes, consacrées aux boucles d’amélioration des skills personnels et intégrés.
Données probantes tirées des sessions passées
La réflexion exige de trouver les sessions où un skill a été utilisé, en particulier celles qui laissent place à l’amélioration. Le harness de Computer enregistre des signaux qui rendent cela possible. Lorsque l’agent charge un skill, le harness enregistre un événement de chargement de skill qui associe le skill à la session. Lorsque l’agent constate de la frustration chez l’utilisateur, un comportement défaillant ou une inefficacité manifeste, il produit un diagnostic court et structuré, et le harness y joint les skills utilisés. Ces signaux sont particulièrement utiles pour les skills intégrés, pour lesquels n’importe quelle session pourrait être pertinente; le système a donc besoin d’un moyen de restreindre rapidement le bassin de données probantes.
Les agents ont avantage à accéder à l’historique complet, plutôt qu’à porter un jugement en fonction du résultat ou d’un court résumé. Computer stocke les sessions passées au moyen de représentations de trajectoires indépendantes du fournisseur, qui capturent les messages, les appels d’outils, le raisonnement et les résultats. Nous avons également conçu une suite d’outils en ligne de commande que les agents peuvent utiliser pour décoder ces trajectoires et reconstituer des sessions complètes. L’agent de réflexion peut ainsi examiner des chargements de skills et des appels d’outils précis, et repérer les moments exacts où des problèmes sont survenus ou où des améliorations pourraient être apportées.
# Decode a stored trajectory into structured messages,
# including tool calls, their arguments, and their results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--jsonl -o session.jsonl
# Identify which skills the agent loaded and how often.
python3 list_skills_used.py session.jsonl
# Read one turn in detail, including its tool calls and results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--turn 3 -o turn-3.md
# Recover earlier steps preserved before a context compaction.
python3 deserialize_trajectory.py \
--convo-path session/compactions/001/original_convo.pb.lz4 \
--jsonl -o earlier-history.jsonlExemple d’utilisation des outils internes d’inspection des trajectoires de Computer. Les chemins et les identifiants sont simplifiés à des fins d’illustration; les noms des commandes et les arguments sont conformes à l’implémentation.
Réflexion au moyen d’agents en arrière-plan
Brain utilise une équipe d’agents en arrière-plan pour optimiser continuellement l’expérience de chaque utilisateur. Par exemple, les agents Dream examinent l’expérience accumulée pour mettre à jour le wiki de connaissances. De même, l’amélioration des skills repose sur des agents d’amélioration qui analysent les données probantes sur l’utilisation des skills afin de proposer des mises à jour.
Chaque agent travaille dans son propre bac à sable avec un modèle de pointe, les données probantes pertinentes et la bibliothèque de skills actuelle, guidé par des plugins et des skills. Il décide quelles sessions lire, tire une leçon concrète de chacune et regroupe les leçons qui appellent le même comportement réutilisable. Comme la correction d’un échec peut contredire une autre instruction ou ajouter du travail ailleurs, il lit le skill en entier avant de proposer une modification, et s’abstient lorsque les données probantes ne justifient pas de modification.
Les agents d’amélioration s’exécutent sur le même harness que Computer. Nous avons rendu le harness modulaire, de sorte qu’une nouvelle application d’agent puisse réutiliser ses mécanismes de raisonnement, d’utilisation d’outils et de gestion du contexte tout en définissant ses propres instructions et capacités au moyen de plugins. Un parc dédié de processus en arrière-plan nous permet de faire évoluer ce traitement indépendamment des tâches au premier plan.
La boucle d’amélioration des skills personnels
Nous décrivons d’abord comment le moteur d’auto-amélioration partagé est appliqué à la boucle d’amélioration personnelle, qui transforme l’historique des tâches d’un utilisateur en skills personnels nouveaux ou mis à jour. La figure ci-dessous suit un exemple de skill tout au long de la boucle, jusqu’à sa version révisée.
Lors d’une exécution de génération quotidienne, l’agent d’amélioration examine les sessions récentes de l’utilisateur pour déterminer les modifications qui valent la peine d’être apportées. Un ensemble de sessions récentes est préchargé dans le bac à sable, avec les données d’utilisation des skills; le reste de l’historique des sessions de l’utilisateur peut être récupéré au besoin. L’agent d’amélioration reçoit aussi le catalogue des skills existants. Il n’a pas accès à Internet ni aux autres connecteurs.
Des plugins et des skills conçus pour le flux de travail d’amélioration des skills personnels guident le processus de réflexion, en s’appuyant sur nos principes quant à ce qui fait une bonne mise à jour. L’agent analyse d’abord les trajectoires complètes pour dégager une leçon concrète de chaque session. Il compare ensuite ces leçons aux instructions existantes et décide s’il faut mettre à jour un skill, en créer un ou ne rien changer. La création d’un skill exige deux occurrences indépendantes du même comportement réutilisable, alors qu’une mise à jour d’un skill existant peut être justifiée par une seule occurrence fondée.
L’agent ne modifie pas le skill directement. Il produit plutôt une proposition qui consigne les modifications prévues ainsi que le raisonnement et les données probantes qui les appuient. Les mises à jour sont limitées à une modification par skill par exécution. Des vérifications déterministes confirment que les propositions sont bien formées et peuvent être appliquées au skill. Parallèlement, un juge LLM audite un échantillon de propositions, en vérifiant si les données probantes appuient la modification et si le skill résultant fournit des instructions utiles.
L’activation transforme une proposition vérifiée en modification de la bibliothèque de skills de l’utilisateur, afin que la nouvelle version puisse être chargée et utilisée lors des sessions futures. Comme le harness charge un index de tous les skills disponibles au début de chaque session, une grande bibliothèque de skills peut encombrer la fenêtre de contexte et rendre plus difficile pour l’agent de trouver et de charger les skills pertinents. Le système ne conserve donc que les skills les plus utiles et retire ceux qui ne sont pas nécessaires, afin de maintenir une petite bibliothèque soigneusement choisie. Plus précisément, nous imposons une limite de 10 skills créés automatiquement par utilisateur. Une fois cette limite atteinte, l’agent d’amélioration peut encore mettre à jour ou supprimer des skills, mais pour ajouter un nouveau skill, il doit en retirer un existant et justifier pourquoi le nouveau est plus utile au travail de l’utilisateur.
La boucle d’amélioration des skills intégrés
Nous étendons également aux skills intégrés le cadre d’amélioration continue des skills de Brain. Plutôt que d’utiliser la mémoire et l’historique des sessions d’un seul utilisateur pour améliorer les skills personnels de cet utilisateur, la boucle intégrée utilise des données probantes provenant de nombreux utilisateurs pour améliorer les skills offerts à tous les utilisateurs de Perplexity. Comme les skills intégrés peuvent être utilisés par n’importe qui, la barre est haute pour les modifications : des mises à jour qui dégradent involontairement les performances peuvent toucher des milliers de sessions. L’agent d’amélioration des skills intégrés ne modifie que des versions candidates des skills. Pour atteindre la version canonique du skill, ces mises à jour doivent passer par le rejeu apparié et un examen humain interne. Encore une fois, nous suivons la boucle complète à l’aide d’un exemple de skill et des données probantes qui l’appuient.
La boucle d’amélioration des skills intégrés utilise des données probantes assainies provenant de sessions admissibles à l’utilisation pour l’entraînement. Les diagnostics et les signaux d’échec servent à sélectionner les données probantes pertinentes, en plus de sessions témoins où le skill a été utilisé sans déclencher aucun signalement. Un pipeline d’assainissement supprime les identifiants de connexion et autres secrets, ainsi que les fichiers et médias joints.
Un agent de génération de scénarios transforme les données probantes assainies en scénarios d’échec concrets. Il ne conserve que le contexte nécessaire pour comprendre le cas d’échec et améliorer le skill; le reste de la session est reconstruit de façon synthétique, ce qui crée un test autonome pour le processus de vérification. Les scénarios doivent s’exécuter sans applications connectées ni connexion à un compte; si la tâche d’origine dépendait d’un connecteur, cette entrée est remplacée par des fichiers synthétiques dans le scénario. Une vérification distincte confirme que le skill échoue sur le scénario généré.
La réflexion se fait au moyen d’une tâche de révision hebdomadaire qui transforme les échecs observés en correctifs. Elle recherche les échecs de skills qui se répètent dans plusieurs sessions, afin qu’une seule mauvaise session n’entraîne pas de modification. Chaque échec récurrent fait l’objet d’une exécution distincte de l’agent d’amélioration. L’agent reçoit une description de la cause profonde, ainsi que des enregistrements assainis de sessions réussies. Il utilise ces données probantes pour rédiger une révision candidate du skill. Il ne reçoit pas les scénarios d’échec complets, puisque ceux-ci servent à l’évaluation.
Une tâche de rejeu distincte utilise les scénarios générés pour comparer les versions originale et révisée du skill. Un juge LLM évalue les réponses et les trajectoires d’un agent en fonction de la grille d’évaluation de chaque scénario. Pour qu’une proposition soit acceptée, chaque scénario de test doit réussir avec le skill révisé, et au moins un doit échouer avec l’original. Les scénarios construits à partir des sessions témoins sont aussi rejoués, pour confirmer que rien n’a cessé de fonctionner. Pour les scénarios d’échec, le juge vérifie également que l’échec précis s’est produit, plutôt que de considérer une tâche non réussie comme une preuve du même problème.
Le flux de travail regroupe les modifications candidates et les résultats d’évaluation dans une pull request soumise à un examen humain interne. Les modifications n’entrent en vigueur que si un ingénieur approuve la PR.
Évaluations
L’amélioration automatique des skills a considérablement accru la création et l’utilisation de skills. Brain a rédigé plus de 80 000 skills personnels pour plus de 20 000 utilisateurs entre le 1er août et le 14 novembre. De plus, plus de 100 000 mises à jour automatiques ont été appliquées à plus de 30 000 skills personnels existants entre le 4 septembre et le 14 novembre.
Ces skills couvrent un large éventail de domaines et de tâches, de la vérification de logiciels au rapprochement de la paie, en passant par la conception de figures. Nous avons classé les skills générés par Brain selon les flux de travail qu’ils décrivent. Même le plus grand domaine, le génie logiciel, ne représente que 11 % des skills; il est suivi de la recherche et des synthèses (10,1 %), des ventes et des opérations (9,9 %), ainsi que de la finance et de l’investissement (9,9 %).
Nous avons mené un test aléatoire de huit semaines sur le trafic de production, en comparant les utilisateurs pour qui l’amélioration automatique des skills personnels était activée à un groupe témoin pour qui elle était désactivée. Parmi les personnes dont l’amélioration des skills était activée, 72,9 % ont obtenu au moins un nouveau skill personnel, alors que seulement 6,5 % des personnes qui n’en bénéficiaient pas ont ajouté manuellement un nouveau skill. Plus de la moitié du groupe traité (53 %) a vu un skill personnel chargé dans une conversation qu’il avait lancée, contre 13 % pour le groupe témoin; leurs tours de conversation ont chargé un skill personnel environ 3,6 fois plus souvent. Parmi les clients qui ont obtenu un skill rédigé par Brain, 63 % en ont utilisé un de nouveau dans une conversation ultérieure au cours des quatre semaines suivantes.
Nos évaluations visent à déterminer l’incidence de ces skills nouveaux et mis à jour sur l’exécution des tâches et la performance globale.
Les résultats de la même expérience aléatoire montrent une baisse des échecs d’appels d’outils et de l’insatisfaction des utilisateurs. Pour les utilisateurs bénéficiant de l’amélioration automatique des skills, le taux d’échec des appels d’outils a diminué de 11 % sur l’ensemble de l’activité de Computer. En excluant les exécutions en arrière-plan du système lui-même, les appels d’outils échouaient encore environ 7 % moins souvent, ce qui laisse croire que la fiabilité s’est améliorée sur le travail de l’utilisateur. L’insatisfaction des utilisateurs, mesurée par le nombre de fils de discussion à insatisfaction moyenne ou élevée par utilisateur, a diminué de 7,6 %. Nous n’avons observé aucun changement mesurable du coût ni du temps de réponse. Ces premiers tests donnent des résultats prometteurs, et nous nous attendons à ce que les améliorations augmentent au fil du temps, à mesure que nous peaufinerons le système et déploierons les skills auto-améliorants auprès d’un plus grand nombre d’utilisateurs.
Des expériences hors ligne ont également permis de constater des améliorations dans des contextes plus restreints. Dans une expérience menée avec SkillLearnBench, Computer a utilisé des trajectoires de tâches antérieures pour créer un skill personnel pour chacune de neuf familles de tâches. Sur 16 instances d’évaluation appariées, le taux de réussite des tâches est passé de 43,8 % sans skills à 62,5 % avec les skills générés, ce qui tend à montrer que des skills tirés de l’expérience passée peuvent améliorer la performance sur des tâches répétées. Dans une étude de cas sur un skill intégré, des modifications apportées à un skill de commerce électronique ont permis d’augmenter la qualité de 6 % pour un coût inférieur de 32 %, la qualité étant mesurée par un juge automatisé.
Conclusion
Les skills auto-améliorants offrent à Computer une autre façon d’apprendre du travail qu’il accomplit. Ils étendent Brain afin de créer et de maintenir une mémoire procédurale, ce qui améliore la performance sur les flux de travail complexes. L’amélioration automatique des skills a déjà accru l’utilisation des skills, réduit les taux d’échec des outils et diminué l’insatisfaction des utilisateurs.
L’amélioration des skills personnels est maintenant offerte à tous les abonnés Max aux États-Unis. Elle est activée par défaut pour les utilisateurs admissibles, mais peut être désactivée. L’onglet plugins affiche les skills disponibles, indique ceux qui ont été rédigés par Brain et permet aux utilisateurs de choisir les skills activés.
Nous étendrons ensuite l’amélioration à d’autres catégories de skills, notamment les skills créés par les utilisateurs, les skills partagés au sein de projets et les skills d’organisation. Nous continuerons de peaufiner le pipeline d’amélioration et ses évaluations afin que les révisions mènent à des procédures plus fiables et à de meilleurs résultats.
Citation
@online{perplexity2026SelfImprovingSkills,
author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
title = {{Self-improving skills}},
date = {2026-11-18},
url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}