Comment suivre et maîtriser les dépenses en jetons de votre équipe

Que sont les dépenses en jetons

Les dépenses en jetons correspondent au nombre de jetons qu'une équipe consomme avec l'IA, et à ce que ces jetons coûtent. Un jeton est une unité de texte, comme un mot, une partie de mot ou un signe de ponctuation, qu'un modèle d'IA lit ou écrit. En anglais, 1 jeton correspond à environ 4 caractères. Les jetons ne sont pas standardisés d'un modèle ou d'un fournisseur à l'autre : un même texte peut donc donner un décompte différent selon l'outil.

Les rapports d'utilisation répartissent généralement les jetons en plusieurs types :

• Les jetons d'entrée correspondent à tout ce que le modèle lit pour une requête. Cela comprend la question, tout texte joint et l'historique de conversation que le modèle réutilise depuis le début du même fil.
• Les jetons de sortie correspondent à la réponse rédigée par le modèle. Ils coûtent souvent plus cher que les jetons d'entrée. Dans la grille tarifaire de l'API Perplexity, certains modèles facturent la sortie six fois plus cher.
• Les jetons de raisonnement sont du texte qu'un modèle génère en interne pour résoudre un problème avant de répondre. Ils n'apparaissent pas dans la réponse : une réponse visible plus longue ne signifie donc pas forcément que le modèle a utilisé davantage de jetons au total.

Les équipes qui utilisent des outils d'IA par abonnement voient rarement une facturation au jeton. Les jetons déterminent pourtant ce qu'elles obtiennent, car les tâches plus lourdes épuisent les crédits ou atteignent les limites d'utilisation plus rapidement. Les équipes qui développent leurs propres outils sur un modèle d'IA paient en revanche généralement au jeton, dans le cadre d'une tarification à l'usage.

Comment suivre les dépenses en jetons

Suivre les dépenses en jetons avec un abonnement

Les outils par abonnement n'affichent généralement pas le nombre de jetons. De nombreuses formules utilisent plutôt des crédits, des unités prépayées décomptées au fur et à mesure que le travail avance. Les crédits ne sont pas des jetons, car un crédit peut couvrir du texte, des images ou d'autres tâches. Mais les tâches qui consomment plus de jetons consomment généralement aussi plus de crédits : ce sont donc les meilleurs indicateurs des dépenses en jetons dans le cadre d'un abonnement. Les utilisateurs peuvent suivre leur propre consommation de crédits, et certaines formules incluent également un tableau de bord d'administration qui affiche la consommation de crédits de toute l'équipe.

Dans Perplexity, par exemple, les recherches classiques ne consomment pas de crédits. Seul Perplexity Computer, l'assistant qui prend en charge les tâches en plusieurs étapes, en utilise. Les utilisateurs de Computer peuvent voir combien de crédits ils ont utilisés et à quoi ils les ont consacrés. Chaque tâche Computer affiche aussi son propre total de crédits dans le menu « Utilisation » de sa conversation.

Agrandir

Avec les formules Enterprise, les administrateurs peuvent voir combien de personnes utilisent Perplexity et combien de requêtes elles effectuent chaque semaine dans le tableau de bord Insights (disponible pour les organisations comptant au moins 50 postes ou au moins un membre Enterprise Max).

Agrandir

Suivre les dépenses en jetons dans les rapports d'utilisation de l'API

Les rapports d'utilisation du fournisseur d'API affichent directement le nombre de jetons, généralement ventilé par type. La console API Platform de Perplexity, par exemple, permet de suivre des indicateurs comme les dépenses en jetons d'entrée, de sortie et de raisonnement sur la page Facturation.

Pourquoi les dépenses en jetons augmentent

Les agents exécutent de nombreuses étapes par tâche, et chaque étape constitue une requête distincte adressée à un modèle. Une seule tâche peut ainsi atteindre des centaines de milliers, voire des millions de jetons.

Les modèles de raisonnement sont aussi de plus en plus répandus. Un modèle de raisonnement rédige sa réflexion avant de répondre, et chaque mot de celle-ci compte en jetons. Une même requête consomme donc généralement plus de jetons sur un modèle de raisonnement que sur un modèle standard, même si la réponse affichée à l'écran semble de la même longueur.

Enfin, à mesure que davantage de personnes et de flux de travail ont recours à l'IA, la consommation de jetons s'accumule. Une partie de cette croissance vient aussi du « tokenmaxxing », une pratique qui consiste pour des ingénieurs à lancer des agents principalement pour gonfler leur propre nombre de jetons et grimper dans les classements internes de consommation de jetons.

Comment réduire les dépenses en jetons

L'essentiel des dépenses élevées en jetons provient de quelques types de travaux qui consomment plus de jetons qu'il n'y paraît.

Longues conversations et tâches d'agent

Chaque fois qu'un modèle répond, il relit généralement toute la conversation jusque-là. Chaque nouvelle requête inclut l'intégralité de l'historique de conversation, plus le message actuel de l'utilisateur. Une question courte posée tard dans un long fil consomme donc plus de jetons que la même question posée dans un nouveau fil. Les tâches d'agent fonctionnent de la même manière, car chaque étape ajoute ses résultats à l'historique que l'étape suivante relit.

Agrandir

Comment y remédier

• Commencez une nouvelle conversation lorsque le sujet change. Ouvrez-la avec un résumé de deux ou trois lignes des éléments de l'ancien fil dont le modèle a encore besoin.
• Découpez les longues tâches d'agent en tâches plus petites. Exécutez chaque partie comme une tâche à part entière, et ne transmettez que les résultats dont la partie suivante a besoin.
• Vérifiez si les outils d'agent de l'équipe utilisent la compaction du contexte. La compaction résume automatiquement les parties les plus anciennes d'une tâche pour que le modèle ait moins à relire. Si un outil la propose sous forme de paramètre, activez-la.

Les mêmes documents traités encore et encore

Lorsqu'une personne joint le même long fichier, comme un guide des politiques internes ou un catalogue produits, à de nombreuses requêtes distinctes, le modèle lit l'intégralité du fichier à chaque fois. Chaque lecture est comptabilisée en jetons d'entrée.

Comment y remédier

• Apprenez aux utilisateurs à copier la section pertinente d'un guide ou d'un catalogue dans la requête plutôt que de joindre le fichier entier.
• Créez une version courte des documents que l'équipe utilise souvent. Le résumé d'une page d'une longue politique peut remplacer le document complet pour les requêtes courantes.

Nouvelles tentatives et boucles

Lorsqu'une réponse ne correspond pas à ce dont une personne avait besoin et qu'elle relance la tâche, chaque tentative consomme des jetons. Il en va de même lorsqu'un agent reste bloqué à répéter la même étape.

Comment y remédier

• Précisez la tâche, le résultat attendu et les sources dès la première requête. Par exemple : « Résumez en cinq puces les principales raisons pour lesquelles les clients ont résilié au troisième trimestre, en vous appuyant uniquement sur les résultats d'enquête joints. »
• Vérifiez les premières étapes d'une tâche d'agent. Si l'agent répète la même étape ou la même recherche, arrêtez-le et relancez-le avec une requête plus ciblée.

De grands modèles pour des tâches simples

Les modèles les plus performants coûtent généralement plus cher par jeton : des travaux de routine comme des résumés ou des remises en forme peuvent ainsi épuiser le budget d'une équipe plus vite que nécessaire.

Comment y remédier

• Utilisez le routage de modèles, qui associe chaque tâche à un modèle capable de la traiter. Une courte reformulation ou un résumé peut être confié à un modèle plus petit et moins cher, tandis que le modèle le plus performant est réservé au raisonnement en plusieurs étapes ou à l'analyse. L'API de Perplexity adopte cette approche avec ses préréglages, qui attribuent un modèle plus petit à une recherche rapide et un modèle plus grand à une analyse exhaustive.

Pics après de nouveaux flux de travail

Un nouveau flux de travail automatisé, ou un outil déployé auprès de toute une équipe, peut faire grimper l'utilisation du jour au lendemain. Un pic n'est pas un problème en soi, mais il est utile de savoir quel travail l'a provoqué.

Comment y remédier

• Testez d'abord les nouveaux flux de travail avec un petit groupe. Vérifiez leur utilisation pendant une semaine ou deux avant de déployer le flux de travail auprès de toute l'équipe.
• Fixez un budget mensuel pour chaque équipe. Établissez-le à partir de l'utilisation d'un mois type, afin qu'une hausse soit facile à repérer.
• Désactivez la recharge automatique. Lorsqu'elle est désactivée, le travail s'arrête une fois les crédits épuisés, au lieu que des crédits supplémentaires soient achetés automatiquement.

Comment optimiser les dépenses en jetons dans Perplexity

Pour un usage quotidien

Computer consomme des crédits, mais ne s'exécute que lorsque vous le choisissez : en sélectionnant l'icône Computer, en travaillant dans un Projet qui utilise Computer par défaut ou en utilisant le mode Work de Comet.

Agrandir

Pour revenir à la recherche classique, sélectionnez l'icône Perplexity afin de repasser en mode Ask. Pour consulter la consommation de crédits, les utilisateurs peuvent ouvrir l'outil de suivi dans l'interface de Perplexity.

Agrandir

Les équipes qui travaillent dans des Projets, les espaces de travail partagés de Perplexity, peuvent définir le mode par défaut de chaque Projet sur Search ou Computer. Un Projet principalement utilisé pour des recherches rapides peut être réglé par défaut sur Search, afin que personne ne lance une tâche Computer par erreur.

Pour les administrateurs Enterprise

• Sachez ce que comprend chaque poste. Les utilisateurs Enterprise Pro reçoivent une allocation mensuelle de 500 crédits, et les utilisateurs Enterprise Max, de 15 000 crédits. Ces crédits expirent à la fin de chaque cycle mensuel et ne sont pas reportés.
• Commencez par définir une limite d'utilisation par défaut. Une limite d'utilisation plafonne le nombre de crédits supplémentaires qu'un membre peut puiser dans la réserve partagée une fois sa propre allocation épuisée.
• Créez des limites nommées pour différents types d'utilisateurs. Les administrateurs peuvent configurer des limites telles que « Standard », « Utilisateur avancé » et « Prestataire », puis les attribuer à des groupes d'utilisateurs ou à des membres individuels. Les groupes peuvent être créés dans Perplexity ou synchronisés depuis le fournisseur d'identité de l'entreprise. Si une personne appartient à plusieurs groupes, c'est la limite la plus élevée qui s'applique.
• Utilisez des dérogations individuelles pour les exceptions. Lorsqu'une personne a besoin d'un plafond différent de celui de son groupe, une dérogation individuelle prévaut sur toute limite de groupe ou partagée. C'est utile pour un projet court nécessitant beaucoup de recherches, sans relever le plafond de toute une équipe.
• Plafonnez la recharge automatique. La recharge automatique réapprovisionne automatiquement la réserve partagée. Elle s'accompagne d'une limite de recharge mensuelle configurable, afin que les dépenses ne puissent pas augmenter sans plafond défini.
• Décidez comment les membres peuvent demander davantage de crédits. Le paramètre « Autoriser les membres à demander plus de crédits » permet aux personnes qui atteignent leur limite d'en demander davantage à un administrateur, plutôt que d'être purement et simplement bloquées.
• Examinez l'utilisation chaque mois. La page Crédits de l'organisation indique, pour chaque membre, les crédits attribués, utilisés et restants, ainsi que les limites de groupe et le solde de la réserve. Pour les organisations comptant au moins 50 postes ou au moins un membre Enterprise Max, le tableau de bord Insights ajoute l'évolution des utilisateurs actifs mensuels et des requêtes hebdomadaires. Pour plus de détails, les journaux d'audit enregistrent l'exécution des tâches, l'utilisation des connecteurs, la consommation de crédits et les attributions de crédits.

Pour les équipes qui développent sur l'API

• Attribuez à chaque outil ou équipe sa propre clé API. Perplexity peut afficher la facturation de chaque clé séparément, et des clés distinctes permettent de voir clairement quel outil génère l'utilisation.
• Consultez la page Facturation pour identifier le type de jeton en hausse. Elle affiche l'évolution des jetons d'entrée, de sortie et de raisonnement. Une hausse des jetons d'entrée signifie généralement qu'un outil envoie plus de texte que nécessaire. Une hausse des jetons de raisonnement signifie que des tâches s'exécutent sur des modèles qui réfléchissent longuement aux problèmes.
• Utilisez la Search API lorsqu'un outil n'a besoin que de résultats de recherche. Elle renvoie des résultats web sans qu'un modèle rédige de réponse, et elle est facturée à la requête, sans frais supplémentaires liés aux jetons.
• Démarrez les outils d'agent à partir d'un préréglage. Les préréglages de Perplexity adaptent la taille du modèle à celle de la tâche et évitent d'envoyer les requêtes simples aux modèles les plus coûteux

Privilégier le traitement local

Certains travaux ne nécessitent aucun modèle cloud payant. Portable Computer est une version de l'agent de Perplexity qui s'exécute sur l'ordinateur de l'utilisateur, à l'aide d'un modèle d'IA stocké sur cette machine. Comme le modèle s'exécute en local, les travaux de routine ne consomment pas de jetons payants. L'agent ne fait appel au web, aux applications connectées ou à un modèle cloud plus puissant que lorsqu'une tâche l'exige, et demande d'abord l'accord de l'utilisateur.

Découvrez comment Perplexity Computer gère les travaux en plusieurs étapes sur le web, dans les fichiers et avec les outils connectés.

FAQ

Quelle est la différence entre les dépenses en jetons et les coûts de l'IA ?

Les dépenses en jetons mesurent la quantité de travail d'IA réalisée par une équipe, comptée en jetons. Les coûts de l'IA couvrent tout ce qu'une équipe paie pour utiliser l'IA, y compris les abonnements, les crédits supplémentaires et la mise en place. Les dépenses en jetons déterminent la partie de cette facture liée à l'usage.

Les abonnés paient-ils au jeton ?

En général, pas directement. Les outils par abonnement mesurent l'utilisation en messages, en requêtes ou en crédits, et les tâches qui consomment plus de jetons les épuisent plus vite. Sur Perplexity, les recherches classiques ne consomment aucun crédit ; seules les tâches Computer en consomment.

Pourquoi les agents d'IA consomment-ils autant de jetons ?

Un agent accomplit une tâche en de nombreuses étapes, et chaque étape est une requête distincte qui relit le travail effectué jusque-là. Une longue tâche consomme donc davantage de jetons à chaque nouvelle étape.

Pourquoi la consommation de jetons connaît-elle des pics soudains ?

La plupart des pics font suite à un changement dans la façon de travailler d'une équipe, comme un nouveau flux de travail automatisé, un outil déployé auprès de davantage de personnes ou une longue tâche d'agent. Comparer la date du pic avec les lancements récents permet généralement d'en identifier la cause. Tester d'abord les nouveaux flux de travail avec un petit groupe aide à éviter les pics.