Com supervisar i controlar la despesa de tokens de l'equip

Què és la despesa de tokens

La despesa de tokens és el nombre de tokens que un equip consumeix amb la IA i el que costen aquests tokens. Un token és una unitat de text, com ara una paraula, una part d'una paraula o un signe de puntuació, que un model d'IA llegeix o escriu. En anglès, 1 token equival aproximadament a 4 caràcters. Els tokens no estan estandarditzats entre models ni proveïdors, de manera que un mateix text pot donar un recompte diferent en eines diferents.

Els informes d'ús solen dividir els tokens en uns quants tipus:

• Els tokens d'entrada són tot el que el model llegeix en una sol·licitud. Això inclou la consulta, qualsevol text adjunt i l'historial de la conversa que el model reutilitza de missatges anteriors del mateix fil.
• Els tokens de sortida són la resposta que escriu el model. Sovint costen més que els tokens d'entrada. Segons els preus de l'API de Perplexity, alguns models cobren sis vegades més per la sortida.
• Els tokens de raonament són el text que un model genera internament per resoldre un problema abans de respondre. No apareixen a la resposta, de manera que una resposta visible més llarga no vol dir necessàriament que el model hagi fet servir més tokens en total.

Els equips que fan servir eines d'IA amb una subscripció rarament veuen un càrrec per token. Tot i així, els tokens determinen el que obtenen, ja que les tasques més pesades consumeixen crèdits o arriben abans als límits d'ús. En canvi, els equips que creen les seves pròpies eines sobre un model d'IA normalment paguen per token, amb preus basats en l'ús.

Com fer el seguiment de la despesa de tokens

Seguiment de la despesa de tokens en un pla de subscripció

Les eines de subscripció normalment no mostren el recompte de tokens. En lloc d'això, molts plans fan servir crèdits, unitats prepagades que el pla va descomptant a mesura que es fa la feina. Els crèdits no són el mateix que els tokens, ja que un crèdit pot cobrir text, imatges o altres tipus de feina. Però les tasques que fan servir més tokens solen consumir també més crèdits, de manera que són la millor referència per conèixer la despesa de tokens en una subscripció. Els usuaris poden fer el seguiment del seu propi ús de crèdits, i alguns plans també inclouen un tauler d'administració que mostra l'ús de crèdits de tot l'equip.

A Perplexity, per exemple, les cerques habituals no consumeixen crèdits. Només els fa servir Perplexity Computer, l'assistent que gestiona tasques de diversos passos. Les persones que fan servir Computer poden veure quants crèdits han gastat i en què els han gastat. Cada tasca de Computer també mostra el seu propi total de crèdits al menú «Ús» de la conversa corresponent.

Amplia

Als plans Enterprise, els administradors poden veure quantes persones fan servir Perplexity i quantes consultes fan cada setmana al tauler Insights (disponible per a organitzacions amb 50 llicències o més, o amb almenys un membre d'Enterprise Max).

Amplia

Seguiment de la despesa de tokens als informes d'ús de l'API

Els informes d'ús del proveïdor de l'API mostren directament el recompte de tokens, normalment dividit per tipus de token. La consola de l'API Platform de Perplexity, per exemple, permet als usuaris fer el seguiment de mètriques com la despesa de tokens d'entrada, de sortida i de raonament a la pàgina de Facturació.

Per què creix la despesa de tokens

Els agents executen molts passos per tasca, i cada pas és una sol·licitud independent a un model. Una sola tasca pot arribar a sumar centenars de milers o fins i tot milions de tokens.

Els models de raonament també són cada cop més habituals. Un model de raonament escriu el seu procés de pensament abans de respondre, i cada paraula d'aquest procés compta com a tokens. Per tant, una mateixa sol·licitud sol consumir més tokens en un model de raonament que en un d'estàndard, encara que la resposta que es veu a la pantalla sembli igual de llarga.

Finalment, a mesura que més persones i fluxos de treball fan servir la IA en general, l'ús de tokens s'acumula. Part d'aquest creixement també prové del tokenmaxxing, quan els enginyers executen agents principalment per augmentar el seu recompte personal de tokens i pujar posicions a les classificacions internes de tokens.

Com reduir la despesa de tokens

La major part de la despesa elevada de tokens prové d'uns quants tipus de feina que consumeixen més tokens del que sembla.

Converses llargues i tasques d'agents

Cada vegada que un model respon, normalment torna a llegir tota la conversa fins aquell moment. Cada sol·licitud nova inclou tot l'historial de conversa anterior més el missatge actual de l'usuari. Per això, una pregunta curta al final d'un fil llarg consumeix més tokens que la mateixa pregunta en un fil nou. Les tasques d'agents funcionen de la mateixa manera, perquè cada pas afegeix els seus resultats a l'historial que el pas següent torna a llegir.

Amplia

Què s'hi pot fer

• Comença una conversa nova quan canviï el tema. Obre-la amb un resum de dues o tres línies de tot allò del fil anterior que el model encara necessiti.
• Divideix les tasques d'agents llargues en tasques més petites. Executa cada part com una tasca independent i transmet a la part següent només els resultats que necessiti.
• Comprova si les eines d'agents de l'equip fan servir compactació del context. La compactació resumeix automàticament les parts més antigues d'una tasca perquè el model hagi de tornar a llegir menys. Si una eina l'ofereix com a opció de configuració, activa-la.

Els mateixos documents processats una vegada i una altra

Quan algú adjunta el mateix fitxer llarg, com ara un manual de polítiques o un catàleg de productes, a moltes consultes diferents, el model llegeix el fitxer sencer cada vegada. Cada lectura compta com a tokens d'entrada.

Què s'hi pot fer

• Ensenya als usuaris a copiar a la sol·licitud la secció rellevant del manual o del catàleg en lloc d'adjuntar el fitxer sencer.
• Prepara una versió breu dels documents que l'equip fa servir sovint. Un resum d'una pàgina d'una política llarga pot substituir el document complet en les consultes rutinàries.

Reintents i bucles

Quan una resposta no és el que algú necessitava i torna a executar la tasca, cada intent consumeix tokens. El mateix passa quan un agent s'encalla repetint el mateix pas.

Què s'hi pot fer

• Especifica la tasca, el resultat i les fonts a la primera sol·licitud. Per exemple: «Resumeix en cinc punts els motius principals pels quals els clients van cancel·lar al tercer trimestre, fent servir només els resultats de l'enquesta adjunta.»
• Revisa els primers passos d'una tasca d'agent. Si l'agent repeteix el mateix pas o la mateixa cerca, atura'l i torna a començar amb una sol·licitud més concreta.

Models grans per a tasques senzilles

Els models més capaços solen costar més per token, de manera que la feina rutinària, com ara resums o canvis de format, pot esgotar el pressupost d'un equip més de pressa del necessari.

Què s'hi pot fer

• Fes servir l'enrutament de models, que assigna cada tasca a un model capaç de gestionar-la. Una reescriptura curta o un resum es poden enviar a un model més petit i econòmic, i el model més capaç es reserva per al raonament de diversos passos o l'anàlisi. L'API de Perplexity segueix aquest enfocament amb les seves configuracions predefinides, que assignen un model més petit a una consulta ràpida i un de més gran a una anàlisi exhaustiva.

Pics després de nous fluxos de treball

Un nou flux de treball automatitzat, o una eina desplegada a tot un equip, pot disparar l'ús d'un dia per l'altre. Un pic no és un problema en si mateix, però val la pena saber quina feina l'ha provocat.

Què s'hi pot fer

• Prova primer els fluxos de treball nous amb un grup reduït. Revisa'n l'ús durant una o dues setmanes abans de desplegar el flux de treball a tot l'equip.
• Estableix un pressupost mensual per a cada equip. Basa'l en l'ús d'un mes típic, perquè qualsevol augment brusc destaqui.
• Desactiva la recàrrega automàtica. Amb la recàrrega automàtica desactivada, la feina s'atura quan s'acaben els crèdits, en lloc de comprar-ne més automàticament.

Com optimitzar la despesa de tokens a Perplexity

Per a l'ús diari

Computer consumeix crèdits, però només s'executa quan ho tries, ja sigui seleccionant la icona de Computer, treballant en un projecte que té Computer com a mode predeterminat o fent servir el mode Treball de Comet.

Amplia

Per tornar a la cerca habitual, selecciona la icona de Perplexity per tornar al mode Pregunta. Per veure l'ús de crèdits, els usuaris poden obrir el comptador de crèdits a la mateixa interfície de Perplexity.

Amplia

Els equips que treballen en projectes, els espais de treball compartits de Perplexity, poden definir el mode predeterminat de cada projecte com a Cerca o Computer. Un projecte que es fa servir sobretot per a investigacions ràpides pot tenir Cerca com a mode predeterminat, perquè ningú no iniciï una tasca de Computer per error.

Per als administradors d'Enterprise

• Informa't de què inclou cada llicència. Els usuaris d'Enterprise Pro reben una assignació mensual de 500 crèdits, i els d'Enterprise Max, 15.000 crèdits. Aquests crèdits caduquen al final de cada cicle mensual i no s'acumulen per al cicle següent.
• Estableix primer un límit d'ús predeterminat. Un límit d'ús restringeix quants crèdits addicionals pot obtenir un membre del fons compartit un cop esgotada la seva pròpia assignació.
• Crea límits amb nom per a diferents tipus d'usuaris. Els administradors poden configurar límits com ara «Estàndard», «Usuari avançat» i «Contractista», i assignar-los a grups d'usuaris o a membres individuals. Els grups es poden crear a Perplexity o sincronitzar des del proveïdor d'identitat de l'empresa. Si algú pertany a més d'un grup, s'aplica el límit més alt.
• Fes servir límits personals per a les excepcions. Quan una persona necessita un límit diferent del del seu grup, un límit personal té prioritat sobre qualsevol límit de grup o compartit. Això és útil per a un projecte curt amb molta investigació, sense haver d'augmentar el límit de tot un equip.
• Posa un sostre a la recàrrega automàtica. La recàrrega automàtica reomple el fons compartit automàticament. Inclou un límit mensual de recàrrega configurable, de manera que la despesa no pot créixer sense un màxim establert.
• Decideix com poden demanar més crèdits els membres. L'opció Permet als membres sol·licitar més crèdits fa que les persones que arriben al seu límit puguin demanar-ne més a un administrador, en lloc de quedar-se bloquejades directament.
• Revisa l'ús cada mes. La pàgina Crèdits de l'organització mostra els crèdits concedits, gastats i restants de cada membre, juntament amb els límits de grup i el saldo del fons. Per a organitzacions amb 50 llicències o més, o amb almenys un membre d'Enterprise Max, el tauler Insights hi afegeix l'evolució dels usuaris actius mensuals i de les consultes setmanals. Per obtenir més detalls, els registres d'auditoria recullen l'execució de tasques, l'ús de connectors, el consum de crèdits i les concessions de crèdits.

Per als equips que desenvolupen sobre l'API

• Assigna a cada eina o equip la seva pròpia clau d'API. Perplexity pot mostrar la facturació de cada clau per separat, i tenir claus separades deixa clar quina eina genera l'ús.
• Consulta a la pàgina de facturació quin tipus de token està creixent. Hi pots veure l'evolució dels tokens d'entrada, de sortida i de raonament. Si augmenten els tokens d'entrada, normalment vol dir que una eina envia més text del necessari. Si augmenten els tokens de raonament, vol dir que les tasques s'executen en models que analitzen els problemes a fons.
• Fes servir l'API Search quan una eina només necessiti resultats de cerca. Retorna resultats web sense que cap model escrigui una resposta, i cobra per sol·licitud sense càrrecs addicionals basats en tokens.
• Crea les eines d'agents a partir d'una configuració predefinida. Les configuracions predefinides de Perplexity ajusten la mida del model a la mida de la tasca i eviten que les sol·licituds senzilles arribin als models més cars.

Feina en local

Hi ha feina que no necessita cap model de pagament al núvol. Portable Computer és una versió de l'agent de Perplexity que s'executa a l'ordinador personal de l'usuari i fa servir un model d'IA emmagatzemat en aquest mateix equip. Com que el model s'executa en local, la feina rutinària no consumeix tokens de pagament. Només es connecta al web, a les aplicacions connectades o a un model al núvol més potent quan una tasca ho requereix, i sempre ho pregunta abans a l'usuari.

Descobreix com Perplexity Computer gestiona la feina de diversos passos a través del web, els fitxers i les eines connectades.

Preguntes freqüents

Quina diferència hi ha entre la despesa de tokens i els costos d'IA?

La despesa de tokens mesura quanta feina d'IA fa un equip, comptada en tokens. Els costos d'IA abasten tot el que un equip paga per fer servir la IA, incloses les subscripcions, els crèdits addicionals i la configuració. La despesa de tokens determina la part d'aquesta factura que es basa en l'ús.

Els usuaris amb subscripció paguen per token?

Normalment, no de manera directa. Les eines de subscripció mesuren l'ús en missatges, consultes o crèdits, i les tasques que fan servir més tokens els esgoten més de pressa. A Perplexity, les cerques habituals no consumeixen crèdits; només ho fan les tasques de Computer.

Per què els agents d'IA fan servir tants tokens?

Un agent completa una tasca en molts passos, i cada pas és una sol·licitud independent que torna a llegir tota la feina feta fins aleshores. Per tant, una tasca llarga consumeix més tokens a cada pas que fa.

Per què l'ús de tokens es dispara de cop?

La majoria dels pics apareixen després d'un canvi en la manera de treballar d'un equip, com ara un nou flux de treball automatitzat, una eina desplegada a més persones o una tasca d'agent llarga. Comparar la data del pic amb els llançaments recents sol revelar-ne la causa. Provar primer els fluxos de treball nous amb un grup reduït ajuda a evitar pics.