Ako sledovať a riadiť spotrebu tokenov v tíme

Čo je spotreba tokenov

Spotreba tokenov je počet tokenov, ktoré tím pri práci s AI spotrebuje, a to, koľko tieto tokeny stoja. Token je jednotka textu, napríklad slovo, časť slova alebo interpunkčné znamienko, ktorú model AI číta alebo píše. V angličtine zodpovedá 1 token približne 4 znakom. Tokeny nie sú štandardizované naprieč modelmi ani poskytovateľmi, takže rovnaký text môže v rôznych nástrojoch predstavovať odlišný počet tokenov.

Správy o využití zvyčajne delia tokeny do niekoľkých typov:

• Vstupné tokeny sú všetko, čo model pri požiadavke prečíta. Patrí sem dopyt, akýkoľvek priložený text a história konverzácie, ktorú model opätovne využíva z predchádzajúcich správ v tom istom vlákne.
• Výstupné tokeny predstavujú odpoveď, ktorú model napíše. Často stoja viac ako vstupné tokeny. V cenníku API od Perplexity si niektoré modely za výstup účtujú šesťkrát viac.
• Tokeny uvažovania sú text, ktorý model interne generuje, aby problém pred odpoveďou premyslel. V odpovedi sa nezobrazujú, takže dlhšia viditeľná odpoveď nemusí nevyhnutne znamenať, že model celkovo použil viac tokenov.

Tímy, ktoré používajú nástroje AI v rámci predplatného, sa s poplatkom za token stretnú len zriedka. Tokeny však aj tak ovplyvňujú, čo dostanú, pretože náročnejšie úlohy rýchlejšie míňajú kredity alebo skôr narazia na limity využitia. Tímy, ktoré si na modeli AI budujú vlastné nástroje, naopak zvyčajne platia za každý token v rámci cien založených na využití.

Ako sledovať spotrebu tokenov

Sledovanie spotreby tokenov pri predplatnom

Nástroje s predplatným zvyčajne počty tokenov nezobrazujú. Mnohé plány namiesto toho používajú kredity – predplatené jednotky, ktoré sa z plánu čerpajú s postupom práce. Kredity nie sú to isté ako tokeny, pretože jeden kredit môže pokryť text, obrázky alebo inú prácu. Úlohy, ktoré spotrebujú viac tokenov, však zvyčajne spotrebujú aj viac kreditov, takže kredity sú najlepším ukazovateľom spotreby tokenov pri predplatnom. Používatelia môžu sledovať vlastnú spotrebu kreditov a niektoré plány ponúkajú aj panel pre administrátorov, ktorý zobrazuje spotrebu kreditov celého tímu.

Napríklad v Perplexity bežné vyhľadávanie kredity nespotrebúva. Využíva ich iba Perplexity Computer, asistent, ktorý zvláda viackrokové úlohy. Ľudia, ktorí používajú Computer, vidia, koľko kreditov minuli a na čo ich použili. Každá úloha v nástroji Computer navyše zobrazuje vlastný súčet kreditov v ponuke „Využitie“ príslušnej konverzácie.

Zväčšiť

V plánoch Enterprise môžu administrátori v paneli Insights vidieť, koľko ľudí používa Perplexity a koľko dopytov každý týždeň zadajú (k dispozícii pre organizácie s 50 alebo viac miestami alebo aspoň jedným členom Enterprise Max).

Zväčšiť

Sledovanie spotreby tokenov v správach o využití API

Správy o využití od poskytovateľa API zobrazujú počty tokenov priamo, zvyčajne rozdelené podľa typu tokenu. Napríklad konzola Perplexity API Platform umožňuje používateľom na stránke Fakturácia sledovať metriky, ako je spotreba vstupných a výstupných tokenov a tokenov uvažovania.

Prečo spotreba tokenov rastie

Agenti vykonávajú pri každej úlohe mnoho krokov a každý krok je samostatnou požiadavkou na model. Jedna úloha tak môže spotrebovať stovky tisíc alebo dokonca milióny tokenov.

Čoraz bežnejšie sú aj modely s uvažovaním. Model s uvažovaním pred odpoveďou vypíše svoje úvahy a každé slovo z nich sa počíta do tokenov. Rovnaká požiadavka tak na modeli s uvažovaním zvyčajne spotrebuje viac tokenov ako na štandardnom modeli, aj keď odpoveď na obrazovke vyzerá rovnako dlhá.

A napokon, keďže AI vo všeobecnosti využíva čoraz viac ľudí a pracovných postupov, spotreba tokenov narastá. Časť tohto rastu pochádza aj z takzvaného tokenmaxxingu, keď inžinieri spúšťajú agentov hlavne preto, aby zvýšili svoj osobný počet tokenov a umiestnili sa vyššie v interných rebríčkoch spotreby tokenov.

Ako znížiť spotrebu tokenov

Vysoká spotreba tokenov väčšinou pochádza z niekoľkých druhov práce, ktoré spotrebujú viac tokenov, než sa zdá.

Dlhé konverzácie a úlohy agentov

Pri každej odpovedi model zvyčajne znovu prečíta celú doterajšiu konverzáciu. Každá nová požiadavka obsahuje celú predchádzajúcu históriu konverzácie spolu s aktuálnou správou používateľa. Krátka otázka na konci dlhého vlákna preto spotrebuje viac tokenov ako tá istá otázka v novom vlákne. Úlohy agentov fungujú rovnako, pretože každý krok pridáva svoje výsledky do histórie, ktorú ďalší krok znovu číta.

Zväčšiť

Čo s tým robiť

• Keď sa téma zmení, začnite novú konverzáciu. Otvorte ju dvoj- alebo trojriadkovým zhrnutím všetkého zo starého vlákna, čo model ešte potrebuje.
• Rozdeľte dlhé úlohy agentov na menšie. Každú časť spustite ako samostatnú úlohu a ďalej odovzdajte iba výsledky, ktoré potrebuje nasledujúca časť.
• Skontrolujte, či nástroje agentov, ktoré tím používa, podporujú kompakciu kontextu. Kompakcia automaticky zhŕňa staršie časti úlohy, takže model toho znovu číta menej. Ak ju nástroj ponúka ako nastavenie, zapnite ju.

Tie isté dokumenty spracúvané stále dookola

Keď niekto priloží ten istý dlhý súbor, napríklad príručku zásad alebo produktový katalóg, k mnohým samostatným dopytom, model zakaždým prečíta celý súbor. Každé prečítanie sa počíta ako vstupné tokeny.

Čo s tým robiť

• Naučte používateľov kopírovať do požiadavky príslušnú časť príručky alebo katalógu namiesto prikladania celého súboru.
• Vytvorte skrátené verzie dokumentov, ktoré tím často používa. Jednostranové zhrnutie dlhých zásad môže pri bežných dopytoch nahradiť celý dokument.

Opakované pokusy a slučky

Keď odpoveď nie je taká, akú niekto potreboval, a úlohu spustí znova, každý pokus spotrebuje tokeny. To isté sa stane, keď sa agent zasekne a opakuje ten istý krok.

Čo s tým robiť

• Už v prvej požiadavke jasne uveďte úlohu, výsledok a zdroje. Napríklad: „Zhrň v piatich odrážkach hlavné dôvody, prečo zákazníci v 3. štvrťroku rušili služby, a použi pritom iba priložené výsledky prieskumu.“
• Skontrolujte prvých niekoľko krokov úlohy agenta. Ak agent opakuje ten istý krok alebo vyhľadávanie, zastavte ho a spustite znova s užšie vymedzenou požiadavkou.

Veľké modely na jednoduché úlohy

Výkonnejšie modely zvyčajne stoja viac za token, takže rutinná práca, ako sú zhrnutia alebo úpravy formátovania, môže minúť rozpočet tímu rýchlejšie, než je potrebné.

Čo s tým robiť

• Používajte smerovanie modelov, ktoré každej úlohe priradí model, ktorý ju zvládne. Krátke prepísanie alebo zhrnutie môže ísť na menší a lacnejší model a najvýkonnejší model sa ponechá na viackrokové uvažovanie alebo analýzu. Tento prístup uplatňuje API od Perplexity vo svojich predvoľbách, ktoré na rýchle vyhľadanie priradia menší model a na vyčerpávajúcu analýzu väčší.

Prudké nárasty po zavedení nových pracovných postupov

Nový automatizovaný pracovný postup alebo nástroj zavedený pre celý tím môže zvýšiť využitie zo dňa na deň. Prudký nárast nie je sám osebe problém, no oplatí sa vedieť, ktorá práca ho spôsobila.

Čo s tým robiť

• Nové pracovné postupy najprv otestujte na malej skupine. Týždeň alebo dva sledujte jej využitie a až potom pracovný postup zaveďte pre celý tím.
• Nastavte každému tímu mesačný rozpočet. Vychádzajte z využitia v typickom mesiaci, aby bol každý skok nápadný.
• Vypnite automatické dobíjanie. Keď je automatické dobíjanie vypnuté, práca sa po minutí kreditov zastaví, namiesto toho, aby sa automaticky dokúpili ďalšie kredity.

Ako optimalizovať spotrebu tokenov v Perplexity

Na každodenné používanie

Computer spotrebúva kredity, spúšťa sa však iba vtedy, keď si ho sami zvolíte – buď výberom ikony Computer, prácou v projekte, ktorý má Computer nastavený ako predvolený, alebo použitím režimu Comet Work.

Zväčšiť

Ak sa chcete vrátiť k bežnému vyhľadávaniu, výberom ikony Perplexity prepnite späť do režimu Ask. Spotrebu kreditov si používatelia môžu pozrieť v sledovači priamo v rozhraní Perplexity.

Zväčšiť

Tímy, ktoré pracujú v projektoch, zdieľaných pracovných priestoroch Perplexity, môžu pre každý projekt nastaviť predvolený režim Vyhľadávanie alebo Computer. Projekt používaný najmä na rýchly prieskum môže mať predvolene nastavené Vyhľadávanie, aby nikto omylom nespustil úlohu v nástroji Computer.

Pre administrátorov plánu Enterprise

• Zistite, čo zahŕňa každé miesto. Používatelia Enterprise Pro dostávajú mesačne pridelených 500 kreditov a používatelia Enterprise Max 15 000 kreditov. Tieto kredity na konci každého mesačného cyklu prepadnú a neprenášajú sa do ďalšieho obdobia.
• Najprv nastavte predvolený limit využitia. Limit využitia určuje, koľko ďalších kreditov môže člen najviac čerpať zo zdieľaného fondu, keď minie vlastný pridelený objem.
• Vytvorte pomenované limity pre rôzne typy používateľov. Administrátori môžu nastaviť limity ako „Štandard“, „Pokročilý používateľ“ a „Dodávateľ“ a priradiť ich skupinám používateľov alebo jednotlivým členom. Skupiny môžu pochádzať z Perplexity alebo sa synchronizovať od poskytovateľa identít spoločnosti. Ak niekto patrí do viacerých skupín, uplatní sa najvyšší limit.
• Na výnimky použite individuálne limity. Keď jedna osoba potrebuje iný strop ako jej skupina, individuálny limit má prednosť pred akýmkoľvek skupinovým alebo zdieľaným limitom. To sa hodí napríklad pri krátkom projekte s náročným výskumom bez toho, aby bolo potrebné zvýšiť strop celému tímu.
• Stanovte strop pre automatické dobíjanie. Automatické dobíjanie automaticky dopĺňa zdieľaný fond. Má nastaviteľný mesačný limit dobíjania, takže výdavky nemôžu rásť nad stanovené maximum.
• Rozhodnite, ako môžu členovia požiadať o viac. Nastavenie Povoliť členom požiadať o ďalšie kredity umožňuje ľuďom, ktorí dosiahli svoj limit, požiadať administrátora o ďalšie kredity namiesto toho, aby ich práca bola rovno zastavená.
• Každý mesiac skontrolujte využitie. Stránka Kredity organizácie zobrazuje pridelené, použité a zostávajúce kredity pre každého člena spolu so skupinovými limitmi a zostatkom fondu. Pre organizácie s 50 alebo viac miestami alebo aspoň jedným členom Enterprise Max pridáva panel Insights aj mesačne aktívnych používateľov a týždenné dopyty v čase. Podrobnejšie údaje poskytujú protokoly auditu, ktoré zaznamenávajú vykonávanie úloh, používanie konektorov, spotrebu kreditov a prideľovanie kreditov.

Pre tímy, ktoré stavajú na API

• Každému nástroju alebo tímu prideľte vlastný kľúč API. Perplexity dokáže zobraziť fakturáciu pre každý kľúč samostatne a oddelené kľúče jasne ukážu, ktorý nástroj zvyšuje využitie.
• Na stránke fakturácie skontrolujte, ktorý druh tokenov rastie. Zobrazuje vstupné a výstupné tokeny aj tokeny uvažovania v čase. Rastúci počet vstupných tokenov zvyčajne znamená, že nástroj posiela viac textu, než potrebuje. Rastúci počet tokenov uvažovania znamená, že úlohy bežia na modeloch, ktoré o problémoch dlho uvažujú.
• Keď nástroj potrebuje iba výsledky vyhľadávania, použite Search API. Vracia výsledky z webu bez toho, aby model písal odpoveď, a účtuje sa za požiadavku bez ďalších poplatkov za tokeny.
• Nástroje agentov spúšťajte z predvoľby. Predvoľby Perplexity prispôsobujú veľkosť modelu veľkosti úlohy a jednoduché požiadavky nesmerujú na najdrahšie modely

Prednostne lokálna práca

Niektorá práca platený cloudový model vôbec nepotrebuje. Portable Computer je verzia agenta Perplexity, ktorá beží priamo na počítači používateľa a využíva model AI uložený na danom zariadení. Keďže model beží lokálne, rutinná práca nespotrebúva platené tokeny. Na web, k pripojeným aplikáciám alebo k výkonnejšiemu cloudovému modelu sa obráti iba vtedy, keď to úloha vyžaduje, a najprv sa používateľa opýta.

Zistite, ako Perplexity Computer zvláda viackrokovú prácu naprieč webom, súbormi a pripojenými nástrojmi.

Časté otázky

Aký je rozdiel medzi spotrebou tokenov a nákladmi na AI?

Spotreba tokenov meria, koľko práce s AI tím vykoná, počítané v tokenoch. Náklady na AI zahŕňajú všetko, čo tím platí za používanie AI vrátane predplatného, ďalších kreditov a zavedenia. Spotreba tokenov určuje tú časť účtu, ktorá závisí od využitia.

Platia používatelia predplatného za každý token?

Zvyčajne nie priamo. Nástroje s predplatným sledujú využitie v správach, dopytoch alebo kreditoch a úlohy, ktoré spotrebujú viac tokenov, ich míňajú rýchlejšie. V Perplexity bežné vyhľadávanie kredity vôbec nespotrebúva; spotrebúvajú ich iba úlohy v nástroji Computer.

Prečo agenti AI spotrebúvajú toľko tokenov?

Agent dokončuje úlohu v mnohých krokoch a každý krok je samostatnou požiadavkou, ktorá znovu prečíta doterajšiu prácu. Dlhá úloha preto s každým ďalším krokom spotrebúva viac tokenov.

Prečo spotreba tokenov náhle prudko stúpne?

Väčšina prudkých nárastov nasleduje po zmene spôsobu práce tímu, napríklad po zavedení nového automatizovaného pracovného postupu, sprístupnení nástroja ďalším ľuďom alebo dlhej úlohe agenta. Príčinu zvyčajne odhalí porovnanie dátumu nárastu s nedávnymi spusteniami. Prudkým nárastom pomáha predchádzať aj to, že sa nové pracovné postupy najprv otestujú na malej skupine.