Jak sledovat a kontrolovat výdaje týmu za tokeny

Co jsou výdaje za tokeny

Výdaje za tokeny označují počet tokenů, které tým spotřebuje při práci s AI, a to, kolik tyto tokeny stojí. Token je jednotka textu, například slovo, část slova nebo interpunkční znaménko, kterou model AI čte nebo zapisuje. V angličtině odpovídá 1 token zhruba 4 znakům. Tokeny nejsou mezi modely ani poskytovateli standardizované, takže stejný text může v různých nástrojích vést k jinému počtu tokenů.

Přehledy využití obvykle rozdělují tokeny do několika typů:

• Vstupní tokeny zahrnují vše, co model u daného požadavku čte. Patří sem dotaz, veškerý přiložený text i historie konverzace, kterou model znovu využívá z dřívějších zpráv ve stejném vlákně.
• Výstupní tokeny tvoří odpověď, kterou model napíše. Často stojí víc než vstupní tokeny. V ceníku API Perplexity účtují některé modely za výstup šestkrát víc.
• Tokeny uvažování představují text, který model interně generuje, aby si před odpovědí promyslel problém. V odpovědi se neobjevují, takže delší viditelná odpověď nemusí nutně znamenat, že model celkově spotřeboval víc tokenů.

Týmy, které používají nástroje AI v rámci předplatného, se s poplatkem za jednotlivé tokeny setkají jen zřídka. Tokeny ale přesto ovlivňují, co dostanou, protože náročnější úlohy rychleji spotřebují kredity nebo dříve narazí na limity využití. Týmy, které si na modelu AI stavějí vlastní nástroje, naopak obvykle platí za každý token v rámci cenového modelu založeného na využití.

Jak sledovat výdaje za tokeny

Sledování výdajů za tokeny u předplatného

Nástroje s předplatným obvykle počty tokenů nezobrazují. Mnoho tarifů místo toho používá kredity, tedy předplacené jednotky, které se z tarifu odečítají podle toho, kolik práce se odvede. Kredity nejsou totéž co tokeny, protože jeden kredit může pokrýt text, obrázky nebo jinou práci. Úlohy, které spotřebují víc tokenů, ale obvykle spotřebují i víc kreditů, takže u předplatného jsou kredity nejlepším vodítkem k výdajům za tokeny. Uživatelé mohou sledovat vlastní spotřebu kreditů a některé tarify nabízejí také administrátorský řídicí panel, který ukazuje spotřebu kreditů celého týmu.

Například v Perplexity běžné vyhledávání kredity nespotřebovává. Používá je pouze Perplexity Computer, asistent, který zvládá vícekrokové úlohy. Lidé, kteří Computer používají, vidí, kolik kreditů spotřebovali a na co. Každá úloha nástroje Computer navíc zobrazuje vlastní celkovou spotřebu kreditů v nabídce „Využití“ příslušné konverzace.

Zvětšit

V tarifech Enterprise mohou administrátoři v řídicím panelu Insights zjistit, kolik lidí Perplexity používá a kolik dotazů každý týden zadají (k dispozici pro organizace s 50 a více místy nebo alespoň jedním členem Enterprise Max).

Zvětšit

Sledování výdajů za tokeny v přehledech využití API

Přehledy využití od poskytovatele API zobrazují počty tokenů přímo, obvykle rozdělené podle jejich typu. Například konzole API Platform od Perplexity umožňuje na stránce Fakturace sledovat metriky, jako jsou výdaje za vstupní a výstupní tokeny i tokeny uvažování.

Proč výdaje za tokeny rostou

Agenti v rámci jedné úlohy provádějí mnoho kroků a každý krok představuje samostatný požadavek na model. Jedna úloha tak může dohromady spotřebovat stovky tisíc, nebo dokonce miliony tokenů.

Stále běžnější jsou také modely s uvažováním. Takový model před odpovědí vypíše své úvahy a každé jejich slovo se počítá do tokenů. Stejný požadavek proto u modelu s uvažováním obvykle spotřebuje víc tokenů než u standardního modelu, i když odpověď na obrazovce vypadá stejně dlouhá.

A konečně s tím, jak AI obecně využívá stále víc lidí a pracovních postupů, spotřeba tokenů narůstá. Část tohoto růstu má na svědomí i takzvaný tokenmaxxing, kdy inženýři spouštějí agenty hlavně proto, aby navýšili svůj osobní počet tokenů a umístili se výš v interních žebříčcích spotřeby tokenů.

Jak snížit výdaje za tokeny

Většina vysokých výdajů za tokeny pochází z několika druhů práce, které spotřebují víc tokenů, než se na první pohled zdá.

Dlouhé konverzace a úlohy agentů

Pokaždé, když model odpovídá, si obvykle znovu přečte celou dosavadní konverzaci. Každý nový požadavek obsahuje veškerou předchozí historii konverzace a k tomu aktuální zprávu uživatele. Krátká otázka položená na konci dlouhého vlákna proto spotřebuje víc tokenů než stejná otázka v novém vlákně. Úlohy agentů fungují stejně, protože každý krok přidává své výsledky do historie, kterou si další krok znovu přečte.

Zvětšit

Co s tím dělat

• Když se změní téma, začněte novou konverzaci. Na její začátek dejte dvou- až třířádkové shrnutí všeho z původního vlákna, co model stále potřebuje.
• Rozdělte dlouhé úlohy agentů na menší. Každou část spusťte jako samostatnou úlohu a předávejte dál jen ty výsledky, které další část potřebuje.
• Ověřte, zda nástroje agentů, které tým používá, podporují kompakci kontextu. Kompakce automaticky shrnuje starší části úlohy, takže model toho musí znovu číst méně. Pokud ji nástroj nabízí jako nastavení, zapněte ji.

Opakované zpracování stejných dokumentů

Když někdo přikládá stejný dlouhý soubor, například příručku zásad nebo produktový katalog, k mnoha samostatným dotazům, model pokaždé přečte celý soubor. Každé čtení se započítává jako vstupní tokeny.

Co s tím dělat

• Naučte uživatele, aby místo přikládání celého souboru zkopírovali do požadavku jen příslušnou část příručky nebo katalogu.
• Vytvořte zkrácené verze dokumentů, které tým často používá. Jednostránkové shrnutí dlouhých zásad může v běžných dotazech nahradit celý dokument.

Opakované pokusy a smyčky

Když odpověď neodpovídá tomu, co uživatel potřeboval, a on úlohu spustí znovu, každý pokus spotřebovává tokeny. Totéž se stane, když se agent zasekne a opakuje stále stejný krok.

Co s tím dělat

• Hned v prvním požadavku jasně popište úlohu, požadovaný výsledek a zdroje. Například: „Shrň v pěti odrážkách hlavní důvody, proč zákazníci ve 3. čtvrtletí rušili služby, a vycházej pouze z přiložených výsledků průzkumu.“
• Kontrolujte prvních několik kroků úlohy agenta. Pokud agent opakuje stejný krok nebo vyhledávání, zastavte ho a spusťte znovu s užším zadáním.

Velké modely pro jednoduché úlohy

Výkonnější modely obvykle stojí víc za token, takže běžná práce, jako je shrnování nebo přeformátování textu, může rozpočet týmu vyčerpat rychleji, než je nutné.

Co s tím dělat

• Používejte směrování modelů, které každé úloze přiřadí model, jenž ji zvládne. Krátké přepsání nebo shrnutí může zpracovat menší a levnější model, zatímco ten nejvýkonnější zůstane vyhrazen pro vícekrokové uvažování nebo analýzu. API Perplexity tento přístup uplatňuje prostřednictvím svých předvoleb, které rychlému vyhledání přiřazují menší model a vyčerpávající analýze větší.

Skoky ve spotřebě po zavedení nových pracovních postupů

Nový automatizovaný pracovní postup nebo nástroj zavedený pro celý tým může využití zvýšit ze dne na den. Prudký nárůst sám o sobě není problém, ale vyplatí se vědět, která práce ho způsobila.

Co s tím dělat

• Nové pracovní postupy nejprve vyzkoušejte s malou skupinou. Než postup zavedete pro celý tým, sledujte týden nebo dva, jak ho tato skupina využívá.
• Stanovte každému týmu měsíční rozpočet. Vycházejte z využití v typickém měsíci, aby byl případný skok hned patrný.
• Vypněte automatické dobíjení. Když je automatické dobíjení vypnuté, práce se po vyčerpání kreditů zastaví, místo aby se automaticky dokoupily další kredity.

Jak optimalizovat výdaje za tokeny v Perplexity

Pro každodenní používání

Computer spotřebovává kredity, ale spustí se jen tehdy, když si ho zvolíte – buď výběrem ikony Computer, prací v projektu, který má Computer nastavený jako výchozí, nebo použitím režimu Work v prohlížeči Comet.

Zvětšit

Chcete-li se vrátit k běžnému vyhledávání, vyberte ikonu Perplexity a přepněte zpět do režimu Ask. Spotřebu kreditů si uživatelé mohou zobrazit v přehledu kreditů přímo v rozhraní Perplexity.

Zvětšit

Týmy, které pracují v projektech, sdílených pracovních prostorech Perplexity, mohou každému projektu nastavit výchozí režim Search nebo Computer. Projekt, který slouží hlavně k rychlému vyhledávání informací, může mít jako výchozí režim Search, aby nikdo omylem nespustil úlohu nástroje Computer.

Pro administrátory tarifu Enterprise

• Zjistěte, co zahrnuje každé místo. Uživatelé Enterprise Pro dostávají měsíčně 500 kreditů a uživatelé Enterprise Max 15 000 kreditů. Tyto kredity na konci každého měsíčního cyklu vyprší a nepřevádějí se do dalšího období.
• Nejprve nastavte výchozí limit využití. Limit využití určuje, kolik dalších kreditů může člen čerpat ze sdíleného fondu, jakmile vyčerpá své vlastní přidělené kredity.
• Vytvořte pojmenované limity pro různé typy uživatelů. Administrátoři mohou nastavit limity jako „Standardní“, „Pokročilý uživatel“ a „Externista“ a přiřadit je skupinám uživatelů nebo jednotlivým členům. Skupiny lze vytvořit v Perplexity nebo synchronizovat z firemního poskytovatele identit. Pokud někdo patří do více skupin, platí nejvyšší limit.
• Pro výjimky používejte individuální přepsání limitu. Když jeden člověk potřebuje jiný limit než jeho skupina, má individuální přepsání přednost před jakýmkoli skupinovým nebo sdíleným limitem. Hodí se to například u krátkého projektu s náročným výzkumem, aniž by bylo nutné zvyšovat limit celému týmu.
• Nastavte strop pro automatické dobíjení. Automatické dobíjení samo doplňuje sdílený fond. Je u něj k dispozici nastavitelný měsíční limit dobití, takže výdaje nemohou růst bez stanoveného maxima.
• Rozhodněte, jak mohou členové žádat o další kredity. Nastavení „Povolit členům žádat o další kredity“ umožňuje lidem, kteří dosáhnou svého limitu, požádat administrátora o další kredity, místo aby byli rovnou zastaveni.
• Každý měsíc kontrolujte využití. Stránka Kredity organizace zobrazuje u každého člena přidělené, spotřebované a zbývající kredity spolu se skupinovými limity a zůstatkem fondu. U organizací s 50 a více místy nebo alespoň jedním členem Enterprise Max přidává řídicí panel Insights přehled měsíčně aktivních uživatelů a týdenních dotazů v čase. Podrobnější informace nabízejí protokoly auditu, které zaznamenávají spouštění úloh, používání konektorů, spotřebu kreditů a přidělování kreditů.

Pro týmy, které vyvíjejí nástroje nad API

• Přidělte každému nástroji nebo týmu vlastní klíč API. Perplexity umí zobrazit fakturaci pro každý klíč zvlášť a díky samostatným klíčům je jasné, který nástroj za využitím stojí.
• Na stránce Fakturace zjistěte, který druh tokenů roste. Stránka zobrazuje vstupní a výstupní tokeny i tokeny uvažování v čase. Rostoucí počet vstupních tokenů obvykle znamená, že nástroj posílá víc textu, než potřebuje. Rostoucí počet tokenů uvažování znamená, že úlohy běží na modelech, které problémy dlouze promýšlejí.
• Když nástroj potřebuje jen výsledky vyhledávání, použijte Search API. Vrací výsledky z webu, aniž by model psal odpověď, a účtuje se za požadavek bez dalších poplatků za tokeny.
• Při tvorbě nástrojů agentů vycházejte z předvolby. Předvolby Perplexity přizpůsobují velikost modelu velikosti úlohy a jednoduché požadavky nesměrují na nejdražší modely.

Přednostně lokální práce

Některá práce placený cloudový model vůbec nepotřebuje. Portable Computer je verze agenta Perplexity, která běží přímo na počítači uživatele a využívá model AI uložený v tomto zařízení. Protože model běží lokálně, běžná práce nespotřebovává placené tokeny. Na web, k propojeným aplikacím nebo k výkonnějšímu cloudovému modelu se obrací jen tehdy, když to úloha vyžaduje, a předtím se uživatele zeptá.

Zjistěte, jak Perplexity Computer zvládá vícekrokovou práci napříč webem, soubory a propojenými nástroji.

Časté dotazy

Jaký je rozdíl mezi výdaji za tokeny a náklady na AI?

Výdaje za tokeny vyjadřují v počtu tokenů, kolik práce s AI tým odvede. Náklady na AI zahrnují vše, co tým za používání AI platí, včetně předplatného, dalších kreditů a zavedení. Výdaje za tokeny určují tu část účtu, která závisí na využití.

Platí uživatelé s předplatným za jednotlivé tokeny?

Obvykle ne přímo. Nástroje s předplatným sledují využití ve zprávách, dotazech nebo kreditech a úlohy, které spotřebují víc tokenů, je vyčerpají rychleji. V Perplexity běžné vyhledávání kredity vůbec nespotřebovává; spotřebovávají je pouze úlohy nástroje Computer.

Proč agenti AI spotřebují tolik tokenů?

Agent dokončí úlohu v mnoha krocích a každý krok je samostatný požadavek, který znovu načítá dosavadní práci. Dlouhá úloha proto s každým dalším krokem spotřebovává víc tokenů.

Proč spotřeba tokenů náhle prudce stoupne?

Většina skoků následuje po změně ve způsobu práce týmu, například po zavedení nového automatizovaného pracovního postupu, rozšíření nástroje na víc lidí nebo spuštění dlouhé úlohy agenta. Když datum skoku porovnáte s nedávno zavedenými novinkami, obvykle odhalíte příčinu. Skokům pomáhá předcházet, když se nové pracovní postupy nejprve vyzkoušejí s malou skupinou.