Kako pratiti i kontrolirati potrošnju tokena u timu

Što je potrošnja tokena

Potrošnja tokena broj je tokena koje tim potroši koristeći AI, kao i trošak tih tokena. Token je jedinica teksta, poput riječi, dijela riječi ili interpunkcijskog znaka, koju AI model čita ili piše. U engleskom jeziku 1 token otprilike odgovara 4 znaka. Tokeni nisu standardizirani među modelima ni pružateljima usluga, pa isti tekst u različitim alatima može dati različit broj tokena.

Izvješća o upotrebi tokene obično dijele na nekoliko vrsta:

• Ulazni tokeni sve su ono što model pročita za jedan zahtjev. To uključuje upit, priloženi tekst i povijest razgovora koju model ponovno koristi iz ranijeg dijela iste niti.
• Izlazni tokeni odgovor su koji model napiše. Često koštaju više od ulaznih tokena. U cjeniku Perplexity API-ja neki modeli za izlaz naplaćuju čak šest puta više.
• Tokeni rasuđivanja tekst su koji model interno generira kako bi razradio problem prije nego što odgovori. Ne pojavljuju se u odgovoru, pa duži vidljivi odgovor ne znači nužno da je model ukupno potrošio više tokena.

Timovi koji AI alate koriste uz pretplatu rijetko vide naplatu po tokenu. Tokeni ipak utječu na ono što dobivaju jer zahtjevniji zadaci brže troše kredite ili prije dosežu ograničenja upotrebe. Timovi koji na AI modelu grade vlastite alate obično umjesto toga plaćaju po tokenu, u okviru naplate prema upotrebi.

Kako pratiti potrošnju tokena

Praćenje potrošnje tokena uz pretplatni paket

Alati s pretplatom obično ne prikazuju broj tokena. Umjesto toga, mnogi paketi koriste kredite, unaprijed plaćene jedinice koje se troše kako se posao obavlja. Krediti nisu isto što i tokeni jer jedan kredit može pokriti tekst, slike ili neku drugu vrstu posla. No zadaci koji troše više tokena obično troše i više kredita, pa su krediti najbolji pokazatelj potrošnje tokena uz pretplatu. Korisnici mogu pratiti vlastitu potrošnju kredita, a neki paketi uključuju i administratorsku nadzornu ploču koja prikazuje potrošnju kredita za cijeli tim.

U Perplexityju, primjerice, obična pretraživanja ne troše kredite. Troši ih samo Perplexity Computer, asistent koji obavlja zadatke u više koraka. Korisnici alata Computer mogu vidjeti koliko su kredita potrošili i na što. Svaki zadatak u alatu Computer također prikazuje vlastiti ukupni broj kredita u izborniku „Upotreba“ unutar pripadajućeg razgovora.

Povećaj

U paketima Enterprise administratori na nadzornoj ploči Insights mogu vidjeti koliko ljudi koristi Perplexity i koliko upita tjedno pokreću (dostupno organizacijama s 50 ili više mjesta ili s barem jednim članom s paketom Enterprise Max).

Povećaj

Praćenje potrošnje tokena u izvješćima o upotrebi API-ja

Izvješća o upotrebi pružatelja API-ja izravno prikazuju broj tokena, obično razvrstan po vrsti tokena. Konzola Perplexity API Platform, primjerice, korisnicima na stranici „Naplata“ omogućuje praćenje metrika poput potrošnje ulaznih i izlaznih tokena te tokena rasuđivanja.

Zašto potrošnja tokena raste

Agenti za svaki zadatak izvode mnogo koraka, a svaki je korak zaseban zahtjev modelu. Jedan zadatak tako može narasti na stotine tisuća ili čak milijune tokena.

Modeli rasuđivanja također su sve češći. Model rasuđivanja ispiše svoje razmišljanje prije nego što odgovori, a svaka se riječ tog razmišljanja računa u tokene. Zato isti zahtjev na modelu rasuđivanja obično troši više tokena nego na standardnom modelu, iako odgovor na zaslonu izgleda jednako dug.

Naposljetku, kako sve više ljudi i tijekova rada općenito koristi AI, potrošnja tokena se gomila. Dio tog rasta dolazi i od takozvanog tokenmaxxinga, pri kojem inženjeri pokreću agente uglavnom kako bi povećali vlastiti broj tokena i popeli se na internim ljestvicama potrošnje tokena.

Kako smanjiti potrošnju tokena

Visoka potrošnja tokena najčešće potječe od nekoliko vrsta posla koje troše više tokena nego što se čini.

Dugi razgovori i zadaci agenata

Svaki put kada model odgovara, obično ponovno pročita cijeli dotadašnji razgovor. Svaki novi zahtjev uključuje cijelu prethodnu povijest razgovora i trenutačnu poruku korisnika. Zato kratko pitanje pri kraju duge niti troši više tokena nego isto pitanje u novoj niti. Zadaci agenata funkcioniraju na isti način jer svaki korak dodaje svoje rezultate u povijest koju sljedeći korak ponovno čita.

Povećaj

Što učiniti

• Započnite novi razgovor kada se promijeni tema. Otvorite ga sažetkom od dva ili tri retka o svemu iz stare niti što je modelu još potrebno.
• Podijelite duge zadatke agenata na manje. Pokrenite svaki dio kao zaseban zadatak i prenesite samo one rezultate koji su potrebni sljedećem dijelu.
• Provjerite koriste li alati agenata vašeg tima sažimanje konteksta. Pri sažimanju konteksta stariji se dijelovi zadatka automatski skraćuju u sažetak kako bi model manje toga morao ponovno čitati. Ako alat to nudi kao postavku, uključite je.

Isti dokumenti koji se obrađuju uvijek iznova

Kada netko istu dugačku datoteku, poput priručnika s pravilima ili kataloga proizvoda, priloži uz mnogo zasebnih upita, model svaki put pročita cijelu datoteku. Svako se čitanje računa u ulazne tokene.

Što učiniti

• Naučite korisnike da u zahtjev kopiraju relevantni odjeljak priručnika ili kataloga umjesto da prilažu cijelu datoteku.
• Izradite kratku verziju dokumenata koje tim često koristi. Sažetak dugih pravila na jednoj stranici može u rutinskim upitima zamijeniti cijeli dokument.

Ponovni pokušaji i petlje

Kada odgovor nije ono što je nekome trebalo pa ponovno pokrene zadatak, svaki pokušaj troši tokene. Isto se događa kada agent zapne i ponavlja isti korak.

Što učiniti

• U prvom zahtjevu jasno navedite zadatak, željeni rezultat i izvore. Na primjer: „Sažmi u pet natuknica glavne razloge zbog kojih su kupci otkazali u trećem tromjesečju, koristeći samo priložene rezultate ankete.“
• Provjerite prvih nekoliko koraka zadatka agenta. Ako agent ponavlja isti korak ili pretraživanje, zaustavite ga i ponovno pokrenite s užim zahtjevom.

Veliki modeli za jednostavne zadatke

Sposobniji modeli obično koštaju više po tokenu, pa rutinski posao poput sažetaka ili preoblikovanja teksta može potrošiti budžet tima brže nego što je potrebno.

Što učiniti

• Koristite usmjeravanje modela, koje svaki zadatak dodjeljuje modelu koji ga može obaviti. Kratko preoblikovanje ili sažetak može se prepustiti manjem, jeftinijem modelu, a najsposobniji model ostaje za rasuđivanje ili analizu u više koraka. Perplexity API primjenjuje taj pristup putem svojih predložaka, koji brzom pretraživanju dodjeljuju manji model, a iscrpnoj analizi veći.

Nagli skokovi nakon novih tijekova rada

Novi automatizirani tijek rada ili alat uveden za cijeli tim može preko noći povećati upotrebu. Nagli skok sam po sebi nije problem, ali vrijedi znati koji ga je posao uzrokovao.

Što učiniti

• Nove tijekove rada najprije testirajte s malom skupinom. Pratite njezinu upotrebu tjedan ili dva prije nego što tijek rada uvedete za cijeli tim.
• Postavite mjesečni budžet za svaki tim. Temeljite ga na upotrebi u uobičajenom mjesecu kako bi se svaki skok jasno istaknuo.
• Isključite automatsko nadopunjavanje. Kada je automatsko nadopunjavanje isključeno, rad se zaustavlja kada se krediti potroše, umjesto da se automatski kupe dodatni krediti.

Kako optimizirati potrošnju tokena u Perplexityju

Za svakodnevnu upotrebu

Computer troši kredite, ali se pokreće samo kada ga odaberete: odabirom ikone Computer, radom u projektu koji je zadano postavljen na Computer ili korištenjem načina rada Work u pregledniku Comet.

Povećaj

Za povratak na obično pretraživanje odaberite ikonu Perplexity kako biste se vratili u način rada Ask. Za pregled potrošnje kredita korisnici mogu otvoriti alat za praćenje unutar sučelja Perplexityja.

Povećaj

Timovi koji rade u projektima, zajedničkim radnim prostorima Perplexityja, mogu za svaki projekt postaviti zadani način rada na pretraživanje ili Computer. Projekt koji se uglavnom koristi za brza istraživanja može biti zadano postavljen na pretraživanje, tako da nitko slučajno ne pokrene zadatak u alatu Computer.

Za administratore paketa Enterprise

• Znajte što uključuje svako mjesto. Korisnici paketa Enterprise Pro svaki mjesec dobivaju 500 kredita, a korisnici paketa Enterprise Max 15.000 kredita. Ti krediti istječu na kraju svakog mjesečnog ciklusa i ne prenose se u sljedeći.
• Najprije postavite zadano ograničenje upotrebe. Ograničenje upotrebe određuje koliko dodatnih kredita član može povući iz zajedničkog fonda nakon što potroši vlastitu dodjelu.
• Izradite imenovana ograničenja za različite vrste korisnika. Administratori mogu postaviti ograničenja poput „Standardno“, „Napredni korisnik“ i „Vanjski suradnik“ te ih dodijeliti grupama korisnika ili pojedinačnim članovima. Grupe mogu biti stvorene u Perplexityju ili sinkronizirane s pružateljem identiteta tvrtke. Ako netko pripada većem broju grupa, primjenjuje se najviše ograničenje.
• Za iznimke koristite osobna nadjačavanja. Kada jednoj osobi treba drukčije ograničenje od onoga njezine grupe, osobno nadjačavanje ima prednost pred svim grupnim ili zajedničkim ograničenjima. To je korisno za kratak projekt s intenzivnim istraživanjem jer ne zahtijeva podizanje ograničenja za cijeli tim.
• Postavite gornju granicu za automatsko nadopunjavanje. Automatsko nadopunjavanje automatski nadopunjuje zajednički fond. Ima podesivo mjesečno ograničenje nadopune, tako da potrošnja ne može rasti bez zadanog maksimuma.
• Odlučite kako članovi traže dodatne kredite. Postavka „Dopusti članovima da zatraže više kredita“ omogućuje onima koji dosegnu svoje ograničenje da zatraže dodatne kredite od administratora, umjesto da ih se odmah zaustavi.
• Pregledavajte upotrebu svaki mjesec. Stranica „Krediti organizacije“ prikazuje dodijeljene, potrošene i preostale kredite za svakog člana, zajedno s grupnim ograničenjima i stanjem fonda. Za organizacije s 50 ili više mjesta ili s barem jednim članom s paketom Enterprise Max, nadzorna ploča Insights dodatno prikazuje mjesečno aktivne korisnike i tjedne upite kroz vrijeme. Za više pojedinosti tu su zapisnici revizije, koji bilježe izvršavanje zadataka, upotrebu konektora, potrošnju kredita i dodjele kredita.

Za timove koji grade na API-ju

• Svakom alatu ili timu dodijelite vlastiti API ključ. Perplexity može zasebno prikazati naplatu za svaki ključ, a zasebni ključevi jasno pokazuju koji alat potiče upotrebu.
• Na stranici za naplatu provjerite koja vrsta tokena raste. Ona prikazuje ulazne i izlazne tokene te tokene rasuđivanja kroz vrijeme. Rast ulaznih tokena obično znači da alat šalje više teksta nego što treba. Rast tokena rasuđivanja znači da se zadaci izvode na modelima koji opširno promišljaju o problemima.
• Koristite Search API kada su alatu potrebni samo rezultati pretraživanja. On vraća rezultate s weba, a da model pritom ne piše odgovor, i naplaćuje se po zahtjevu bez dodatnih troškova temeljenih na tokenima.
• Alate agenata pokrećite iz predloška. Predlošci u Perplexityju usklađuju veličinu modela s veličinom zadatka i jednostavne zahtjeve drže podalje od najskupljih modela.

Prednost lokalnom radu

Za neke poslove plaćeni model u oblaku uopće nije potreban. Portable Computer verzija je agenta tvrtke Perplexity koja radi na korisnikovu vlastitom računalu i koristi AI model pohranjen na tom uređaju. Budući da se model izvodi lokalno, rutinski posao ne troši plaćene tokene. Webu, povezanim aplikacijama ili snažnijem modelu u oblaku pristupa samo kada je to zadatku potrebno, i to tek nakon što pita korisnika.

Saznajte kako Perplexity Computer obavlja posao u više koraka na webu, u datotekama i povezanim alatima.

Česta pitanja

Koja je razlika između potrošnje tokena i troškova AI-ja?

Potrošnja tokena mjeri koliko AI posla tim obavi, izraženo u tokenima. Troškovi AI-ja obuhvaćaju sve što tim plaća za korištenje AI-ja, uključujući pretplate, dodatne kredite i postavljanje. Potrošnja tokena određuje onaj dio tog računa koji ovisi o upotrebi.

Plaćaju li korisnici pretplate po tokenu?

Obično ne izravno. Alati s pretplatom prate upotrebu kroz poruke, upite ili kredite, a zadaci koji troše više tokena brže ih iscrpljuju. U Perplexityju obična pretraživanja uopće ne troše kredite; troše ih samo zadaci u alatu Computer.

Zašto AI agenti troše toliko tokena?

Agent obavlja zadatak u mnogo koraka, a svaki je korak zaseban zahtjev koji ponovno čita dotadašnji rad. Dugi zadatak stoga sa svakim korakom troši sve više tokena.

Zašto upotreba tokena naglo poraste?

Većina naglih skokova uslijedi nakon promjene u načinu rada tima, poput novog automatiziranog tijeka rada, alata uvedenog za više ljudi ili dugog zadatka agenta. Usporedba datuma skoka s nedavnim uvođenjima obično otkriva uzrok. Testiranje novih tijekova rada najprije s malom skupinom pomaže u sprječavanju naglih skokova.