Kako pratiti i kontrolisati potrošnju tokena u timu

Šta je potrošnja tokena

Potrošnja tokena je broj tokena koje tim potroši koristeći AI, kao i cena tih tokena. Token je jedinica teksta, poput reči, dela reči ili znaka interpunkcije, koju AI model čita ili piše. Na engleskom jeziku 1 token iznosi otprilike 4 znaka. Tokeni nisu standardizovani među modelima i dobavljačima, pa isti tekst može dati različit broj tokena u različitim alatima.

Izveštaji o korišćenju obično dele tokene na nekoliko vrsta:

• Ulazni tokeni obuhvataju sve što model pročita za jedan zahtev. To uključuje upit, priloženi tekst i istoriju razgovora koju model ponovo koristi iz ranijih poruka u istoj niti.
• Izlazni tokeni su odgovor koji model napiše. Često koštaju više od ulaznih tokena. Prema cenama Perplexity API-ja, neki modeli naplaćuju izlaz šest puta skuplje.
• Tokeni za rezonovanje su tekst koji model interno generiše kako bi razradio problem pre nego što odgovori. Ne pojavljuju se u odgovoru, pa duži vidljivi odgovor ne znači nužno da je model ukupno potrošio više tokena.

Timovi koji AI alate koriste putem pretplate retko vide naplatu po tokenu. Tokeni ipak utiču na to šta dobijaju, jer zahtevniji zadaci brže troše kredite ili brže dostižu ograničenja korišćenja. Timovi koji na AI modelu grade sopstvene alate obično umesto toga plaćaju po tokenu, prema modelu naplate zasnovanom na korišćenju.

Kako pratiti potrošnju tokena

Praćenje potrošnje tokena u okviru pretplatničkog paketa

Alati koji se koriste uz pretplatu obično ne prikazuju broj tokena. Umesto toga, mnogi paketi koriste kredite, unapred plaćene jedinice koje se troše kako se posao obavlja. Krediti nisu isto što i tokeni, jer jedan kredit može da pokrije tekst, slike ili drugu vrstu posla. Ipak, zadaci koji troše više tokena obično troše i više kredita, pa su krediti najbolji pokazatelj potrošnje tokena u okviru pretplate. Korisnici mogu da prate sopstvenu potrošnju kredita, a neki paketi uključuju i administratorsku kontrolnu tablu koja prikazuje potrošnju kredita za ceo tim.

U Perplexity-ju, na primer, obične pretrage ne troše kredite. Troši ih samo Perplexity Computer, asistent koji obavlja zadatke u više koraka. Oni koji koriste Computer mogu da vide koliko su kredita potrošili i na šta. Svaki Computer zadatak takođe prikazuje sopstveni ukupan broj potrošenih kredita u meniju „Korišćenje“ svog razgovora.

Uvećaj

U Enterprise paketima administratori na kontrolnoj tabli Insights mogu da vide koliko ljudi koristi Perplexity i koliko upita pokreću svake nedelje (dostupno organizacijama sa 50 ili više licenci ili sa najmanje jednim Enterprise Max članom).

Uvećaj

Praćenje potrošnje tokena u izveštajima o korišćenju API-ja

Izveštaji o korišćenju koje pruža dobavljač API-ja direktno prikazuju broj tokena, obično razvrstan po vrsti tokena. Konzola Perplexity API Platform, na primer, omogućava korisnicima da na stranici za naplatu prate metrike kao što je potrošnja ulaznih i izlaznih tokena i tokena za rezonovanje.

Zašto potrošnja tokena raste

Agenti izvršavaju mnogo koraka po zadatku, a svaki korak je zaseban zahtev modelu. Jedan zadatak može ukupno da dostigne stotine hiljada ili čak milione tokena.

Modeli za rezonovanje su takođe sve zastupljeniji. Model za rezonovanje ispisuje svoj tok razmišljanja pre nego što odgovori i svaka reč tog razmišljanja računa se u tokene. Zato isti zahtev obično troši više tokena na modelu za rezonovanje nego na standardnom modelu, iako odgovor na ekranu deluje iste dužine.

Na kraju, kako sve više ljudi i radnih tokova uopšte koristi AI, potrošnja tokena se gomila. Deo tog rasta potiče i od takozvanog tokenmaxxinga, pri kojem inženjeri pokreću agente uglavnom da bi povećali sopstveni broj tokena i zauzeli više mesto na internim rang-listama potrošnje tokena.

Kako smanjiti potrošnju tokena

Visoka potrošnja tokena najčešće potiče od nekoliko vrsta posla koje troše više tokena nego što se čini.

Dugi razgovori i zadaci agenata

Svaki put kada model odgovori, obično ponovo pročita ceo dosadašnji razgovor. Svaki novi zahtev uključuje celu prethodnu istoriju razgovora i trenutnu poruku korisnika. Zato kratko pitanje postavljeno pri kraju duge niti troši više tokena nego isto pitanje u novoj niti. Zadaci agenata funkcionišu na isti način, jer svaki korak dodaje svoje rezultate u istoriju koju naredni korak ponovo čita.

Uvećaj

Šta preduzeti

• Započnite novi razgovor kada se tema promeni. Na početku navedite sažetak od dva ili tri reda sa svime iz stare niti što je modelu i dalje potrebno.
• Podelite duge zadatke agenata na manje. Pokrenite svaki deo kao zaseban zadatak i prosledite samo one rezultate koji su potrebni sledećem delu.
• Proverite da li alati za agente koje vaš tim koristi podržavaju sažimanje konteksta (context compaction). Sažimanje automatski rezimira starije delove zadatka, tako da model manje toga ponovo čita. Ako alat nudi ovu opciju kao podešavanje, uključite je.

Isti dokumenti koji se obrađuju iznova i iznova

Kada neko istu dugačku datoteku, poput priručnika sa pravilima ili kataloga proizvoda, priloži uz mnogo zasebnih upita, model svaki put pročita celu datoteku. Svako čitanje se računa u ulazne tokene.

Šta preduzeti

• Naučite korisnike da u zahtev kopiraju relevantni odeljak priručnika ili kataloga umesto da prilažu celu datoteku.
• Napravite skraćene verzije dokumenata koje tim često koristi. Sažetak dugog pravilnika na jednoj stranici može da zameni ceo dokument u rutinskim upitima.

Ponovni pokušaji i petlje

Kada odgovor nije ono što je nekome bilo potrebno, pa ta osoba ponovo pokrene zadatak, svaki pokušaj troši tokene. Isto se dešava kada se agent zaglavi ponavljajući isti korak.

Šta preduzeti

• Već u prvom zahtevu jasno navedite zadatak, željeni rezultat i izvore. Na primer: „Sažmi u pet tačaka glavne razloge zbog kojih su kupci otkazali u trećem kvartalu, koristeći samo priložene rezultate ankete.“
• Proverite prvih nekoliko koraka zadatka agenta. Ako agent ponavlja isti korak ili istu pretragu, zaustavite ga i pokrenite ponovo sa užim zahtevom.

Veliki modeli za jednostavne zadatke

Sposobniji modeli obično koštaju više po tokenu, pa rutinski poslovi poput sažetaka ili preformatiranja mogu da potroše budžet tima brže nego što je potrebno.

Šta preduzeti

• Koristite rutiranje modela, koje svaki zadatak dodeljuje modelu koji može da ga obavi. Kratko preformulisanje ili sažetak može da se prepusti manjem, jeftinijem modelu, dok se najsposobniji model čuva za rezonovanje u više koraka ili analizu. Perplexity API primenjuje ovaj pristup kroz unapred definisane postavke (presets), koje brzoj pretrazi dodeljuju manji model, a iscrpnoj analizi veći.

Skokovi nakon uvođenja novih radnih tokova

Novi automatizovani radni tok ili alat uveden za ceo tim može preko noći da poveća potrošnju. Skok sam po sebi nije problem, ali vredi znati koji ga je posao izazvao.

Šta preduzeti

• Nove radne tokove prvo testirajte sa malom grupom. Pratite njihovu potrošnju nedelju ili dve pre nego što radni tok uvedete za ceo tim.
• Postavite mesečni budžet za svaki tim. Zasnujte ga na potrošnji u tipičnom mesecu, kako bi svaki skok bio uočljiv.
• Isključite automatsko dopunjavanje. Kada je automatsko dopunjavanje isključeno, rad se zaustavlja kada se krediti potroše, umesto da se dodatni krediti automatski kupe.

Kako optimizovati potrošnju tokena u Perplexity-ju

Za svakodnevnu upotrebu

Computer troši kredite, ali se pokreće samo kada ga sami izaberete, bilo klikom na ikonu Computer, radom u projektu kojem je Computer podrazumevani režim ili korišćenjem režima Comet Work.

Uvećaj

Da biste se vratili na običnu pretragu, izaberite ikonu Perplexity kako biste ponovo prešli u režim Ask. Da bi videli potrošnju kredita, korisnici mogu da otvore alat za praćenje kredita u Perplexity interfejsu.

Uvećaj

Timovi koji rade u projektima, deljenim radnim prostorima u Perplexity-ju, mogu za svaki projekat da podese podrazumevani režim na Search ili Computer. Projekat koji se uglavnom koristi za brza istraživanja može podrazumevano da koristi Search, kako niko slučajno ne bi pokrenuo Computer zadatak.

Za Enterprise administratore

• Znajte šta svaka licenca uključuje. Korisnici sa Enterprise Pro licencom dobijaju 500 kredita mesečno, a korisnici sa Enterprise Max licencom 15.000 kredita. Ovi krediti ističu na kraju svakog mesečnog ciklusa i ne prenose se u naredni.
• Najpre postavite podrazumevano ograničenje korišćenja. Ograničenje korišćenja određuje koliko dodatnih kredita član može da povuče iz zajedničkog fonda kada potroši sopstvene dodeljene kredite.
• Napravite imenovana ograničenja za različite vrste korisnika. Administratori mogu da postave ograničenja kao što su „Standardno“, „Napredni korisnik“ i „Spoljni saradnik“ i da ih dodele grupama korisnika ili pojedinačnim članovima. Grupe mogu da se kreiraju u Perplexity-ju ili da se sinhronizuju sa dobavljačem identiteta kompanije. Ako neko pripada većem broju grupa, primenjuje se najviše ograničenje.
• Za izuzetke koristite lična prilagođena ograničenja. Kada je jednoj osobi potrebno drugačije ograničenje od onog koje važi za njenu grupu, lično prilagođeno ograničenje ima prednost nad svim grupnim ili zajedničkim ograničenjima. To je korisno za kratak projekat sa intenzivnim istraživanjem, bez podizanja ograničenja za ceo tim.
• Ograničite automatsko dopunjavanje. Automatsko dopunjavanje automatski dopunjuje zajednički fond kredita. Uz njega ide podesivo mesečno ograničenje dopune, tako da potrošnja ne može da raste preko postavljenog maksimuma.
• Odlučite kako članovi mogu da zatraže više kredita. Podešavanje „Dozvoli članovima da zatraže više kredita“ omogućava onima koji dostignu svoje ograničenje da zatraže dodatne kredite od administratora, umesto da budu potpuno zaustavljeni.
• Pregledajte potrošnju svakog meseca. Stranica „Krediti organizacije“ prikazuje dodeljene, potrošene i preostale kredite za svakog člana, uz grupna ograničenja i stanje zajedničkog fonda. Za organizacije sa 50 ili više licenci ili sa najmanje jednim Enterprise Max članom, kontrolna tabla Insights dodatno prikazuje mesečno aktivne korisnike i nedeljne upite tokom vremena. Za više detalja, evidencije revizije beleže izvršavanje zadataka, korišćenje konektora, potrošnju kredita i dodele kredita.

Za timove koji grade rešenja na API-ju

• Dodelite svakom alatu ili timu zaseban API ključ. Perplexity može zasebno da prikaže naplatu za svaki ključ, a zasebni ključevi jasno pokazuju koji alat pokreće potrošnju.
• Na stranici za naplatu proverite koja vrsta tokena raste. Ona prikazuje ulazne i izlazne tokene i tokene za rezonovanje tokom vremena. Rast ulaznih tokena obično znači da alat šalje više teksta nego što je potrebno. Rast tokena za rezonovanje znači da se zadaci izvršavaju na modelima koji opširno promišljaju probleme.
• Koristite Search API kada su alatu potrebni samo rezultati pretrage. On vraća rezultate sa veba, a da model ne piše odgovor, i naplaćuje se po zahtevu, bez dodatnih troškova zasnovanih na tokenima.
• Alate za agente gradite polazeći od unapred definisane postavke (preset). Unapred definisane postavke u Perplexity-ju usklađuju veličinu modela sa veličinom zadatka i ne šalju jednostavne zahteve najskupljim modelima.

Rad koji se prvenstveno odvija lokalno

Za neke poslove plaćeni model u oblaku uopšte nije potreban. Portable Computer je verzija Perplexity agenta koja radi na računaru samog korisnika, koristeći AI model sačuvan na tom uređaju. Pošto model radi lokalno, rutinski poslovi ne troše plaćene tokene. Agent pristupa vebu, povezanim aplikacijama ili jačem modelu u oblaku samo kada je to zadatku potrebno, i prethodno pita korisnika.

Saznajte kako Perplexity Computer obavlja zadatke u više koraka na vebu, u datotekama i u povezanim alatima.

Najčešća pitanja

Koja je razlika između potrošnje tokena i troškova za AI?

Potrošnja tokena meri koliko AI posla tim obavi, izraženo u tokenima. Troškovi za AI obuhvataju sve što tim plaća za korišćenje AI-ja, uključujući pretplate, dodatne kredite i početno podešavanje. Potrošnja tokena određuje deo tog računa koji zavisi od korišćenja.

Da li korisnici pretplate plaćaju po tokenu?

Obično ne direktno. Alati sa pretplatom prate korišćenje kroz poruke, upite ili kredite, a zadaci koji troše više tokena brže ih iscrpljuju. U Perplexity-ju obične pretrage uopšte ne troše kredite; troše ih samo Computer zadaci.

Zašto AI agenti troše toliko tokena?

Agent obavlja zadatak u mnogo koraka, a svaki korak je zaseban zahtev koji ponovo čita dosadašnji rad. Zato dug zadatak troši sve više tokena sa svakim korakom.

Zašto potrošnja tokena naglo skoči?

Većina skokova usledi nakon promene u načinu rada tima, kao što je novi automatizovani radni tok, alat uveden za više ljudi ili dug zadatak agenta. Poređenje datuma skoka sa nedavnim uvođenjima obično otkriva uzrok. Testiranje novih radnih tokova najpre sa malom grupom pomaže da se skokovi spreče.