Kā izsekot un kontrolēt komandas tokenu patēriņu

Kas ir tokenu patēriņš

Tokenu patēriņš ir tokenu skaits, ko komanda izmanto darbā ar mākslīgo intelektu (MI), un šo tokenu izmaksas. Tokens ir teksta vienība, piemēram, vārds, vārda daļa vai pieturzīme, ko MI modelis nolasa vai raksta. Angļu valodā 1 tokens ir aptuveni 4 rakstzīmes. Tokeni nav standartizēti starp dažādiem modeļiem vai pakalpojumu sniedzējiem, tāpēc viens un tas pats teksts dažādos rīkos var dot atšķirīgu tokenu skaitu.

Lietojuma pārskatos tokenus parasti iedala vairākos veidos:

• Ievades tokeni ir viss, ko modelis nolasa, apstrādājot pieprasījumu. Tas ietver vaicājumu, pievienoto tekstu un sarunas vēsturi, ko modelis atkārtoti izmanto no tā paša pavediena iepriekšējām daļām.
• Izvades tokeni ir modeļa uzrakstītā atbilde. Tie bieži maksā vairāk nekā ievades tokeni. Perplexity API cenās daži modeļi par izvadi iekasē sešas reizes vairāk.
• Spriestspējas tokeni ir teksts, ko modelis ģenerē iekšēji, lai pirms atbildes izstrādātu problēmas risinājumu. Tie atbildē neparādās, tāpēc garāka redzamā atbilde nebūt nenozīmē, ka modelis kopumā izmantojis vairāk tokenu.

Komandas, kas MI rīkus izmanto ar abonementu, maksu par atsevišķiem tokeniem redz reti. Tomēr tokeni joprojām ietekmē to, ko tās saņem, jo apjomīgāki uzdevumi ātrāk iztērē kreditus vai sasniedz lietojuma ierobežojumus. Komandas, kas veido savus rīkus uz MI modeļa bāzes, parasti maksā par katru tokenu, izmantojot uz lietojumu balstītu cenu noteikšanu.

Kā izsekot tokenu patēriņu

Tokenu patēriņa izsekošana abonēšanas plānā

Abonēšanas rīki parasti nerāda tokenu skaitu. Tā vietā daudzos plānos izmanto kreditus — iepriekš apmaksātas vienības, kas plānā tiek tērētas, veicot darbu. Krediti nav tas pats, kas tokeni, jo viens kredits var segt tekstu, attēlus vai citu darbu. Taču uzdevumi, kas izmanto vairāk tokenu, parasti izmanto arī vairāk kreditu, tāpēc abonementa gadījumā tie ir labākais tokenu patēriņa rādītājs. Lietotāji var izsekot paši savu kreditu lietojumu, un dažos plānos ir pieejams arī administratora informācijas panelis, kurā redzams visas komandas kreditu lietojums.

Piemēram, Perplexity parastie meklējumi kreditus neizmanto. Tos izmanto tikai Perplexity Computer — asistents, kas veic daudzpakāpju uzdevumus. Computer lietotāji var redzēt, cik kreditu viņi ir izmantojuši un kam tos izlietojuši. Katrs Computer uzdevums arī rāda savu kopējo kreditu skaitu attiecīgās sarunas izvēlnē "Lietojums".

Izvērst

Enterprise plānos administratori Insights informācijas panelī var redzēt, cik cilvēku izmanto Perplexity un cik vaicājumu viņi veic katru nedēļu (pieejams organizācijām ar 50 vai vairāk licencēm vai vismaz vienu Enterprise Max dalībnieku).

Izvērst

Tokenu patēriņa izsekošana API lietojuma pārskatos

API pakalpojumu sniedzēja lietojuma pārskatos tokenu skaits redzams tieši, parasti sadalīts pa tokenu veidiem. Piemēram, Perplexity API Platform konsolē lietotāji norēķinu lapā var izsekot tādus rādītājus kā ievades, izvades un spriestspējas tokenu patēriņš.

Kāpēc tokenu patēriņš pieaug

Aģenti katrā uzdevumā veic daudzus soļus, un katrs solis ir atsevišķs pieprasījums modelim. Viens uzdevums var sasniegt simtiem tūkstošu vai pat miljoniem tokenu.

Arī spriestspējas modeļi kļūst arvien izplatītāki. Spriestspējas modelis pirms atbildes izraksta savu domāšanas gaitu, un katrs tās vārds tiek skaitīts tokenos. Tāpēc viens un tas pats pieprasījums spriestspējas modelī parasti izmanto vairāk tokenu nekā standarta modelī, lai gan atbilde ekrānā izskatās tikpat gara.

Visbeidzot, tā kā arvien vairāk cilvēku un darbplūsmu izmanto MI, tokenu lietojums summējas. Daļa šī pieauguma rodas arī no tā sauktā tokenmaxxing — kad inženieri palaiž aģentus galvenokārt tāpēc, lai palielinātu savu personīgo tokenu skaitu un ierindotos augstāk iekšējos tokenu reitingos.

Kā samazināt tokenu patēriņu

Lielāko daļu augsta tokenu patēriņa rada daži darba veidi, kas izmanto vairāk tokenu, nekā šķiet.

Garas sarunas un aģentu uzdevumi

Katru reizi, kad modelis atbild, tas parasti no jauna nolasa visu līdzšinējo sarunu. Katrs jauns pieprasījums ietver visu iepriekšējo sarunas vēsturi un pašreizējo lietotāja ziņojumu. Tāpēc īss jautājums gara pavediena beigās izmanto vairāk tokenu nekā tas pats jautājums jaunā pavedienā. Aģentu uzdevumi darbojas tāpat, jo katrs solis pievieno savus rezultātus vēsturei, ko nākamais solis nolasa no jauna.

Izvērst

Ko darīt

• Sāciet jaunu sarunu, kad mainās temats. Iesāciet to ar divu vai trīs rindu kopsavilkumu par visu no vecā pavediena, kas modelim joprojām ir vajadzīgs.
• Sadaliet garus aģentu uzdevumus mazākos. Izpildiet katru daļu kā atsevišķu uzdevumu un nododiet tālāk tikai tos rezultātus, kas nepieciešami nākamajai daļai.
• Pārbaudiet, vai komandas aģentu rīki izmanto konteksta saspiešanu. Saspiešana automātiski apkopo uzdevuma vecākās daļas, lai modelim būtu jānolasa mazāk. Ja rīks to piedāvā kā iestatījumu, ieslēdziet to.

Vieni un tie paši dokumenti, kas tiek apstrādāti atkal un atkal

Ja kāds daudziem atsevišķiem vaicājumiem pievieno vienu un to pašu garo failu, piemēram, politiku rokasgrāmatu vai produktu katalogu, modelis katru reizi nolasa visu failu. Katra nolasīšana tiek uzskaitīta kā ievades tokeni.

Ko darīt

• Apmāciet lietotājus iekopēt pieprasījumā attiecīgo rokasgrāmatas vai kataloga sadaļu, nevis pievienot visu failu.
• Izveidojiet īsas versijas dokumentiem, ko komanda izmanto bieži. Vienas lappuses kopsavilkums par garu politiku ikdienas vaicājumos var aizstāt pilnu dokumentu.

Atkārtoti mēģinājumi un cikli

Ja atbilde nav tāda, kāda bija vajadzīga, un uzdevums tiek palaists vēlreiz, katrs mēģinājums izmanto tokenus. Tas pats notiek, kad aģents iestrēgst, atkārtojot vienu un to pašu soli.

Ko darīt

• Jau pirmajā pieprasījumā skaidri norādiet uzdevumu, rezultātu un avotus. Piemēram: "Apkopo galvenos iemeslus, kāpēc klienti 3. ceturksnī atteicās no pakalpojuma, izmantojot tikai pievienotos aptaujas rezultātus, piecos aizzīmētos punktos."
• Pārbaudiet aģenta uzdevuma pirmos soļus. Ja aģents atkārto vienu un to pašu soli vai meklējumu, apturiet to un sāciet no jauna ar šaurāku pieprasījumu.

Lieli modeļi vienkāršiem uzdevumiem

Spējīgāki modeļi parasti maksā vairāk par tokenu, tāpēc ikdienas darbs, piemēram, kopsavilkumi vai pārformatēšana, var iztērēt komandas budžetu ātrāk, nekā nepieciešams.

Ko darīt

• Izmantojiet modeļu maršrutēšanu, kas katram uzdevumam piemeklē modeli, kurš ar to spēj tikt galā. Īsu pārrakstīšanu vai kopsavilkumu var uzticēt mazākam, lētākam modelim, bet spējīgāko modeli paturēt daudzpakāpju spriešanai vai analīzei. Perplexity API izmanto šo pieeju ar savām sagatavēm, kas ātrai uzziņai piešķir mazāku modeli, bet izsmeļošai analīzei — lielāku.

Lietojuma lēcieni pēc jaunām darbplūsmām

Jauna automatizēta darbplūsma vai visai komandai ieviests rīks var palielināt lietojumu vienas nakts laikā. Lēciens pats par sevi nav problēma, taču ir vērts zināt, kurš darbs to izraisīja.

Ko darīt

• Vispirms testējiet jaunas darbplūsmas ar nelielu grupu. Nedēļu vai divas pārbaudiet tās lietojumu, pirms ieviešat darbplūsmu visai komandai.
• Nosakiet katrai komandai ikmēneša budžetu. Balstiet to uz tipiska mēneša lietojumu, lai lēciens būtu pamanāms.
• Izslēdziet automātisko papildināšanu. Ja automātiskā papildināšana ir izslēgta, darbs apstājas, kad krediti beidzas, nevis automātiski tiek iegādāti papildu krediti.

Kā optimizēt tokenu patēriņu Perplexity

Ikdienas lietošanai

Computer izmanto kreditus, taču tas darbojas tikai tad, kad jūs to izvēlaties: atlasot Computer ikonu, strādājot projektā, kura noklusējuma režīms ir Computer, vai izmantojot Comet Work režīmu.

Izvērst

Lai atgrieztos pie parastās meklēšanas, atlasiet Perplexity ikonu un pārslēdzieties atpakaļ uz jautāšanas režīmu. Lai redzētu kreditu lietojumu, lietotāji var atvērt izsekotāju Perplexity saskarnē.

Izvērst

Komandas, kas strādā projektos — Perplexity koplietojamās darbvietās —, katram projektam var iestatīt noklusējuma režīmu: meklēšanu vai Computer. Projektam, ko galvenokārt izmanto ātrai izpētei, par noklusējuma režīmu var iestatīt meklēšanu, lai neviens nejauši nesāktu Computer uzdevumu.

Enterprise administratoriem

• Uzziniet, ko ietver katra licence. Enterprise Pro lietotāji katru mēnesi saņem 500 kreditu, bet Enterprise Max lietotāji — 15 000 kreditu. Tie zaudē derīgumu katra mēneša cikla beigās un netiek pārnesti uz nākamo ciklu.
• Vispirms iestatiet noklusējuma lietojuma limitu. Lietojuma limits nosaka, cik papildu kreditu dalībnieks var izmantot no koplietojamā fonda, kad viņa paša piešķīrums ir izlietots.
• Izveidojiet nosauktus limitus dažādu veidu lietotājiem. Administratori var iestatīt tādus limitus kā "Standarta", "Pieredzējis lietotājs" un "Darbuzņēmējs" un piešķirt tos lietotāju grupām vai atsevišķiem dalībniekiem. Grupas var izveidot Perplexity vai sinhronizēt no uzņēmuma identitātes nodrošinātāja. Ja kāds pieder vairākām grupām, tiek piemērots augstākais limits.
• Izņēmumiem izmantojiet individuālos limitus. Ja vienai personai nepieciešams cits limits nekā tās grupai, individuālais limits ir prioritārs pār jebkuru grupas vai koplietojamo limitu. Tas noder īsam projektam ar intensīvu izpēti, nepalielinot limitu visai komandai.
• Ierobežojiet automātisko papildināšanu. Automātiskā papildināšana pati papildina koplietojamo fondu. Tai ir konfigurējams ikmēneša papildināšanas limits, tāpēc izdevumi nevar pieaugt bez noteikta maksimuma.
• Izlemiet, kā dalībnieki var pieprasīt vairāk. Iestatījums "Atļaut dalībniekiem pieprasīt vairāk kreditu" ļauj tiem, kas sasnieguši savu limitu, pieprasīt vairāk no administratora, nevis tikt uzreiz apturētiem.
• Pārskatiet lietojumu katru mēnesi. Organizācijas kreditu lapā katram dalībniekam redzami piešķirtie, izmantotie un atlikušie krediti, kā arī grupu limiti un fonda atlikums. Organizācijām ar 50 vai vairāk licencēm vai vismaz vienu Enterprise Max dalībnieku Insights informācijas panelis papildus rāda ikmēneša aktīvos lietotājus un iknedēļas vaicājumus laika gaitā. Detalizētākai informācijai audita žurnālos tiek reģistrēta uzdevumu izpilde, savienotāju lietojums, kreditu patēriņš un kreditu piešķiršana.

Komandām, kas veido risinājumus uz API bāzes

• Piešķiriet katram rīkam vai komandai savu API atslēgu. Perplexity var parādīt norēķinus katrai atslēgai atsevišķi, un atsevišķas atslēgas skaidri parāda, kurš rīks rada lietojumu.
• Norēķinu lapā pārbaudiet, kura veida tokenu skaits pieaug. Tajā redzami ievades, izvades un spriestspējas tokeni laika gaitā. Ievades tokenu pieaugums parasti nozīmē, ka rīks sūta vairāk teksta, nekā nepieciešams. Spriestspējas tokenu pieaugums nozīmē, ka uzdevumi tiek izpildīti modeļos, kas problēmas apdomā ilgstoši.
• Izmantojiet Search API, ja rīkam vajadzīgi tikai meklēšanas rezultāti. Tā atgriež tīmekļa rezultātus bez modeļa rakstītas atbildes, un maksa tiek iekasēta par katru pieprasījumu bez papildu maksas par tokeniem.
• Veidojiet aģentu rīkus, sākot ar sagatavi. Perplexity sagataves pielāgo modeļa lielumu uzdevuma apjomam un neļauj vienkāršiem pieprasījumiem nonākt pie dārgākajiem modeļiem

Lokāli orientēts darbs

Dažiem darbiem maksas mākoņa modelis nemaz nav vajadzīgs. Portable Computer ir Perplexity aģenta versija, kas darbojas paša lietotāja datorā, izmantojot šajā datorā saglabātu MI modeli. Tā kā modelis darbojas lokāli, ikdienas darbs neizmanto maksas tokenus. Tas vēršas pie tīmekļa, pievienotajām lietotnēm vai jaudīgāka mākoņa modeļa tikai tad, kad uzdevumam tas nepieciešams, un vispirms jautā lietotājam.

Uzziniet, kā Perplexity Computer veic daudzpakāpju darbu tīmeklī, failos un pievienotajos rīkos.

Bieži uzdotie jautājumi

Kāda ir atšķirība starp tokenu patēriņu un MI izmaksām?

Tokenu patēriņš mēra, cik daudz MI darba komanda paveic, skaitot tokenos. MI izmaksas ietver visu, ko komanda maksā par MI izmantošanu, tostarp abonementus, papildu kreditus un ieviešanu. Tokenu patēriņš nosaka šī rēķina uz lietojumu balstīto daļu.

Vai abonementu lietotāji maksā par katru tokenu?

Parasti ne tieši. Abonēšanas rīki uzskaita lietojumu ziņojumos, vaicājumos vai kreditos, un uzdevumi, kas izmanto vairāk tokenu, tos iztērē ātrāk. Perplexity parastie meklējumi kreditus nemaz neizmanto — tos izmanto tikai Computer uzdevumi.

Kāpēc MI aģenti izmanto tik daudz tokenu?

Aģents izpilda uzdevumu daudzos soļos, un katrs solis ir atsevišķs pieprasījums, kas no jauna nolasa līdz šim paveikto. Tāpēc garš uzdevums ar katru soli izmanto arvien vairāk tokenu.

Kāpēc tokenu lietojums pēkšņi strauji pieaug?

Lielākā daļa lēcienu seko izmaiņām komandas darba veidā, piemēram, jaunai automatizētai darbplūsmai, rīkam, kas ieviests vairāk cilvēkiem, vai garam aģenta uzdevumam. Salīdzinot lēciena datumu ar nesen ieviestajiem jauninājumiem, parasti var noskaidrot cēloni. Ja jaunas darbplūsmas vispirms testē ar nelielu grupu, lēcienus var novērst.