Kaip stebėti ir valdyti komandos žetonų sąnaudas

Kas yra žetonų sąnaudos

Žetonų sąnaudos – tai žetonų kiekis, kurį komanda sunaudoja naudodama DI, ir tų žetonų kaina. Žetonas yra teksto vienetas, pavyzdžiui, žodis, žodžio dalis ar skyrybos ženklas, kurį DI modelis skaito arba rašo. Anglų kalboje 1 žetonas yra maždaug 4 simboliai. Žetonai nėra standartizuoti tarp skirtingų modelių ar teikėjų, todėl to paties teksto žetonų skaičius skirtinguose įrankiuose gali skirtis.

Naudojimo ataskaitose žetonai paprastai skirstomi į kelis tipus:

• Įvesties žetonai – tai viskas, ką modelis perskaito apdorodamas užklausą. Tai apima pačią užklausą, bet kokį pridėtą tekstą ir ankstesnę tos pačios gijos pokalbio istoriją, kurią modelis naudoja pakartotinai.
• Išvesties žetonai – tai modelio parašytas atsakymas. Jie dažnai kainuoja daugiau nei įvesties žetonai. Perplexity API kainodaroje kai kurių modelių išvestis kainuoja šešis kartus daugiau.
• Protavimo žetonai – tai tekstas, kurį modelis sugeneruoja viduje, kad prieš atsakydamas išnagrinėtų problemą. Jie nerodomi atsakyme, todėl ilgesnis matomas atsakymas nebūtinai reiškia, kad modelis iš viso sunaudojo daugiau žetonų.

Komandos, DI įrankius naudojančios pagal prenumeratą, retai mato mokestį už kiekvieną žetoną. Vis dėlto žetonai lemia, ką jos gauna, nes daugiau išteklių reikalaujančios užduotys greičiau išnaudoja kreditus arba pasiekia naudojimo ribas. Komandos, kuriančios savo įrankius DI modelio pagrindu, paprastai moka už kiekvieną žetoną pagal naudojimu pagrįstą kainodarą.

Kaip stebėti žetonų sąnaudas

Žetonų sąnaudų stebėjimas pagal prenumeratos planą

Prenumeratos įrankiai paprastai nerodo žetonų skaičiaus. Vietoj to daugelis planų naudoja kreditus – iš anksto apmokėtus vienetus, kurie nurašomi atliekant darbą. Kreditai nėra tas pats, kas žetonai, nes vienas kreditas gali apimti tekstą, vaizdus ar kitą darbą. Tačiau užduotys, kurios sunaudoja daugiau žetonų, paprastai sunaudoja ir daugiau kreditų, todėl kreditai yra geriausias žetonų sąnaudų rodiklis naudojant prenumeratą. Naudotojai gali stebėti savo kreditų naudojimą, o kai kuriuose planuose taip pat yra administratoriaus skydelis, kuriame rodomas visos komandos kreditų naudojimas.

Pavyzdžiui, naudojant Perplexity, įprastos paieškos kreditų nenaudoja. Juos naudoja tik Perplexity Computer – asistentas, atliekantis kelių žingsnių užduotis. Computer naudojantys žmonės gali matyti, kiek kreditų sunaudojo ir kam juos panaudojo. Kiekvienos Computer užduoties bendra kreditų suma taip pat rodoma jos pokalbio meniu „Naudojimas“.

Padidinti

Enterprise planuose administratoriai skydelyje „Įžvalgos“ gali matyti, kiek žmonių naudoja Perplexity ir kiek užklausų jie pateikia kas savaitę (skydelis pasiekiamas organizacijoms, turinčioms 50 ar daugiau vietų arba bent vieną Enterprise Max narį).

Padidinti

Žetonų sąnaudų stebėjimas API naudojimo ataskaitose

API teikėjo naudojimo ataskaitose žetonų skaičius rodomas tiesiogiai, paprastai suskirstytas pagal žetonų tipą. Pavyzdžiui, Perplexity API Platform konsolės puslapyje „Atsiskaitymas“ naudotojai gali stebėti tokius rodiklius kaip įvesties, išvesties ir protavimo žetonų sąnaudos.

Kodėl žetonų sąnaudos auga

Agentai kiekvienai užduočiai atlieka daug žingsnių, o kiekvienas žingsnis yra atskira užklausa modeliui. Viena užduotis gali sunaudoti šimtus tūkstančių ar net milijonus žetonų.

Be to, vis dažniau naudojami protavimo modeliai. Protavimo modelis prieš atsakydamas išrašo savo mąstymo eigą, ir kiekvienas jos žodis skaičiuojamas kaip žetonai. Todėl ta pati užklausa protavimo modeliui paprastai sunaudoja daugiau žetonų nei standartiniam, nors ekrane matomas atsakymas atrodo tokio paties ilgio.

Galiausiai, kai DI apskritai naudoja vis daugiau žmonių ir darbo eigų, žetonų naudojimas didėja. Dalis šio augimo kyla ir iš vadinamojo „tokenmaxxing“, kai inžinieriai paleidžia agentus daugiausia tam, kad padidintų savo asmeninį žetonų skaičių ir užimtų aukštesnę vietą vidinėse žetonų lyderių lentelėse.

Kaip sumažinti žetonų sąnaudas

Didžiąją dalį didelių žetonų sąnaudų lemia kelios darbo rūšys, kurios sunaudoja daugiau žetonų, nei atrodo.

Ilgi pokalbiai ir agentų užduotys

Kiekvieną kartą atsakydamas modelis paprastai iš naujo perskaito visą iki tol vykusį pokalbį. Kiekvienoje naujoje užklausoje yra visa ankstesnė pokalbio istorija ir dabartinė naudotojo žinutė. Todėl trumpas klausimas ilgos gijos pabaigoje sunaudoja daugiau žetonų nei tas pats klausimas naujoje gijoje. Agentų užduotys veikia taip pat, nes kiekvienas žingsnis prideda savo rezultatus prie istorijos, kurią iš naujo perskaito kitas žingsnis.

Padidinti

Ką daryti

• Pasikeitus temai, pradėkite naują pokalbį. Jo pradžioje dviem ar trimis eilutėmis apibendrinkite viską iš senosios gijos, ko modeliui vis dar reikia.
• Ilgas agentų užduotis padalykite į mažesnes. Kiekvieną dalį vykdykite kaip atskirą užduotį ir perduokite tik tuos rezultatus, kurių reikia kitai daliai.
• Patikrinkite, ar komandos naudojami agentų įrankiai taiko konteksto glaudinimą. Glaudinimas automatiškai apibendrina senesnes užduoties dalis, kad modeliui reikėtų mažiau perskaityti iš naujo. Jei įrankis siūlo tai kaip nustatymą, įjunkite jį.

Tie patys dokumentai, apdorojami vėl ir vėl

Kai kas nors prie daugelio atskirų užklausų prideda tą patį ilgą failą, pavyzdžiui, taisyklių vadovą ar produktų katalogą, modelis kiekvieną kartą perskaito visą failą. Kiekvienas perskaitymas skaičiuojamas kaip įvesties žetonai.

Ką daryti

• Išmokykite naudotojus į užklausą nukopijuoti tik reikiamą vadovo ar katalogo skyrių, užuot pridėjus visą failą.
• Parenkite trumpas dažnai komandos naudojamų dokumentų versijas. Įprastose užklausose vieno puslapio ilgo taisyklių dokumento santrauka gali pakeisti visą dokumentą.

Pakartotiniai bandymai ir ciklai

Kai atsakymas nėra toks, kokio kam nors reikėjo, ir užduotis paleidžiama iš naujo, kiekvienas bandymas sunaudoja žetonų. Tas pats nutinka, kai agentas įstringa kartodamas tą patį žingsnį.

Ką daryti

• Pirmoje užklausoje aiškiai nurodykite užduotį, norimą rezultatą ir šaltinius. Pavyzdžiui: „Penkiais punktais apibendrink pagrindines priežastis, dėl kurių klientai atsisakė paslaugų trečiąjį ketvirtį, naudodamas tik pridėtus apklausos rezultatus“.
• Patikrinkite kelis pirmuosius agento užduoties žingsnius. Jei agentas kartoja tą patį žingsnį ar paiešką, sustabdykite jį ir paleiskite iš naujo su siauresne užklausa.

Dideli modeliai paprastoms užduotims

Pajėgesni modeliai paprastai kainuoja daugiau už žetoną, todėl įprastas darbas, pavyzdžiui, santraukos ar formatavimas, gali išnaudoti komandos biudžetą greičiau, nei būtina.

Ką daryti

• Naudokite modelių nukreipimą, kai kiekvienai užduočiai parenkamas ją įveikti galintis modelis. Trumpą perrašymą ar santrauką galima patikėti mažesniam, pigesniam modeliui, o pajėgiausią modelį palikti kelių žingsnių protavimui ar analizei. Perplexity API taiko šį metodą su savo išankstiniais nustatymais, kurie greitai paieškai priskiria mažesnį modelį, o išsamiai analizei – didesnį.

Šuoliai įdiegus naujas darbo eigas

Nauja automatizuota darbo eiga arba visai komandai įdiegtas įrankis gali per naktį padidinti naudojimą. Šuolis savaime nėra problema, tačiau verta žinoti, koks darbas jį sukėlė.

Ką daryti

• Naujas darbo eigas pirmiausia išbandykite su nedidele grupe. Savaitę ar dvi stebėkite jos naudojimą, prieš įdiegdami darbo eigą visai komandai.
• Kiekvienai komandai nustatykite mėnesio biudžetą. Remkitės įprasto mėnesio naudojimu, kad šuolis būtų pastebimas.
• Išjunkite automatinį papildymą. Kai automatinis papildymas išjungtas, pasibaigus kreditams darbas sustoja, užuot automatiškai nupirkus daugiau kreditų.

Kaip optimizuoti žetonų sąnaudas naudojant Perplexity

Kasdieniam naudojimui

Computer naudoja kreditus, tačiau veikia tik tada, kai jį pasirenkate: spustelėję Computer piktogramą, dirbdami projekte, kurio numatytasis režimas yra Computer, arba naudodami Comet darbo režimą.

Padidinti

Norėdami grįžti prie įprastos paieškos, pasirinkite Perplexity piktogramą ir vėl įjunkite režimą „Klausti“. Norėdami pamatyti kreditų naudojimą, naudotojai gali atidaryti stebėjimo įrankį Perplexity sąsajoje.

Padidinti

Komandos, dirbančios projektuose – bendrose Perplexity darbo erdvėse, – gali kiekvienam projektui nustatyti numatytąjį režimą „Paieška“ arba „Computer“. Projektui, kuris daugiausia naudojamas greitiems tyrimams, galima nustatyti numatytąjį režimą „Paieška“, kad niekas netyčia nepradėtų Computer užduoties.

Enterprise administratoriams

• Žinokite, kas įeina į kiekvieną vietą. Enterprise Pro naudotojai kas mėnesį gauna 500 kreditų, o Enterprise Max naudotojai – 15 000 kreditų. Šių kreditų galiojimas baigiasi kiekvieno mėnesinio ciklo pabaigoje, ir jie neperkeliami į kitą laikotarpį.
• Pirmiausia nustatykite numatytąjį naudojimo limitą. Naudojimo limitas apriboja, kiek papildomų kreditų narys gali paimti iš bendro fondo, kai baigiasi jam skirti kreditai.
• Sukurkite įvardytus limitus skirtingų tipų naudotojams. Administratoriai gali nustatyti tokius limitus kaip „Standartinis“, „Pažengęs naudotojas“ ir „Rangovas“ ir priskirti juos naudotojų grupėms ar atskiriems nariams. Grupės gali būti sukurtos Perplexity arba sinchronizuojamos iš įmonės tapatybės teikėjo. Jei žmogus priklauso daugiau nei vienai grupei, taikomas didžiausias limitas.
• Išimtims naudokite asmeninius limitus. Kai vienam žmogui reikia kitokios ribos nei jo grupei, asmeninis limitas turi pirmenybę prieš bet kokį grupės ar bendrą limitą. Tai naudinga trumpam projektui, kuriam reikia daug tyrimų, nedidinant ribos visai komandai.
• Nustatykite automatinio papildymo viršutinę ribą. Automatinis papildymas automatiškai papildo bendrą fondą. Jam galima nustatyti mėnesinį papildymo limitą, todėl išlaidos negali augti be nustatyto maksimumo.
• Nuspręskite, kaip nariai gali prašyti daugiau. Nustatymas „Leisti nariams prašyti daugiau kreditų“ leidžia limitą pasiekusiems žmonėms paprašyti administratoriaus daugiau kreditų, užuot juos iškart sustabdžius.
• Kas mėnesį peržiūrėkite naudojimą. Puslapyje „Organizacijos kreditai“ rodomi kiekvienam nariui suteikti, panaudoti ir likę kreditai, taip pat grupių limitai ir fondo likutis. Organizacijoms, turinčioms 50 ar daugiau vietų arba bent vieną Enterprise Max narį, skydelis „Įžvalgos“ papildomai rodo mėnesio aktyvius naudotojus ir savaitinių užklausų kitimą laikui bėgant. Išsamesnės informacijos pateikia audito žurnalai, kuriuose registruojamas užduočių vykdymas, jungčių naudojimas, kreditų sunaudojimas ir kreditų suteikimas.

Komandoms, kuriančioms API pagrindu

• Kiekvienam įrankiui ar komandai suteikite atskirą API raktą. Perplexity gali rodyti kiekvieno rakto atsiskaitymo informaciją atskirai, o atskiri raktai leidžia aiškiai matyti, kuris įrankis lemia naudojimą.
• Atsiskaitymo puslapyje patikrinkite, kurios rūšies žetonų daugėja. Jame rodoma, kaip laikui bėgant kinta įvesties, išvesties ir protavimo žetonai. Didėjantis įvesties žetonų skaičius paprastai reiškia, kad įrankis siunčia daugiau teksto, nei reikia. Didėjantis protavimo žetonų skaičius reiškia, kad užduotys vykdomos modeliais, kurie ilgai apmąsto problemas.
• Kai įrankiui reikia tik paieškos rezultatų, naudokite Search API. Ji grąžina žiniatinklio rezultatus modeliui nerašant atsakymo, o mokestis imamas už užklausą be papildomų mokesčių už žetonus.
• Agentų įrankius pradėkite nuo išankstinio nustatymo. Perplexity išankstiniai nustatymai pritaiko modelio dydį prie užduoties dydžio ir neleidžia paprastų užklausų siųsti brangiausiems modeliams.

Pirmenybė vietiniam darbui

Kai kuriam darbui mokamo debesijos modelio iš viso nereikia. Portable Computer – tai Perplexity agento versija, veikianti paties naudotojo kompiuteryje ir naudojanti tame įrenginyje saugomą DI modelį. Kadangi modelis veikia vietoje, įprastas darbas nenaudoja mokamų žetonų. Prie žiniatinklio, prijungtų programų ar galingesnio debesijos modelio jis kreipiasi tik tada, kai to reikia užduočiai, ir prieš tai paklausia naudotojo.

Sužinokite, kaip Perplexity Computer atlieka kelių žingsnių darbą žiniatinklyje, failuose ir prijungtuose įrankiuose.

DUK

Kuo skiriasi žetonų sąnaudos ir DI išlaidos?

Žetonų sąnaudos parodo, kiek DI darbo atlieka komanda, ir matuojamos žetonais. DI išlaidos apima viską, ką komanda moka už DI naudojimą, įskaitant prenumeratas, papildomus kreditus ir diegimą. Žetonų sąnaudos lemia nuo naudojimo priklausančią šios sąskaitos dalį.

Ar prenumeratos naudotojai moka už kiekvieną žetoną?

Paprastai ne tiesiogiai. Prenumeratos įrankiai naudojimą skaičiuoja žinutėmis, užklausomis ar kreditais, o užduotys, sunaudojančios daugiau žetonų, juos išnaudoja greičiau. Perplexity įprastos paieškos kreditų visai nenaudoja – juos naudoja tik Computer užduotys.

Kodėl DI agentai sunaudoja tiek daug žetonų?

Agentas užduotį atlieka daugeliu žingsnių, o kiekvienas žingsnis yra atskira užklausa, kuri iš naujo perskaito iki tol atliktą darbą. Todėl ilga užduotis su kiekvienu žingsniu sunaudoja vis daugiau žetonų.

Kodėl žetonų naudojimas staiga šokteli?

Dauguma šuolių įvyksta pasikeitus komandos darbo būdui, pavyzdžiui, įdiegus naują automatizuotą darbo eigą, suteikus įrankį daugiau žmonių arba vykdant ilgą agento užduotį. Palyginus šuolio datą su naujausiais diegimais, paprastai paaiškėja priežastis. Šuolių padeda išvengti naujas darbo eigas pirmiausia išbandant su nedidele grupe.