Kuidas meeskonna tokenikulu jälgida ja kontrollida

Mis on tokenikulu

Tokenikulu on tokenite hulk, mille meeskond tehisintellekti kasutades ära kulutab, ja nende tokenite maksumus. Token on tekstiühik, näiteks sõna, sõna osa või kirjavahemärk, mida tehisintellektimudel loeb või kirjutab. Inglise keeles vastab 1 token umbes 4 tähemärgile. Tokenid ei ole mudelite ega teenusepakkujate lõikes standarditud, seega võib sama tekst eri tööriistades anda erineva tokenite arvu.

Kasutusaruannetes jagatakse tokenid tavaliselt mitmesse tüüpi:

• Sisendtokenid on kõik, mida mudel päringu käigus loeb. Sinna kuuluvad päring ise, kõik lisatud tekstid ja sama lõime varasem vestlusajalugu, mida mudel uuesti kasutab.
• Väljundtokenid on mudeli kirjutatud vastus. Need on sageli kallimad kui sisendtokenid. Perplexity API hinnakirjas maksab mõne mudeli puhul väljund kuus korda rohkem.
• Arutlustokenid on tekst, mille mudel loob sisemiselt, et probleem enne vastamist läbi mõelda. Neid vastuses ei kuvata, seega ei tähenda pikem nähtav vastus tingimata, et mudel kasutas kokkuvõttes rohkem tokeneid.

Meeskonnad, kes kasutavad tellimuse alusel tehisintellektitööriistu, näevad tokenipõhist tasu harva. Tokenid mõjutavad siiski seda, mida nad saavad, sest mahukamad ülesanded kulutavad krediite kiiremini või jõuavad varem kasutuspiiranguteni. Meeskonnad, kes ehitavad tehisintellektimudeli põhjal oma tööriistu, maksavad seevastu tavaliselt tokeni kaupa kasutuspõhise hinnastamise alusel.

Kuidas tokenikulu jälgida

Tokenikulu jälgimine tellimuspaketi puhul

Tellimuspõhised tööriistad tokenite arvu tavaliselt ei näita. Selle asemel kasutavad paljud paketid krediite – ettemakstud ühikuid, mida töö edenedes paketist maha arvestatakse. Krediidid ei ole sama mis tokenid, sest üks krediit võib katta teksti, pilte või muud tööd. Kuid ülesanded, mis kasutavad rohkem tokeneid, kulutavad tavaliselt ka rohkem krediite, seega on krediidid tellimuse puhul parim tokenikulu näitaja. Kasutajad saavad jälgida oma krediidikasutust ja mõne paketiga kaasneb ka administraatori armatuurlaud, mis näitab kogu meeskonna krediidikasutust.

Näiteks Perplexitys tavalised otsingud krediite ei kasuta. Neid kasutab ainult Perplexity Computer – assistent, mis tegeleb mitmeastmeliste ülesannetega. Computeri kasutajad näevad, kui palju krediite nad on kasutanud ja milleks. Iga Computeri ülesande vestluse menüüs „Kasutus“ on näha ka selle ülesande krediitide koguarv.

Suurenda

Enterprise-pakettide puhul näevad administraatorid armatuurlaual Insights, kui palju inimesi Perplexityt kasutab ja kui palju päringuid nad igal nädalal teevad (saadaval organisatsioonidele, millel on vähemalt 50 litsentsi või vähemalt üks Enterprise Maxi liige).

Suurenda

Tokenikulu jälgimine API kasutusaruannetes

API-teenuse pakkuja kasutusaruanded näitavad tokenite arvu otse, tavaliselt tokenitüüpide kaupa. Näiteks Perplexity API Platformi konsoolis saavad kasutajad arvelduslehel jälgida selliseid näitajaid nagu sisend-, väljund- ja arutlustokenite kulu.

Miks tokenikulu kasvab

Agendid teevad iga ülesande jaoks palju samme ja iga samm on mudelile eraldi päring. Üks ülesanne võib kokku kulutada sadu tuhandeid või isegi miljoneid tokeneid.

Ka arutlusmudelid muutuvad üha levinumaks. Arutlusmudel kirjutab oma mõttekäigu enne vastamist välja ja iga selle sõna arvestatakse tokenitena. Seega kasutab sama päring arutlusmudelis tavaliselt rohkem tokeneid kui tavamudelis, kuigi ekraanil kuvatav vastus tundub sama pikk.

Lõpuks, kui üha rohkem inimesi ja töövooge tehisintellekti kasutab, kasvab ka tokenikasutus kokkuvõttes. Osa sellest kasvust tuleneb ka nn tokenmaxxingust, kus insenerid käitavad agente peamiselt selleks, et suurendada oma isiklikku tokenite arvu ja tõusta sisemistes tokenite edetabelites kõrgemale.

Kuidas tokenikulu vähendada

Suur tokenikulu tuleneb enamasti mõnest töötüübist, mis kasutab rohkem tokeneid, kui esmapilgul paistab.

Pikad vestlused ja agendiülesanded

Iga kord, kui mudel vastab, loeb ta tavaliselt kogu senise vestluse uuesti läbi. Iga uus päring sisaldab kogu varasemat vestlusajalugu ja kasutaja praegust sõnumit. Seega kasutab lühike küsimus pika lõime lõpus rohkem tokeneid kui sama küsimus uues lõimes. Agendiülesanded toimivad samamoodi, sest iga samm lisab oma tulemused ajalukku, mille järgmine samm uuesti läbi loeb.

Suurenda

Mida sellega teha

• Kui teema muutub, alusta uut vestlust. Lisa selle algusesse kahe- või kolmerealine kokkuvõte kõigest, mida mudel vanast lõimest veel vajab.
• Jaga pikad agendiülesanded väiksemateks. Käivita iga osa eraldi ülesandena ja anna edasi ainult need tulemused, mida järgmine osa vajab.
• Kontrolli, kas meeskonna agenditööriistad kasutavad konteksti tihendamist. Tihendamine teeb ülesande varasematest osadest automaatselt kokkuvõtte, nii et mudel peab vähem uuesti läbi lugema. Kui tööriist pakub seda seadistusena, lülita see sisse.

Samade dokumentide korduv töötlemine

Kui keegi lisab sama pika faili, näiteks eeskirjade käsiraamatu või tootekataloogi, paljudele eraldi päringutele, loeb mudel iga kord kogu faili läbi. Iga lugemine läheb arvesse sisendtokenitena.

Mida sellega teha

• Õpeta kasutajaid kopeerima päringusse kogu faili manustamise asemel ainult käsiraamatu või kataloogi asjakohast osa.
• Koosta meeskonna sageli kasutatavatest dokumentidest lühiversioonid. Pika eeskirja üheleheküljeline kokkuvõte võib rutiinsetes päringutes asendada terviklikku dokumenti.

Kordused ja tsüklid

Kui vastus pole see, mida keegi vajas, ja ta käivitab ülesande uuesti, kulutab iga katse tokeneid. Sama juhtub siis, kui agent jääb sama sammu kordama.

Mida sellega teha

• Kirjelda juba esimeses päringus selgelt ülesannet, soovitud tulemust ja allikaid. Näiteks: „Tee ainult lisatud küsitlustulemuste põhjal viiest punktist koosnev kokkuvõte peamistest põhjustest, miks kliendid III kvartalis tellimuse tühistasid.“
• Kontrolli agendiülesande esimesi samme. Kui agent kordab sama sammu või otsingut, peata see ja alusta uuesti kitsama päringuga.

Suured mudelid lihtsatel ülesannetel

Võimekamad mudelid on tavaliselt tokeni kohta kallimad, nii et rutiinne töö, näiteks kokkuvõtted või ümbervormindamine, võib meeskonna eelarve kulutada kiiremini, kui vaja oleks.

Mida sellega teha

• Kasuta mudelite suunamist: iga ülesanne suunatakse mudelile, mis sellega toime tuleb. Lühikese ümberkirjutuse või kokkuvõtte võib anda väiksemale ja odavamale mudelile ning kõige võimekam mudel jäetakse mitmeastmelise arutluse või analüüsi jaoks. Perplexity API kasutab seda lähenemist oma eelseadistustes, mis määravad kiirele otsingule väiksema mudeli ja põhjalikule analüüsile suurema.

Järsud tõusud pärast uusi töövooge

Uus automatiseeritud töövoog või kogu meeskonnale kasutusele võetud tööriist võib kasutust üleöö suurendada. Järsk tõus pole iseenesest probleem, kuid tasub teada, milline töö selle põhjustas.

Mida sellega teha

• Testi uusi töövooge kõigepealt väikese grupiga. Jälgi nende kasutust nädal või kaks, enne kui töövoo kogu meeskonnale kasutusele võtad.
• Määra igale meeskonnale igakuine eelarve. Võta aluseks tavalise kuu kasutus, et järsk tõus silma paistaks.
• Lülita automaatne täiendamine välja. Kui automaatne täiendamine on välja lülitatud, peatub töö krediitide lõppemisel, selle asemel et automaatselt juurde krediite osta.

Kuidas Perplexitys tokenikulu optimeerida

Igapäevaseks kasutuseks

Computer kasutab krediite, kuid töötab ainult siis, kui sa selle valid – kas Computeri ikooni valides, töötades projektis, mille vaikerežiim on Computer, või kasutades Cometi Work-režiimi.

Suurenda

Tavalise otsingu juurde naasmiseks vali Perplexity ikoon, et lülituda tagasi Ask-režiimi. Krediidikasutuse vaatamiseks saavad kasutajad avada Perplexity liideses krediidijälgija.

Suurenda

Meeskonnad, kes töötavad projektides – Perplexity jagatud tööruumides –, saavad määrata iga projekti vaikerežiimiks Search või Computer. Projektile, mida kasutatakse peamiselt kiireks uurimistööks, võib vaikerežiimiks määrata Search, nii et keegi ei käivita kogemata Computeri ülesannet.

Enterprise’i administraatoritele

• Tea, mida iga litsents sisaldab. Enterprise Pro kasutajad saavad igakuiselt 500 krediiti ja Enterprise Max kasutajad 15 000 krediiti. Need aeguvad iga kuutsükli lõpus ega kandu järgmisse kuusse üle.
• Määra esmalt vaikimisi kasutuslimiit. Kasutuslimiit piirab, kui palju lisakrediite saab liige ühisest kogumist võtta, kui tema enda eraldis on otsa saanud.
• Loo eri tüüpi kasutajatele nimega limiidid. Administraatorid saavad seadistada limiite, näiteks „Standardne“, „Võimekasutaja“ ja „Lepingupartner“, ning määrata need kasutajagruppidele või üksikutele liikmetele. Grupid võivad olla loodud Perplexitys või sünkroonitud ettevõtte identiteedipakkujast. Kui keegi kuulub mitmesse gruppi, kehtib kõrgeim limiit.
• Kasuta erandite puhul isiklikke erilimiite. Kui ühel inimesel on vaja tema grupi omast erinevat piirmäära, on isiklik erilimiit ülimuslik kõigi grupi- ja ühislimiitide suhtes. See on kasulik näiteks lühikese, mahuka uurimistööga projekti puhul, ilma et peaks kogu meeskonna piirmäära tõstma.
• Sea automaatsele täiendamisele ülempiir. Automaatne täiendamine lisab ühisesse kogumisse automaatselt krediite. Sellel on seadistatav igakuine täienduslimiit, nii et kulutused ei saa kasvada ilma kindla maksimumita.
• Otsusta, kuidas liikmed saavad juurde küsida. Seade „Luba liikmetel taotleda rohkem krediite“ võimaldab limiidini jõudnud inimestel küsida administraatorilt juurde, selle asemel et nende töö kohe peatataks.
• Vaata kasutus igal kuul üle. Leht „Organisatsiooni krediidid“ näitab iga liikme antud, kasutatud ja järelejäänud krediite koos grupilimiitide ja kogumi saldoga. Organisatsioonidele, millel on vähemalt 50 litsentsi või vähemalt üks Enterprise Maxi liige, lisab armatuurlaud Insights igakuised aktiivsed kasutajad ja nädalaste päringute arvu muutumise ajas. Täpsemaks ülevaateks salvestatakse auditilogidesse ülesannete täitmine, konnektorite kasutus, krediidikulu ja krediitide eraldamised.

API-põhiseid lahendusi arendavatele meeskondadele

• Anna igale tööriistale või meeskonnale oma API-võti. Perplexity saab näidata iga võtme arveldust eraldi ning eraldi võtmed teevad selgeks, milline tööriist kasutust suurendab.
• Kontrolli arvelduslehelt, millist tüüpi tokenite kasutus kasvab. Seal on näha sisend-, väljund- ja arutlustokenid ajas. Kasvav sisendtokenite hulk tähendab tavaliselt, et tööriist saadab rohkem teksti, kui vaja. Kasvav arutlustokenite hulk tähendab, et ülesandeid käitatakse mudelitel, mis mõtlevad probleemid põhjalikult läbi.
• Kasuta Search API-t, kui tööriist vajab ainult otsingutulemusi. See tagastab veebitulemused, ilma et mudel vastust kirjutaks, ja võtab tasu päringu kohta, ilma täiendavate tokenipõhiste tasudeta.
• Võta agenditööriistade aluseks eelseadistus. Perplexity eelseadistused sobitavad ülesande suuruse mudeli suurusega ja hoiavad lihtsad päringud kõige kallimatest mudelitest eemal

Eelkõige kohalik töö

Mõni töö ei vaja üldse tasulist pilvemudelit. Portable Computer on Perplexity agendi versioon, mis töötab inimese enda arvutis ja kasutab sellesse masinasse salvestatud tehisintellektimudelit. Kuna mudel töötab kohapeal, ei kasuta rutiinne töö tasulisi tokeneid. See pöördub veebi, ühendatud rakenduste või võimsama pilvemudeli poole ainult siis, kui ülesanne seda vajab, ja küsib enne kasutajalt luba.

Uuri, kuidas Perplexity Computer tegeleb mitmeastmelise tööga veebis, failides ja ühendatud tööriistades.

KKK

Mis vahe on tokenikulul ja tehisintellekti kuludel?

Tokenikulu mõõdab, kui palju tehisintellekti tööd meeskond teeb, tokenites arvestatuna. Tehisintellekti kulud hõlmavad kõike, mida meeskond tehisintellekti kasutamise eest maksab, sealhulgas tellimusi, lisakrediite ja seadistamist. Tokenikulu määrab selle arve kasutuspõhise osa.

Kas tellimuspaketi kasutajad maksavad tokeni kaupa?

Tavaliselt mitte otse. Tellimuspõhised tööriistad arvestavad kasutust sõnumite, päringute või krediitidena ning rohkem tokeneid kasutavad ülesanded kulutavad neid kiiremini. Perplexitys tavalised otsingud krediite üldse ei kasuta, neid kasutavad ainult Computeri ülesanded.

Miks kasutavad tehisintellektiagendid nii palju tokeneid?

Agent täidab ülesande paljude sammudena ja iga samm on eraldi päring, mis loeb seni tehtud töö uuesti läbi. Seetõttu kasutab pikk ülesanne iga sammuga üha rohkem tokeneid.

Miks tokenite kasutus järsku hüppeliselt kasvab?

Enamik järske tõuse tuleneb muutusest meeskonna töös, näiteks uuest automatiseeritud töövoost, rohkematele inimestele kasutusele võetud tööriistast või pikast agendiülesandest. Kui võrrelda tõusu kuupäeva hiljutiste uuenduste kasutuselevõtuga, selgub põhjus tavaliselt. Uute töövoogude testimine esmalt väikese grupiga aitab järske tõuse vältida.