Hvernig á að fylgjast með og stýra tókaeyðslu teymis

Hvað er tókaeyðsla

Tókaeyðsla er fjöldi tóka sem teymi notar með gervigreind og hvað þeir kosta. Tóki er textaeining, til dæmis orð, hluti úr orði eða greinarmerki, sem gervigreindarlíkan les eða skrifar. Á ensku er 1 tóki um það bil 4 stafir. Tókar eru ekki staðlaðir milli líkana eða þjónustuveitenda, svo sami texti getur gefið mismunandi fjölda tóka í ólíkum tólum.

Notkunarskýrslur skipta tókum yfirleitt í nokkrar tegundir:

• Inntakstókar eru allt sem líkanið les fyrir hverja beiðni. Þar á meðal er fyrirspurnin, allur viðhengdur texti og samtalsferill sem líkanið endurnýtir frá því fyrr í sama samtali.
• Úttakstókar eru svarið sem líkanið skrifar. Þeir kosta oft meira en inntakstókar. Samkvæmt API-verðskrá Perplexity kosta sum líkön sexfalt meira fyrir úttak.
• Rökhugsunartókar eru texti sem líkan býr til innbyrðis til að vinna sig í gegnum vandamál áður en það svarar. Þeir birtast ekki í svarinu, svo lengra sýnilegt svar þýðir ekki endilega að líkanið hafi notað fleiri tóka í heildina.

Teymi sem nota gervigreindartól í áskrift sjá sjaldan gjald fyrir hvern tóka. Tókar hafa samt áhrif á hvað þau fá, því þyngri verk ganga hraðar á einingar eða ná notkunarmörkum fyrr. Teymi sem smíða eigin tól ofan á gervigreindarlíkani greiða hins vegar yfirleitt fyrir hvern tóka, með notkunartengdri verðlagningu.

Hvernig á að fylgjast með tókaeyðslu

Að fylgjast með tókaeyðslu í áskriftarleið

Áskriftartól sýna yfirleitt ekki fjölda tóka. Í staðinn nota margar áskriftarleiðir einingar, það er fyrirframgreiddar notkunareiningar sem dragast frá eftir því sem verk eru unnin. Einingar eru ekki það sama og tókar, því ein eining getur náð yfir texta, myndir eða aðra vinnu. En verk sem nota fleiri tóka nota yfirleitt líka fleiri einingar, svo þær eru besta vísbendingin um tókaeyðslu í áskrift. Notendur geta fylgst með eigin notkun eininga og sumar áskriftarleiðir bjóða líka upp á mælaborð fyrir stjórnendur sem sýnir notkun eininga hjá öllu teyminu.

Í Perplexity nota venjulegar leitir til dæmis engar einingar. Aðeins Perplexity Computer, aðstoðarmaðurinn sem sér um margþrepa verk, notar þær. Þeir sem nota Computer geta séð hversu margar einingar þeir hafa notað og í hvað. Hvert Computer-verk sýnir einnig eigin heildarfjölda eininga í valmyndinni „Notkun“ í viðkomandi samtali.

Stækka

Í Enterprise-áskriftum geta stjórnendur séð hversu margir nota Perplexity og hversu margar fyrirspurnir þeir senda í hverri viku á Insights-mælaborðinu (í boði fyrir fyrirtæki með 50 sæti eða fleiri, eða að minnsta kosti einn Enterprise Max-meðlim).

Stækka

Að fylgjast með tókaeyðslu í notkunarskýrslum API

Notkunarskýrslur API-þjónustuveitunnar sýna fjölda tóka beint, yfirleitt skipt eftir tegund tóka. Í API Platform-stjórnborði Perplexity geta notendur til dæmis fylgst með mæligildum á borð við eyðslu inntaks-, úttaks- og rökhugsunartóka á reikningssíðunni.

Af hverju tókaeyðsla eykst

Gervigreindarfulltrúar keyra mörg skref í hverju verki og hvert skref er sérstök beiðni til líkans. Eitt verk getur samtals numið hundruðum þúsunda eða jafnvel milljónum tóka.

Rökhugsunarlíkön eru líka að verða algengari. Rökhugsunarlíkan skrifar út hugsun sína áður en það svarar og hvert einasta orð þar telst í tókum. Sama beiðni notar því yfirleitt fleiri tóka í rökhugsunarlíkani en í hefðbundnu líkani, jafnvel þótt svarið á skjánum virðist jafnlangt.

Loks safnast tókanotkun upp eftir því sem fleira fólk og fleiri verkflæði nota gervigreind almennt. Hluti vaxtarins kemur líka frá svokölluðu „tokenmaxxing“, þar sem verkfræðingar keyra gervigreindarfulltrúa fyrst og fremst til að hækka eigin tókafjölda og komast ofar á innri stigatöflum yfir tókanotkun.

Hvernig á að draga úr tókaeyðslu

Mest af mikilli tókaeyðslu stafar af fáeinum tegundum vinnu sem nota fleiri tóka en virðist við fyrstu sýn.

Löng samtöl og verk gervigreindarfulltrúa

Í hvert sinn sem líkan svarar les það yfirleitt allt samtalið fram að því aftur. Hver ný beiðni inniheldur allan fyrri samtalsferil auk nýjustu skilaboða notandans. Stutt spurning seint í löngu samtali notar því fleiri tóka en sama spurning í nýju samtali. Verk gervigreindarfulltrúa virka á sama hátt, því hvert skref bætir niðurstöðum sínum við ferilinn sem næsta skref les aftur.

Stækka

Hvað er til ráða

• Byrjaðu nýtt samtal þegar umræðuefnið breytist. Byrjaðu það á tveggja eða þriggja lína samantekt á því sem líkanið þarf enn að vita úr gamla samtalinu.
• Skiptu löngum verkum gervigreindarfulltrúa í minni verk. Keyrðu hvern hluta sem sérstakt verk og sendu aðeins áfram þær niðurstöður sem næsti hluti þarf.
• Athugaðu hvort tól teymisins fyrir gervigreindarfulltrúa noti samþjöppun samhengis. Samþjöppun dregur sjálfkrafa saman eldri hluta verks svo líkanið þurfi að lesa minna aftur. Ef tól býður upp á þetta sem stillingu skaltu kveikja á henni.

Sömu skjölin unnin aftur og aftur

Þegar einhver hengir sömu löngu skrána, til dæmis stefnuhandbók eða vörulista, við margar aðskildar fyrirspurnir les líkanið alla skrána í hvert skipti. Hver lestur telst sem inntakstókar.

Hvað er til ráða

• Kenndu notendum að afrita viðeigandi kafla úr handbók eða vörulista inn í beiðnina í stað þess að hengja alla skrána við.
• Gerðu styttar útgáfur af skjölum sem teymið notar oft. Einnar síðu samantekt á langri stefnu getur komið í stað alls skjalsins í hefðbundnum fyrirspurnum.

Endurtilraunir og lykkjur

Þegar svar er ekki það sem einhver þurfti og viðkomandi keyrir verkið aftur notar hver tilraun tóka. Það sama gerist þegar gervigreindarfulltrúi festist í að endurtaka sama skrefið.

Hvað er til ráða

• Tilgreindu verkið, niðurstöðuna og heimildirnar skýrt í fyrstu beiðni. Til dæmis: „Taktu saman helstu ástæður þess að viðskiptavinir sögðu upp á þriðja ársfjórðungi, eingöngu út frá meðfylgjandi könnunarniðurstöðum, í fimm punktum.“
• Fylgstu með fyrstu skrefunum í verki gervigreindarfulltrúa. Ef hann endurtekur sama skref eða leit skaltu stöðva hann og byrja aftur með þrengri beiðni.

Stór líkön í einföldum verkum

Öflugri líkön kosta yfirleitt meira á hvern tóka, svo hefðbundin vinna á borð við samantektir eða endursniðun getur klárað fjárhagsáætlun teymis hraðar en þörf er á.

Hvað er til ráða

• Notaðu líkanabeiningu, sem beinir hverju verki til líkans sem ræður við það. Stutt endurskrif eða samantekt getur farið til minna og ódýrara líkans og öflugasta líkanið er geymt fyrir margþrepa rökhugsun eða greiningu. API Perplexity notar þessa nálgun með forstillingum sínum, sem úthluta minna líkani til skjótra uppflettinga og stærra líkani til ítarlegrar greiningar.

Skyndileg aukning eftir ný verkflæði

Nýtt sjálfvirkt verkflæði, eða tól sem er tekið í notkun hjá heilu teymi, getur aukið notkun á einni nóttu. Skyndileg aukning er ekki vandamál í sjálfu sér, en það er gott að vita hvaða vinna olli henni.

Hvað er til ráða

• Prófaðu ný verkflæði fyrst með litlum hópi. Fylgstu með notkun hópsins í eina til tvær vikur áður en verkflæðið er innleitt hjá öllu teyminu.
• Settu mánaðarlega fjárhagsáætlun fyrir hvert teymi. Byggðu hana á notkun í dæmigerðum mánuði svo að stökk skeri sig úr.
• Slökktu á sjálfvirkri áfyllingu. Þegar slökkt er á henni stöðvast vinnan þegar einingarnar klárast, í stað þess að fleiri einingar séu keyptar sjálfkrafa.

Hvernig á að hámarka nýtingu tóka í Perplexity

Í daglegri notkun

Computer notar einingar en keyrir aðeins þegar þú velur að nota Computer, annaðhvort með því að velja Computer-táknið, vinna í verkefni sem notar Computer sjálfgefið eða nota Work-stillingu í Comet.

Stækka

Til að fara aftur í venjulega leit skaltu velja Perplexity-táknið og skipta aftur yfir í Ask-stillingu. Notendur geta séð notkun eininga með því að opna einingayfirlitið í viðmóti Perplexity.

Stækka

Teymi sem vinna í verkefnum, sameiginlegum vinnusvæðum Perplexity, geta valið Search eða Computer sem sjálfgefna stillingu hvers verkefnis. Verkefni sem er aðallega notað fyrir skjótar rannsóknir getur haft Search sem sjálfgefna stillingu, svo enginn hefji Computer-verk óvart.

Fyrir stjórnendur Enterprise

• Vittu hvað hvert sæti inniheldur. Enterprise Pro-notendur fá mánaðarlega úthlutun upp á 500 einingar og Enterprise Max-notendur fá 15.000 einingar. Þær renna út í lok hvers mánaðartímabils og flytjast ekki yfir á næsta tímabil.
• Settu fyrst sjálfgefin notkunarmörk. Notkunarmörk setja þak á hversu margar aukaeiningar meðlimur getur sótt í sameiginlega pottinn þegar eigin úthlutun hans klárast.
• Búðu til mörk með eigin heiti fyrir mismunandi tegundir notenda. Stjórnendur geta sett upp mörk á borð við „Hefðbundið“, „Stórnotandi“ og „Verktaki“ og úthlutað þeim til notendahópa eða einstakra meðlima. Hópar geta komið frá Perplexity eða verið samstilltir frá auðkennisveitu fyrirtækisins. Ef einhver tilheyrir fleiri en einum hópi gilda hæstu mörkin.
• Notaðu sérstillingar fyrir einstaklinga vegna undantekninga. Þegar einstaklingur þarf önnur mörk en hópurinn hans hefur sérstilling einstaklingsins forgang fram yfir öll hópmörk eða sameiginleg mörk. Það kemur sér vel fyrir stutt verkefni með mikilli rannsóknarvinnu, án þess að hækka þakið fyrir heilt teymi.
• Settu þak á sjálfvirka áfyllingu. Sjálfvirk áfylling fyllir sjálfkrafa á sameiginlega pottinn. Henni fylgja stillanleg mánaðarleg áfyllingarmörk, svo útgjöld geta ekki vaxið án ákveðins hámarks.
• Ákveddu hvernig meðlimir biðja um meira. Stillingin „Leyfa meðlimum að biðja um fleiri einingar“ gerir þeim sem ná mörkum sínum kleift að biðja stjórnanda um fleiri, í stað þess að vera einfaldlega stöðvaðir.
• Farðu yfir notkunina í hverjum mánuði. Síðan fyrir einingar fyrirtækisins sýnir úthlutaðar, notaðar og eftirstandandi einingar hvers meðlims, ásamt hópmörkum og stöðu pottsins. Hjá fyrirtækjum með 50 sæti eða fleiri, eða að minnsta kosti einn Enterprise Max-meðlim, bætir Insights-mælaborðið við virkum notendum á mánuði og vikulegum fyrirspurnum yfir tíma. Nánari upplýsingar er að finna í endurskoðunarannálum, sem skrá keyrslu verka, notkun tenginga, notkun eininga og úthlutanir eininga.

Fyrir teymi sem smíða ofan á API

• Gefðu hverju tóli eða teymi eigin API-lykil. Perplexity getur sýnt reikningsupplýsingar fyrir hvern lykil sérstaklega og aðskildir lyklar gera ljóst hvaða tól knýr notkunina.
• Skoðaðu á reikningssíðunni hvaða tegund tóka er að aukast. Þar sjást inntaks-, úttaks- og rökhugsunartókar yfir tíma. Fjölgun inntakstóka þýðir yfirleitt að tól sendi meiri texta en það þarf. Fjölgun rökhugsunartóka þýðir að verk keyra á líkönum sem hugsa ítarlega í gegnum vandamál.
• Notaðu Search API þegar tól þarf aðeins leitarniðurstöður. Það skilar vefniðurstöðum án þess að líkan skrifi svar og rukkar fyrir hverja beiðni án viðbótargjalda sem byggjast á tókum.
• Byrjaðu á forstillingu þegar þú smíðar tól fyrir gervigreindarfulltrúa. Forstillingar Perplexity para stærð verksins við stærð líkansins og halda einföldum beiðnum frá dýrustu líkönunum

Staðbundin vinna í fyrirrúmi

Sum verk þurfa alls ekki greitt skýjalíkan. Portable Computer er útgáfa af gervigreindarfulltrúa Perplexity sem keyrir á eigin tölvu notandans og notar gervigreindarlíkan sem er geymt á þeirri vél. Þar sem líkanið keyrir staðbundið notar hefðbundin vinna enga greidda tóka. Aðeins þegar verk krefst þess er leitað út á vefinn, í tengd forrit eða til öflugra skýjalíkans, og notandinn er spurður fyrst.

Kynntu þér hvernig Perplexity Computer sinnir margþrepa vinnu þvert á vefinn, skrár og tengd tól.

Algengar spurningar

Hver er munurinn á tókaeyðslu og kostnaði við gervigreind?

Tókaeyðsla mælir hversu mikla gervigreindarvinnu teymi innir af hendi, talið í tókum. Kostnaður við gervigreind nær yfir allt sem teymi greiðir fyrir að nota gervigreind, þar á meðal áskriftir, aukaeiningar og uppsetningu. Tókaeyðsla ræður notkunartengdum hluta reikningsins.

Greiða áskrifendur fyrir hvern tóka?

Yfirleitt ekki beint. Áskriftartól mæla notkun í skilaboðum, fyrirspurnum eða einingum og verk sem nota fleiri tóka ganga hraðar á þær. Í Perplexity nota venjulegar leitir alls engar einingar; aðeins Computer-verk gera það.

Af hverju nota gervigreindarfulltrúar svona marga tóka?

Gervigreindarfulltrúi lýkur verki í mörgum skrefum og hvert skref er sérstök beiðni sem les alla vinnuna fram að því aftur. Langt verk notar því fleiri tóka með hverju skrefi sem það tekur.

Af hverju eykst tókanotkun skyndilega?

Flestar skyndilegar aukningar fylgja breytingu á vinnulagi teymis, til dæmis nýju sjálfvirku verkflæði, tóli sem er tekið í notkun hjá fleira fólki eða löngu verki gervigreindarfulltrúa. Með því að bera dagsetningu aukningarinnar saman við nýlegar innleiðingar kemur orsökin yfirleitt í ljós. Það hjálpar til við að koma í veg fyrir slíkar aukningar að prófa ný verkflæði fyrst með litlum hópi.