Како пратити и контролисати потрошњу токена у тиму

Шта је потрошња токена

Потрошња токена је број токена које тим потроши користећи AI, као и цијена тих токена. Токен је јединица текста, попут ријечи, дијела ријечи или интерпункцијског знака, коју AI модел чита или пише. У енглеском језику 1 токен има отприлике 4 карактера. Токени нису стандардизовани међу моделима и провајдерима, па исти текст у различитим алатима може дати различит број токена.

Извјештаји о потрошњи обично дијеле токене на неколико врста:

• Улазни токени су све што модел прочита за један захтјев. То обухвата упит, сав приложени текст и историју разговора коју модел поново користи из ранијих порука у истом треду.
• Излазни токени су одговор који модел напише. Често коштају више од улазних токена. Према цјеновнику за Perplexity API, неки модели излаз наплаћују шест пута скупље.
• Токени расуђивања су текст који модел интерно генерише док рјешава проблем, прије него што одговори. Не појављују се у одговору, па дужи видљиви одговор не значи нужно да је модел укупно потрошио више токена.

Тимови који AI алате користе уз претплату ријетко виде наплату по токену. Токени ипак утичу на оно што добијају, јер захтјевнији задаци брже троше кредите или раније достижу ограничења коришћења. Тимови који граде сопствене алате на AI моделу обично умјесто тога плаћају по токену, у оквиру наплате према потрошњи.

Како пратити потрошњу токена

Праћење потрошње токена на плану са претплатом

Алати са претплатом обично не приказују број токена. Умјесто тога, многи планови користе кредите, унапријед плаћене јединице које се троше како се посао обавља. Кредити нису исто што и токени, јер један кредит може покрити текст, слике или другу врсту посла. Ипак, задаци који троше више токена обично троше и више кредита, па су кредити најбољи показатељ потрошње токена на претплати. Корисници могу пратити сопствену потрошњу кредита, а неки планови укључују и администраторску контролну таблу која приказује потрошњу кредита за цијели тим.

На платформи Perplexity, на примјер, обичне претраге не троше кредите. Троши их само Perplexity Computer, асистент који обавља задатке у више корака. Корисници који користе Computer могу да виде колико су кредита потрошили и на шта. Сваки Computer задатак приказује и сопствени укупан број кредита у менију „Потрошња“ свог разговора.

Увећај

На Enterprise плановима администратори у контролној табли Insights могу да виде колико људи користи Perplexity и колико упита покрену сваке недјеље (доступно организацијама са 50 или више мјеста или са барем једним Enterprise Max чланом).

Увећај

Праћење потрошње токена у извјештајима о коришћењу API-ја

Извјештаји о коришћењу које пружа API провајдер директно приказују број токена, обично подијељен по врсти токена. На примјер, конзола Perplexity API Platform омогућава корисницима да на страници „Наплата“ прате метрике попут потрошње улазних и излазних токена, као и токена расуђивања.

Зашто потрошња токена расте

Агенти за сваки задатак извршавају много корака, а сваки корак је засебан захтјев моделу. Један задатак може да потроши стотине хиљада, па чак и милионе токена.

Модели расуђивања су такође све заступљенији. Модел расуђивања исписује своје размишљање прије него што одговори, а свака ријеч тог размишљања рачуна се у токене. Зато исти захтјев на моделу расуђивања обично троши више токена него на стандардном моделу, иако одговор на екрану изгледа једнако дуг.

На крају, како све више људи и токова рада уопште користи AI, потрошња токена се гомила. Дио тог раста долази и од такозваног tokenmaxxing-а, када инжењери покрећу агенте углавном да би повећали свој лични број токена и заузели боље мјесто на интерним ранг-листама потрошње токена.

Како смањити потрошњу токена

Највећи дио високе потрошње токена потиче од неколико врста посла које троше више токена него што се на први поглед чини.

Дуги разговори и задаци агената

Сваки пут када модел одговара, обично поново чита цијели досадашњи разговор. Сваки нови захтјев обухвата сву претходну историју разговора и тренутну поруку корисника. Зато кратко питање при крају дугог треда троши више токена него исто питање у новом треду. Задаци агената функционишу на исти начин, јер сваки корак додаје своје резултате у историју коју сљедећи корак поново чита.

Увећај

Шта учинити

• Започните нови разговор када се тема промијени. Почните га сажетком од два или три реда о свему из старог треда што је моделу и даље потребно.
• Подијелите дуге задатке агената на мање. Покрените сваки дио као засебан задатак и прослиједите само резултате који су потребни сљедећем дијелу.
• Провјерите да ли алати за агенте које тим користи примјењују сажимање контекста. Сажимање аутоматски сумира старије дијелове задатка, тако да модел мање тога поново чита. Ако алат нуди ту опцију у подешавањима, укључите је.

Исти документи који се обрађују изнова и изнова

Када неко исти дугачак фајл, попут приручника са интерним правилима или каталога производа, приложи уз много засебних упита, модел сваки пут чита цијели фајл. Свако читање се рачуна у улазне токене.

Шта учинити

• Научите кориснике да у захтјев копирају релевантан одјељак приручника или каталога умјесто да прилажу цијели фајл.
• Направите кратку верзију докумената које тим често користи. Сажетак дугачких правила на једној страници може у рутинским упитима замијенити цијели документ.

Поновни покушаји и петље

Када одговор није оно што је некоме требало, па поново покрене задатак, сваки покушај троши токене. Исто се дешава када се агент заглави понављајући исти корак.

Шта учинити

• У првом захтјеву јасно наведите задатак, жељени резултат и изворе. На примјер: „Сажми у пет ставки главне разлоге због којих су корисници отказали претплату у трећем кварталу, користећи само приложене резултате анкете.“
• Провјерите првих неколико корака задатка агента. Ако агент понавља исти корак или претрагу, зауставите га и покрените поново са ужим захтјевом.

Велики модели за једноставне задатке

Моћнији модели обично коштају више по токену, па рутински послови попут сажетака или преформатирања могу потрошити буџет тима брже него што је потребно.

Шта учинити

• Користите рутирање модела, које сваки задатак додјељује моделу који може да га обави. Кратко преправљање текста или сажетак може ићи мањем, јефтинијем моделу, а најмоћнији модел се чува за расуђивање у више корака или анализу. Perplexity API примјењује овај приступ кроз унапријед подешене профиле, који брзу претрагу додјељују мањем моделу, а исцрпну анализу већем.

Нагли скокови након нових токова рада

Нови аутоматизовани ток рада или алат уведен за цијели тим може преко ноћи повећати потрошњу. Скок сам по себи није проблем, али вриједи знати који посао га је изазвао.

Шта учинити

• Нове токове рада прво тестирајте са малом групом. Пратите њихову потрошњу недјељу или двије прије него што ток рада уведете за цијели тим.
• Поставите мјесечни буџет за сваки тим. Заснујте га на потрошњи у уобичајеном мјесецу, како би се сваки скок јасно истакао.
• Искључите аутоматску допуну. Када је аутоматска допуна искључена, рад се зауставља када се кредити потроше, умјесто да се аутоматски купују додатни кредити.

Како оптимизовати потрошњу токена на платформи Perplexity

За свакодневну употребу

Computer троши кредите, али ради само када га изаберете: кликом на икону Computer, радом у пројекту чији је подразумијевани режим Computer или коришћењем режима Work у прегледачу Comet.

Увећај

Да бисте се вратили на обичну претрагу, изаберите икону Perplexity и пређите назад у режим „Питај“. Корисници могу да виде потрошњу кредита у алату за праћење унутар интерфејса Perplexity.

Увећај

Тимови који раде у пројектима, заједничким радним просторима у Perplexity, могу за сваки пројекат подесити подразумијевани режим на „Претрага“ или Computer. Пројекат који се углавном користи за брза истраживања може подразумијевано користити режим „Претрага“, тако да нико случајно не покрене Computer задатак.

За Enterprise администраторе

• Знајте шта свако мјесто обухвата. Enterprise Pro корисници добијају мјесечно 500 кредита, а Enterprise Max корисници 15.000 кредита. Ови кредити истичу на крају сваког мјесечног циклуса и не преносе се у сљедећи.
• Прво поставите подразумијевано ограничење потрошње. Ограничење потрошње одређује колико додатних кредита члан може узети из заједничког фонда када потроши сопствену квоту.
• Направите именована ограничења за различите врсте корисника. Администратори могу поставити ограничења као што су „Стандардно“, „Напредни корисник“ и „Спољни сарадник“ и додијелити их групама корисника или појединачним члановима. Групе могу бити креиране у Perplexity или синхронизоване из провајдера идентитета компаније. Ако неко припада већем броју група, примјењује се највише ограничење.
• За изузетке користите личне измјене ограничења. Када једној особи треба другачије ограничење од оног које важи за њену групу, лична измјена има приоритет над сваким групним или заједничким ограничењем. То је корисно за краткорочан пројекат са интензивним истраживањем, без повећавања ограничења за цијели тим.
• Ограничите аутоматску допуну. Аутоматска допуна сама допуњава заједнички фонд. Уз њу иде подесиво мјесечно ограничење допуне, тако да потрошња не може расти без утврђеног максимума.
• Одлучите како чланови траже додатне кредите. Подешавање „Дозволи члановима да затраже још кредита“ омогућава онима који достигну ограничење да од администратора затраже још кредита, умјесто да буду одмах заустављени.
• Прегледајте потрошњу сваког мјесеца. Страница „Кредити организације“ приказује додијељене, потрошене и преостале кредите за сваког члана, као и групна ограничења и стање фонда. За организације са 50 или више мјеста, или са барем једним Enterprise Max чланом, контролна табла Insights додатно приказује мјесечно активне кориснике и недјељне упите током времена. За више детаља, дневници ревизије биљеже извршавање задатака, коришћење конектора, потрошњу кредита и додјелу кредита.

За тимове који граде рјешења на API-ју

• Дајте сваком алату или тиму засебан API кључ. Perplexity може приказати наплату засебно за сваки кључ, а засебни кључеви јасно показују који алат покреће потрошњу.
• На страници за наплату провјерите која врста токена расте. Она приказује улазне и излазне токене, као и токене расуђивања током времена. Раст улазних токена обично значи да алат шаље више текста него што је потребно. Раст токена расуђивања значи да се задаци извршавају на моделима који дуго промишљају о проблемима.
• Користите Search API када алату требају само резултати претраге. Он враћа веб-резултате, а да модел при том не пише одговор, и наплаћује се по захтјеву, без додатних трошкова заснованих на токенима.
• Алате за агенте покрећите полазећи од унапријед подешеног профила. Унапријед подешени профили у Perplexity прилагођавају величину модела величини задатка и спрјечавају да се једноставни захтјеви шаљу најскупљим моделима

Рад који даје предност локалној обради

За неке послове уопште није потребан плаћени модел у облаку. Portable Computer је верзија агента компаније Perplexity која ради на сопственом рачунару корисника, користећи AI модел сачуван на том уређају. Пошто модел ради локално, рутински послови не троше плаћене токене. Агент се обраћа вебу, повезаним апликацијама или моћнијем моделу у облаку само када је задатку то потребно, и прво пита корисника.

Сазнајте како Perplexity Computer обавља посао у више корака на вебу, у фајловима и повезаним алатима.

Најчешћа питања

Која је разлика између потрошње токена и трошкова AI-ја?

Потрошња токена мјери колико AI посла тим обави, изражено у токенима. Трошкови AI-ја обухватају све што тим плаћа за коришћење AI-ја, укључујући претплате, додатне кредите и увођење. Потрошња токена одређује дио тог рачуна који се наплаћује према потрошњи.

Да ли корисници претплате плаћају по токену?

Обично не директно. Алати са претплатом прате коришћење кроз поруке, упите или кредите, а задаци који троше више токена брже их исцрпљују. На платформи Perplexity обичне претраге уопште не троше кредите; троше их само Computer задаци.

Зашто AI агенти троше толико токена?

Агент обавља задатак у много корака, а сваки корак је засебан захтјев који поново чита дотадашњи рад. Зато дуг задатак са сваким новим кораком троши све више токена.

Зашто потрошња токена нагло скочи?

Већина скокова услиједи након промјене у начину рада тима, као што је нови аутоматизовани ток рада, алат уведен за више људи или дуг задатак агента. Поређење датума скока са недавним увођењима обично открива узрок. Ако нове токове рада прво тестирате са малом групом, лакше ћете спријечити скокове.