Как да проследявате и контролирате разхода на токени на екипа

Какво е разходът на токени

Разходът на токени е броят токени, които един екип изразходва при работа с ИИ, и цената на тези токени. Токенът е единица текст (например дума, част от дума или препинателен знак), която моделът на ИИ чете или пише. В английския език 1 токен е приблизително 4 знака. Токените не са стандартизирани между моделите и доставчиците, така че един и същ текст може да даде различен брой в различните инструменти.

Отчетите за използването обикновено разделят токените на няколко вида:

• Входните токени са всичко, което моделът прочита при дадена заявка. Това включва запитването, приложения текст и историята на разговора, която моделът преизползва от по-ранни съобщения в същата тема.
• Изходните токени са отговорът, който моделът пише. Те често струват повече от входните токени. В ценообразуването на API на Perplexity някои модели таксуват изхода шест пъти по-скъпо.
• Токените за разсъждение са текст, който моделът генерира вътрешно, за да обмисли проблема, преди да отговори. Те не се появяват в отговора, така че по-дългият видим отговор не означава непременно, че моделът е използвал повече токени като цяло.

Екипите, които използват инструменти с ИИ по абонамент, рядко виждат такса за всеки токен. Токените все пак влияят на това, което получават, тъй като по-тежките задачи изразходват кредитите или достигат лимитите за използване по-бързо. Екипите, които изграждат собствени инструменти върху модел на ИИ, обикновено плащат за всеки токен по модела на ценообразуване според използването.

Как да проследявате разхода на токени

Проследяване на разхода на токени при абонаментен план

Абонаментните инструменти обикновено не показват броя на токените. Вместо това много планове използват кредити – предплатени единици, които планът изразходва с напредването на работата. Кредитите не са същото като токените, тъй като един кредит може да покрива текст, изображения или друга работа. Но задачите, които използват повече токени, обикновено изразходват и повече кредити, така че кредитите са най-добрият ориентир за разхода на токени при абонамент. Потребителите могат да проследяват собственото си използване на кредити, а някои планове включват и административно табло, което показва използването на кредити от целия екип.

В Perplexity например обикновените търсения не използват кредити. Използва ги само Perplexity Computer – асистентът, който изпълнява многостъпкови задачи. Хората, които използват Computer, могат да видят колко кредита са използвали и за какво. Всяка задача в Computer показва и собствения си общ брой кредити в менюто „Използване“ на съответния разговор.

Уголеми

При плановете Enterprise администраторите могат да видят колко души използват Perplexity и колко запитвания изпълняват всяка седмица в таблото Insights (достъпно за организации с 50 или повече места или поне един член с Enterprise Max).

Уголеми

Проследяване на разхода на токени в отчетите за използването на API

Отчетите за използването на доставчика на API показват броя на токените директно, обикновено разделени по вид токен. Конзолата API Platform на Perplexity например позволява на потребителите да проследяват на страницата „Фактуриране“ показатели като разхода на входни и изходни токени и на токени за разсъждение.

Защо разходът на токени расте

Агентите изпълняват много стъпки за всяка задача и всяка стъпка е отделна заявка към модел. Една задача може да достигне стотици хиляди или дори милиони токени.

Моделите с разсъждение също стават все по-разпространени. Моделът с разсъждение излага мисловния си процес, преди да отговори, и всяка дума от него се брои като токени. Затова една и съща заявка обикновено използва повече токени при модел с разсъждение, отколкото при стандартен модел, дори отговорът на екрана да изглежда със същата дължина.

И накрая, с нарастването на броя на хората и работните процеси, които използват ИИ като цяло, използването на токени се натрупва. Част от този ръст идва и от т.нар. tokenmaxxing – когато инженерите пускат агенти главно за да увеличат личния си брой токени и да се изкачат във вътрешните класации по токени.

Как да намалите разхода на токени

По-голямата част от високия разход на токени идва от няколко вида работа, които използват повече токени, отколкото изглежда.

Дълги разговори и задачи на агенти

Всеки път, когато моделът отговаря, той обикновено препрочита целия разговор дотук. Всяка нова заявка включва цялата предишна история на разговора плюс текущото съобщение на потребителя. Затова кратък въпрос в края на дълга тема използва повече токени от същия въпрос в нова тема. Задачите на агентите работят по същия начин, защото всяка стъпка добавя резултатите си към историята, която следващата стъпка препрочита.

Уголеми

Какво да направите

• Започвайте нов разговор, когато преминавате към друг въпрос. Започнете го с резюме от два-три реда на всичко от старата тема, което моделът все още трябва да знае.
• Разделяйте дългите задачи на агентите на по-малки. Изпълнявайте всяка част като отделна задача и предавайте само резултатите, които са нужни за следващата част.
• Проверете дали инструментите за агенти на екипа използват уплътняване на контекста. Уплътняването автоматично обобщава по-старите части на задачата, така че моделът да препрочита по-малко. Ако даден инструмент го предлага като настройка, включете я.

Едни и същи документи, обработвани отново и отново

Когато някой прикачва един и същ дълъг файл, например наръчник с правила или продуктов каталог, към много отделни запитвания, моделът прочита целия файл всеки път. Всяко прочитане се брои като входни токени.

Какво да направите

• Обучете потребителите да копират съответния раздел от наръчника или каталога в заявката, вместо да прикачват целия файл.
• Направете кратки версии на документите, които екипът използва често. Резюме от една страница на дълъг документ с правила може да замести пълния документ при рутинни запитвания.

Повторни опити и цикли

Когато даден отговор не е това, от което човек се е нуждаел, и той изпълни задачата отново, всеки опит използва токени. Същото се случва, когато агентът заседне и повтаря една и съща стъпка.

Какво да направите

• Опишете ясно задачата, очаквания резултат и източниците още в първата заявка. Например: „Обобщи в пет точки основните причини, поради които клиентите са се отказали през третото тримесечие, като използваш само приложените резултати от проучването.“
• Проверявайте първите няколко стъпки от задачата на агента. Ако агентът повтаря една и съща стъпка или търсене, спрете го и започнете отново с по-тясно формулирана заявка.

Големи модели за прости задачи

По-способните модели обикновено струват повече за токен, така че рутинна работа като обобщения или преформатиране може да изразходва бюджета на екипа по-бързо, отколкото е необходимо.

Какво да направите

• Използвайте маршрутизиране на модели, което съпоставя всяка задача с модел, способен да се справи с нея. Кратко преписване или резюме може да се възложи на по-малък и по-евтин модел, а най-способният модел се запазва за многостъпково разсъждение или анализ. API на Perplexity прилага този подход чрез своите предварителни настройки, които възлагат по-малък модел за бърза справка и по-голям – за изчерпателен анализ.

Скокове след нови работни процеси

Нов автоматизиран работен процес или инструмент, въведен за целия екип, може да увеличи използването за една нощ. Скокът сам по себе си не е проблем, но си струва да знаете коя работа го е предизвикала.

Какво да направите

• Първо тествайте новите работни процеси с малка група. Проследете използването им седмица-две, преди да въведете работния процес за целия екип.
• Задайте месечен бюджет за всеки екип. Базирайте го на използването за типичен месец, така че всеки скок да се забелязва.
• Изключете автоматичното презареждане. Когато то е изключено, работата спира, щом кредитите свършат, вместо автоматично да се купуват още кредити.

Как да оптимизирате разхода на токени в Perplexity

За ежедневна употреба

Computer използва кредити, но се стартира само когато го изберете – като изберете иконата на Computer, работите в Проект, чийто режим по подразбиране е Computer, или използвате режима Work в Comet.

Уголеми

За да се върнете към обикновеното търсене, изберете иконата на Perplexity, за да превключите обратно към режим Ask. За да видят използването на кредити, потребителите могат да отворят инструмента за проследяване в интерфейса на Perplexity.

Уголеми

Екипите, които работят в Проекти (споделените работни пространства на Perplexity), могат да зададат за всеки Проект режим по подразбиране: Търсене или Computer. За Проект, използван предимно за бързи проучвания, може да се зададе Търсене по подразбиране, така че никой да не стартира задача в Computer по невнимание.

За администратори на Enterprise

• Запознайте се с това какво включва всяко място. Потребителите на Enterprise Pro получават месечно 500 кредита, а потребителите на Enterprise Max – 15 000 кредита. Те изтичат в края на всеки месечен цикъл и не се прехвърлят.
• Първо задайте лимит за използване по подразбиране. Лимитът за използване ограничава колко допълнителни кредита може да изтегли даден член от общия фонд, след като собствените му кредити се изчерпят.
• Създайте именувани лимити за различните видове потребители. Администраторите могат да настроят лимити като „Стандартен“, „Опитен потребител“ и „Външен изпълнител“ и да ги присвоят на потребителски групи или на отделни членове. Групите може да идват от Perplexity или да се синхронизират от доставчика на идентичност на компанията. Ако някой принадлежи към повече от една група, се прилага най-високият лимит.
• Използвайте лични изключения за специални случаи. Когато даден човек се нуждае от различен лимит от този на групата си, личното изключение има предимство пред всеки групов или споделен лимит. Това е полезно за кратък проект с интензивно проучване, без да се вдига лимитът за целия екип.
• Поставете таван на автоматичното презареждане. Автоматичното презареждане допълва общия фонд автоматично. То идва с конфигурируем месечен лимит на презареждането, така че разходите не могат да растат без зададен максимум.
• Решете как членовете могат да поискат още кредити. Настройката „Разрешаване на членовете да искат още кредити“ позволява на хората, достигнали лимита си, да поискат още от администратор, вместо направо да бъдат спрени.
• Преглеждайте използването всеки месец. Страницата „Кредити на организацията“ показва отпуснатите, използваните и оставащите кредити за всеки член, както и груповите лимити и баланса на общия фонд. За организации с 50 или повече места или поне един член с Enterprise Max таблото Insights добавя месечно активните потребители и седмичните запитвания във времето. За повече подробности журналите за одит записват изпълнението на задачи, използването на конектори, потреблението на кредити и отпускането на кредити.

За екипи, които изграждат решения върху API

• Дайте на всеки инструмент или екип собствен API ключ. Perplexity може да показва фактурирането за всеки ключ поотделно, а отделните ключове показват ясно кой инструмент генерира използването.
• Проверете на страницата за фактуриране кой вид токени нараства. Тя показва входните и изходните токени и токените за разсъждение във времето. Нарастващите входни токени обикновено означават, че даден инструмент изпраща повече текст, отколкото е необходимо. Нарастващите токени за разсъждение означават, че задачите се изпълняват с модели, които обмислят проблемите надълго.
• Използвайте Search API, когато даден инструмент се нуждае само от резултати от търсене. Search API връща уеб резултати, без модел да пише отговор, и се таксува за всяка заявка, без допълнителни такси според броя на токените.
• Стартирайте инструментите за агенти от предварителна настройка. Предварителните настройки на Perplexity съобразяват размера на модела с размера на задачата и не допускат простите заявки да стигат до най-скъпите модели

Работа предимно локално

Част от работата изобщо не изисква платен облачен модел. Portable Computer е версия на агента на Perplexity, която работи на собствения компютър на потребителя, като използва модел на ИИ, съхранен на това устройство. Тъй като моделът работи локално, рутинната работа не използва платени токени. Агентът се свързва с интернет, свързаните приложения или по-мощен облачен модел само когато задачата го изисква, и първо пита потребителя.

Разгледайте как Perplexity Computer се справя с многостъпкова работа в интернет, файловете и свързаните инструменти.

Често задавани въпроси

Каква е разликата между разхода на токени и разходите за ИИ?

Разходът на токени измерва колко работа с ИИ върши екипът, изчислена в токени. Разходите за ИИ обхващат всичко, което екипът плаща, за да използва ИИ, включително абонаменти, допълнителни кредити и внедряване. Разходът на токени определя частта от сметката, която зависи от използването.

Плащат ли абонатите за всеки токен?

Обикновено не директно. Абонаментните инструменти проследяват използването в съобщения, запитвания или кредити, а задачите, които използват повече токени, ги изчерпват по-бързо. В Perplexity обикновените търсения изобщо не използват кредити – използват ги само задачите в Computer.

Защо агентите с ИИ използват толкова много токени?

Агентът изпълнява задачата в много стъпки и всяка стъпка е отделна заявка, която препрочита свършеното дотук. Затова дългата задача използва все повече токени с всяка следваща стъпка.

Защо използването на токени внезапно скача?

Повечето скокове следват промяна в начина, по който екипът работи – например нов автоматизиран работен процес, инструмент, въведен за повече хора, или дълга задача на агент. Сравняването на датата на скока с последните нововъведения обикновено показва причината. Предварителното тестване на новите работни процеси с малка група помага да се предотвратят скоковете.