Як відстежувати й контролювати витрати токенів команди

Що таке витрати токенів

Витрати токенів — це кількість токенів, яку команда споживає під час роботи з ШІ, і вартість цих токенів. Токен — це одиниця тексту, наприклад слово, частина слова або розділовий знак, яку модель ШІ читає або пише. В англійській мові 1 токен — це приблизно 4 символи. Токени не стандартизовані між моделями чи постачальниками, тому той самий текст може давати різну кількість токенів у різних інструментах.

Звіти про використання зазвичай поділяють токени на кілька типів:

• Вхідні токени — це все, що модель читає для запиту. Сюди входять сам запит, будь-який доданий текст та історія розмови з того самого треду, яку модель використовує повторно.
• Вихідні токени — це відповідь, яку пише модель. Вони часто коштують дорожче за вхідні. За тарифами API Perplexity деякі моделі беруть за вихідні токени вшестеро більше.
• Токени міркування — це текст, який модель генерує внутрішньо, щоб опрацювати задачу перед відповіддю. Вони не відображаються у відповіді, тому довша видима відповідь не обов’язково означає, що модель загалом використала більше токенів.

Команди, які користуються інструментами ШІ за передплатою, рідко бачать оплату за кожен токен. Проте токени все одно визначають, що вони отримують, адже складніші завдання швидше витрачають кредити або досягають лімітів використання. Команди, які створюють власні інструменти на основі моделі ШІ, зазвичай платять за кожен токен — за тарифікацією на основі використання.

Як відстежувати витрати токенів

Відстеження витрат токенів у плані з передплатою

Інструменти з передплатою зазвичай не показують кількість токенів. Натомість у багатьох планах використовуються кредити — передплачені одиниці, які списуються в міру виконання роботи. Кредити — не те саме, що токени, адже один кредит може покривати текст, зображення чи іншу роботу. Але завдання, які використовують більше токенів, зазвичай витрачають і більше кредитів, тож саме кредити — найкращий орієнтир для оцінки витрат токенів за передплатою. Користувачі можуть відстежувати власне використання кредитів, а деякі плани також містять панель адміністратора, що показує використання кредитів усією командою.

Наприклад, у Perplexity звичайні пошукові запити не витрачають кредитів. Їх використовує лише Perplexity Computer — помічник, що виконує багатоетапні завдання. Користувачі Computer можуть бачити, скільки кредитів вони використали і на що саме. Кожне завдання Computer також показує власну загальну кількість кредитів у меню «Використання» своєї розмови.

Розгорнути

У планах Enterprise адміністратори можуть бачити, скільки людей користуються Perplexity і скільки запитів вони виконують щотижня, на панелі Insights (доступна для організацій із 50 або більше місцями чи принаймні одним учасником Enterprise Max).

Розгорнути

Відстеження витрат токенів у звітах про використання API

Звіти про використання від постачальника API показують кількість токенів безпосередньо, зазвичай із розбивкою за типами токенів. Наприклад, консоль API Platform від Perplexity дає змогу відстежувати на сторінці «Оплата» такі показники, як витрати вхідних і вихідних токенів, а також токенів міркування.

Чому витрати токенів зростають

Агенти виконують багато кроків для кожного завдання, і кожен крок — це окремий запит до моделі. Одне завдання може сягати сотень тисяч або навіть мільйонів токенів.

Моделі міркування також стають дедалі поширенішими. Модель міркування спершу викладає хід своїх думок, а вже потім відповідає, і кожне слово цього тексту рахується в токенах. Тож той самий запит до моделі міркування зазвичай використовує більше токенів, ніж до стандартної, хоча на екрані відповідь здається такою самою за довжиною.

Зрештою, що більше людей і робочих процесів загалом використовують ШІ, то більше накопичується використаних токенів. Частина цього зростання також пов’язана з токенмаксингом (tokenmaxxing), коли інженери запускають агентів переважно для того, щоб збільшити свою особисту кількість токенів і піднятися вище у внутрішніх рейтингах за токенами.

Як зменшити витрати токенів

Здебільшого високі витрати токенів спричиняють кілька видів роботи, які використовують більше токенів, ніж здається.

Довгі розмови та завдання агентів

Щоразу, коли модель відповідає, вона зазвичай перечитує всю розмову до цього моменту. Кожен новий запит містить усю попередню історію розмови плюс поточне повідомлення користувача. Тож коротке запитання наприкінці довгого треду використовує більше токенів, ніж те саме запитання в новому. Завдання агентів працюють так само, адже кожен крок додає свої результати до історії, яку перечитує наступний крок.

Розгорнути

Що з цим робити

• Починайте нову розмову, коли змінюється тема. На початку додайте підсумок у два-три рядки з усім, що моделі ще потрібно зі старого треду.
• Розбивайте довгі завдання агентів на менші. Виконуйте кожну частину як окреме завдання й передавайте лише ті результати, які потрібні наступній частині.
• Перевірте, чи використовують інструменти агентів вашої команди стиснення контексту. Стиснення автоматично підсумовує давніші частини завдання, тож модель перечитує менше. Якщо інструмент пропонує це як налаштування, увімкніть його.

Повторна обробка тих самих документів

Коли хтось додає той самий довгий файл, наприклад довідник із політик або каталог продукції, до багатьох окремих запитів, модель щоразу читає весь файл. Кожне прочитання рахується як вхідні токени.

Що з цим робити

• Навчіть користувачів копіювати в запит потрібний розділ довідника чи каталогу, а не додавати весь файл.
• Створіть стислі версії документів, якими команда часто користується. Односторінковий підсумок довгої політики може замінити повний документ у звичайних запитах.

Повторні спроби та цикли

Коли відповідь не така, як потрібно, і людина запускає завдання знову, кожна спроба витрачає токени. Те саме відбувається, коли агент застрягає й повторює той самий крок.

Що з цим робити

• Чітко опишіть завдання, бажаний результат і джерела вже в першому запиті. Наприклад: «Підсумуй у п’яти пунктах основні причини, з яких клієнти відмовлялися від послуг у третьому кварталі, використовуючи лише додані результати опитування».
• Перевіряйте перші кілька кроків завдання агента. Якщо агент повторює той самий крок або пошук, зупиніть його й перезапустіть із вужчим запитом.

Великі моделі для простих завдань

Потужніші моделі зазвичай коштують дорожче за токен, тож рутинна робота, як-от підсумки чи переформатування, може витрачати бюджет команди швидше, ніж потрібно.

Що з цим робити

• Використовуйте маршрутизацію моделей, яка зіставляє кожне завдання з моделлю, здатною з ним упоратися. Коротке переписування чи підсумок можна доручити меншій, дешевшій моделі, а найпотужнішу модель залишити для багатоетапних міркувань чи аналізу. API Perplexity застосовує цей підхід у своїх пресетах, які призначають меншу модель для швидкого пошуку, а більшу — для вичерпного аналізу.

Сплески після запуску нових робочих процесів

Новий автоматизований робочий процес або інструмент, розгорнутий для всієї команди, може збільшити використання буквально за ніч. Сплеск сам по собі не є проблемою, але варто знати, яка робота його спричинила.

Що з цим робити

• Спершу тестуйте нові робочі процеси на невеликій групі. Відстежуйте її використання протягом тижня-двох, перш ніж розгортати робочий процес для всієї команди.
• Установіть місячний бюджет для кожної команди. Орієнтуйтеся на використання за типовий місяць, щоб стрибок одразу було помітно.
• Вимкніть автопоповнення. Коли автопоповнення вимкнено, робота зупиняється після вичерпання кредитів, а нові кредити не купуються автоматично.

Як оптимізувати витрати токенів у Perplexity

Для щоденного використання

Computer використовує кредити, але запускається лише тоді, коли ви самі його обираєте: натиснувши значок Computer, працюючи в проєкті, де за замовчуванням увімкнено Computer, або використовуючи режим Work у Comet.

Розгорнути

Щоб повернутися до звичайного пошуку, натисніть значок Perplexity і перейдіть назад у режим «Запитати». Щоб переглянути використання кредитів, користувачі можуть відкрити трекер в інтерфейсі Perplexity.

Розгорнути

Команди, які працюють у проєктах — спільних робочих просторах Perplexity, — можуть налаштувати для кожного проєкту режим за замовчуванням: «Пошук» або Computer. Для проєкту, який переважно використовують для швидких досліджень, за замовчуванням можна вибрати «Пошук», щоб ніхто випадково не запустив завдання Computer.

Для адміністраторів Enterprise

• З’ясуйте, що входить до кожного місця. Користувачі Enterprise Pro щомісяця отримують 500 кредитів, а користувачі Enterprise Max — 15 000 кредитів. Вони згоряють наприкінці кожного місячного циклу й не переносяться на наступний.
• Спершу встановіть ліміт використання за замовчуванням. Ліміт використання обмежує, скільки додаткових кредитів учасник може взяти зі спільного пулу, коли його власний обсяг кредитів вичерпано.
• Створіть іменовані ліміти для різних типів користувачів. Адміністратори можуть налаштувати ліміти на кшталт «Стандартний», «Досвідчений користувач» і «Підрядник» та призначити їх групам користувачів або окремим учасникам. Групи можна створити в Perplexity або синхронізувати з постачальником ідентифікаційних даних компанії. Якщо людина належить до кількох груп, застосовується найвищий ліміт.
• Використовуйте персональні перевизначення для винятків. Коли одній людині потрібен інший ліміт, ніж її групі, персональне перевизначення має пріоритет над будь-яким груповим або спільним лімітом. Це зручно для короткого проєкту з інтенсивними дослідженнями — без підвищення ліміту для всієї команди.
• Обмежте автопоповнення. Автопоповнення автоматично поповнює спільний пул. Для нього можна налаштувати місячний ліміт поповнення, тож витрати не зростатимуть понад установлений максимум.
• Вирішіть, як учасники проситимуть більше кредитів. Налаштування «Дозволити учасникам запитувати більше кредитів» дає змогу тим, хто досяг свого ліміту, попросити в адміністратора додаткові кредити, а не просто зупиняти роботу.
• Щомісяця переглядайте використання. Сторінка «Кредити організації» показує надані, використані й залишкові кредити для кожного учасника, а також групові ліміти та баланс пулу. Для організацій із 50 або більше місцями чи принаймні одним учасником Enterprise Max панель Insights додатково показує щомісячних активних користувачів і щотижневі запити в динаміці. Для детальнішого аналізу журнали аудиту фіксують виконання завдань, використання конекторів, споживання кредитів і надання кредитів.

Для команд, які створюють рішення на основі API

• Призначте кожному інструменту чи команді окремий ключ API. Perplexity може показувати оплату для кожного ключа окремо, а окремі ключі чітко показують, який інструмент генерує використання.
• Перевіряйте на сторінці оплати, який тип токенів зростає. Там показано вхідні й вихідні токени, а також токени міркування в динаміці. Зростання вхідних токенів зазвичай означає, що інструмент надсилає більше тексту, ніж потрібно. Зростання токенів міркування означає, що завдання виконуються на моделях, які довго обмірковують задачі.
• Використовуйте Search API, коли інструменту потрібні лише результати пошуку. Він повертає вебрезультати без відповіді, написаної моделлю, а оплата стягується за кожен запит без додаткової плати за токени.
• Запускайте інструменти агентів на основі пресету. Пресети Perplexity добирають розмір моделі відповідно до розміру завдання й не спрямовують прості запити на найдорожчі моделі

Пріоритет локальної роботи

Деяка робота взагалі не потребує платної хмарної моделі. Portable Computer — це версія агента Perplexity, яка працює на власному комп’ютері користувача й використовує модель ШІ, збережену на цьому пристрої. Оскільки модель працює локально, рутинна робота не витрачає платних токенів. Агент звертається до вебу, під’єднаних застосунків або потужнішої хмарної моделі лише тоді, коли цього потребує завдання, і спершу запитує дозвіл користувача.

Дізнайтеся, як Perplexity Computer виконує багатоетапну роботу в інтернеті, з файлами та під’єднаними інструментами.

Поширені запитання

Чим витрати токенів відрізняються від витрат на ШІ?

Витрати токенів вимірюють обсяг роботи з ШІ, яку виконує команда, у токенах. Витрати на ШІ охоплюють усе, що команда платить за використання ШІ, зокрема передплати, додаткові кредити та налаштування. Саме витрати токенів визначають ту частину рахунку, що залежить від використання.

Чи платять користувачі з передплатою за кожен токен?

Зазвичай не напряму. Інструменти з передплатою відстежують використання в повідомленнях, запитах або кредитах, а завдання, які використовують більше токенів, швидше їх вичерпують. У Perplexity звичайні пошукові запити взагалі не витрачають кредитів — їх витрачають лише завдання Computer.

Чому агенти ШІ використовують так багато токенів?

Агент виконує завдання в багато кроків, і кожен крок — це окремий запит, який заново перечитує всю виконану досі роботу. Тому довге завдання використовує дедалі більше токенів із кожним кроком.

Чому використання токенів раптово різко зростає?

Більшість сплесків виникає після змін у тому, як працює команда, — наприклад, після запуску нового автоматизованого робочого процесу, розгортання інструмента для більшої кількості людей або довгого завдання агента. Порівняння дати сплеску з нещодавніми запусками зазвичай дає змогу визначити причину. Якщо спершу тестувати нові робочі процеси на невеликій групі, сплесків можна уникнути.