Команданың токен шығынын қалай қадағалап, басқаруға болады

Токен шығыны дегеніміз не

Токен шығыны — команданың ЖИ-мен жұмыс істегенде тұтынатын токендер саны және сол токендердің құны. Токен — ЖИ моделі оқитын немесе жазатын мәтін бірлігі: сөз, сөздің бөлігі немесе тыныс белгісі. Ағылшын тілінде 1 токен шамамен 4 таңбаға тең. Токендер модельдер мен провайдерлер арасында стандартталмаған, сондықтан бір мәтін әртүрлі құралдарда әртүрлі токен санын беруі мүмкін.

Пайдалану есептерінде токендер әдетте бірнеше түрге бөлінеді:

• Кіріс токендері — модель сұрауды өңдегенде оқитын барлық мәтін. Оған сұраныстың өзі, тіркелген кез келген мәтін және модель сол тредтің бұрынғы бөлігінен қайта пайдаланатын сөйлесу тарихы кіреді.
• Шығыс токендері — модель жазатын жауап. Олар көбіне кіріс токендерінен қымбатырақ болады. Perplexity API бағаларында кейбір модельдер шығыс үшін алты есе көп ақы алады.
• Пайымдау токендері — модель жауап бермес бұрын мәселені шешу үшін ішкі түрде жасайтын мәтін. Олар жауапта көрінбейді, сондықтан көрінетін жауаптың ұзағырақ болуы модельдің жалпы алғанда көбірек токен пайдаланғанын міндетті түрде білдірмейді.

ЖИ құралдарын жазылым арқылы пайдаланатын командалар әр токен үшін бөлек төлемді сирек көреді. Дегенмен токендер олардың алатын мүмкіндіктеріне әсер етеді, өйткені ауыр тапсырмалар кредиттерді тезірек жұмсайды немесе пайдалану лимиттеріне тезірек жетеді. ЖИ моделі негізінде өз құралдарын жасайтын командалар, керісінше, әдетте пайдалануға негізделген баға белгілеу бойынша әр токен үшін төлейді.

Токен шығынын қалай қадағалауға болады

Жазылым жоспарындағы токен шығынын қадағалау

Жазылым құралдары әдетте токендер санын көрсетпейді. Оның орнына көптеген жоспарлар кредиттерді пайдаланады — бұл жұмыс орындалған сайын жоспардан шегерілетін алдын ала төленген бірліктер. Кредиттер токендермен бірдей емес, өйткені бір кредит мәтінді, суреттерді немесе басқа жұмысты қамтуы мүмкін. Бірақ көбірек токен пайдаланатын тапсырмалар әдетте көбірек кредит те жұмсайды, сондықтан жазылымдағы токен шығынын бағалаудың ең жақсы бағдары — кредиттер. Пайдаланушылар өз кредит шығынын қадағалай алады, ал кейбір жоспарларда бүкіл команданың кредит шығынын көрсететін әкімші бақылау тақтасы да болады.

Мысалы, Perplexity-де қарапайым іздеулер кредит жұмсамайды. Оларды тек көп қадамды тапсырмаларды орындайтын көмекші — Perplexity Computer ғана пайдаланады. Computer пайдаланушылары қанша кредит жұмсағанын және оларды не үшін жұмсағанын көре алады. Сондай-ақ әрбір Computer тапсырмасы өз сөйлесуіндегі «Пайдалану» мәзірінде өзінің жалпы кредит шығынын көрсетеді.

Ұлғайту

Enterprise жоспарларында әкімшілер Perplexity-ді қанша адам пайдаланатынын және олардың апта сайын қанша сұраныс жасайтынын Insights бақылау тақтасынан көре алады (50 не одан көп орны бар немесе кемінде бір Enterprise Max мүшесі бар ұйымдарға қолжетімді).

Ұлғайту

API пайдалану есептерінде токен шығынын қадағалау

API провайдерінің пайдалану есептері токендер санын тікелей, әдетте токен түрлері бойынша бөліп көрсетеді. Мысалы, Perplexity-дің API Platform консолі Billing бетінде кіріс, шығыс және пайымдау токендерінің шығыны сияқты көрсеткіштерді қадағалауға мүмкіндік береді.

Токен шығыны неліктен өсіп келеді

Агенттер әр тапсырмада көптеген қадам орындайды, ал әр қадам — модельге жіберілетін жеке сұрау. Бір тапсырманың өзі жүздеген мың, тіпті миллиондаған токенге жетуі мүмкін.

Пайымдау модельдері де кеңінен таралып келеді. Пайымдау моделі жауап бермес бұрын өз ойлау барысын жазып шығады және оның әрбір сөзі токен ретінде есептеледі. Сондықтан экрандағы жауаптың ұзындығы бірдей көрінсе де, бір сұрау әдетте стандартты модельге қарағанда пайымдау моделінде көбірек токен пайдаланады.

Соңында, ЖИ-ді жалпы алғанда көбірек адамдар мен жұмыс процестері пайдаланған сайын токен шығыны жинала береді. Бұл өсімнің бір бөлігі tokenmaxxing құбылысынан да туындайды: инженерлер агенттерді негізінен жеке токен көрсеткіштерін арттыру және ішкі токен рейтингтерінде жоғары орын алу үшін іске қосады.

Токен шығынын қалай азайтуға болады

Жоғары токен шығынының басым бөлігі сырттай көрінгеннен әлдеқайда көп токен пайдаланатын бірнеше жұмыс түрінен туындайды.

Ұзақ сөйлесулер мен агент тапсырмалары

Модель жауап берген сайын әдетте осы уақытқа дейінгі бүкіл сөйлесуді қайта оқиды. Әрбір жаңа сұрауға алдыңғы сөйлесу тарихының бәрі және пайдаланушының ағымдағы хабары кіреді. Сондықтан ұзақ тредтің соңында қойылған қысқа сұрақ жаңа тредте қойылған дәл сондай сұрақтан көбірек токен пайдаланады. Агент тапсырмалары да осылай жұмыс істейді, өйткені әр қадам өз нәтижелерін келесі қадам қайта оқитын тарихқа қосады.

Ұлғайту

Не істеу керек

• Тақырып өзгерген кезде жаңа сөйлесу бастаңыз. Оны ескі тредтегі модельге әлі де қажет ақпараттың екі-үш жолдық қысқаша мазмұнынан бастаңыз.
• Ұзақ агент тапсырмаларын кішірек бөліктерге бөліңіз. Әр бөлікті жеке тапсырма ретінде іске қосып, келесі бөлікке тек қажетті нәтижелерді ғана беріңіз.
• Команда пайдаланатын агент құралдарында контекстті ықшамдау (context compaction) бар-жоғын тексеріңіз. Ықшамдау тапсырманың ескі бөліктерін автоматты түрде қорытындылайды, сондықтан модель азырақ мәтінді қайта оқиды. Егер құралда бұл мүмкіндік параметр ретінде берілсе, оны қосыңыз.

Қайта-қайта өңделетін бірдей құжаттар

Біреу ішкі ережелер анықтамалығы немесе өнім каталогы сияқты бір ұзын файлды көптеген бөлек сұраныстарға тіркегенде, модель әр жолы бүкіл файлды оқиды. Әр оқу кіріс токендері ретінде есептеледі.

Не істеу керек

• Пайдаланушыларды бүкіл файлды тіркеудің орнына анықтамалықтың немесе каталогтың қажетті бөлімін сұрауға көшіріп қоюға үйретіңіз.
• Команда жиі пайдаланатын құжаттардың қысқа нұсқасын жасаңыз. Ұзын ереженің бір беттік қысқаша мазмұны күнделікті сұраныстарда толық құжаттың орнын баса алады.

Қайталап іске қосулар мен циклдер

Жауап адамға қажет нәрсе болмай шығып, ол тапсырманы қайта іске қосқанда, әрбір әрекет токен жұмсайды. Агент бір қадамды қайталай беріп, тұйыққа тірелгенде де дәл солай болады.

Не істеу керек

• Алғашқы сұрауда тапсырманы, күтілетін нәтижені және дереккөздерді нақты көрсетіңіз. Мысалы: «Тек тіркелген сауалнама нәтижелерін пайдаланып, 3-тоқсанда тұтынушылардың бас тартуының негізгі себептерін бес тармақпен қорытындыла».
• Агент тапсырмасының алғашқы бірнеше қадамын тексеріңіз. Егер агент бір қадамды немесе іздеуді қайталай берсе, оны тоқтатып, нақтырақ сұраумен қайта бастаңыз.

Қарапайым тапсырмалардағы ірі модельдер

Мүмкіндігі жоғары модельдер әдетте бір токен үшін қымбатырақ тұрады, сондықтан қысқаша мазмұн жазу немесе мәтіннің пішімін өзгерту сияқты күнделікті жұмыс команданың бюджетін қажетінен тезірек жұмсап жіберуі мүмкін.

Не істеу керек

• Модельдерді бағыттауды (model routing) пайдаланыңыз: ол әр тапсырманы оны орындай алатын модельге сәйкестендіреді. Қысқа мәтінді қайта жазу немесе қорытындылау кішірек әрі арзанырақ модельге жіберіледі, ал ең қабілетті модель көп қадамды пайымдау немесе талдау үшін сақталады. Perplexity API-і осы тәсілді өз алдын ала баптауларында (presets) қолданады: олар жылдам іздеуге кішірек модельді, ал жан-жақты талдауға үлкенірек модельді тағайындайды.

Жаңа жұмыс процестерінен кейінгі күрт өсулер

Жаңа автоматтандырылған жұмыс процесі немесе бүкіл командаға енгізілген құрал пайдалануды бір түнде арттыруы мүмкін. Күрт өсудің өзі проблема емес, бірақ оған қандай жұмыс себеп болғанын білген жөн.

Не істеу керек

• Жаңа жұмыс процестерін алдымен шағын топпен сынаңыз. Жұмыс процесін бүкіл командаға енгізбес бұрын бір-екі апта бойы олардың пайдалануын тексеріңіз.
• Әр команда үшін ай сайынғы бюджет белгілеңіз. Оны әдеттегі айдағы пайдалануға негіздеңіз, сонда кез келген күрт өсу бірден байқалады.
• Автоматты толтыруды өшіріңіз. Автоматты толтыру өшірулі болса, кредиттер біткенде қосымша кредиттер автоматты түрде сатып алынбайды, жұмыс тоқтайды.

Perplexity-де токен шығынын қалай оңтайландыруға болады

Күнделікті пайдалану үшін

Computer кредит жұмсайды, бірақ ол тек сіз оны таңдағанда ғана іске қосылады: Computer белгішесін таңдағанда, әдепкі режимі Computer болып тұрған жобада жұмыс істегенде немесе Comet Work режимін пайдаланғанда.

Ұлғайту

Қарапайым іздеуге оралу үшін Perplexity белгішесін таңдап, Сұрау режиміне қайта ауысыңыз. Кредит шығынын көру үшін пайдаланушылар Perplexity интерфейсіндегі трекерді аша алады.

Ұлғайту

Perplexity-дің ортақ жұмыс кеңістіктері болып табылатын жобаларда жұмыс істейтін командалар әр жобаның әдепкі режимін Іздеу немесе Computer етіп орната алады. Негізінен жылдам зерттеуге арналған жобаның әдепкі режимін Іздеу етіп қоюға болады, сонда ешкім Computer тапсырмасын байқаусызда бастамайды.

Enterprise әкімшілері үшін

• Әр орынға не кіретінін біліңіз. Enterprise Pro пайдаланушылары ай сайын 500 кредит алады, ал Enterprise Max пайдаланушылары 15 000 кредит алады. Бұл кредиттердің мерзімі әр айлық кезеңнің соңында аяқталады және келесі айға ауыспайды.
• Алдымен әдепкі пайдалану лимитін орнатыңыз. Пайдалану лимиті мүшенің өз үлесі біткеннен кейін ортақ қордан қанша қосымша кредит ала алатынын шектейді.
• Пайдаланушылардың әртүрлі түрлері үшін атаулы лимиттер жасаңыз. Әкімшілер «Стандартты», «Белсенді пайдаланушы» және «Мердігер» сияқты лимиттерді орнатып, оларды пайдаланушы топтарына немесе жеке мүшелерге тағайындай алады. Топтарды Perplexity-де жасауға немесе компанияның сәйкестендіру провайдерінен синхрондауға болады. Егер адам бірнеше топқа кірсе, ең жоғары лимит қолданылады.
• Ерекше жағдайлар үшін жеке қайта анықтауларды пайдаланыңыз. Бір адамға өз тобынан өзгеше шек қажет болғанда, жеке қайта анықтау кез келген топтық немесе ортақ лимиттен басым болады. Бұл бүкіл команданың шегін көтермей-ақ, ауқымды зерттеуді қажет ететін қысқа мерзімді жоба үшін пайдалы.
• Автоматты толтыруға жоғарғы шек қойыңыз. Автоматты толтыру ортақ қорды автоматты түрде толықтырады. Оның ай сайынғы толтыру лимитін баптауға болады, сондықтан шығындар белгіленген ең жоғары мәннен асып кетпейді.
• Мүшелердің қосымша кредитті қалай сұрайтынын шешіңіз. «Мүшелерге қосымша кредит сұрауға рұқсат беру» параметрі лимитіне жеткен адамдарға жұмысты бірден тоқтатудың орнына әкімшіден қосымша кредит сұрауға мүмкіндік береді.
• Пайдалануды ай сайын қарап шығыңыз. «Ұйым кредиттері» бетінде әр мүшеге берілген, жұмсалған және қалған кредиттер, сондай-ақ топтық лимиттер мен қор балансы көрсетіледі. 50 не одан көп орны бар немесе кемінде бір Enterprise Max мүшесі бар ұйымдар үшін Insights бақылау тақтасы уақыт бойынша ай сайынғы белсенді пайдаланушылар мен апталық сұраныстарды қосымша көрсетеді. Толығырақ ақпарат алу үшін аудит журналдары тапсырмалардың орындалуын, коннекторлардың пайдаланылуын, кредит шығынын және кредит берілуін тіркейді.

API негізінде құрал жасайтын командалар үшін

• Әр құралға немесе командаға жеке API кілтін беріңіз. Perplexity әр кілт бойынша төлемдерді бөлек көрсете алады, ал бөлек кілттер пайдалануды қай құрал арттырып отырғанын анық көрсетеді.
• Қай токен түрі өсіп жатқанын төлем бетінен тексеріңіз. Онда уақыт бойынша кіріс, шығыс және пайымдау токендері көрсетіледі. Кіріс токендерінің өсуі әдетте құралдың қажетінен көп мәтін жіберіп жатқанын білдіреді. Пайымдау токендерінің өсуі тапсырмалардың мәселелерді ұзақ ойланып шешетін модельдерде орындалып жатқанын білдіреді.
• Құралға тек іздеу нәтижелері қажет болса, Search API-ді пайдаланыңыз. Ол модель жауап жазбай-ақ веб-нәтижелерді қайтарады және токенге негізделген қосымша ақысыз, әр сұрау үшін ақы алады.
• Агент құралдарын алдын ала баптаудан бастаңыз. Perplexity-дің алдын ала баптаулары тапсырманың көлемін модельдің көлеміне сәйкестендіреді және қарапайым сұрауларды ең қымбат модельдерге жібермейді.

Жергілікті құрылғыдағы жұмыс

Кейбір жұмысқа ақылы бұлттық модель мүлдем қажет емес. Portable Computer — Perplexity агентінің адамның өз компьютерінде, сол құрылғыда сақталған ЖИ моделін пайдаланып жұмыс істейтін нұсқасы. Модель жергілікті түрде жұмыс істейтіндіктен, күнделікті жұмыс ақылы токендерді жұмсамайды. Ол интернетке, қосылған қолданбаларға немесе қуаттырақ бұлттық модельге тек тапсырмаға қажет болғанда ғана жүгінеді және алдымен пайдаланушыдан рұқсат сұрайды.

Perplexity Computer көп қадамды жұмысты интернетте, файлдарда және қосылған құралдарда қалай орындайтынын біліңіз.

Жиі қойылатын сұрақтар

Токен шығыны мен ЖИ шығындарының айырмашылығы неде?

Токен шығыны команданың ЖИ арқылы қанша жұмыс атқаратынын токенмен есептеп өлшейді. ЖИ шығындары команданың ЖИ-ді пайдалану үшін төлейтін барлық шығынын, соның ішінде жазылымдарды, қосымша кредиттерді және енгізуді қамтиды. Бұл шоттың пайдалануға негізделген бөлігін токен шығыны анықтайды.

Жазылым пайдаланушылары әр токен үшін төлей ме?

Әдетте тікелей төлемейді. Жазылым құралдары пайдалануды хабарлар, сұраныстар немесе кредиттер арқылы есептейді, ал көбірек токен пайдаланатын тапсырмалар оларды тезірек таусады. Perplexity-де қарапайым іздеулер кредит мүлдем жұмсамайды; оларды тек Computer тапсырмалары жұмсайды.

ЖИ агенттері неліктен соншалықты көп токен пайдаланады?

Агент тапсырманы көптеген қадаммен орындайды, ал әр қадам — осы уақытқа дейін атқарылған жұмысты қайта оқитын жеке сұрау. Сондықтан ұзақ тапсырма әр қадам сайын көбірек токен пайдаланады.

Токен шығыны неліктен кенеттен күрт өседі?

Күрт өсулердің көбі команданың жұмыс тәсіліндегі өзгерістен кейін болады: мысалы, жаңа автоматтандырылған жұмыс процесі, көбірек адамға енгізілген құрал немесе ұзақ агент тапсырмасы. Күрт өсу күнін соңғы іске қосулармен салыстыру әдетте себебін көрсетеді. Жаңа жұмыс процестерін алдымен шағын топпен сынау күрт өсулердің алдын алуға көмектеседі.