A csapat tokenköltésének nyomon követése és szabályozása

Mi az a tokenköltés

A tokenköltés azt mutatja meg, hány tokent használ fel egy csapat az AI-jal, és mennyibe kerülnek ezek a tokenek. A token egy szövegegység – például egy szó, egy szórészlet vagy egy írásjel –, amelyet egy AI-modell beolvas vagy előállít. Angol nyelvű szövegben 1 token nagyjából 4 karakternek felel meg. A tokenek nem egységesek a modellek és a szolgáltatók között, így ugyanaz a szöveg a különböző eszközökben eltérő tokenszámot eredményezhet.

A használati jelentések a tokeneket általában néhány típusra bontják:

• A bemeneti tokenek mindazt jelentik, amit a modell egy kérés során beolvas. Ide tartozik a lekérdezés, a csatolt szövegek, valamint az ugyanazon szál korábbi részéből származó beszélgetési előzmények, amelyeket a modell újra felhasznál.
• A kimeneti tokenek a modell által megírt választ alkotják. Gyakran többe kerülnek, mint a bemeneti tokenek. A Perplexity API-díjszabásában egyes modellek hatszor annyit számolnak fel a kimenetért.
• Az érvelési tokenek olyan szövegek, amelyeket a modell belsőleg állít elő, hogy a válaszadás előtt végiggondolja a problémát. Ezek nem jelennek meg a válaszban, így egy hosszabb látható válasz nem feltétlenül jelenti azt, hogy a modell összességében több tokent használt fel.

Az előfizetéses AI-eszközöket használó csapatok ritkán találkoznak tokenenkénti díjjal. A tokenek ettől még befolyásolják, mit kapnak, hiszen a nagyobb igényű feladatok gyorsabban elhasználják a krediteket, vagy hamarabb elérik a használati korlátokat. Azok a csapatok viszont, amelyek egy AI-modellre építve saját eszközöket fejlesztenek, jellemzően tokenenként fizetnek, használatalapú díjszabás szerint.

A tokenköltés nyomon követése

A tokenköltés nyomon követése előfizetéses csomag esetén

Az előfizetéses eszközök általában nem mutatják a tokenszámokat. Ehelyett sok csomag krediteket használ: ezek előre kifizetett egységek, amelyek a munka előrehaladtával fogynak a csomagból. A kreditek nem azonosak a tokenekkel, mivel egy kredit szövegre, képekre vagy más munkára is vonatkozhat. A több tokent használó feladatok azonban általában több kreditet is fogyasztanak, így előfizetés esetén a kreditek adják a legjobb támpontot a tokenköltéshez. A felhasználók nyomon követhetik a saját kredithasználatukat, egyes csomagok pedig adminisztrátori irányítópultot is tartalmaznak, amely a teljes csapat kredithasználatát mutatja.

A Perplexityben például a hagyományos keresések nem használnak kreditet. Csak a Perplexity Computer, a többlépéses feladatokat kezelő asszisztens használja őket. A Computer felhasználói láthatják, hány kreditet használtak fel, és mire. Minden Computer-feladat a saját kreditösszegét is megjeleníti a hozzá tartozó beszélgetés „Használat” menüjében.

Nagyítás

Az Enterprise csomagokban az adminisztrátorok az Insights irányítópulton láthatják, hányan használják a Perplexityt, és hetente hány lekérdezést futtatnak (az irányítópult a legalább 50 hellyel vagy legalább egy Enterprise Max-taggal rendelkező szervezetek számára érhető el).

Nagyítás

A tokenköltés nyomon követése az API használati jelentéseiben

Az API-szolgáltató használati jelentései közvetlenül mutatják a tokenszámokat, általában tokentípusonként bontva. A Perplexity API Platform konzolján például a felhasználók a Számlázás oldalon követhetik nyomon az olyan mutatókat, mint a bemeneti, a kimeneti és az érvelési tokenköltés.

Miért nő a tokenköltés

Az ügynökök feladatonként számos lépést hajtanak végre, és minden lépés egy külön kérés egy modell felé. Egyetlen feladat több százezer, sőt akár több millió tokent is felemészthet.

Az érvelő modellek is egyre elterjedtebbek. Az érvelő modell a válasz előtt leírja a gondolatmenetét, és ennek minden szava tokennek számít. Így ugyanaz a kérés egy érvelő modellen általában több tokent használ fel, mint egy hagyományos modellen, még akkor is, ha a képernyőn megjelenő válasz ugyanolyan hosszúnak tűnik.

Végül, ahogy általában egyre több ember és munkafolyamat használ AI-t, a tokenhasználat is egyre nagyobb lesz. A növekedés egy része az úgynevezett tokenmaxxingból is ered: ilyenkor a mérnökök elsősorban azért futtatnak ügynököket, hogy növeljék a saját tokenszámukat, és előrébb kerüljenek a belső tokenranglistákon.

A tokenköltés csökkentése

A magas tokenköltés nagy része néhány olyan munkatípusból ered, amely több tokent használ fel, mint amennyinek látszik.

Hosszú beszélgetések és ügynökfeladatok

Amikor egy modell válaszol, általában minden alkalommal újraolvassa az addigi teljes beszélgetést. Minden új kérés tartalmazza a teljes korábbi beszélgetési előzményt, valamint a felhasználó aktuális üzenetét. Így egy hosszú szál végén feltett rövid kérdés több tokent használ fel, mint ugyanaz a kérdés egy új szálban. Az ügynökfeladatok ugyanígy működnek, mert minden lépés hozzáadja az eredményeit ahhoz az előzményhez, amelyet a következő lépés újraolvas.

Nagyítás

Mit lehet tenni ellene

• Ha a téma megváltozik, kezdjen új beszélgetést. Az elején adjon egy két-három soros összefoglalót mindarról a régi szálból, amire a modellnek még szüksége van.
• Bontsa a hosszú ügynökfeladatokat kisebbekre. Minden részt külön feladatként futtasson, és csak azokat az eredményeket adja tovább, amelyekre a következő résznek szüksége van.
• Ellenőrizze, hogy a csapat ügynökeszközei alkalmaznak-e kontextustömörítést. A tömörítés automatikusan összefoglalja a feladat régebbi részeit, így a modellnek kevesebbet kell újraolvasnia. Ha egy eszköz beállításként kínálja ezt a funkciót, kapcsolja be.

Ugyanazon dokumentumok ismételt feldolgozása

Ha valaki ugyanazt a hosszú fájlt – például egy szabályzati kézikönyvet vagy egy termékkatalógust – sok különálló lekérdezéshez csatolja, a modell minden alkalommal beolvassa a teljes fájlt. Minden egyes beolvasás bemeneti tokeneket használ fel.

Mit lehet tenni ellene

• Tanítsa meg a felhasználókat arra, hogy a teljes fájl csatolása helyett a kézikönyv vagy a katalógus releváns részét másolják be a kérésbe.
• Készítsen rövid változatot a csapat által gyakran használt dokumentumokból. Egy hosszú szabályzat egyoldalas összefoglalója a rutinszerű lekérdezésekben helyettesítheti a teljes dokumentumot.

Újrapróbálkozások és ismétlődő ciklusok

Ha egy válasz nem az, amire valakinek szüksége volt, és újra lefuttatja a feladatot, minden próbálkozás tokeneket használ fel. Ugyanez történik, ha egy ügynök elakad, és ugyanazt a lépést ismételgeti.

Mit lehet tenni ellene

• Már az első kérésben fogalmazza meg pontosan a feladatot, az elvárt eredményt és a forrásokat. Például: „Foglald össze öt felsoroláspontban a harmadik negyedéves ügyféllemondások fő okait, kizárólag a csatolt felmérési eredmények alapján.”
• Ellenőrizze az ügynökfeladat első néhány lépését. Ha az ügynök ugyanazt a lépést vagy keresést ismétli, állítsa le, és indítsa újra egy szűkebb kéréssel.

Nagy modellek egyszerű feladatokra

A nagyobb tudású modellek általában tokenenként többe kerülnek, így a rutinmunkák, például az összefoglalók vagy az újraformázás, a szükségesnél gyorsabban felemészthetik a csapat költségkeretét.

Mit lehet tenni ellene

• Alkalmazzon modell-útválasztást, amely minden feladathoz olyan modellt rendel, amely képes azt elvégezni. Egy rövid átírás vagy összefoglaló kerülhet egy kisebb, olcsóbb modellhez, a legnagyobb tudású modellt pedig a többlépéses érveléshez vagy elemzéshez érdemes fenntartani. A Perplexity API az előbeállításaival ezt a megközelítést követi: egy gyors kereséshez kisebb, egy alapos elemzéshez pedig nagyobb modellt rendel.

Kiugrások új munkafolyamatok bevezetése után

Egy új automatizált munkafolyamat vagy egy teljes csapat számára bevezetett eszköz egyik napról a másikra megnövelheti a használatot. A kiugrás önmagában nem probléma, de érdemes tudni, melyik munka okozta.

Mit lehet tenni ellene

• Az új munkafolyamatokat először egy kis csoporttal tesztelje. Egy-két hétig kövesse figyelemmel a csoport használatát, mielőtt a munkafolyamatot a teljes csapat számára bevezetné.
• Állítson be havi költségkeretet minden csapat számára. Ezt egy átlagos hónap használatára alapozza, így egy hirtelen ugrás azonnal szembetűnik.
• Kapcsolja ki az automatikus feltöltést. Kikapcsolt automatikus feltöltés esetén a munka leáll, amikor elfogynak a kreditek, ahelyett, hogy a rendszer automatikusan újabb krediteket vásárolna.

A tokenköltés optimalizálása a Perplexityben

Mindennapi használatra

A Computer krediteket használ, de csak akkor fut, ha Ön kiválasztja: a Computer ikonra kattintva, olyan projektben dolgozva, amelynek alapértelmezett módja a Computer, vagy a Comet Work mód használatával.

Nagyítás

Ha vissza szeretne térni a hagyományos kereséshez, válassza a Perplexity ikont, amellyel visszavált Kérdezés módra. A kredithasználat megtekintéséhez a felhasználók megnyithatják a kreditkövetőt a Perplexity felületén.

Nagyítás

A projektekben – a Perplexity megosztott munkaterületein – dolgozó csapatok minden projekt alapértelmezett módját beállíthatják Keresésre vagy Computerre. Egy főként gyors kutatásra használt projekt alapértelmezés szerint Keresés módban működhet, így senki sem indít véletlenül Computer-feladatot.

Enterprise-adminisztrátoroknak

• Legyen tisztában azzal, mit tartalmaz egy-egy hely. Az Enterprise Pro-felhasználók havonta 500 kreditet kapnak, az Enterprise Max-felhasználók pedig 15 000 kreditet. Ezek minden havi ciklus végén lejárnak, és nem vihetők át a következő hónapra.
• Először állítson be alapértelmezett használati korlátot. A használati korlát azt határozza meg, legfeljebb hány további kreditet vehet igénybe egy tag a közös keretből, miután a saját kerete elfogyott.
• Hozzon létre elnevezett korlátokat a különböző felhasználótípusokhoz. Az adminisztrátorok olyan korlátokat állíthatnak be, mint az „Alap”, a „Haladó felhasználó” és a „Külsős munkatárs”, és ezeket felhasználói csoportokhoz vagy egyes tagokhoz rendelhetik. A csoportok a Perplexityből származhatnak, vagy szinkronizálhatók a vállalat identitásszolgáltatójából. Ha valaki több csoportnak is tagja, a legmagasabb korlát érvényes rá.
• Kivételek esetén használjon személyes felülbírálást. Ha valakinek a csoportjáétól eltérő korlátra van szüksége, a személyes felülbírálás elsőbbséget élvez minden csoport- vagy közös korláttal szemben. Ez hasznos lehet például egy rövid, intenzív kutatást igénylő projektnél, anélkül, hogy a teljes csapat korlátját meg kellene emelni.
• Szabjon felső határt az automatikus feltöltésnek. Az automatikus feltöltés magától feltölti a közös keretet. A funkcióhoz konfigurálható havi újratöltési korlát tartozik, így a költések nem nőhetnek egy meghatározott maximumon túl.
• Döntse el, hogyan kérhetnek a tagok többet. A „Tagok további krediteket kérhetnek” beállítás lehetővé teszi, hogy a korlátjukat elérő felhasználók további krediteket kérjenek egy adminisztrátortól, ahelyett, hogy a rendszer azonnal leállítaná őket.
• Tekintse át a használatot minden hónapban. A Szervezeti kreditek oldal tagonként mutatja a kiosztott, a felhasznált és a fennmaradó krediteket, a csoportkorlátokkal és a közös keret egyenlegével együtt. A legalább 50 hellyel vagy legalább egy Enterprise Max-taggal rendelkező szervezetek esetében az Insights irányítópult a havi aktív felhasználók számát és a heti lekérdezések időbeli alakulását is megjeleníti. A részletesebb képhez az auditnaplók rögzítik a feladatok végrehajtását, a csatlakozók használatát, a kreditfelhasználást és a kreditkiosztásokat.

Az API-ra építő csapatoknak

• Adjon minden eszköznek vagy csapatnak saját API-kulcsot. A Perplexity kulcsonként külön is meg tudja jeleníteni a számlázást, a különálló kulcsokkal pedig egyértelművé válik, melyik eszköz generálja a használatot.
• A számlázási oldalon ellenőrizze, melyik tokentípus mennyisége nő. Az oldal a bemeneti, a kimeneti és az érvelési tokenek időbeli alakulását mutatja. A növekvő bemeneti tokenszám általában azt jelzi, hogy egy eszköz a szükségesnél több szöveget küld. A növekvő érvelési tokenszám pedig azt jelzi, hogy a feladatok olyan modelleken futnak, amelyek hosszasan gondolják végig a problémákat.
• Használja a Search API-t, ha egy eszköznek csak keresési találatokra van szüksége. Webes találatokat ad vissza anélkül, hogy egy modell választ írna, és kérésenként számláz, további tokenalapú díjak nélkül.
• Az ügynökeszközöket egy előbeállításból indítsa. A Perplexity előbeállításai a feladat méretéhez igazítják a modell méretét, és távol tartják az egyszerű kéréseket a legdrágább modellektől.

Elsősorban helyi munkavégzés

Bizonyos munkákhoz egyáltalán nincs szükség fizetős felhőalapú modellre. A Portable Computer a Perplexity ügynökének egy olyan változata, amely a felhasználó saját számítógépén fut, az adott gépen tárolt AI-modellel. Mivel a modell helyben fut, a rutinmunkák nem használnak fizetős tokeneket. Csak akkor fordul a webhez, a csatlakoztatott alkalmazásokhoz vagy egy erősebb felhőalapú modellhez, ha egy feladat ezt igényli, és előtte megkérdezi a felhasználót.

Fedezze fel, hogyan kezeli a Perplexity Computer a többlépéses munkát a weben, a fájlokban és a csatlakoztatott eszközökben.

Gyakori kérdések

Mi a különbség a tokenköltés és az AI-költségek között?

A tokenköltés azt méri, mennyi AI-munkát végez egy csapat, tokenben számolva. Az AI-költségek mindent magukban foglalnak, amit egy csapat az AI használatáért fizet, beleértve az előfizetéseket, a további krediteket és a bevezetést. A tokenköltés határozza meg a számla használatalapú részét.

Az előfizetéses felhasználók tokenenként fizetnek?

Közvetlenül általában nem. Az előfizetéses eszközök üzenetekben, lekérdezésekben vagy kreditekben mérik a használatot, és a több tokent igénylő feladatok ezeket gyorsabban elhasználják. A Perplexityben a hagyományos keresések egyáltalán nem használnak kreditet, csak a Computer-feladatok.

Miért használnak az AI-ügynökök ennyi tokent?

Az ügynök sok lépésben végez el egy feladatot, és minden lépés egy külön kérés, amely újraolvassa az addig elvégzett munkát. Egy hosszú feladat ezért minden egyes lépéssel egyre több tokent használ fel.

Miért ugrik meg hirtelen a tokenhasználat?

A legtöbb kiugrás a csapat munkamódjában bekövetkező változást követi: ilyen lehet egy új automatizált munkafolyamat, egy több felhasználó számára bevezetett eszköz vagy egy hosszú ügynökfeladat. A kiugrás dátumának összevetése a legutóbbi bevezetésekkel általában rávilágít az okra. Ha az új munkafolyamatokat először egy kis csoporttal teszteli, azzal megelőzheti a kiugrásokat.