Ekip token harcaması nasıl takip edilir ve kontrol altına alınır

Token harcaması nedir

Token harcaması, bir ekibin yapay zekâ ile tükettiği token sayısı ve bu token'ların maliyetidir. Token, bir yapay zekâ modelinin okuduğu veya yazdığı kelime, kelime parçası ya da noktalama işareti gibi bir metin birimidir. İngilizcede 1 token yaklaşık 4 karaktere karşılık gelir. Token'lar modeller veya sağlayıcılar arasında standart değildir; bu nedenle aynı metin farklı araçlarda farklı sayıda token'a karşılık gelebilir.

Kullanım raporları genellikle token'ları birkaç türe ayırır:

• Girdi token'ları, modelin bir istek için okuduğu her şeydir. Buna sorgu, eklenen metinler ve modelin aynı konunun önceki kısımlarından yeniden kullandığı konuşma geçmişi dahildir.
• Çıktı token'ları, modelin yazdığı yanıttır. Genellikle girdi token'larından daha pahalıdır. Perplexity'nin API fiyatlandırmasında bazı modeller çıktı için altı kat daha fazla ücret alır.
• Akıl yürütme token'ları, bir modelin yanıt vermeden önce bir problemi çözmek için dahili olarak ürettiği metindir. Yanıtta görünmezler; bu nedenle daha uzun görünen bir yanıt, modelin toplamda daha fazla token kullandığı anlamına gelmez.

Yapay zekâ araçlarını abonelikle kullanan ekipler token başına ücretle nadiren karşılaşır. Yine de token'lar ekiplerin elde ettiği sonucu etkiler; çünkü daha ağır görevler kredileri daha hızlı tüketir veya kullanım sınırlarına daha çabuk ulaşır. Bir yapay zekâ modeli üzerinde kendi araçlarını geliştiren ekipler ise genellikle kullanıma dayalı fiyatlandırma kapsamında token başına ödeme yapar.

Token harcaması nasıl takip edilir

Abonelik planında token harcamasını takip etme

Abonelik araçları genellikle token sayılarını göstermez. Bunun yerine birçok plan, iş yapıldıkça plandan düşülen ön ödemeli birimler olan kredileri kullanır. Bir kredi metni, görselleri veya başka işleri kapsayabildiğinden krediler token'larla aynı şey değildir. Ancak daha fazla token kullanan görevler genellikle daha fazla kredi de kullanır; bu yüzden krediler, abonelikteki token harcaması için en iyi göstergedir. Kullanıcılar kendi kredi kullanımlarını takip edebilir; bazı planlar ise tüm ekibin kredi kullanımını gösteren bir yönetici panosu da sunar.

Örneğin Perplexity'de normal aramalar kredi kullanmaz. Krediyi yalnızca çok adımlı görevleri üstlenen asistan Perplexity Computer kullanır. Computer'ı kullananlar ne kadar kredi kullandıklarını ve bunları ne için kullandıklarını görebilir. Her Computer görevi de kendi toplam kredi tüketimini, ilgili konuşmanın "Kullanım" menüsünde gösterir.

Büyüt

Enterprise planlarında yöneticiler, Perplexity'yi kaç kişinin kullandığını ve bu kişilerin her hafta kaç sorgu çalıştırdığını Insights panosunda görebilir (50 veya daha fazla lisansa ya da en az bir Enterprise Max üyesine sahip kuruluşlarda kullanılabilir).

Büyüt

API kullanım raporlarında token harcamasını takip etme

API sağlayıcısının kullanım raporları, token sayılarını genellikle token türüne göre ayrılmış şekilde doğrudan gösterir. Örneğin Perplexity'nin API Platform konsolu, kullanıcıların Faturalandırma sayfasında girdi, çıktı ve akıl yürütme token harcaması gibi metrikleri takip etmesini sağlar.

Token harcaması neden artıyor

Ajanlar her görev için birçok adım çalıştırır ve her adım, bir modele yapılan ayrı bir istektir. Tek bir görev yüz binlerce, hatta milyonlarca token'a ulaşabilir.

Akıl yürütme modelleri de giderek yaygınlaşıyor. Akıl yürütme modeli yanıt vermeden önce düşünce sürecini yazar ve bunun her kelimesi token olarak sayılır. Bu yüzden aynı istek, ekrandaki yanıt aynı uzunlukta görünse de akıl yürütme modelinde genellikle standart bir modele göre daha fazla token kullanır.

Son olarak, genel olarak daha fazla kişi ve iş akışı yapay zekâ kullandıkça token kullanımı da giderek artar. Bu artışın bir kısmı, mühendislerin ajanları esas olarak kişisel token sayılarını artırmak ve şirket içi token liderlik tablolarında üst sıralara çıkmak için çalıştırdığı tokenmaxxing akımından da kaynaklanıyor.

Token harcaması nasıl azaltılır

Yüksek token harcamasının büyük kısmı, göründüğünden daha fazla token kullanan birkaç iş türünden kaynaklanır.

Uzun konuşmalar ve ajan görevleri

Bir model her yanıt verdiğinde genellikle o ana kadarki konuşmanın tamamını yeniden okur. Her yeni istek, önceki tüm konuşma geçmişini ve kullanıcının mevcut mesajını içerir. Bu nedenle uzun bir konunun sonlarında sorulan kısa bir soru, yeni bir konuda sorulan aynı sorudan daha fazla token kullanır. Ajan görevleri de aynı şekilde işler; çünkü her adım, sonuçlarını bir sonraki adımın yeniden okuduğu geçmişe ekler.

Büyüt

Ne yapılabilir

• Ele alınan mesele değiştiğinde yeni bir konuşma başlatın. Yeni konuşmayı, eski konudan modelin hâlâ ihtiyaç duyduğu her şeyin iki veya üç satırlık bir özetiyle açın.
• Uzun ajan görevlerini daha küçük görevlere bölün. Her bölümü ayrı bir görev olarak çalıştırın ve bir sonraki bölüme yalnızca ihtiyaç duyduğu sonuçları aktarın.
• Ekibin ajan araçlarının bağlam sıkıştırma kullanıp kullanmadığını kontrol edin. Sıkıştırma, modelin daha az içeriği yeniden okuması için bir görevin eski kısımlarını otomatik olarak özetler. Bir araç bunu bir ayar olarak sunuyorsa açın.

Tekrar tekrar işlenen aynı belgeler

Biri politika el kitabı veya ürün kataloğu gibi aynı uzun dosyayı birçok ayrı sorguya eklediğinde model dosyanın tamamını her seferinde okur. Her okuma girdi token'ı olarak sayılır.

Ne yapılabilir

• Kullanıcılara dosyanın tamamını eklemek yerine el kitabının veya kataloğun ilgili bölümünü isteğe kopyalamayı öğretin.
• Ekibin sık kullandığı belgelerin kısa bir sürümünü hazırlayın. Uzun bir politikanın tek sayfalık özeti, rutin sorgularda belgenin tamamının yerini tutabilir.

Yeniden denemeler ve döngüler

Bir yanıt ihtiyaç duyulan şey olmadığında ve görev yeniden çalıştırıldığında her deneme token kullanır. Bir ajan aynı adımı tekrarlayarak takılı kaldığında da aynı durum yaşanır.

Ne yapılabilir

• Görevi, beklenen sonucu ve kaynakları ilk istekte açıkça belirtin. Örneğin: "Yalnızca ekteki anket sonuçlarını kullanarak müşterilerin 3. çeyrekte iptal etmesinin başlıca nedenlerini beş madde hâlinde özetle."
• Bir ajan görevinin ilk birkaç adımını kontrol edin. Ajan aynı adımı veya aramayı tekrarlıyorsa onu durdurun ve daha dar kapsamlı bir istekle yeniden başlatın.

Basit görevlerde büyük modeller

Daha yetenekli modeller genellikle token başına daha pahalıdır; bu nedenle özetleme veya yeniden biçimlendirme gibi rutin işler, ekibin bütçesini gerektiğinden daha hızlı tüketebilir.

Ne yapılabilir

• Her görevi, o görevin üstesinden gelebilecek bir modelle eşleştiren model yönlendirmeyi kullanın. Kısa bir yeniden yazma veya özetleme işi daha küçük ve daha ucuz bir modele gönderilebilir; en yetenekli model ise çok adımlı akıl yürütme veya analiz için ayrılır. Perplexity'nin API'si bu yaklaşımı ön ayarlarıyla uygular: Hızlı bir arama için daha küçük, kapsamlı bir analiz için daha büyük bir model atar.

Yeni iş akışlarının ardından gelen ani artışlar

Yeni bir otomatik iş akışı veya tüm ekibe sunulan bir araç, kullanımı bir gecede artırabilir. Ani bir artış tek başına sorun değildir, ancak buna hangi işin yol açtığını bilmekte fayda vardır.

Ne yapılabilir

• Yeni iş akışlarını önce küçük bir grupla test edin. İş akışını tüm ekibe sunmadan önce bir veya iki hafta boyunca bu grubun kullanımını kontrol edin.
• Her ekip için aylık bir bütçe belirleyin. Ani bir artışın göze çarpması için bütçeyi tipik bir aydaki kullanıma göre belirleyin.
• Otomatik yeniden yüklemeyi kapatın. Otomatik yeniden yükleme kapalıyken krediler bittiğinde otomatik olarak ek kredi satın alınmak yerine iş durur.

Perplexity'de token harcaması nasıl optimize edilir

Günlük kullanım için

Computer kredi kullanır, ancak yalnızca siz seçtiğinizde çalışır: Computer simgesini seçerek, varsayılan modu Computer olan bir projede çalışarak veya Comet Work modunu kullanarak.

Büyüt

Normal aramaya geri dönmek için Perplexity simgesini seçerek Sor moduna geçin. Kullanıcılar kredi kullanımını görmek için Perplexity arayüzündeki kredi takip aracını açabilir.

Büyüt

Perplexity'nin paylaşılan çalışma alanları olan projelerde çalışan ekipler, her projenin varsayılan modunu Arama veya Computer olarak ayarlayabilir. Çoğunlukla hızlı araştırmalar için kullanılan bir proje varsayılan olarak Arama modunu kullanabilir; böylece kimse yanlışlıkla bir Computer görevi başlatmaz.

Enterprise yöneticileri için

• Her lisansın neleri kapsadığını bilin. Enterprise Pro kullanıcıları aylık 500 kredi, Enterprise Max kullanıcıları ise 15.000 kredi alır. Bu krediler her aylık dönemin sonunda sona erer ve sonraki aya devredilmez.
• Önce varsayılan bir kullanım sınırı belirleyin. Kullanım sınırı, bir üyenin kendi kredi tahsisi bittiğinde ortak havuzdan kullanabileceği ek kredi miktarını sınırlar.
• Farklı kullanıcı türleri için adlandırılmış sınırlar oluşturun. Yöneticiler "Standart", "Yoğun kullanıcı" ve "Yüklenici" gibi sınırlar oluşturup bunları kullanıcı gruplarına veya tek tek üyelere atayabilir. Gruplar Perplexity'de oluşturulabilir veya şirketin kimlik sağlayıcısından senkronize edilebilir. Bir kişi birden fazla gruba aitse en yüksek sınır geçerli olur.
• İstisnalar için kişisel geçersiz kılmaları kullanın. Bir kişinin grubundan farklı bir sınıra ihtiyacı olduğunda kişisel geçersiz kılma, tüm grup ve ortak sınırlara göre önceliklidir. Bu, tüm ekibin sınırını yükseltmeden yoğun araştırma gerektiren kısa bir proje için kullanışlıdır.
• Otomatik yeniden yüklemeye bir üst sınır koyun. Otomatik yeniden yükleme, ortak havuzu otomatik olarak doldurur. Yapılandırılabilir bir aylık yeniden yükleme sınırıyla birlikte gelir; böylece harcama belirlenmiş bir üst sınırı aşamaz.
• Üyelerin nasıl daha fazla kredi isteyeceğine karar verin. "Üyelerin daha fazla kredi talep etmesine izin ver" ayarı, sınırına ulaşan kişilerin doğrudan durdurulmak yerine bir yöneticiden daha fazla kredi talep etmesine olanak tanır.
• Kullanımı her ay gözden geçirin. Kuruluş kredileri sayfası, her üye için verilen, kullanılan ve kalan kredileri; grup sınırları ve havuz bakiyesiyle birlikte gösterir. 50 veya daha fazla lisansa ya da en az bir Enterprise Max üyesine sahip kuruluşlarda Insights panosu, zaman içindeki aylık aktif kullanıcıları ve haftalık sorguları da gösterir. Daha fazla ayrıntı için denetim günlükleri görev yürütmeyi, bağlayıcı kullanımını, kredi tüketimini ve kredi tahsislerini kaydeder.

API üzerinde geliştirme yapan ekipler için

• Her araca veya ekibe kendi API anahtarını verin. Perplexity her anahtarın faturalandırmasını ayrı ayrı gösterebilir ve ayrı anahtarlar, kullanımı hangi aracın artırdığını netleştirir.
• Hangi token türünün arttığını görmek için faturalandırma sayfasını kontrol edin. Bu sayfa, zaman içindeki girdi, çıktı ve akıl yürütme token'larını gösterir. Artan girdi token'ları genellikle bir aracın gerekenden fazla metin gönderdiği anlamına gelir. Artan akıl yürütme token'ları ise görevlerin, problemleri uzun uzun düşünen modellerde çalıştığı anlamına gelir.
• Bir aracın yalnızca arama sonuçlarına ihtiyacı varsa Search API'yi kullanın. Search API, bir modelin yanıt yazmasına gerek kalmadan web sonuçları döndürür ve ek token tabanlı ücret olmadan istek başına ücretlendirilir.
• Ajan araçlarını oluştururken bir ön ayardan başlayın. Perplexity'nin ön ayarları, görevin boyutunu modelin boyutuyla eşleştirir ve basit istekleri en pahalı modellerden uzak tutar

Yerel öncelikli çalışma

Bazı işler ücretli bir bulut modeline hiç ihtiyaç duymaz. Portable Computer, Perplexity'nin ajanının, kişinin kendi bilgisayarında ve o makinede depolanan bir yapay zekâ modeliyle çalışan bir sürümüdür. Model yerel olarak çalıştığı için rutin işler ücretli token kullanmaz. Web'e, bağlı uygulamalara veya daha güçlü bir bulut modeline yalnızca bir görev gerektirdiğinde başvurur ve bunu yapmadan önce kullanıcıya sorar.

Web, dosyalar ve bağlı araçlar genelinde Perplexity Computer'ın çok adımlı işleri nasıl yürüttüğünü keşfedin.

SSS

Token harcaması ile yapay zekâ maliyetleri arasındaki fark nedir?

Token harcaması, bir ekibin ne kadar yapay zekâ işi yaptığını token cinsinden ölçer. Yapay zekâ maliyetleri ise abonelikler, ek krediler ve kurulum dahil olmak üzere bir ekibin yapay zekâ kullanmak için ödediği her şeyi kapsar. Token harcaması, bu faturanın kullanıma dayalı kısmını belirler.

Abonelik kullanıcıları token başına ödeme yapar mı?

Genellikle doğrudan ödemezler. Abonelik araçları kullanımı mesaj, sorgu veya kredi cinsinden takip eder; daha fazla token kullanan görevler bunları daha hızlı tüketir. Perplexity'de normal aramalar hiç kredi kullanmaz; yalnızca Computer görevleri kredi kullanır.

Yapay zekâ ajanları neden bu kadar çok token kullanır?

Bir ajan, bir görevi birçok adımda tamamlar ve her adım, o ana kadar yapılan işi yeniden okuyan ayrı bir istektir. Bu nedenle uzun bir görev, attığı her adımda daha fazla token kullanır.

Token kullanımı neden aniden artar?

Ani artışların çoğu, bir ekibin çalışma biçimindeki bir değişikliğin ardından gelir: yeni bir otomatik iş akışı, daha fazla kişiye sunulan bir araç veya uzun bir ajan görevi gibi. Ani artışın tarihini son lansmanlarla karşılaştırmak genellikle nedeni ortaya çıkarır. Yeni iş akışlarını önce küçük bir grupla test etmek ani artışları önlemeye yardımcı olur.