วิธีติดตามและควบคุมการใช้จ่ายโทเค็นของทีม

การใช้จ่ายโทเค็นคืออะไร

การใช้จ่ายโทเค็นคือจำนวนโทเค็นที่ทีมใช้ไปกับ AI รวมถึงค่าใช้จ่ายของโทเค็นเหล่านั้น โทเค็นคือหน่วยของข้อความ เช่น คำ ส่วนหนึ่งของคำ หรือเครื่องหมายวรรคตอน ที่โมเดล AI อ่านหรือเขียน ในภาษาอังกฤษ 1 โทเค็นมีความยาวประมาณ 4 อักขระ โทเค็นไม่ได้มีมาตรฐานเดียวกันในทุกโมเดลหรือผู้ให้บริการ ข้อความเดียวกันจึงอาจนับจำนวนโทเค็นได้ต่างกันในแต่ละเครื่องมือ

รายงานการใช้งานมักแบ่งโทเค็นออกเป็นไม่กี่ประเภท ดังนี้

• โทเค็นอินพุตคือทุกสิ่งที่โมเดลอ่านสำหรับคำขอหนึ่งๆ ซึ่งรวมถึงคำค้นหา ข้อความที่แนบมา และประวัติการสนทนาที่โมเดลนำกลับมาใช้จากช่วงก่อนหน้าในเธรดเดียวกัน
• โทเค็นเอาต์พุตคือคำตอบที่โมเดลเขียนออกมา และมักมีราคาสูงกว่าโทเค็นอินพุต ในราคา API ของ Perplexity บางโมเดลคิดค่าบริการเอาต์พุตสูงกว่าถึงหกเท่า
• โทเค็นการให้เหตุผลคือข้อความที่โมเดลสร้างขึ้นภายในเพื่อคิดแก้ปัญหาก่อนตอบ โทเค็นเหล่านี้ไม่ปรากฏในคำตอบ ดังนั้นคำตอบที่มองเห็นได้ซึ่งยาวกว่าจึงไม่ได้หมายความว่าโมเดลใช้โทเค็นโดยรวมมากกว่าเสมอไป

ทีมที่ใช้เครื่องมือ AI แบบสมัครสมาชิกแทบไม่เคยเห็นการเรียกเก็บเงินต่อโทเค็น แต่โทเค็นก็ยังส่งผลต่อสิ่งที่ได้รับ เพราะงานที่หนักกว่าจะใช้เครดิตหมดหรือถึงขีดจำกัดการใช้งานเร็วกว่า ส่วนทีมที่สร้างเครื่องมือของตนเองบนโมเดล AI มักจ่ายเงินตามจำนวนโทเค็นแทน ภายใต้การกำหนดราคาตามการใช้งาน

วิธีติดตามการใช้จ่ายโทเค็น

การติดตามการใช้จ่ายโทเค็นในแพ็กเกจแบบสมัครสมาชิก

เครื่องมือแบบสมัครสมาชิกมักไม่แสดงจำนวนโทเค็น แต่หลายแพ็กเกจจะใช้เครดิตแทน ซึ่งเป็นหน่วยแบบชำระล่วงหน้าที่จะถูกหักออกจากแพ็กเกจเมื่อมีการทำงาน เครดิตไม่ใช่สิ่งเดียวกับโทเค็น เพราะหนึ่งเครดิตอาจครอบคลุมข้อความ รูปภาพ หรืองานประเภทอื่น แต่งานที่ใช้โทเค็นมากกว่ามักใช้เครดิตมากกว่าด้วย เครดิตจึงเป็นตัวบ่งชี้การใช้จ่ายโทเค็นที่ดีที่สุดสำหรับแพ็กเกจแบบสมัครสมาชิก ผู้ใช้สามารถติดตามการใช้เครดิตของตนเองได้ และบางแพ็กเกจยังมีแดชบอร์ดผู้ดูแลระบบที่แสดงการใช้เครดิตของทั้งทีมด้วย

ตัวอย่างเช่น ใน Perplexity การค้นหาทั่วไปไม่ใช้เครดิต มีเพียง Perplexity Computer ซึ่งเป็นผู้ช่วยที่จัดการงานหลายขั้นตอนเท่านั้นที่ใช้เครดิต ผู้ที่ใช้ Computer สามารถดูได้ว่าตนใช้เครดิตไปแล้วเท่าไร และใช้ไปกับอะไรบ้าง นอกจากนี้ งาน Computer แต่ละงานยังแสดงยอดเครดิตรวมของตัวเองในเมนู “การใช้งาน” ของการสนทนานั้นด้วย

ขยาย

ในแพ็กเกจ Enterprise ผู้ดูแลระบบสามารถดูจำนวนผู้ใช้ Perplexity และจำนวนคำค้นหาที่ผู้ใช้ส่งในแต่ละสัปดาห์ได้ในแดชบอร์ด Insights (ใช้งานได้สำหรับองค์กรที่มีตั้งแต่ 50 ที่นั่งขึ้นไป หรือมีสมาชิก Enterprise Max อย่างน้อยหนึ่งคน)

ขยาย

การติดตามการใช้จ่ายโทเค็นในรายงานการใช้งาน API

รายงานการใช้งานของผู้ให้บริการ API จะแสดงจำนวนโทเค็นโดยตรง และมักแยกตามประเภทของโทเค็น ตัวอย่างเช่น คอนโซล API Platform ของ Perplexity ช่วยให้ผู้ใช้ติดตามเมตริกต่างๆ เช่น การใช้จ่ายโทเค็นอินพุต เอาต์พุต และการให้เหตุผลได้ในหน้าการเรียกเก็บเงิน

เหตุใดการใช้จ่ายโทเค็นจึงเพิ่มขึ้น

เอเจนต์ทำงานหลายขั้นตอนต่อหนึ่งงาน และแต่ละขั้นตอนคือคำขอแยกต่างหากที่ส่งไปยังโมเดล งานเดียวจึงอาจใช้โทเค็นรวมกันได้หลายแสนหรือแม้แต่หลายล้านโทเค็น

โมเดลการให้เหตุผลก็แพร่หลายมากขึ้นเช่นกัน โมเดลการให้เหตุผลจะเขียนกระบวนการคิดออกมาก่อนตอบ และทุกคำในส่วนนั้นนับเป็นโทเค็น ดังนั้นคำขอเดียวกันมักใช้โทเค็นบนโมเดลการให้เหตุผลมากกว่าบนโมเดลมาตรฐาน แม้คำตอบบนหน้าจอจะดูยาวเท่ากันก็ตาม

สุดท้าย เมื่อมีผู้คนและเวิร์กโฟลว์ที่ใช้ AI โดยทั่วไปมากขึ้น ปริมาณการใช้โทเค็นก็สะสมเพิ่มขึ้นตามไปด้วย การเติบโตส่วนหนึ่งยังมาจาก tokenmaxxing ซึ่งเป็นพฤติกรรมที่วิศวกรรันเอเจนต์เพื่อเพิ่มจำนวนโทเค็นส่วนตัวและไต่อันดับในกระดานจัดอันดับโทเค็นภายในองค์กรเป็นหลัก

วิธีลดการใช้จ่ายโทเค็น

การใช้จ่ายโทเค็นที่สูงส่วนใหญ่มาจากงานไม่กี่ประเภทที่ใช้โทเค็นมากกว่าที่เห็น

การสนทนาที่ยาวและงานของเอเจนต์

ทุกครั้งที่โมเดลตอบกลับ โดยทั่วไปโมเดลจะอ่านการสนทนาทั้งหมดที่ผ่านมาซ้ำอีกครั้ง คำขอใหม่แต่ละครั้งจะรวมประวัติการสนทนาก่อนหน้าทั้งหมดบวกกับข้อความปัจจุบันของผู้ใช้ ดังนั้นคำถามสั้นๆ ที่ถามในช่วงท้ายของเธรดยาวจึงใช้โทเค็นมากกว่าคำถามเดียวกันในเธรดใหม่ งานของเอเจนต์ก็ทำงานในลักษณะเดียวกัน เพราะแต่ละขั้นตอนจะเพิ่มผลลัพธ์ของตนลงในประวัติที่ขั้นตอนถัดไปต้องอ่านซ้ำ

ขยาย

สิ่งที่ควรทำ

• เริ่มการสนทนาใหม่เมื่อเปลี่ยนหัวข้อ โดยเปิดด้วยสรุปสั้นๆ สองถึงสามบรรทัดของสิ่งต่างๆ จากเธรดเดิมที่โมเดลยังต้องใช้
• แบ่งงานของเอเจนต์ที่ยาวออกเป็นงานย่อย รันแต่ละส่วนเป็นงานแยกของตัวเอง และส่งต่อเฉพาะผลลัพธ์ที่ส่วนถัดไปต้องใช้
• ตรวจสอบว่าเครื่องมือเอเจนต์ของทีมใช้การบีบอัดบริบท (context compaction) หรือไม่ การบีบอัดบริบทจะสรุปส่วนก่อนหน้าของงานโดยอัตโนมัติเพื่อให้โมเดลอ่านซ้ำน้อยลง หากเครื่องมือมีตัวเลือกนี้ในการตั้งค่า ให้เปิดใช้งาน

เอกสารเดิมที่ถูกประมวลผลซ้ำแล้วซ้ำเล่า

เมื่อมีคนแนบไฟล์ยาวไฟล์เดิม เช่น คู่มือนโยบายหรือแคตตาล็อกสินค้า ไปกับคำค้นหาแยกกันหลายครั้ง โมเดลจะอ่านไฟล์ทั้งหมดทุกครั้ง และการอ่านแต่ละครั้งจะนับเป็นโทเค็นอินพุต

สิ่งที่ควรทำ

• ฝึกให้ผู้ใช้คัดลอกเฉพาะส่วนที่เกี่ยวข้องของคู่มือหรือแคตตาล็อกลงในคำขอ แทนการแนบทั้งไฟล์
• จัดทำฉบับย่อของเอกสารที่ทีมใช้บ่อย ฉบับสรุปความยาวหนึ่งหน้าของนโยบายที่ยาวสามารถใช้แทนเอกสารฉบับเต็มในการค้นหาทั่วไปได้

การลองใหม่และการวนซ้ำ

เมื่อคำตอบไม่ตรงกับที่ต้องการและผู้ใช้รันงานอีกครั้ง ทุกครั้งที่ลองล้วนใช้โทเค็น เช่นเดียวกับเมื่อเอเจนต์ติดอยู่กับการทำขั้นตอนเดิมซ้ำๆ

สิ่งที่ควรทำ

• ระบุงาน ผลลัพธ์ และแหล่งข้อมูลให้ชัดเจนตั้งแต่คำขอแรก ตัวอย่างเช่น “สรุปเหตุผลหลักที่ลูกค้ายกเลิกในไตรมาส 3 โดยใช้เฉพาะผลสำรวจที่แนบมา เป็นหัวข้อย่อยห้าข้อ”
• ตรวจสอบสองสามขั้นตอนแรกของงานเอเจนต์ หากเอเจนต์ทำขั้นตอนหรือการค้นหาเดิมซ้ำ ให้หยุดและเริ่มใหม่ด้วยคำขอที่แคบลง

โมเดลขนาดใหญ่กับงานง่ายๆ

โมเดลที่มีความสามารถสูงกว่ามักมีราคาต่อโทเค็นสูงกว่า งานประจำอย่างการสรุปหรือการจัดรูปแบบใหม่จึงอาจทำให้งบประมาณของทีมหมดเร็วเกินความจำเป็น

สิ่งที่ควรทำ

• ใช้การกำหนดเส้นทางโมเดล (model routing) ซึ่งจับคู่แต่ละงานกับโมเดลที่รับมือกับงานนั้นได้ การเขียนใหม่หรือการสรุปสั้นๆ สามารถส่งไปยังโมเดลที่เล็กกว่าและถูกกว่า ส่วนโมเดลที่มีความสามารถสูงสุดเก็บไว้ใช้กับการให้เหตุผลหรือการวิเคราะห์แบบหลายขั้นตอน API ของ Perplexity ใช้แนวทางนี้ผ่านพรีเซ็ต ซึ่งกำหนดโมเดลขนาดเล็กให้กับการค้นหาข้อมูลอย่างรวดเร็ว และโมเดลขนาดใหญ่ให้กับการวิเคราะห์อย่างละเอียดถี่ถ้วน

การใช้งานที่พุ่งสูงหลังเริ่มใช้เวิร์กโฟลว์ใหม่

เวิร์กโฟลว์อัตโนมัติใหม่ หรือเครื่องมือที่เปิดให้ทั้งทีมใช้ อาจทำให้การใช้งานเพิ่มขึ้นภายในชั่วข้ามคืน การพุ่งสูงขึ้นไม่ใช่ปัญหาในตัวเอง แต่ควรรู้ว่างานใดเป็นสาเหตุ

สิ่งที่ควรทำ

• ทดสอบเวิร์กโฟลว์ใหม่กับกลุ่มเล็กๆ ก่อน ตรวจสอบการใช้งานของกลุ่มนั้นสักหนึ่งถึงสองสัปดาห์ก่อนเปิดใช้เวิร์กโฟลว์กับทั้งทีม
• กำหนดงบประมาณรายเดือนให้แต่ละทีม โดยอิงจากการใช้งานในเดือนปกติ เพื่อให้เห็นการเพิ่มขึ้นอย่างผิดปกติได้ชัดเจน
• ปิดการเติมเครดิตอัตโนมัติ เมื่อปิดการเติมเครดิตอัตโนมัติ งานจะหยุดเมื่อเครดิตหมด แทนที่ระบบจะซื้อเครดิตเพิ่มโดยอัตโนมัติ

วิธีเพิ่มประสิทธิภาพการใช้จ่ายโทเค็นใน Perplexity

สำหรับการใช้งานประจำวัน

Computer ใช้เครดิต แต่จะทำงานเฉพาะเมื่อคุณเลือกใช้เท่านั้น ไม่ว่าจะโดยเลือกไอคอน Computer ทำงานในโปรเจกต์ที่ตั้งค่าเริ่มต้นเป็น Computer หรือใช้โหมด Work ของ Comet

ขยาย

หากต้องการกลับไปใช้การค้นหาปกติ ให้เลือกไอคอน Perplexity เพื่อสลับกลับไปยังโหมด Ask หากต้องการดูการใช้เครดิต ผู้ใช้สามารถเปิดตัวติดตามได้ภายในอินเทอร์เฟซของ Perplexity

ขยาย

ทีมที่ทำงานในโปรเจกต์ ซึ่งเป็นพื้นที่ทำงานร่วมกันของ Perplexity สามารถตั้งค่าโหมดเริ่มต้นของแต่ละโปรเจกต์เป็น Search หรือ Computer ได้ โปรเจกต์ที่ใช้สำหรับการค้นคว้าอย่างรวดเร็วเป็นหลักสามารถตั้งค่าเริ่มต้นเป็น Search เพื่อไม่ให้ใครเริ่มงาน Computer โดยไม่ได้ตั้งใจ

สำหรับผู้ดูแลระบบ Enterprise

• ทำความเข้าใจว่าแต่ละที่นั่งมีอะไรบ้าง ผู้ใช้ Enterprise Pro จะได้รับเครดิตรายเดือน 500 เครดิต และผู้ใช้ Enterprise Max จะได้รับ 15,000 เครดิต เครดิตเหล่านี้จะหมดอายุเมื่อสิ้นสุดแต่ละรอบเดือนและไม่สามารถยกยอดไปเดือนถัดไปได้
• กำหนดขีดจำกัดการใช้งานเริ่มต้นก่อน ขีดจำกัดการใช้งานคือเพดานจำนวนเครดิตเพิ่มเติมที่สมาชิกสามารถดึงจากพูลที่ใช้ร่วมกันได้ เมื่อเครดิตที่ได้รับจัดสรรของตนหมดลง
• สร้างขีดจำกัดที่ตั้งชื่อไว้สำหรับผู้ใช้ประเภทต่างๆ ผู้ดูแลระบบสามารถตั้งค่าขีดจำกัด เช่น “มาตรฐาน” “ผู้ใช้ระดับสูง” และ “ผู้รับเหมา” แล้วกำหนดให้กับกลุ่มผู้ใช้หรือสมาชิกแต่ละคนได้ กลุ่มอาจสร้างขึ้นใน Perplexity หรือซิงค์มาจากผู้ให้บริการข้อมูลประจำตัวของบริษัท หากผู้ใช้อยู่ในหลายกลุ่ม ระบบจะใช้ขีดจำกัดที่สูงที่สุด
• ใช้การกำหนดค่าเฉพาะบุคคลสำหรับกรณียกเว้น เมื่อบุคคลหนึ่งต้องการเพดานที่ต่างจากกลุ่มของตน การกำหนดค่าเฉพาะบุคคลจะมีลำดับความสำคัญเหนือขีดจำกัดของกลุ่มหรือขีดจำกัดที่ใช้ร่วมกันใดๆ ซึ่งมีประโยชน์สำหรับโครงการระยะสั้นที่ต้องค้นคว้าอย่างหนัก โดยไม่ต้องเพิ่มเพดานให้ทั้งทีม
• กำหนดเพดานให้การเติมเครดิตอัตโนมัติ การเติมเครดิตอัตโนมัติจะเติมพูลที่ใช้ร่วมกันโดยอัตโนมัติ และมาพร้อมขีดจำกัดการเติมรายเดือนที่กำหนดค่าได้ ค่าใช้จ่ายจึงไม่เพิ่มขึ้นโดยไม่มีเพดานสูงสุด
• กำหนดวิธีที่สมาชิกจะขอเครดิตเพิ่ม การตั้งค่า “อนุญาตให้สมาชิกขอเครดิตเพิ่ม” ช่วยให้ผู้ที่ใช้ถึงขีดจำกัดสามารถขอเครดิตเพิ่มจากผู้ดูแลระบบได้ แทนที่จะถูกหยุดการใช้งานทันที
• ตรวจสอบการใช้งานทุกเดือน หน้าเครดิตขององค์กรจะแสดงเครดิตที่ได้รับ ใช้ไป และคงเหลือของสมาชิกแต่ละคน พร้อมขีดจำกัดของกลุ่มและยอดคงเหลือในพูล สำหรับองค์กรที่มีตั้งแต่ 50 ที่นั่งขึ้นไป หรือมีสมาชิก Enterprise Max อย่างน้อยหนึ่งคน แดชบอร์ด Insights จะแสดงผู้ใช้ที่ใช้งานรายเดือนและคำค้นหารายสัปดาห์ตามช่วงเวลาเพิ่มเติม หากต้องการรายละเอียดเพิ่มเติม บันทึกการตรวจสอบจะบันทึกการดำเนินการของงาน การใช้งานตัวเชื่อมต่อ การใช้เครดิต และการมอบเครดิต

สำหรับทีมที่พัฒนาบน API

• ให้แต่ละเครื่องมือหรือแต่ละทีมมีคีย์ API ของตัวเอง Perplexity สามารถแสดงการเรียกเก็บเงินแยกตามคีย์ได้ และการใช้คีย์แยกกันช่วยให้เห็นได้ชัดว่าเครื่องมือใดเป็นต้นเหตุของการใช้งาน
• ตรวจสอบหน้าการเรียกเก็บเงินเพื่อดูว่าโทเค็นประเภทใดกำลังเพิ่มขึ้น หน้านี้แสดงโทเค็นอินพุต เอาต์พุต และการให้เหตุผลตามช่วงเวลา โทเค็นอินพุตที่เพิ่มขึ้นมักหมายความว่าเครื่องมือกำลังส่งข้อความมากเกินความจำเป็น ส่วนโทเค็นการให้เหตุผลที่เพิ่มขึ้นหมายความว่างานต่างๆ กำลังรันบนโมเดลที่ใช้เวลาคิดแก้ปัญหาอย่างละเอียดยาวนาน
• ใช้ Search API เมื่อเครื่องมือต้องการเพียงผลการค้นหา API นี้จะส่งคืนผลลัพธ์จากเว็บโดยไม่มีโมเดลเขียนคำตอบ และคิดค่าบริการต่อคำขอโดยไม่มีค่าบริการเพิ่มเติมตามจำนวนโทเค็น
• เริ่มต้นเครื่องมือเอเจนต์จากพรีเซ็ต พรีเซ็ตของ Perplexity จะจับคู่ขนาดของงานกับขนาดของโมเดล และป้องกันไม่ให้คำของ่ายๆ ไปใช้โมเดลที่แพงที่สุด

การทำงานแบบ local-first บนเครื่องของตนเอง

งานบางอย่างไม่จำเป็นต้องใช้โมเดลคลาวด์แบบเสียเงินเลย Portable Computer คือเอเจนต์ของ Perplexity เวอร์ชันที่ทำงานบนคอมพิวเตอร์ของผู้ใช้เอง โดยใช้โมเดล AI ที่จัดเก็บไว้ในเครื่องนั้น เนื่องจากโมเดลทำงานภายในเครื่อง งานประจำจึงไม่ใช้โทเค็นแบบเสียเงิน โดยจะเชื่อมต่อกับเว็บ แอปที่เชื่อมต่อไว้ หรือโมเดลคลาวด์ที่มีความสามารถสูงกว่าเฉพาะเมื่องานนั้นจำเป็นเท่านั้น และจะขอความยินยอมจากผู้ใช้ก่อน

สำรวจว่าPerplexity Computer จัดการงานหลายขั้นตอนอย่างไร ทั้งบนเว็บ ในไฟล์ และผ่านเครื่องมือที่เชื่อมต่อไว้

คำถามที่พบบ่อย

การใช้จ่ายโทเค็นกับค่าใช้จ่าย AI แตกต่างกันอย่างไร

การใช้จ่ายโทเค็นวัดปริมาณงาน AI ที่ทีมทำ โดยนับเป็นโทเค็น ส่วนค่าใช้จ่าย AI ครอบคลุมทุกอย่างที่ทีมจ่ายเพื่อใช้ AI ซึ่งรวมถึงค่าสมัครสมาชิก เครดิตเพิ่มเติม และค่าติดตั้งระบบ การใช้จ่ายโทเค็นเป็นตัวกำหนดส่วนที่คิดตามการใช้งานในค่าใช้จ่ายดังกล่าว

ผู้ใช้แบบสมัครสมาชิกต้องจ่ายเงินต่อโทเค็นหรือไม่

โดยปกติจะไม่ได้จ่ายโดยตรง เครื่องมือแบบสมัครสมาชิกจะติดตามการใช้งานเป็นจำนวนข้อความ คำค้นหา หรือเครดิต และงานที่ใช้โทเค็นมากกว่าจะทำให้สิ่งเหล่านี้หมดเร็วขึ้น ใน Perplexity การค้นหาทั่วไปไม่ใช้เครดิตเลย มีเพียงงาน Computer เท่านั้นที่ใช้

เหตุใดเอเจนต์ AI จึงใช้โทเค็นมากขนาดนี้

เอเจนต์ทำงานให้สำเร็จผ่านหลายขั้นตอน และแต่ละขั้นตอนเป็นคำขอแยกต่างหากที่ต้องอ่านงานที่ทำมาทั้งหมดซ้ำ งานที่ยาวจึงใช้โทเค็นมากขึ้นในทุกขั้นตอน

เหตุใดการใช้โทเค็นจึงพุ่งสูงขึ้นอย่างกะทันหัน

การพุ่งสูงขึ้นส่วนใหญ่เกิดขึ้นหลังจากทีมเปลี่ยนวิธีการทำงาน เช่น เริ่มใช้เวิร์กโฟลว์อัตโนมัติใหม่ เปิดให้ผู้คนใช้เครื่องมือมากขึ้น หรือมีงานเอเจนต์ที่ยาว การเปรียบเทียบวันที่เกิดการพุ่งสูงกับการเปิดตัวล่าสุดมักช่วยให้เห็นสาเหตุ การทดสอบเวิร์กโฟลว์ใหม่กับกลุ่มเล็กๆ ก่อนจะช่วยป้องกันการพุ่งสูงได้