איך לעקוב אחר צריכת הטוקנים של הצוות ולשלוט בה

מהי צריכת טוקנים

צריכת טוקנים היא מספר הטוקנים שצוות צורך בעבודה עם בינה מלאכותית, וכמה הטוקנים האלה עולים. טוקן הוא יחידת טקסט, כמו מילה, חלק ממילה או סימן פיסוק, שמודל בינה מלאכותית קורא או כותב. באנגלית, טוקן אחד שווה בערך ל-4 תווים. הטוקנים אינם אחידים בין מודלים או ספקים שונים, ולכן אותו טקסט עשוי להניב ספירה שונה בכלים שונים.

דוחות שימוש מחלקים בדרך כלל את הטוקנים לכמה סוגים:

• טוקני קלט הם כל מה שהמודל קורא במסגרת בקשה. זה כולל את השאילתה, כל טקסט מצורף ואת היסטוריית השיחה מהודעות קודמות באותו שרשור, שהמודל משתמש בה שוב.
• טוקני פלט הם התשובה שהמודל כותב. לרוב הם יקרים יותר מטוקני קלט. לפי תמחור ה-API של Perplexity, חלק מהמודלים גובים על פלט מחיר גבוה פי שישה.
• טוקני הנמקה הם טקסט שמודל מייצר באופן פנימי כדי לעבוד על בעיה לפני שהוא עונה. הם לא מופיעים בתשובה, ולכן תשובה גלויה ארוכה יותר לא בהכרח מעידה שהמודל השתמש ביותר טוקנים בסך הכול.

צוותים שמשתמשים בכלי בינה מלאכותית במסגרת מנוי כמעט אף פעם לא רואים חיוב לפי טוקן. ועדיין, הטוקנים משפיעים על מה שהם מקבלים, כי משימות כבדות יותר מכלות קרדיטים או מגיעות למגבלות השימוש מהר יותר. צוותים שבונים כלים משלהם על גבי מודל בינה מלאכותית משלמים בדרך כלל לפי טוקן, במסגרת תמחור מבוסס שימוש.

איך לעקוב אחר צריכת טוקנים

מעקב אחר צריכת טוקנים בתוכנית מנוי

כלים מבוססי מנוי בדרך כלל לא מציגים את מספר הטוקנים. במקום זאת, תוכניות רבות משתמשות בקרדיטים: יחידות ששולמו מראש, שהתוכנית מנכה ככל שהעבודה מתבצעת. קרדיטים אינם זהים לטוקנים, שכן קרדיט אחד יכול לכסות טקסט, תמונות או סוגי עבודה אחרים. אבל משימות שצורכות יותר טוקנים בדרך כלל צורכות גם יותר קרדיטים, ולכן הקרדיטים הם המדד הטוב ביותר לצריכת טוקנים במסגרת מנוי. משתמשים יכולים לעקוב אחר צריכת הקרדיטים שלהם, ובחלק מהתוכניות יש גם לוח בקרה למנהלים שמציג את צריכת הקרדיטים של הצוות כולו.

ב-Perplexity, למשל, חיפושים רגילים לא צורכים קרדיטים. רק Perplexity Computer, העוזר שמטפל במשימות מרובות שלבים, צורך אותם. מי שמשתמשים ב-Computer יכולים לראות כמה קרדיטים הם ניצלו ועל מה. כל משימת Computer מציגה גם את סך הקרדיטים שלה בתפריט "שימוש" של השיחה שלה.

הגדלה

בתוכניות Enterprise, מנהלי מערכת יכולים לראות כמה אנשים משתמשים ב-Perplexity וכמה שאילתות הם מריצים מדי שבוע בלוח הבקרה Insights (זמין לארגונים עם 50 מושבים ומעלה, או עם לפחות חבר Enterprise Max אחד).

הגדלה

מעקב אחר צריכת טוקנים בדוחות השימוש של ה-API

דוחות השימוש של ספק ה-API מציגים את מספר הטוקנים ישירות, בדרך כלל בחלוקה לפי סוג טוקן. מסוף API Platform של Perplexity, למשל, מאפשר למשתמשים לעקוב בעמוד החיוב אחר מדדים כמו צריכת טוקני קלט, פלט והנמקה.

למה צריכת הטוקנים גדלה

סוכנים מריצים שלבים רבים בכל משימה, וכל שלב הוא בקשה נפרדת למודל. משימה אחת יכולה להגיע למאות אלפי טוקנים ואפילו למיליוני טוקנים.

גם מודלי הנמקה נעשים נפוצים יותר. מודל הנמקה כותב את תהליך החשיבה שלו לפני שהוא עונה, וכל מילה בו נספרת כטוקנים. לכן אותה בקשה צורכת בדרך כלל יותר טוקנים במודל הנמקה מאשר במודל רגיל, גם אם התשובה שעל המסך נראית באותו אורך.

ולבסוף, ככל שיותר אנשים ותהליכי עבודה משתמשים בבינה מלאכותית באופן כללי, צריכת הטוקנים מצטברת. חלק מהגידול נובע גם מ-tokenmaxxing, תופעה שבה מהנדסים מריצים סוכנים בעיקר כדי להגדיל את מספר הטוקנים האישי שלהם ולטפס בטבלאות דירוג הטוקנים הפנימיות.

איך להפחית את צריכת הטוקנים

רוב צריכת הטוקנים הגבוהה נובעת מכמה סוגי עבודה שצורכים יותר טוקנים ממה שנראה.

שיחות ארוכות ומשימות של סוכנים

בכל פעם שמודל משיב, הוא בדרך כלל קורא מחדש את כל השיחה עד אותו רגע. כל בקשה חדשה כוללת את כל היסטוריית השיחה הקודמת וגם את ההודעה הנוכחית של המשתמש. לכן שאלה קצרה בשלב מאוחר של שרשור ארוך צורכת יותר טוקנים מאותה שאלה בשרשור חדש. משימות של סוכנים פועלות באותו אופן, כי כל שלב מוסיף את התוצאות שלו להיסטוריה שהשלב הבא קורא מחדש.

הגדלה

מה אפשר לעשות

• התחילו שיחה חדשה כשהנושא משתנה. פתחו אותה בסיכום של שתיים-שלוש שורות של כל מה שהמודל עדיין צריך מהשרשור הקודם.
• פצלו משימות ארוכות של סוכנים למשימות קטנות יותר. הריצו כל חלק כמשימה נפרדת, והעבירו הלאה רק את התוצאות שהחלק הבא צריך.
• בדקו אם כלי הסוכנים של הצוות משתמשים בדחיסת הקשר. דחיסה מסכמת באופן אוטומטי חלקים ישנים יותר של משימה, כך שהמודל קורא מחדש פחות. אם כלי מציע אותה כהגדרה, הפעילו אותה.

אותם מסמכים שמעובדים שוב ושוב

כשמישהו מצרף את אותו קובץ ארוך, כמו מדריך מדיניות או קטלוג מוצרים, לשאילתות נפרדות רבות, המודל קורא את הקובץ כולו בכל פעם. כל קריאה נספרת כטוקני קלט.

מה אפשר לעשות

• הדריכו את המשתמשים להעתיק לבקשה את הקטע הרלוונטי מהמדריך או מהקטלוג, במקום לצרף את הקובץ כולו.
• הכינו גרסה מקוצרת של מסמכים שהצוות משתמש בהם לעיתים קרובות. סיכום בן עמוד אחד של מדיניות ארוכה יכול להחליף את המסמך המלא בשאילתות שגרתיות.

ניסיונות חוזרים ולולאות

כשתשובה אינה מה שמישהו היה צריך והוא מריץ את המשימה שוב, כל ניסיון צורך טוקנים. אותו דבר קורה כשסוכן נתקע וחוזר על אותו שלב.

מה אפשר לעשות

• פרטו בבקשה הראשונה את המשימה, את התוצאה הרצויה ואת המקורות. לדוגמה: "סכם את הסיבות העיקריות לביטולים של לקוחות ברבעון השלישי, על סמך תוצאות הסקר המצורפות בלבד, בחמש נקודות."
• בדקו את השלבים הראשונים של משימת סוכן. אם הסוכן חוזר על אותו שלב או על אותו חיפוש, עצרו אותו והתחילו מחדש עם בקשה ממוקדת יותר.

מודלים גדולים למשימות פשוטות

מודלים חזקים יותר עולים בדרך כלל יותר לכל טוקן, ולכן עבודה שגרתית כמו סיכומים או עיצוב מחדש עלולה לכלות את תקציב הצוות מהר יותר מהנדרש.

מה אפשר לעשות

• השתמשו בניתוב מודלים, שמתאים לכל משימה מודל שמסוגל לטפל בה. ניסוח מחדש קצר או סיכום יכולים לעבור למודל קטן וזול יותר, והמודל החזק ביותר נשמר להנמקה מרובת שלבים או לניתוח. ה-API של Perplexity נוקט בגישה הזו באמצעות הגדרות קבועות מראש, שמקצות מודל קטן יותר לחיפוש מהיר ומודל גדול יותר לניתוח מקיף.

קפיצות בשימוש אחרי תהליכי עבודה חדשים

תהליך עבודה אוטומטי חדש, או כלי שהושק לצוות שלם, יכולים להקפיץ את השימוש בן לילה. קפיצה כזו אינה בעיה כשלעצמה, אבל כדאי לדעת איזו עבודה גרמה לה.

מה אפשר לעשות

• בדקו תהליכי עבודה חדשים קודם בקבוצה קטנה. עקבו אחר השימוש שלה במשך שבוע-שבועיים לפני שאתם מרחיבים את תהליך העבודה לצוות כולו.
• הגדירו תקציב חודשי לכל צוות. בססו אותו על השימוש בחודש טיפוסי, כך שכל קפיצה תבלוט.
• כבו את הטעינה האוטומטית. כשהטעינה האוטומטית כבויה, העבודה נעצרת כשהקרדיטים נגמרים, במקום שיירכשו קרדיטים נוספים באופן אוטומטי.

איך לייעל את צריכת הטוקנים ב-Perplexity

לשימוש יומיומי

Computer צורך קרדיטים, אבל הוא פועל רק כשאתם בוחרים בו: כשבוחרים בסמל Computer, כשעובדים בפרויקט שמצב ברירת המחדל שלו הוא Computer, או כשמשתמשים במצב Work של Comet.

הגדלה

כדי לחזור לחיפוש רגיל, בחרו בסמל Perplexity כדי לעבור חזרה למצב Ask. כדי לראות את צריכת הקרדיטים, המשתמשים יכולים לפתוח את כלי המעקב בממשק של Perplexity.

הגדלה

צוותים שעובדים בפרויקטים, סביבות העבודה המשותפות של Perplexity, יכולים להגדיר לכל פרויקט מצב ברירת מחדל של חיפוש או Computer. פרויקט שמשמש בעיקר למחקר מהיר יכול לפעול כברירת מחדל במצב חיפוש, כך שאף אחד לא יתחיל משימת Computer בטעות.

למנהלי מערכת ב-Enterprise

• דעו מה כלול בכל מושב. משתמשי Enterprise Pro מקבלים הקצאה חודשית של 500 קרדיטים, ומשתמשי Enterprise Max מקבלים 15,000 קרדיטים. הקרדיטים האלה פוקעים בסוף כל מחזור חודשי ואינם מועברים לחודש הבא.
• הגדירו קודם כול מגבלת שימוש כברירת מחדל. מגבלת שימוש קובעת תקרה לכמות הקרדיטים הנוספים שחבר יכול למשוך מהמאגר המשותף אחרי שההקצאה שלו נגמרת.
• צרו מגבלות עם שמות לסוגים שונים של משתמשים. מנהלים יכולים להגדיר מגבלות כמו "רגיל", "משתמש מתקדם" ו"קבלן", ולשייך אותן לקבוצות משתמשים או לחברים בודדים. הקבוצות יכולות להגיע מ-Perplexity או להסתנכרן מספק הזהויות של החברה. אם מישהו שייך ליותר מקבוצה אחת, חלה המגבלה הגבוהה ביותר.
• השתמשו בעקיפות אישיות לחריגים. כשאדם אחד צריך תקרה שונה מזו של הקבוצה שלו, עקיפה אישית גוברת על כל מגבלה קבוצתית או משותפת. זה שימושי לפרויקט קצר שכרוך במחקר אינטנסיבי, בלי להעלות את התקרה לצוות שלם.
• הציבו תקרה לטעינה האוטומטית. הטעינה האוטומטית ממלאת מחדש את המאגר המשותף באופן אוטומטי. היא מגיעה עם מגבלת טעינה חודשית שניתן להגדיר, כך שההוצאות לא יכולות לגדול בלי תקרה מוגדרת.
• החליטו איך חברים יוכלו לבקש עוד. ההגדרה "אפשר לחברים לבקש קרדיטים נוספים" מאפשרת למי שהגיעו למגבלה שלהם לבקש עוד ממנהל, במקום להיעצר לגמרי.
• בדקו את השימוש מדי חודש. עמוד הקרדיטים של הארגון מציג את הקרדיטים שהוענקו, נוצלו ונותרו לכל חבר, לצד מגבלות הקבוצות ויתרת המאגר. בארגונים עם 50 מושבים ומעלה, או עם לפחות חבר Enterprise Max אחד, לוח הבקרה Insights מוסיף נתונים על משתמשים פעילים חודשיים ועל שאילתות שבועיות לאורך זמן. לפרטים נוספים, יומני הביקורת מתעדים הרצת משימות, שימוש במחברים, צריכת קרדיטים והענקת קרדיטים.

לצוותים שבונים על גבי ה-API

• תנו לכל כלי או צוות מפתח API משלו. Perplexity יכולה להציג את החיוב בנפרד לכל מפתח, ומפתחות נפרדים מבהירים איזה כלי מניע את השימוש.
• בדקו בעמוד החיוב איזה סוג טוקן גדל. העמוד מציג טוקני קלט, פלט והנמקה לאורך זמן. עלייה בטוקני הקלט מעידה בדרך כלל שכלי שולח יותר טקסט ממה שהוא צריך. עלייה בטוקני ההנמקה מעידה שמשימות רצות על מודלים שחושבים על בעיות לעומק ובאריכות.
• השתמשו ב-Search API כשכלי צריך רק תוצאות חיפוש. הוא מחזיר תוצאות מהאינטרנט בלי שמודל יכתוב תשובה, והחיוב הוא לפי בקשה, ללא חיובים נוספים מבוססי טוקנים.
• התחילו את כלי הסוכנים מהגדרה קבועה מראש. ההגדרות הקבועות מראש של Perplexity מתאימות את גודל המודל לגודל המשימה ומרחיקות בקשות פשוטות מהמודלים היקרים ביותר

עבודה מקומית כברירת מחדל

חלק מהעבודה בכלל לא דורשת מודל ענן בתשלום. Portable Computer הוא גרסה של הסוכן של Perplexity שפועלת במחשב של המשתמש עצמו, באמצעות מודל בינה מלאכותית שמאוחסן במכשיר הזה. מכיוון שהמודל פועל באופן מקומי, עבודה שגרתית לא צורכת טוקנים בתשלום. הוא פונה לאינטרנט, לאפליקציות מחוברות או למודל ענן חזק יותר רק כשמשימה דורשת זאת, ומבקש קודם את אישור המשתמש.

גלו איך Perplexity Computer מטפל בעבודה מרובת שלבים באינטרנט, בקבצים ובכלים מחוברים.

שאלות נפוצות

מה ההבדל בין צריכת טוקנים לבין עלויות בינה מלאכותית?

צריכת טוקנים מודדת כמה עבודת בינה מלאכותית צוות מבצע, בספירת טוקנים. עלויות בינה מלאכותית כוללות את כל מה שצוות משלם כדי להשתמש בבינה מלאכותית, כולל מנויים, קרדיטים נוספים והקמה. צריכת הטוקנים היא שמניעה את החלק מבוסס השימוש בעלויות האלה.

האם משתמשים במנוי משלמים לפי טוקן?

בדרך כלל לא באופן ישיר. כלים מבוססי מנוי עוקבים אחר השימוש לפי הודעות, שאילתות או קרדיטים, ומשימות שצורכות יותר טוקנים מכלות אותם מהר יותר. ב-Perplexity, חיפושים רגילים לא צורכים קרדיטים בכלל; רק משימות Computer צורכות אותם.

למה סוכני בינה מלאכותית צורכים כל כך הרבה טוקנים?

סוכן משלים משימה בשלבים רבים, וכל שלב הוא בקשה נפרדת שקוראת מחדש את העבודה שנעשתה עד אז. לכן משימה ארוכה צורכת יותר טוקנים עם כל שלב שהיא מבצעת.

למה צריכת הטוקנים קופצת פתאום?

רוב הקפיצות באות בעקבות שינוי באופן העבודה של הצוות, כמו תהליך עבודה אוטומטי חדש, כלי שהושק לאנשים נוספים או משימת סוכן ארוכה. השוואה בין תאריך הקפיצה להשקות האחרונות מגלה בדרך כלל את הסיבה. בדיקת תהליכי עבודה חדשים קודם בקבוצה קטנה עוזרת למנוע קפיצות.