如何追蹤及控制團隊的 Token 支出

甚麼是 Token 支出

Token 支出是指團隊使用 AI 時消耗的 Token 數量，以及這些 Token 的成本。Token 是 AI 模型讀取或寫出的文字單位，例如一個字詞、字詞的一部分或一個標點符號。在英文中，1 個 Token 大約等於 4 個字元。不同模型或供應商的 Token 並無統一標準，因此同一段文字在不同工具中可能會得出不同的數量。

用量報告通常會把 Token 分為幾種類型：

• 輸入 Token 是模型處理一次請求時讀取的所有內容，包括查詢、任何附加的文字，以及模型從同一個討論串較早部分重用的對話紀錄。
• 輸出 Token 是模型寫出的回應，費用通常比輸入 Token 高。在 Perplexity 的 API 定價中，部分模型的輸出收費高達輸入的六倍。
• 推理 Token 是模型在回答前，為了解決問題而在內部生成的文字。這些文字不會出現在答案中，因此可見的回應較長，並不一定代表模型整體使用了較多 Token。

以訂閱方式使用 AI 工具的團隊，甚少會看到按 Token 計算的收費。不過 Token 仍然會影響他們能獲得的服務，因為較繁重的任務會更快耗用點數或觸及用量上限。至於基於 AI 模型自行開發工具的團隊，通常則採用按用量計費模式，按 Token 付費。

如何追蹤 Token 支出

在訂閱方案中追蹤 Token 支出

訂閱工具通常不會顯示 Token 數量。許多方案改用點數，即預付的單位，方案會隨着工作完成而扣減點數。點數並不等同 Token，因為一個點數可涵蓋文字、圖像或其他工作。但使用較多 Token 的任務通常也會耗用較多點數，因此點數是了解訂閱方案 Token 支出的最佳指標。用戶可以追蹤自己的點數用量，部分方案亦會提供管理員儀表板，顯示整個團隊的點數使用情況。

以 Perplexity 為例，一般搜尋不會耗用點數，只有處理多步驟任務的助理 Perplexity Computer 才會耗用。使用 Computer 的用戶可以查看自己已使用多少點數，以及用在哪些地方。每個 Computer 任務亦會在其對話的「用量」選單中顯示該任務的點數總額。

放大

在 Enterprise 方案中，管理員可以在 Insights 儀表板查看有多少人使用 Perplexity，以及他們每週執行多少次查詢（適用於擁有 50 個或以上席位，或至少有一位 Enterprise Max 成員的組織）。

放大

在 API 用量報告中追蹤 Token 支出

API 供應商的用量報告會直接顯示 Token 數量，通常按 Token 類型細分。以 Perplexity 的 API Platform 控制台為例，用戶可以在「帳單」頁面追蹤輸入、輸出及推理 Token 支出等指標。

Token 支出為何不斷增加

AI 代理程式每項任務都會執行多個步驟，而每個步驟都是對模型發出的獨立請求。一項任務累計使用的 Token 可達數十萬，甚至數百萬個。

推理模型亦愈來愈普遍。推理模型會在回答前寫出思考過程，而當中每個字都會計算為 Token。因此，即使螢幕上顯示的答案長度相同，同一個請求在推理模型上使用的 Token 通常會比在標準模型上多。

最後，隨着愈來愈多人和工作流程普遍採用 AI，Token 用量亦會不斷累積。部分增長亦來自「tokenmaxxing」，即工程師主要為了提高個人 Token 數量、在內部 Token 排行榜上名列前茅而執行 AI 代理程式。

如何減少 Token 支出

大部分高昂的 Token 支出，都來自幾類實際耗用 Token 比表面看來更多的工作。

冗長對話與 AI 代理程式任務

模型每次回覆時，通常都會重新讀取截至目前為止的整段對話。每個新請求都包含之前所有對話紀錄以及用戶目前的訊息。因此，在冗長討論串的後段提出一個簡短問題，所用的 Token 會比在新討論串中提出同一問題更多。AI 代理程式任務的運作方式亦一樣，因為每個步驟都會將其結果加入對話紀錄，供下一個步驟重新讀取。

放大

應對方法

• 話題轉變時，請開始新的對話。在新對話開首，用兩三行總結舊討論串中模型仍然需要的資訊。
• 將冗長的 AI 代理程式任務拆分成較小的任務。把每個部分作為獨立任務執行，並只將下一部分需要的結果傳遞下去。
• 檢查團隊的 AI 代理程式工具有否使用上下文壓縮。壓縮功能會自動總結任務中較早的部分，讓模型減少需要重新讀取的內容。如果工具提供此設定，請將其開啟。

重複處理相同的文件

當有人在多個獨立查詢中附加同一份冗長檔案（例如政策手冊或產品目錄）時，模型每次都會讀取整份檔案。每次讀取都會計算為輸入 Token。

應對方法

• 培訓用戶將手冊或目錄中的相關部分複製到請求中，而非附加整份檔案。
• 為團隊常用的文件製作精簡版本。在日常查詢中，一份冗長政策的一頁摘要即可代替完整文件。

重試與循環

當答案不符合需要而再次執行任務時，每次嘗試都會耗用 Token。AI 代理程式卡住並不斷重複同一步驟時，情況亦一樣。

應對方法

• 在第一個請求中清楚說明任務、所需結果及資料來源。例如：「只根據附件中的調查結果，以五個重點列出客戶在第三季取消服務的主要原因。」
• 檢查 AI 代理程式任務的頭幾個步驟。如果 AI 代理程式重複同一步驟或搜尋，請停止任務，並以範圍更窄的請求重新開始。

以大型模型處理簡單任務

能力較強的模型每個 Token 的費用通常較高，因此摘要或重新排版等日常工作，可能會令團隊預算消耗得比所需更快。

應對方法

• 使用模型路由，為每項任務配對能夠勝任的模型。簡短的改寫或摘要可交由較小、較便宜的模型處理，能力最強的模型則留待多步驟推理或分析使用。Perplexity 的 API 透過預設配置採用這種做法：快速查找會分配給較小的模型，詳盡分析則交由較大的模型處理。

新工作流程推出後的用量激增

新的自動化工作流程，或推廣至整個團隊的工具，都可能令用量一夜之間急升。用量激增本身並非問題，但值得了解是哪些工作導致的。

應對方法

• 先讓一小組用戶測試新工作流程。在將工作流程推廣至整個團隊之前，先觀察他們一至兩星期的用量。
• 為每個團隊設定每月預算，並以一般月份的用量為基準，讓用量急升時一目了然。
• 關閉自動增值。關閉自動增值後，點數用完時工作便會停止，而不會自動購買更多點數。

如何在 Perplexity 中優化 Token 支出

日常使用

Computer 會耗用點數，但只會在你選擇使用時才運行，即選取 Computer 圖示、在預設使用 Computer 的專案中工作，或使用 Comet 工作模式時。

放大

如要返回一般搜尋，請選取 Perplexity 圖示，切換回「提問」模式。如要查看點數用量，用戶可以在 Perplexity 介面中開啟追蹤工具。

放大

使用專案（Perplexity 的共用工作空間）的團隊，可以將每個專案的預設模式設為「搜尋」或「Computer」。主要用於快速研究的專案可預設為「搜尋」，以免有人意外啟動 Computer 任務。

適用於 Enterprise 管理員

• 了解每個席位包含的內容。Enterprise Pro 用戶每月可獲分配 500 點數，Enterprise Max 用戶則可獲 15,000 點數。這些點數會在每個月度週期結束時到期，不會結轉至下一週期。
• 先設定預設用量上限。用量上限決定成員在用完自己的分配額後，最多可從共用點數池額外提取多少點數。
• 為不同類型的用戶建立具名上限。管理員可以設定「標準」、「進階用戶」和「承包商」等上限，並將其指派給用戶群組或個別成員。群組可以來自 Perplexity，或從公司的身分識別提供者同步。如果有人同時屬於多個群組，則以最高的上限為準。
• 針對例外情況使用個人覆寫設定。當某人需要與其群組不同的上限時，個人覆寫設定的優先次序高於任何群組或共用上限。這適用於需要大量研究的短期專案，而無須提高整個團隊的上限。
• 為自動增值設定上限。自動增值會自動為共用點數池增值，並設有可調整的每月增值上限，因此支出不會在沒有既定上限的情況下無限增長。
• 決定成員如何申請更多點數。「允許成員申請更多點數」設定可讓已達上限的用戶向管理員申請更多點數，而不是直接被迫停止使用。
• 每月檢視用量。「組織點數」頁面會顯示每位成員獲授予、已使用及剩餘的點數，以及群組上限和點數池結餘。對於擁有 50 個或以上席位，或至少有一位 Enterprise Max 成員的組織，Insights 儀表板亦會顯示每月活躍用戶及每週查詢次數隨時間的變化。如需更多詳情，審計日誌會記錄任務執行、連接器使用、點數消耗及點數授予情況。

適用於基於 API 開發的團隊

• 為每個工具或團隊提供獨立的 API 密鑰。Perplexity 可以分別顯示每個密鑰的帳單，而獨立的密鑰亦能清楚顯示是哪個工具在推高用量。
• 在帳單頁面查看哪類 Token 正在增加。該頁面會顯示輸入、輸出及推理 Token 隨時間的變化。輸入 Token 上升通常代表工具傳送了多於所需的文字；推理 Token 上升則代表任務正在使用會深入思考問題的模型。
• 當工具只需要搜尋結果時，請使用 Search API。它會傳回網上搜尋結果，而無須由模型撰寫答案，並按請求次數收費，不另收任何以 Token 計算的費用。
• 以預設配置啟動 AI 代理程式工具。Perplexity 的預設配置會按任務規模配對相應規模的模型，避免簡單請求使用最昂貴的模型。

本機優先的工作

有些工作根本不需要付費的雲端模型。Portable Computer 是 Perplexity AI 代理程式的一個版本，可在用戶自己的電腦上運行，並使用儲存在該電腦上的 AI 模型。由於模型在本機運行，日常工作不會耗用付費 Token。只有在任務需要時，它才會連接網絡、已連接的應用程式或更強大的雲端模型，並會先徵求用戶同意。

探索 Perplexity Computer 如何處理多步驟工作，範圍涵蓋網絡、檔案及已連接的工具。

常見問題

Token 支出與 AI 成本有何分別？

Token 支出衡量團隊完成了多少 AI 工作，以 Token 計算。AI 成本則涵蓋團隊使用 AI 所支付的一切費用，包括訂閱、額外點數及設定費用。Token 支出決定了帳單中按用量計費的部分。

訂閱用戶需要按 Token 付費嗎？

通常不會直接按 Token 付費。訂閱工具會以訊息、查詢或點數來追蹤用量，而使用較多 Token 的任務會更快耗盡這些額度。在 Perplexity 上，一般搜尋完全不會耗用點數，只有 Computer 任務才會。

為何 AI 代理程式會使用這麼多 Token？

AI 代理程式會分多個步驟完成任務，而每個步驟都是一個獨立請求，需要重新讀取截至目前為止的工作內容。因此，冗長的任務每多走一步，使用的 Token 就會更多。

為何 Token 用量會突然激增？

大部分用量激增都源於團隊工作方式的改變，例如新的自動化工作流程、推廣至更多人使用的工具，或冗長的 AI 代理程式任務。將用量激增的日期與近期推出的項目比較，通常就能找出原因。先讓一小組用戶測試新工作流程，有助防止用量激增。