如何追蹤與控管團隊的 token 支出

什麼是 token 支出

Token 支出指的是團隊使用 AI 時消耗的 token 數量，以及這些 token 的成本。Token 是 AI 模型讀取或產生的文字單位，例如一個字詞、字詞的一部分或一個標點符號。在英文中，1 個 token 大約等於 4 個字元。Token 在不同模型或供應商之間並沒有統一標準，因此同一段文字在不同工具中可能會算出不同的數量。

用量報告通常會將 token 分為幾種類型：

• 輸入 token 是模型處理一次請求時所讀取的所有內容，包括查詢內容、任何附加的文字，以及模型從同一個討論串先前內容中重複使用的對話記錄。
• 輸出 token 是模型所寫出的回應，費用通常比輸入 token 高。在 Perplexity 的 API 定價中，部分模型的輸出收費是輸入的六倍。
• 推理 token 是模型在回答之前，為了逐步解決問題而在內部產生的文字。這些內容不會出現在答案中，因此看得到的回應較長，並不一定代表模型整體使用了更多 token。

以訂閱方式使用 AI 工具的團隊，很少會看到按 token 計價的費用。不過 token 仍會影響他們能獲得的服務，因為較繁重的任務會更快耗盡點數或達到用量上限。而以 AI 模型自行打造工具的團隊，通常則是採用依用量計費的方式，按 token 付費。

如何追蹤 token 支出

在訂閱方案中追蹤 token 支出

訂閱制工具通常不會顯示 token 數量。許多方案改用點數，也就是一種預付單位，方案會隨著工作完成而逐步扣除。點數與 token 並不相同，因為一個點數可以用於文字、圖片或其他工作。不過，使用較多 token 的任務通常也會消耗較多點數，因此點數是了解訂閱方案 token 支出的最佳參考。使用者可以追蹤自己的點數用量，部分方案也會提供管理員儀表板，顯示整個團隊的點數使用情況。

以 Perplexity 為例，一般搜尋不會消耗點數，只有負責處理多步驟任務的助理 Perplexity Computer 才會使用點數。使用 Computer 的人可以查看自己已使用多少點數，以及點數用在哪些地方。每個 Computer 任務也會在其對話的「用量」選單中顯示該任務的點數總計。

放大

在 Enterprise 方案中，管理員可以在 Insights 儀表板中查看有多少人使用 Perplexity，以及他們每週執行多少次查詢（適用於擁有 50 個以上席位，或至少有一位 Enterprise Max 成員的組織）。

放大

在 API 用量報告中追蹤 token 支出

API 供應商的用量報告會直接顯示 token 數量，通常會依 token 類型分列。例如，在 Perplexity 的 API Platform 主控台中，使用者可以在「帳單」頁面追蹤輸入、輸出和推理 token 支出等指標。

為什麼 token 支出持續增加

AI 代理程式在每個任務中會執行許多步驟，而每個步驟都是對模型發出的一次獨立請求。一個任務累積下來可能會用掉數十萬、甚至數百萬個 token。

推理模型也越來越普遍。推理模型會在回答之前先寫出思考過程，而其中每個字都會計入 token。因此，同樣的請求在推理模型上通常會比在標準模型上使用更多 token，即使畫面上顯示的答案長度看起來一樣。

最後，隨著越來越多人和工作流程普遍使用 AI，token 用量也會不斷累積。其中部分成長也來自「tokenmaxxing」，也就是工程師主要為了拉高個人 token 數量、在內部 token 排行榜上名列前茅而執行 AI 代理程式。

如何降低 token 支出

大部分高額 token 支出都來自少數幾種工作，這些工作所使用的 token 往往比表面上看起來更多。

冗長的對話與 AI 代理程式任務

模型每次回覆時，通常都會重新讀取到目前為止的整段對話。每個新請求都會包含先前所有的對話記錄，再加上使用者目前的訊息。因此，在一個很長的討論串後段提出簡短問題，會比在新討論串中提出同樣的問題使用更多 token。AI 代理程式任務的運作方式也一樣，因為每個步驟都會把結果加入記錄中，供下一個步驟重新讀取。

放大

因應方式

• 話題改變時，請開啟新的對話。在開頭用兩、三行摘要說明模型仍需要知道的舊討論串內容。
• 將冗長的 AI 代理程式任務拆分成較小的任務。把每個部分當作獨立任務執行，並只傳遞下一個部分需要的結果。
• 確認團隊的 AI 代理程式工具是否使用脈絡壓縮。壓縮功能會自動摘要任務中較早的部分，讓模型需要重新讀取的內容變少。如果工具提供這項設定，請將其開啟。

一再重複處理相同的文件

當有人在許多個別查詢中附加同一份長篇檔案（例如政策手冊或產品型錄）時，模型每次都會讀取整份檔案，而每次讀取都會計入輸入 token。

因應方式

• 教導使用者將手冊或型錄中的相關段落複製到請求中，而不是附加整份檔案。
• 為團隊常用的文件製作精簡版本。在例行查詢中，一頁長的政策摘要就可以取代完整文件。

重試與迴圈

當答案不符合需求而需要重新執行任務時，每次嘗試都會使用 token。AI 代理程式卡在重複執行同一個步驟時，也會發生同樣的情況。

因應方式

• 在第一次請求中就明確說明任務、預期結果和資料來源。例如：「僅根據附加的問卷調查結果，以五個項目符號摘要說明客戶在第三季取消的主要原因。」
• 檢查 AI 代理程式任務的前幾個步驟。如果 AI 代理程式重複執行同一個步驟或搜尋，請將其停止，並以範圍更明確的請求重新開始。

用大型模型處理簡單任務

能力較強的模型通常每個 token 的費用也較高，因此摘要或重新排版等例行工作，可能會讓團隊預算消耗得比實際需要更快。

因應方式

• 使用模型路由，為每個任務搭配能夠勝任的模型。簡短的改寫或摘要可以交給較小、較便宜的模型，而能力最強的模型則保留給多步驟推理或分析使用。Perplexity 的 API 就是透過預設組合採用這種做法，將較小的模型指派給快速查詢，並將較大的模型指派給全面深入的分析。

導入新工作流程後的用量暴增

新的自動化工作流程，或是推廣到整個團隊的工具，都可能讓用量在一夕之間上升。用量暴增本身並不是問題，但值得了解是哪些工作造成的。

因應方式

• 先在小型群組中測試新的工作流程。在將工作流程推廣到整個團隊之前，先觀察他們一到兩週的用量。
• 為每個團隊設定每月預算。以一般月份的用量為基準，這樣一旦用量暴增就會很明顯。
• 關閉自動儲值。關閉自動儲值後，點數用完時工作就會停止，而不會自動購買更多點數。

如何在 Perplexity 中最佳化 token 支出

日常使用

Computer 會使用點數，但只有在您選擇使用時才會執行，方式包括選取 Computer 圖示、在預設使用 Computer 的專案中工作，或使用 Comet 的 Work 模式。

放大

若要回到一般搜尋，請選取 Perplexity 圖示切換回 Ask 模式。若要查看點數用量，使用者可以在 Perplexity 介面中開啟用量追蹤工具。

放大

在專案（Perplexity 的共用工作區）中工作的團隊，可以將每個專案的預設模式設為「搜尋」或「Computer」。主要用於快速研究的專案可以預設為「搜尋」，避免有人意外啟動 Computer 任務。

適用於 Enterprise 管理員

• 了解每個席位包含哪些內容。Enterprise Pro 使用者每月可獲得 500 點數，Enterprise Max 使用者則可獲得 15,000 點數。這些點數會在每個月度週期結束時到期，且不會累積至下個週期。
• 先設定預設用量上限。用量上限會限制成員在自己的分配額度用完後，最多能從共用點數池中額外動用多少點數。
• 為不同類型的使用者建立具名上限。管理員可以設定「標準」、「進階使用者」和「約聘人員」等上限，並將其指派給使用者群組或個別成員。群組可以來自 Perplexity，或從公司的身分識別提供者同步。如果某人同時屬於多個群組，則適用最高的上限。
• 針對例外情況使用個人覆寫設定。當某人需要與所屬群組不同的上限時，個人覆寫設定會優先於任何群組或共用上限。這對於需要大量研究的短期專案很實用，而且不必提高整個團隊的上限。
• 為自動儲值設定上限。自動儲值會自動補充共用點數池，並提供可設定的每月儲值上限，因此支出不會在沒有既定上限的情況下持續增加。
• 決定成員如何申請更多點數。「允許成員申請更多點數」設定可讓達到上限的使用者向管理員申請更多點數，而不會直接被停止使用。
• 每月檢視用量。「組織點數」頁面會顯示每位成員已獲得、已使用和剩餘的點數，以及群組上限和點數池餘額。對於擁有 50 個以上席位，或至少有一位 Enterprise Max 成員的組織，Insights 儀表板還會顯示每月活躍使用者和每週查詢次數隨時間的變化。如需更多詳細資訊，稽核日誌會記錄任務執行、連接器使用情況、點數消耗和點數授予。

適用於以 API 進行開發的團隊

• 為每個工具或團隊提供專屬的 API 金鑰。Perplexity 可以分別顯示每個金鑰的帳單，而使用不同的金鑰也能清楚看出是哪個工具在推高用量。
• 在帳單頁面查看哪一種 token 正在增加。該頁面會顯示輸入、輸出和推理 token 隨時間的變化。輸入 token 增加通常代表某個工具傳送了超出需要的文字。推理 token 增加則代表任務正在使用會長時間深入思考問題的模型。
• 當工具只需要搜尋結果時，請使用 Search API。它會傳回網路搜尋結果，而不需要模型撰寫答案，並且按請求次數計費，不會額外收取以 token 計算的費用。
• 從預設組合開始建立 AI 代理程式工具。Perplexity 的預設組合會依任務規模搭配合適規模的模型，避免簡單的請求使用最昂貴的模型。

本機優先的工作方式

有些工作根本不需要付費的雲端模型。Portable Computer 是 Perplexity AI 代理程式的一個版本，可在使用者自己的電腦上執行，並使用儲存在該電腦上的 AI 模型。由於模型在本機執行，例行工作不會消耗付費 token。只有在任務需要時，它才會連線到網路、已連結的應用程式或更強大的雲端模型，而且會先徵求使用者同意。

探索 Perplexity Computer 如何處理多步驟工作，涵蓋網路、檔案與已連結的工具。

常見問題

Token 支出與 AI 成本有什麼不同？

Token 支出衡量的是團隊完成了多少 AI 工作，以 token 為計算單位。AI 成本則涵蓋團隊使用 AI 所支付的一切費用，包括訂閱、額外點數和設定。Token 支出決定了這筆帳單中依用量計費的部分。

訂閱使用者需要按 token 付費嗎？

通常不會直接按 token 付費。訂閱制工具會以訊息、查詢或點數來追蹤用量，而使用較多 token 的任務會更快耗盡這些額度。在 Perplexity 上，一般搜尋完全不會消耗點數，只有 Computer 任務才會。

為什麼 AI 代理程式會使用這麼多 token？

AI 代理程式會分許多步驟完成一項任務，而每個步驟都是一次獨立的請求，並會重新讀取到目前為止的工作內容。因此，任務越長，每多執行一個步驟就會使用越多 token。

為什麼 token 用量會突然暴增？

大多數用量暴增都是因為團隊的工作方式有所改變，例如導入新的自動化工作流程、將工具推廣給更多人使用，或執行冗長的 AI 代理程式任務。比對用量暴增的日期與近期推出的項目，通常就能找出原因。先在小型群組中測試新的工作流程，有助於避免用量暴增。