資料中心移至你的裝置

AI 系統的正解是為每個用戶提供每瓦最高的 token 價值。這聽起來很簡單，但其實不然，因為有三個因素彼此拉扯。

準確性需要最強大的模型，而這些模型的運行成本很高。隱私要求某些工作絕不能離開你的裝置。成本和能源則要求你不要將尖端模型的運算力浪費在較小模型就能處理的任務上。你無法在不顧及其他因素的情況下將其中一項發揮到極致。

平衡這三者是一個編排問題，而編排正是 Perplexity 一直在做的事。

今天我們宣佈了 Personal Computer 的下一步發展：首個混合式本地與伺服器推論編排器。它能判斷哪些工作應該在你的裝置上運行，哪些工作應該傳送到雲端的代理程式，並自動將任務的每個部分路由到正確的位置。

從模型到運算

Perplexity 始終以編排工具和來源起家，藉此產出準確且附有引用的答案。Computer 將其擴展為一個支援數百個代理程式的框架，並在二十多個尖端模型中運作，為每個任務選擇最適合的模型。現在，我們將相同的理念延伸至運算本身：使用哪個模型、在哪裡運行，以及原因。

混合代理式推論適用於包含敏感資料但需要強大 AI 的工作，例如財務記錄、健康資訊和個人檔案。精簡模型會在你的裝置上本地運行，以決定何時也應將敏感資料保留在本地。

同時，需要尖端模型完整功能的工作則會在伺服器上運行。大多數實際任務都是兩者的結合，因此 Personal Computer 會將其拆分並協調各個部分。與那些要求你預先選擇本地或雲端的工具不同，這個過程是自主進行的，按任務逐一處理。

裝置即資料中心

多年來，更強大的晶片主要意味著更快的應用程式和更長的電池續航力。當晶片能夠運行真正的推論時，情況就改變了。本地硬體越好，編排器就能在你的機器上保留越多內容，從而為真正需要它的工作保留更多伺服器資源。

我們與 Intel 共同發表了這項技術，而相同的模型無關框架也能在其他本地晶片上運行，包括 NVIDIA 的 RTX Spark。本地運算的競賽已經展開。隨著晶片不斷進步，只有 Perplexity 擁有能實現真正無縫編排的代理式框架與應用推論工程。

這也改變了所有關注運算短缺問題的人的計算方式。當敏感工作和日常工作轉移到人們已經擁有的裝置上時，你就不需要建立那麼多的集中式基礎設施來為其服務。這也改變了主權的樣貌：重要資料可以留在其自身的司法管轄區內，而無需國家建立資料中心來保存它。

比起在自己無法控制的資料中心上建置，人們寧願在自己的筆記型電腦中擁有一個資料中心。

實現效率的正解架構

這種架構適合 Perplexity 是有原因的。我們的業務一直是提供準確的 AI，而不是將我們銷售的 token 最大化。這是優化每瓦價值的正確誘因：當答案正確且工作完成時我們就贏了，而不是當它消耗更多運算力時。

混合式 AI 長久以來一直是業界的目標。即將於 7 月推出的具備本地推論功能的 Personal Computer，是第一個將其實現的產品，也是第一個將運算視為可在你的機器與雲端之間進行智慧編排的事物的產品。