資料中心轉移至您的設備

AI 系統的正確目標是為每位使用者提供最具單瓦代幣價值（token value per watt）的體驗。這聽起來很簡單，但事實並非如此，因為三者之間存在相互制衡的關係。

準確性要求使用最強大的模型，而運行這些模型代價高昂；隱私性要求某些工作絕不能離開您的設備；成本與能源效率則要求您避免將前沿模型的運算資源浪費在小型模型即可處理的任務上。若不顧及其中一方，便無法實現整體的最大化。

平衡這三者是一個編排（orchestration）問題。而編排正是 Perplexity 一直以來的核心能力。

今天，我們宣佈了 Personal Computer 的下一步：首款混合式本地伺服器推論編排器。它能判斷哪些工作應在您的設備上運行，哪些工作應交由雲端代理（agents）處理，並自動將任務的各個部分路由至正確的位置。

Perplexity 最初透過編排工具與資源來產出準確且具引用的答案。Computer 將此擴展為數百個代理的協作框架，整合了超過二十種前沿模型，並為每項任務選擇最合適的一款。現在，我們可以將相同的概念延伸至運算本身：選擇哪種模型、在何處運行，以及為什麼這樣運行。

混合式代理推論適用於涉及敏感資料但仍需強大 AI 支援的工作，例如財務紀錄、健康資訊與個人檔案。小型模型會在您的設備上本地運行，以判定敏感資料是否也應保留在本地。

同時，需要前沿模型完整效能的工作則在伺服器上執行。大多數實際任務都是混合型的，因此 Personal Computer 會將其拆分並協調各個部分。與那些要求您事先選擇本地或雲端模式的工具不同，此過程是針對每項任務自動完成的。

多年來，更強大的晶片通常意味著更快的應用程式與更長的電池續航力。當晶片具備運行實際推論的能力時，情況便發生了改變。本地硬體性能越好，編排器就能在您的機器上保留越多工作，並將伺服器留給真正需要其算力的任務。

我們與 Intel 合作發佈了此方案，且相同的模型無關（model-agnostic）框架亦可在其他本地晶片上運行，包括 NVIDIA 的 RTX Spark。本地運算的競賽已經展開。隨著晶片技術的進步，只有 Perplexity 擁有代理編排框架與應用推論工程，能夠實現真正無縫的編排。

這也改變了所有關注運算短缺問題的人的計算方式。當敏感工作與例行工作轉移到人們已擁有的設備上時，您無需建立大量的集中式基礎設施來處理這些工作。這也改變了主權的定義：重要資料可以保留在其所屬的管轄範圍內，而無需國家為了儲存資料而建立資料中心。

與其建立一個自己無法控制的資料中心，人們更願意在自己的筆記型電腦中擁有一個資料中心。

這種架構適合 Perplexity 是有原因的。我們的業務核心一直以來都是準確的 AI，而非最大化我們銷售的代幣量。這是優化單瓦價值的正確誘因：當答案準確且工作順利完成時，我們就獲得了成功，而不是透過消耗更多的運算資源來獲利。

混合式 AI 長期以來一直是產業界的目標。將於七月推出的具備本地推論功能的 Personal Computer，是首款使此目標成為現實的產品，也是首款將運算視為可智慧編排的資源，並跨越機器與雲端進行管理的產品。

從模型到運算