数据中心转移至您的设备

对于AI系统而言，正确的目标是为每位用户提供单位功耗下的最高Token价值。这听起来很简单，但事实并非如此，因为三者之间存在相互制约。

准确性要求使用功能最强大的模型，而这类模型的运行成本高昂。隐私性要求某些工作绝不能离开您的设备。成本和能源效率则要求您避免将前沿模型的算力浪费在较小模型即可处理的任务上。如果不兼顾这三者，就无法实现任何一项的最优化。

平衡这三者是一个编排问题，而编排正是Perplexity一直以来所擅长的领域。

今天，我们宣布了Personal Computer的下一步发展：首个混合式本地-服务器推理编排器。它能判断哪些工作应在您的设备上运行，哪些工作应发送至云端代理，并自动将任务的各个部分路由到正确的位置。

从模型到计算

Perplexity起初通过编排工具和资源来生成准确且可引用的答案。Computer将其扩展为一个可运行数百个代理的架构，并在二十多种前沿模型中进行部署，为每项任务选择最合适的模型。现在，我们可以将这一理念延伸至计算本身：选择何种模型，在哪运行，以及为何运行。

混合代理推理适用于涉及敏感数据但又需要强大AI能力的工作，例如财务记录、健康信息和个人文件。紧凑型模型在您的设备上本地运行，以确定敏感数据应在何时保留在本地。

与此同时，需要前沿模型全部能力的工作则在服务器上运行。大多数实际任务都是两者的混合，因此Personal Computer会对其进行拆分并协调各个部分。与那些要求您预先选择本地或云端模式的工具不同，这一过程是自动按任务逐项完成的。

设备即数据中心

多年来，更强大的芯片主要意味着更快的应用程序和更长的电池寿命。当芯片能够运行实际推理时，情况就发生了变化。本地硬件越出色，编排器在您的机器上保留的工作就越多，从而能将服务器更多地保留给真正需要它的工作。

我们与英特尔共同发布了这一方案，且该模型无关性架构可在包括NVIDIA RTX Spark在内的其他本地芯片上运行。本地算力竞赛已经开启。随着芯片的进步，只有Perplexity具备代理架构和应用推理工程，能够实现真正无缝的编排。

这也改变了所有关注算力短缺的人的计算方式。当敏感工作和日常工作转移到人们已拥有的设备上时，您无需构建过多的集中式基础设施来提供服务。它也改变了主权的形式：重要数据可以保留在各自的管辖范围内，而无需国家专门建立数据中心来存储。

人们宁愿在自己的笔记本电脑上拥有一个数据中心，也不愿依赖自己无法控制的设施。

实现效率的正确架构

这种架构适合Perplexity是有原因的。我们的业务始终是准确的AI，而非最大化销售的Token数量。这是优化单位功耗价值的正确激励机制：当我们给出正确的答案并完成任务时，我们才能获胜，而不是通过消耗更多的算力来获胜。

混合AI一直是行业长久以来的追求。将于七月推出的具有本地推理功能的Personal Computer是首个使其成为现实的产品，也是首个将算力视为需要智能编排对象的产品，并在您的机器与云端之间实现协同。