Le centre de données s'installe sur votre machine

Le bon objectif pour un système d'IA est de fournir la plus grande valeur de jetons par watt pour chaque utilisateur. Cela a l'air simple. Ça ne l'est pas, car trois facteurs entrent en contradiction.

La précision exige les modèles les plus performants, dont l'exécution coûte cher. La confidentialité exige qu'une partie du travail ne quitte jamais votre appareil. Le coût et l'énergie exigent de ne pas gaspiller la puissance de calcul d'un modèle de pointe pour une tâche qu'un modèle plus modeste peut accomplir. Il est impossible d'en maximiser un sans compromettre les autres.

Trouver un équilibre entre ces trois aspects relève de l'orchestration. Et l'orchestration est ce que Perplexity a toujours fait.

Nous avons annoncé aujourd'hui la prochaine étape pour Personal Computer : le premier orchestrateur d'inférence hybride local-serveur. Il analyse la charge de travail qui doit être exécutée sur votre appareil et celle qui doit être confiée à des agents dans le nuage, et il achemine automatiquement chaque partie d'une tâche vers l'emplacement approprié.

Perplexity a commencé par orchestrer des outils et des sources pour produire des réponses précises et documentées. Computer a étendu cette approche à un cadre pour des centaines d'agents, activés parmi plus de vingt modèles de pointe, en choisissant le bon pour chaque tâche. Nous pouvons maintenant étendre la même idée à la puissance de calcul elle-même : quel modèle, où il s'exécute et pourquoi.

L'inférence agentique hybride est conçue pour les tâches qui contiennent des données sensibles, mais nécessitent une IA puissante, comme des dossiers financiers, des renseignements médicaux et des fichiers personnels. Le modèle compact s'exécute localement sur votre appareil pour déterminer quand les données sensibles doivent également être conservées localement.

Pendant ce temps, les tâches nécessitant toutes les capacités d'un modèle de pointe s'exécutent sur le serveur. La plupart des tâches réelles sont mixtes, c'est pourquoi Personal Computer les sépare et en coordonne les différentes parties. Contrairement aux outils qui vous demandent de choisir au départ entre le local et le nuage, cela se fait de manière autonome, tâche par tâche.

Pendant des années, des puces plus puissantes signifiaient surtout des applications plus rapides et une plus grande autonomie de la batterie. La situation change lorsque la puce peut exécuter une véritable inférence. Plus le matériel local est performant, plus l'orchestrateur peut en garder sur votre machine et plus il peut réserver le serveur aux tâches qui le nécessitent réellement.

Nous avons dévoilé cette avancée avec Intel, et le même cadre agnostique en matière de modèles fonctionne sur d'autres puces locales, y compris le RTX Spark de NVIDIA. La course au calcul local est lancée. À mesure que les puces progressent, seul Perplexity dispose du cadre agentique et de l'ingénierie d'inférence appliquée pour une orchestration véritablement transparente.

Cela change également la donne pour tous ceux qui observent la pénurie de puissance de calcul. Lorsque les travaux sensibles et les tâches de routine sont transférés sur les appareils que les gens possèdent déjà, il n'est plus nécessaire de construire autant d'infrastructures centralisées pour les prendre en charge. Cela redéfinit également la souveraineté : les données importantes peuvent rester dans leur propre administration sans qu'un pays n'ait besoin de mettre sur pied un centre de données pour les y stocker.

Les gens préfèrent posséder un centre de données dans leur ordinateur portable plutôt que d'en utiliser un qu'ils ne contrôlent pas.

Si cette architecture correspond bien à Perplexity, ce n'est pas un hasard. Notre entreprise a toujours mis l'accent sur une IA précise, plutôt que sur la maximisation des jetons que nous vendons. C'est la bonne motivation pour optimiser la valeur par watt : nous gagnons lorsque la réponse est exacte et que le travail est accompli, et non lorsqu'il consomme plus de puissance de calcul.

L'IA hybride est depuis longtemps une ambition de l'industrie. Personal Computer avec inférence locale, qui sera lancé en juillet, est le premier produit qui en fait une réalité, et le premier à traiter la puissance de calcul comme un élément de plus à orchestrer intelligemment, entre votre machine et le nuage.

Des modèles à la puissance de calcul

L'appareil devient le centre de données

La bonne architecture pour l'efficacité