O data center vai para a sua máquina

O objetivo correto para um sistema de IA é entregar o maior valor de token por watt, para cada usuário. Isso parece simples. Não é, porque três fatores se contrapõem.

A precisão exige os modelos mais capazes, que são caros de operar. A privacidade exige que parte do trabalho nunca saia da sua máquina. O custo e a energia exigem que você não gaste o poder computacional de um modelo de fronteira em uma tarefa que um modelo menor pode realizar. Não é possível maximizar um sem respeitar os outros.

Equilibrar os três é um problema de orquestração. E orquestração é o que a Perplexity sempre fez.

Hoje anunciamos o próximo passo para o Personal Computer: o primeiro orquestrador de inferência híbrida local-servidor. Ele avalia qual trabalho deve ser executado no seu dispositivo e qual deve ser enviado para agentes na nuvem, roteando automaticamente cada parte de uma tarefa para o lugar certo.

De modelos à computação

A Perplexity começou orquestrando ferramentas e fontes para produzir respostas precisas e citadas. O Computer expandiu isso para um sistema de suporte para centenas de agentes, utilizando mais de vinte modelos de fronteira, escolhendo o correto para cada tarefa. Agora, podemos estender a mesma ideia para a computação em si: qual modelo, onde ele é executado e por quê.

A inferência agentica híbrida é destinada a trabalhos que envolvam dados sensíveis, mas que necessitem de IA poderosa. Exemplos incluem registros financeiros, informações de saúde e arquivos pessoais. O modelo compacto é executado localmente no seu dispositivo para determinar quando dados sensíveis também devem ser mantidos localmente.

Enquanto isso, o trabalho que requer a capacidade total de um modelo de fronteira é executado no servidor. A maioria das tarefas reais é uma combinação, então o Personal Computer as divide e coordena as partes. Ao contrário de ferramentas que exigem que você escolha entre local ou nuvem de antemão, isso ocorre automaticamente, tarefa por tarefa.

O dispositivo é o data center

Por anos, chips mais capazes significaram principalmente aplicativos mais rápidos e maior duração de bateria. Isso muda quando o chip consegue executar inferência real. Quanto melhor o hardware local, mais o orquestrador pode manter na sua máquina, e mais ele pode reservar o servidor para o trabalho que realmente exige isso.

Revelamos isso com a Intel, e o mesmo sistema agnóstico a modelos é executado em outros processadores locais, incluindo o RTX Spark da NVIDIA. A corrida pela computação local começou. À medida que os chips avançam, apenas a Perplexity possui o sistema agentico e a engenharia de inferência aplicada para uma orquestração verdadeiramente perfeita.

Isso também altera o cálculo para todos que observam a escassez de computação. Quando o trabalho sensível e o trabalho rotineiro são movidos para os dispositivos que as pessoas já possuem, não é necessário construir tanta infraestrutura centralizada para atendê-los. Isso muda também o conceito de soberania: dados importantes podem permanecer em sua própria jurisdição sem que um país precise erguer um data center para mantê-los lá.

As pessoas preferem possuir um data center em seus laptops do que depender de um que não controlam.

A arquitetura correta para a eficiência

Há um motivo pelo qual essa arquitetura se ajusta à Perplexity. Nosso negócio sempre foi a IA precisa, não maximizar a venda de tokens. Esse é o incentivo correto para otimizar o valor por watt: ganhamos quando a resposta está correta e o trabalho é concluído, não quando ele consome mais computação.

A IA híbrida tem sido uma ambição do setor há muito tempo. O Personal Computer com inferência local, que chegará em julho, é o primeiro produto que a torna real e o primeiro a tratar a computação como mais um elemento a ser orquestrado de forma inteligente, entre sua máquina e a nuvem.