O data center vai para a sua máquina

O objetivo certo para um sistema de IA é fornecer o máximo de valor em tokens por watt, para cada usuário. Parece simples. Não é, porque três fatores entram em conflito.

A precisão exige os modelos mais capazes, que são caros de executar. A privacidade exige que parte do trabalho nunca saia da sua máquina. O custo e a energia exigem que você não gaste o poder de processamento de um modelo de ponta em uma tarefa que um modelo menor consegue realizar. Não é possível maximizar um sem respeitar os outros.

Equilibrar os três é um problema de orquestração. E a orquestração é o que a Perplexity sempre fez.

Hoje anunciamos o próximo passo para o Personal Computer: o primeiro orquestrador de inferência híbrido local-servidor. Ele avalia qual trabalho deve ser executado no seu dispositivo e qual deve ser enviado para agentes na nuvem, roteando automaticamente cada parte de uma tarefa para o lugar certo.

Dos modelos ao processamento

A Perplexity começou orquestrando ferramentas e fontes para produzir respostas precisas e com citações. O Computer expandiu isso para um sistema de suporte a centenas de agentes, executados em mais de vinte modelos de ponta, escolhendo o ideal para cada tarefa. Agora podemos estender a mesma ideia para o próprio processamento: qual modelo, onde ele é executado e o porquê.

A inferência agêntica híbrida é ideal para trabalhos que incluem dados confidenciais, mas exigem IA poderosa. Exemplos incluem registros financeiros, informações de saúde e arquivos pessoais. O modelo compacto é executado localmente no seu dispositivo para determinar quando os dados confidenciais também devem ser mantidos localmente.

Enquanto isso, o trabalho que exige toda a capacidade de um modelo de ponta é executado no servidor. A maioria das tarefas reais é uma combinação de ambos, portanto, o Personal Computer divide essas tarefas e coordena as partes. Ao contrário das ferramentas que exigem que você escolha previamente entre local ou nuvem, isso acontece de forma autônoma, tarefa por tarefa.

O dispositivo é o data center

Durante anos, chips mais potentes significavam principalmente aplicativos mais rápidos e maior duração de bateria. Isso muda quando o chip consegue executar inferências reais. Quanto melhor o hardware local, mais o orquestrador pode manter na sua máquina e mais ele pode reservar o servidor para o trabalho que realmente exige isso.

Apresentamos isso em parceria com a Intel, e esse mesmo sistema independente de modelo funciona em outros hardwares locais, incluindo o RTX Spark da NVIDIA. A corrida pelo processamento local começou. Com o avanço dos chips, apenas a Perplexity possui o sistema agêntico e a engenharia de inferência aplicada para uma orquestração verdadeiramente integrada.

Isso também muda a lógica para todos que acompanham a escassez de capacidade de processamento. Quando o trabalho confidencial e o trabalho rotineiro são transferidos para os dispositivos que as pessoas já possuem, não é necessário construir tanta infraestrutura centralizada para atendê-los. Isso também transforma o conceito de soberania: dados importantes podem permanecer em sua própria jurisdição sem que um país precise construir um data center para isso.

As pessoas preferem ter um data center em seu laptop do que depender de um que não controlam.

A arquitetura certa para a eficiência

Há um motivo para essa arquitetura se alinhar à Perplexity. Nosso negócio sempre foi a IA precisa, e não a maximização da venda de tokens. Esse é o incentivo correto para otimizar o valor por watt: vencemos quando a resposta está correta e o trabalho é concluído, e não quando ele consome mais processamento.

A IA híbrida tem sido uma ambição da indústria há muito tempo. O Personal Computer com inferência local, que será lançado em julho, é o primeiro produto a tornar isso realidade e o primeiro a tratar o processamento como mais um elemento a ser orquestrado de forma inteligente entre a sua máquina e a nuvem.