O centro de datos múdase á túa máquina

O obxectivo correcto para un sistema de intelixencia artificial é ofrecer o máximo valor de tokens por vatio para cada usuario. Iso parece sinxelo. Non o é, porque tres cousas tiran en direccións contrarias.

A precisión esixe os modelos máis capaces, que son custosos de executar. A privacidade esixe que parte do traballo nunca abandone a túa máquina. O custo e a enerxía esixen que non gastes a capacidade de cálculo dun modelo de vangarda nunha tarefa que un máis pequeno pode xestionar. Non podes maximizar un aspecto sen respectar os demais.

Equilibrar os tres é un problema de orquestración. E a orquestración é o que Perplexity sempre fixo.

Hoxe anunciamos o seguinte paso para Personal Computer: o primeiro orquestrador de inferencia híbrido local-servidor. Analiza qué traballo debe executarse no teu dispositivo e qué traballo debe ir aos axentes na nube, e dirixe cada parte dunha tarefa ao lugar correcto de forma automática.

Dos modelos ao cálculo

Perplexity comezou orquestrando ferramentas e fontes para producir respostas precisas e con citas. Computer ampliou iso a un contorno para centos de axentes, postos en marcha en máis de vinte modelos de vangarda, elixindo o adecuado para cada tarefa. Agora podemos ampliar a mesma idea ao propio cálculo: qué modelo, onde se executa e por que.

A inferencia híbrida baseada en axentes está pensada para traballos que inclúen datos sensibles pero que requiren unha intelixencia artificial potente. Cousas como rexistros financeiros, información médica e ficheiros persoais. O modelo compacto execútase localmente no teu dispositivo para determinar cando os datos sensibles tamén deben manterse de forma local.

Mentres tanto, o traballo que necesita toda a capacidade dun modelo de vangarda execútase no servidor. A maioría das tarefas reais son unha combinación, polo que Personal Computer divídeas e coordina as partes. A diferenza das ferramentas que che piden elixir entre local ou nube desde o principio, isto ocorre por si só, tarefa por tarefa.

O dispositivo é o centro de datos

Durante anos, o silicio máis capaz significou principalmente aplicacións máis rápidas e maior duración da batería. Iso cambia cando o chip pode executar inferencia real. Canto mellor sexa o hardware local, máis poderá manter o orquestrador na túa máquina e máis poderá reservar o servidor para o traballo que realmente o requira.

Presentamos isto con Intel, e o mesmo contorno agnóstico de modelos funciona noutros silicios locais, incluíndo RTX Spark de NVIDIA. A carreira polo cálculo local xa comezou. A medida que os chips avanzan, só Perplexity dispón do contorno de axentes e da enxeñería de inferencia aplicada para lograr unha orquestración verdadeiramente fluída.

Isto tamén cambia a ecuación para todos os que observan a escaseza de capacidade de cálculo. Cando o traballo sensible e o traballo rutineiro se moven aos dispositivos que a xente xa posúe, non fai falta construír tanta infraestrutura centralizada para servilo. Tamén cambia o concepto de soberanía: os datos importantes poden permanecer na súa propia xurisdición sen que un país teña que crear un centro de datos para retelos alí.

A xente preferiría posuír un centro de datos no seu portátil antes ca construír un sobre o que non ten control.

A arquitectura correcta para a eficiencia

Hai unha razón pola que esta arquitectura encaixa con Perplexity. O noso negocio sempre foi a intelixencia artificial precisa, non maximizar os tokens que vendemos. Ese é o incentivo correcto para optimizar o valor por vatio: gañamos cando a resposta é correcta e o traballo faise, non cando consume máis capacidade de cálculo.

A intelixencia artificial híbrida foi unha ambición da industria durante moito tempo. Personal Computer coa inferencia local, que chegará en xullo, é o primeiro produto que a fai realidade e o primeiro en tratar o cálculo como un elemento máis que orquestrar de forma intelixente entre a túa máquina e a nube.