El centro de datos se muda a tu máquina

El objetivo correcto para un sistema de IA es ofrecer el máximo valor de tokens por vatio para cada usuario. Suene simple. No lo es, porque tres factores se oponen entre sí.

La precisión exige los modelos más capaces, que son costosos de ejecutar. La privacidad exige que parte del trabajo nunca abandone tu máquina. El costo y la energía exigen que no desperdicies la capacidad de cómputo de un modelo de vanguardia en una tarea que uno más pequeño puede resolver. No puedes maximizar uno sin respetar los demás.

Equilibrar los tres es un problema de orquestación. Y la orquestación es lo que Perplexity siempre ha hecho.

Hoy anunciamos el siguiente paso para Personal Computer: el primer orquestador de inferencia híbrido local-servidor. Razona sobre qué trabajo debe ejecutarse en tu dispositivo y qué trabajo debe enviarse a los agentes en la nube, y enruta automáticamente cada parte de una tarea al lugar correcto.

De los modelos al cómputo

Perplexity comenzó orquestando herramientas y fuentes para producir respuestas precisas y citadas. Computer amplió eso a un entorno para cientos de agentes, desplegados en más de veinte modelos de vanguardia, eligiendo el correcto para cada tarea. Ahora podemos extender la misma idea al cómputo en sí: qué modelo, dónde se ejecuta y por qué.

La inferencia agéntica híbrida está diseñada para trabajos que incluyen datos confidenciales pero que requieren una IA potente. Cosas como registros financieros, información de salud y archivos personales. El modelo compacto se ejecuta localmente en tu dispositivo para determinar cuándo los datos confidenciales también deben mantenerse de manera local.

Mientras tanto, el trabajo que necesita toda la capacidad de un modelo de vanguardia se ejecuta en el servidor. La mayoría de las tareas reales son una combinación, por lo que Personal Computer las divide y coordina las partes. A diferencia de las herramientas que te piden que elijas entre local o nube desde el principio, esto ocurre por sí solo, tarea por tarea.

El dispositivo es el centro de datos

Durante años, un silicio más capaz significaba principalmente aplicaciones más rápidas y mayor duración de la batería. Eso cambia cuando el chip puede ejecutar inferencias reales. Cuanto mejor sea el hardware local, más podrá mantener el orquestador en tu máquina y más podrá reservar el servidor para el trabajo que realmente lo requiere.

Presentamos esto con Intel, y el mismo entorno agnóstico de modelos se ejecuta en otros silicios locales, incluido RTX Spark de NVIDIA. La carrera por el cómputo local ha comenzado. A medida que los chips avancen, solo Perplexity cuenta con el entorno agéntico y la ingeniería de inferencia aplicada para una orquestación verdaderamente fluida.

Esto también cambia las reglas del juego para todos los que observan la escasez de cómputo. Cuando el trabajo confidencial y el trabajo rutinario se trasladan a los dispositivos que las personas ya poseen, no es necesario construir tanta infraestructura centralizada para atenderlo. También cambia la apariencia de la soberanía: los datos importantes pueden permanecer en su propia jurisdicción sin que un país tenga que levantar un centro de datos para mantenerlos allí.

La gente prefiere tener un centro de datos en su computadora portátil que depender de uno que no controla.

La arquitectura adecuada para la eficiencia

Hay una razón por la cual esta arquitectura se adapta a Perplexity. Nuestro negocio siempre ha sido la IA precisa, no maximizar los tokens que vendemos. Ese es el incentivo correcto para optimizar el valor por vatio: ganamos cuando la respuesta es correcta y el trabajo se realiza, no cuando consume más cómputo.

La IA híbrida ha sido una ambición de la industria durante mucho tiempo. Personal Computer con inferencia local, que llegará en julio, es el primer producto que la hace realidad y el primero en tratar el cómputo como un elemento más que orquestar de manera inteligente, en tu máquina y en la nube.