El centro de datos se traslada a su dispositivo

El objetivo correcto para un sistema de IA es ofrecer el mayor valor de tokens por vatio para cada usuario. Eso suena sencillo, pero no lo es, porque tres factores se contraponen entre sí.

La precisión exige los modelos más capaces, que son costosos de ejecutar. La privacidad exige que cierta información nunca abandone su máquina. El costo y la energía exigen no dedicar la capacidad de cómputo de un modelo avanzado a una tarea que uno más pequeño puede gestionar. No se puede maximizar uno sin respetar los otros.

Equilibrar los tres es un problema de orquestación. Y la orquestación es lo que Perplexity siempre ha hecho.

Hoy anunciamos el siguiente paso para Personal Computer: el primer orquestador de inferencia híbrido local-servidor. Razona sobre qué trabajo debe ejecutarse en su dispositivo y qué trabajo debe dirigirse a agentes en la nube, y enruta automáticamente cada parte de una tarea al lugar correcto.

De los modelos a la capacidad de cómputo

Perplexity comenzó orquestando herramientas y fuentes para producir respuestas precisas y citadas. Computer amplió eso a un sistema para cientos de agentes, implementado en más de veinte modelos avanzados, eligiendo el adecuado para cada tarea. Ahora podemos extender la misma idea al cómputo mismo: qué modelo, dónde se ejecuta y por qué.

La inferencia agente híbrida está destinada a trabajos que incluyen datos sensibles pero requieren una IA potente. Como registros financieros, información de salud y archivos personales. El modelo compacto se ejecuta localmente en su dispositivo para determinar cuándo los datos sensibles deben mantenerse también de forma local.

Mientras tanto, el trabajo que necesita toda la capacidad de un modelo avanzado se ejecuta en el servidor. La mayoría de las tareas reales son una mezcla, por lo que Personal Computer las divide y coordina las partes. A diferencia de las herramientas que piden elegir entre local o nube de antemano, esto ocurre por sí solo, tarea por tarea.

El dispositivo es el centro de datos

Durante años, el silicio más capaz significaba mayormente aplicaciones más rápidas y una mayor duración de la batería. Eso cambia cuando el chip puede ejecutar inferencia real. Cuanto mejor sea el hardware local, más podrá mantener el orquestador en su máquina y más podrá reservar el servidor para el trabajo que realmente lo requiere.

Presentamos esto con Intel, y el mismo sistema agnóstico al modelo se ejecuta en otro silicio local, incluido RTX Spark de NVIDIA. La carrera por el cómputo local ha comenzado. A medida que los chips avanzan, solo Perplexity cuenta con el sistema agente y la ingeniería de inferencia aplicada para una orquestación verdaderamente fluida.

Esto también cambia las matemáticas para todos los que observan la escasez de cómputo. Cuando el trabajo sensible y el rutinario se trasladan a los dispositivos que la gente ya posee, no es necesario construir tanta infraestructura centralizada para atenderlo. También cambia la soberanía: los datos importantes pueden permanecer en su propia jurisdicción sin que un país tenga que establecer un centro de datos para mantenerlos allí.

La gente prefiere poseer un centro de datos en su computadora portátil que depender de uno que no controlan.

La arquitectura adecuada para la eficiencia

Hay una razón por la que esta arquitectura encaja con Perplexity. Nuestro negocio siempre ha sido la IA precisa, no maximizar los tokens que vendemos. Ese es el incentivo correcto para optimizar el valor por vatio: ganamos cuando la respuesta es correcta y el trabajo se realiza, no cuando consume más cómputo.

La IA híbrida ha sido una ambición de la industria durante mucho tiempo. Personal Computer con inferencia local, que llegará en julio, es el primer producto que lo hace realidad y el primero en tratar el cómputo como un elemento más que orquestar de manera inteligente, entre su máquina y la nube.