El centre de dades es mou a la vostra màquina

L'objectiu correcte per a un sistema d'intel·ligència artificial és oferir el màxim valor de token per watt, per a cada usuari. Això sembla senzill. No ho és, perquè hi ha tres factors que es contradiuen.

La precisió exigeix els models més capaços, que són cars d'executar. La privadesa exigeix ​​que algunes tasques no abandonin mai la vostra màquina. El cost i l'energia exigeixen que no gasteu el còmput d'un model de frontera en una tasca que un de més petit pot gestionar. No podeu maximitzar l'un sense respectar els altres.

Equilibrar els tres aspectes és un problema d'orquestració. I l'orquestració és el que Perplexity sempre ha fet.

Avui hem anunciat el següent pas per a Personal Computer: el primer orquestrador d'inferència híbrid entre dispositiu local i servidor. Avalua quina feina s'ha d'executar al vostre dispositiu i quina ha d'anar als agents al núvol, i routeja automàticament cada part d'una tasca al lloc adequat.

Dels models al còmput

Perplexity va començar orquestrant eines i fonts per produir respostes precises i citades. Computer ho va ampliar a un entorn per a centenars d'agents, desplegats en més de vint models de frontera, triant el correcte per a cada tasca. Ara podem estendre la mateixa idea al còmput en si: quin model, on s'executa i per què.

La inferència agentiva híbrida és per a treballs que inclouen dades sensibles però necessiten una IA potent. Coses com registres financers, informació de salut i fitxers personals. El model compacte s'executa localment al vostre dispositiu per determinar quan les dades sensibles també s'han de mantenir localment.

Mentrestant, el treball que necessita tota la capacitat d'un model de frontera s'executa al servidor. La majoria de tasques reals són una combinació, així que Personal Computer les divideix i coordina les parts. A diferencia de les eines que us demanen triar entre dispositiu local o núvol per avançat, això passa sol, tasca per tasca.

El dispositiu és el centre de dades

Durant anys, un silici més capaç significava principalment aplicacions més ràpides i una bateria de més durada. Això canvia quan el xip pot executar inferència real. Com millor sigui el maquinari local, més podrà mantenir l'orquestrador a la vostra màquina i més podrà reservar el servidor per al treball que realment ho requereixi.

Hem presentat això amb Intel, i el mateix entorn agnòstic respecte al model s'executa en altre silici local, incloent-hi l'RTX Spark de NVIDIA. La cursa pel còmput local ha començat. A mesura que els xips avancen, només Perplexity disposa de l'entorn agentiu i de l'enginyeria d'inferència aplicada per a una orquestració veritablement transparent.

Això també canvia els càlculs per a tothom qui observa l'escassetat de còmput. Quan el treball sensible i el treball rutinari es mouen als dispositius que la gent ja posseeix, no cal construir tanta infraestructura centralitzada per donar-li servei. També canvia com és la sobirania: les dades importants poden romandre a la seva pròpia jurisdicció sense que un país hagi d'aixecar un centre de dades per mantenir-les allà.

La gent preferiria tenir un centre de dades al seu portàtil abans que construir-ne un que no controla.

L'arquitectura adequada per a l'eficiència

Hi ha un motiu pel qual aquesta arquitectura s'adapta a Perplexity. El nostre negoci sempre ha estat una IA precisa, no maximitzar els tokens que venem. Aquest és l'incentiu correcte per optimitzar el valor per watt: guanyem quan la resposta és correcta i la feina es fa, no quan consumeix més còmput.

La IA híbrida ha estat una ambició de la indústria durant molt de temps. Personal Computer amb inferència local, que arribarà al juliol, és el primer producte que la fa realitat i el primer a tractar el còmput com una cosa més a orquestrar intel·ligentment, entre la vostra màquina i el núvol.