Il data center si sposta sul tuo dispositivo

L'obiettivo corretto per un sistema di intelligenza artificiale è fornire il massimo valore in token per watt, per ogni utente. Sembra semplice. Non lo è, perché tre fattori entrano in conflitto tra loro.

L'accuratezza richiede i modelli più capaci, che sono costosi da eseguire. La privacy richiede che parte del lavoro non lasci mai il proprio dispositivo. Il costo e l'energia richiedono di non impiegare la potenza di calcolo di un modello di frontiera per un'attività che può essere gestita da uno più piccolo. Non è possibile massimizzare un fattore senza rispettare gli altri.

Bilanciare tutti e tre è un problema di orchestrazione. E l'orchestrazione è ciò che Perplexity ha sempre fatto.

Oggi abbiamo annunciato il passo successivo per il Personal Computer: il primo orchestratore di inferenza ibrido locale-server. Esso analizza quale lavoro debba essere eseguito sul proprio dispositivo e quale debba essere inviato agli agenti nel cloud, instradando automaticamente ogni parte di un'attività nel posto giusto.

Dai modelli al calcolo

Perplexity ha iniziato orchestrando strumenti e fonti per produrre risposte accurate e citate. Computer ha esteso questo concetto a un sistema di supporto per centinaia di agenti, basato su oltre venti modelli di frontiera, scegliendo quello giusto per ogni attività. Ora possiamo estendere la stessa idea al calcolo stesso: quale modello, dove viene eseguito e perché.

L'inferenza agentica ibrida è destinata a lavori che includono dati sensibili ma necessitano di un'intelligenza artificiale potente. Cose come documenti finanziari, informazioni sanitarie e file personali. Il modello compatto viene eseguito localmente sul proprio dispositivo per determinare quando anche i dati sensibili debbano essere mantenuti localmente.

Nel frattempo, il lavoro che necessita della piena capacità di un modello di frontiera viene eseguito sul server. La maggior parte delle attività reali è un mix, quindi il Personal Computer le suddivide e coordina le parti. A differenza degli strumenti che richiedono di scegliere in anticipo tra locale o cloud, questo avviene autonomamente, attività per attività.

Il dispositivo è il data center

Per anni, un silicio più capace ha significato principalmente app più veloci e una maggiore durata della batteria. Ciò cambia quando il chip è in grado di eseguire un'inferenza reale. Migliore è l'hardware locale, più l'orchestratore può mantenere sul proprio dispositivo e più può riservare il server per il lavoro che lo richiede genuinamente.

Abbiamo presentato tutto ciò con Intel e lo stesso sistema agnostico rispetto al modello viene eseguito su altri silici locali, incluso NVIDIA RTX Spark. La corsa al calcolo locale è iniziata. Man mano che i chip avanzano, solo Perplexity dispone del sistema di supporto agentico e dell'ingegneria dell'inferenza applicata per un'orchestrazione veramente fluida.

Questo cambia anche i calcoli per tutti coloro che osservano la carenza di potenza di calcolo. Quando il lavoro sensibile e quello di routine si spostano sui dispositivi che le persone già possiedono, non è necessario costruire un'infrastruttura centralizzata altrettanto vasta per gestirlo. Cambia anche l'aspetto della sovranità: i dati importanti possono rimanere nella propria giurisdizione senza che un paese debba erigere un data center per mantenerli lì.

Le persone preferiscono possedere un data center sul proprio laptop piuttosto che basarsi su uno che non controllano.

L'architettura corretta per l'efficienza

C'è una ragione per cui questa architettura si adatta a Perplexity. La nostra attività è sempre stata l'intelligenza artificiale accurata, non la massimizzazione dei token che vendiamo. Questo è l'incentivo corretto per ottimizzare il valore per watt: vinciamo quando la risposta è corretta e il lavoro viene completato, non quando consuma più calcolo.

L'intelligenza artificiale ibrida è un'ambizione del settore da molto tempo. Il Personal Computer con inferenza locale, in arrivo a luglio, è il primo prodotto a renderlo reale e il primo a trattare il calcolo come un ulteriore elemento da orchestrare in modo intelligente, tra il proprio dispositivo e il cloud.