Centrul de date se mută pe dispozitivul tău

Obiectivul corect pentru un sistem AI este să ofere cea mai mare valoare de token per watt, pentru fiecare utilizator. Sună simplu. Nu este, deoarece trei lucruri se opun reciproc.

Acuratețea cere cele mai capabile modele, a căror rulare este costisitoare. Confidențialitatea cere ca o parte din lucru să nu părăsească niciodată dispozitivul tău. Costul și energia cer să nu cheltuiești puterea de calcul a unui model de frontieră pe o sarcină pe care un model mai mic o poate gestiona. Nu poți maximiza unul fără a le respecta pe celelalte.

Echilibrarea tuturor celor trei este o problemă de orchestrare. Iar orchestrarea este lucrul pe care Perplexity l-a făcut întotdeauna.

Astăzi am anunțat următorul pas pentru Personal Computer: primul orchestrator de inferență hibrid local-server. Acesta gândește ce activitate ar trebui să ruleze pe dispozitivul tău și ce activitate ar trebui să meargă către agenții din cloud, și direcționează automat fiecare parte a unei sarcini către locul potrivit.

De la modele la puterea de calcul

Perplexity a început prin a orchestra instrumente și surse pentru a produce răspunsuri precise, citate. Computer a extins acest lucru la un cadru pentru sute de agenți, lansați în peste douăzeci de modele de frontieră, alegându-l pe cel potrivit pentru fiecare sarcină. Acum putem extinde aceeași idee la puterea de calcul însăși: ce model, unde rulează și de ce.

Inferența hibridă bazată pe agenți este destinată activităților care includ date sensibile, dar au nevoie de un AI puternic. Lucruri precum înregistrări financiare, informații de sănătate și fișiere personale. Modelul compact rulează local pe dispozitivul tău pentru a stabili când datele sensibile ar trebui, de asemenea, să fie păstrate local.

Între timp, activitățile care au nevoie de capacitatea deplină a unui model de frontieră rulează pe server. Majoritatea sarcinilor reale sunt o combinație, așa că Personal Computer le desparte și coordonează părțile. Spre deosebire de instrumentele care îți cer să alegi între local și cloud de la început, acest lucru se întâmplă de la sine, sarcină cu sarcină.

Dispozitivul este centrul de date

Timp de ani de zile, siliciul mai capabil a însemnat în mare parte aplicații mai rapide și o durată mai mare a bateriei. Acest lucru se schimbă atunci când cipul poate rula o inferență reală. Cu cât hardware-ul local este mai bun, cu atât orchestratorul poate păstra mai multe pe mașina ta și cu atât poate rezerva mai mult serverul pentru munca ce îl solicită cu adevărat.

Am dezvăluit acest lucru împreună cu Intel, iar același cadru agnostic față de modele rulează și pe alte sisteme din siliciu locale, inclusiv NVIDIA's RTX Spark. Cursa pentru puterea de calcul locală a început. Pe măsură ce cipurile avansează, doar Perplexity dispune de cadrul bazat pe agenți și de ingineria de inferență aplicată pentru o orchestrare cu adevărat fluidă.

Acest lucru schimbă, de asemenea, calculele pentru toți cei care urmăresc criza puterii de calcul. Atunci când activitățile sensibile și cele de rutină se mută pe dispozitivele pe care oamenii le dețin deja, nu mai trebuie să construiești la fel de multă infrastructură centralizată pentru a le deservi. De asemenea, schimbă modul în care arată suveranitatea: datele importante pot rămâne în propria jurisdicție fără ca o țară să fie nevoită să înființeze un centru de date pentru a le păstra acolo.

Oamenii ar prefera să dețină un centru de date în propriul laptop decât să construiască pe unul pe care nu îl controlează.

Arhitectura corectă pentru eficiență

Există un motiv pentru care această arhitectură se potrivește cu Perplexity. Afacerea noastră a fost întotdeauna un AI precis, nu maximizarea tokenurilor pe care le vindem. Aceasta este motivația corectă pentru optimizarea valorii per watt: câștigăm atunci când răspunsul este corect și munca este dusă la bun sfârșit, nu atunci când consumă mai multă putere de calcul.

AI-ul hibrid a fost o ambiție a industriei pentru mult timp. Personal Computer cu inferență locală, care va fi lansat în iulie, este primul produs care îl face realitate și primul care tratează puterea de calcul ca un alt lucru de orchestrat inteligent, între mașina ta și cloud.