Podatkovni centar se seli na vaš uređaj

Ispravan cilj za AI sustav jest isporučiti najviše vrijednosti tokena po vatu za svakog korisnika. To zvuči jednostavno. Nije, jer se tri stvari međusobno suprotstavljaju.

Točnost zahtijeva najsposobnije modele, čije je pokretanje skupo. Privatnost zahtijeva da neki posao nikada ne napusti vaš uređaj. Trošak i energija zahtijevaju da ne trošite računalnu snagu vrhunskog modela na zadatak s kojim se manji model može nositi. Ne možete maximizirati jedno bez poštivanja ostalih.

Uravnoteženje svih troje je problem orkestracije. A orkestracija je ono što Perplexity oduvijek radi.

Danas smo najavili sljedeći korak za Personal Computer: prvi hibridni lokalno-serverski orkestrator inferencije. On promišlja o tome koji bi posao trebao raditi na vašem uređaju, a koji bi trebao ići agentima u oblaku, te automatski usmjerava svaki dio zadatka na pravo mjesto.

Od modela do računalne snage

Perplexity je započeo orkestriranjem alata i izvora kako bi proizveo točne, citirane odgovore. Computer je to proširio na okruženje za stotine agenata, pokrenutih na više od dvadeset vrhunskih modela, odabirući pravi za svaki zadatak. Sada istu ideju možemo proširiti na samu računalnu snagu: koji model, gdje se izvodi i zašto.

Hibridna agentska inferencija namijenjena je radu koji uključuje osjetljive podatke, ali zahtijeva moćan AI. Stvari poput financijskih zapisa, zdravstvenih informacija i osobnih datoteka. Kompaktni model radi lokalno na vašem uređaju kako bi odredio kada bi se osjetljivi podaci također trebali čuvati lokalno.

U međuvremenu, posao koji zahtijeva punu sposobnost vrhunskog modela izvodi se na poslužitelju. Većina stvarnih zadataka je mješavina, stoga ih Personal Computer dijeli i koordinira dijelove. Za razliku od alata koji od vas traže da unaprijed odaberete lokalnu verziju ili oblak, ovo se događa samostalno, od zadatka do zadatka.

Uređaj je podatkovni centar

Godinama je moćniji silicij uglavnom značio brže aplikacije i dulji vijek trajanja baterije. To se mijenja kada čip može izvoditi stvarnu inferenciju. Što je lokalni hardver bolji, orkestrator može više zadržati na vašem stroju i više može rezervirati poslužitelj za posao koji to doista zahtijeva.

Ovo smo otkrili u suradnji s Intelom, a isto okruženje neovisno o modelu radi na drugom lokalnom siliciju, uključujući NVIDIA-in RTX Spark. Utrka za lokalnom računalnom snagom je počela. Kako čipovi napreduju, samo Perplexity ima agentsko okruženje i inženjering primijenjene inferencije za istinski besprijekornu orkestraciju.

Ovo također mijenja računicu za sve koji prate nestašicu računalne snage. Kada se osjetljivi rad i rutinski rad presele na uređaje koje ljudi već posjeduju, ne morate graditi toliko centralizirane infrastrukture za njezino posluživanje. To također mijenja izgled suvereniteta: važni podaci mogu ostati u svojoj nadležnosti bez da neka država mora podizati podatkovni centar kako bi ih zadržala.

Ljudi bi radije posjedovali podatkovni centar u svom prijenosnom računalu nego gradili na onom koji ne kontroliraju.

Ispravna arhitektura za učinkovitost

Postoji razlog zašto ova arhitektura odgovara Perplexityju. Naš posao uvijek je bio točan AI, a ne maksimiziranje tokena koje prodajemo. To je pravi poticaj za optimizaciju vrijednosti po vatu: pobjeđujemo kada je odgovor točan i posao obavljen, a ne kada troši više računalne snage.

Hibridni AI već je dugo ambicija industrije. Personal Computer s lokalnom inferencijom, koji dolazi u srpnju, prvi je proizvod koji to čini stvarnošću i prvi koji računalnu snagu tretira kao još jednu stvar koju treba inteligentno orkestrirati, na vašem stroju i u oblaku.