Centar podataka se seeli na vašu mašinu

Pravi cilj za AI sistem jeste da isporuči najveću vrednost tokena po vatu, za svakog korisnika. To zvuči jednostavno. Nije tako, zato što tri stvari deluju suprotstavljeno.

Tačnost zahteva najsposobnije modele, čije je pokretanje skupo. Privatnost zahteva da neki posao nikada ne napusti vaš uređaj. Cena i energija zahtevaju da ne trošite računarske resurse naprednog modela na zadatak koji manji model može da obavi. Ne možete da maksimizujete jedno a da ne poštujete ostalo.

Balansiranje svih ovih elemenata predstavlja problem orkestracije. A orkestracija je upravo ono što Perplexity oduvek radi.

Danas smo najavili sledeći korak za Personal Computer: prvi hibridni lokalno-serverski orkestrator inferencije. On procenjuje koji posao treba da se izvršava na vašem uređaju, a koji treba da se prosledi agentima u klaudu, i automatski usmerava svaki deo zadatka na pravo mesto.

Od modela do računanja

Perplexity je počeo orkestracijom alata i izvora kako bi proizveo tačne odgovore sa navedenim izvorima. Computer je to proširio na okruženje za stotine agenata, pokrenutih na više od dvadeset naprednih modela, birajući pravi model za svaki zadatak. Sada istu ideju možemo da proširimo na same računske resurse: koji model, gde se izvršava i zašto.

Hibridna agencijska inferencija namenjena je poslovima koji uključuju osetljive podatke, a zahtevaju moćnu veštačku inteligenciju. Stvari kao što su finansijski zapisi, zdravstvene informacije i lični fajlovi. Kompaktni model se pokreće lokalno na vašem uređaju kako bi odredio kada osetljivi podaci takođe treba da ostanu lokalni.

U međuvremenu, poslovi koji zahtevaju puni kapacitet naprednog modela izvršavaju se na serveru. Većina stvarnih zadataka predstavlja kombinaciju, tako da ih Personal Computer deli i koordiniše njihove delove. Za razliku od alata koji od vas traže da unapred izaberete lokalni rad ili rad u klaudu, ovo se dešava samostalno, od zadatka do zadatka.

Uređaj je centar podataka

Godinama je veća sposobnost silikona uglavnom značila brže aplikacije i duži vek trajanja baterije. To se menja kada čip može da pokreće stvarnu inferenciju. Što je lokalni hardver bolji, to orkestrator može više toga da zadrži na vašoj mašini, a server može više da sačuva za poslove kojima je on zaista potreban.

Ovo smo predstavili u saradnji sa Intelom, a isto okruženje nezavisno od modela radi i na drugim lokalnim silikonskim rešenjima, uključujući NVIDIA RTX Spark. Trka za lokalnim računarskim resursima je počela. Kako čipovi napreduju, samo Perplexity poseduje agencijsko okruženje i primenjenu inženjersku inferenciju za zaista besprekornu orkestraciju.

Ovo takođe menja računicu za sve koji prate nestašicu računarskih resursa. Kada se osetljivi i rutinski poslovi presele na uređaje koje ljudi već poseduju, nije potrebno graditi onoliko centralizovane infrastrukture za njihovo opsluživanje. To takođe menja izgled suvereniteta: važni podaci mogu ostati u svojoj nadležnosti bez potrebe da država podiže centar podataka kako bi ih zadržala.

Ljudi bi radije posedovali centar podataka u svom laptopu nego gradili infrastrukturu nad kojom nemaju kontrolu.

Prava arhitektura za efikasnost

Postoji razlog zašto ova arhitektura odgovara kompaniji Perplexity. Naše poslovanje se oduvek zasnivalo na tačnoj veštačkoj inteligenciji, a ne na maksimizovanju prodatih tokena. To je pravi podsticaj za optimizaciju vrednosti po vatu: pobeđujemo kada je odgovor tačan i kada je posao obavljen, a ne kada se troši više računarskih resursa.

Hibridna veštačka inteligencija dugo je bila ambicija industrije. Personal Computer sa lokalnom inferencijom, koji stiže u julu, jeste prvi proizvod koji to čini stvarnošću i prvi koji računarske resurse tretira kao još jednu stavku koju treba inteligentno orkestrirati, na vašoj mašini i u klaudu.