Дата центар се сели на ваш уређај

Правилан циљ за АИ систем је да испоручи највећу вриједност токена по вату, за сваког корисника. То звучи једноставно. Није тако, јер се три ствари међусобно супротстављају.

Тачност захтијева најспособније моделе, који су скупи за рад. Приватност захтијева да неки посао никада не напусти ваш уређај. Цијена и енергија захтијевају да не трошите рачунарску снагу врхунског модела на задатак који мањи модел може да обави. Не можете максимизовати једну ствар а да не поштујете остале.

Балансирање сва три захтјева је проблем оркестрације. А оркестрација је управо оно што Perplexity ради од самог почетка.

Данас смо најавили сљедећи корак за Personal Computer: први хибридни локално-серверски оркестратор инференције. Он процењује који посао треба да се извршава на вашем уређају, а који треба да иде агентима у облаку, и аутоматски усмјерава сваки дио задатка на право мјесто.

Од модела до рачунарске снаге

Perplexity је почео са оркестрацијом алата и извора како би пружио тачне одговоре са цитираним изворима. Computer је то проширио на окружење за стотине агената, покренуте на више од двадесет врхунских модела, бирајући прави за сваки задатак. Сада можемо проширити исту идеју на саму рачунарску снагу: који модел, гдје се извршава и зашто.

Хибридна агентна инференција је намијењена за посао који укључује осјетљиве податке, али захтијева моћан АИ. Ствари попут финансијских извјештаја, здравствених информација и личних датотека. Компактни модел се извршава локално на вашем уређају како би одредио када осјетљиви подаци такође треба да остану локални.

У међувремену, посао који захтијева пуну капацитет врхунског модела извршава се на серверу. Већина стварних задатака представља комбинацију, па Personal Computer дијели те задатке и координира њихове дијелове. За разлику од алата који од вас траже да унапријед изаберете локални режим или облак, ово се дешава само од себе, задатак по задатак.

Уређај је дата центар

Годинама је већа способност силицијума углавном значила брже апликације и дужи вијек трајања батерије. То се мијења када чип може да покреће стварну инференцију. Што је бољи локални хардвер, то оркестратор може више ствари да задржи на вашем машини, а више може да резервише сервер за посао који заиста то захтијева.

Ово смо представили заједно са компанијом Intel, а исто окружење независно од модела ради и на другим локалним силицијумским чиповима, укључујући NVIDIA RTX Spark. Трка за локалном рачунарском снагом је почињала. Како чипови напредују, само Perplexity има агентно окружење и примијењен инжењеринг инференције за заиста беспрекорну оркестрацију.

Ово такође мијења рачуницу за све који прате несташицу рачунарске снаге. Када се осјетљив и рутински посао помјере на уређаје које људи већ посједују, не морате да градите толико централизоване инфраструктуре да бисте их опслужили. То такође мијења изглед суверенитета: важни подаци могу остати у сопственој јурисдикцији без потребе да земља подиже дата центар како би их задржала тамо.

Људи би радије посједовали дата центар у свом лаптопу него што би градили на оном који не контролишу.

Права архитектура за ефикасност

Постоји разлог зашто ова архитектура одговара систему Perplexity. Наше пословање је увијек било засновано на тачној вјештачкој интелигенцији, а не на максимизовању броја токена које продајемо. То је прави подстицај за оптимизацију вриједности по вату: побјеђујемо када је одговор тачан и када је посао завршен, а не када троши више рачунарске снаге.

Хибридна вјештачка интелигенција је дуго била циљ индустрије. Personal Computer са локалном инференцијом, који стиже у јулу, је први производ који то чини стварним, и први који третира рачунарску снагу као још једну ствар за интелигентну оркестрацију, између вашег уређаја и облака.