Duomenų centras persikelia į jūsų įrenginį

Tinkamas DI sistemos tikslas – kiekvienam vartotojui užtikrinti didžiausią žetonų vertę vatui. Tai skamba paprastai. Tačiau taip nėra, nes trys dalykai veikia vienas prieš kitą.

Tikslumui reikia galingiausių modelių, kuriuos brangiai kainuoja paleisti. Privatumas reikalauja, kad dalis darbų niekada nepaliktų jūsų įrenginio. Dėl sąnaudų ir energijos sąnaudų nereikia eikvoti galingiausio modelio skaičiavimo išteklių užduočiai, su kuria gali susidoroti mažesnis modelis. Negalite maksimizuoti vieno dalyko neatsižvelgdami į kitus.

Visų trijų suderinimas yra koordinavimo problemos sprendimas. O koordinavimas yra tai, ką „Perplexity“ darė visada.

Šiandien paskelbėme apie kitą „Personal Computer“ žingsnį: pirmąjį hibridinį vietinio ir serverio lygio išvedimo orchestratorių. Jis apskaičiuoja, kokius darbus reikėtų vykdyti jūsų įrenginyje, o kokius – debesyje veikiančiuose agentuose, ir kiekvieną užduoties dalį automatiškai nukreipia į tinkamą vietą.

Nuo modelių prie skaičiavimų

„Perplexity“ pradėjo nuo įrankių ir šaltinių koordinavimo, kad pateiktų tikslius, cituojamus atsakymus. „Computer“ tai išplėtė iki pagrindo, skirto šimtams agentų, paleistų daugiau nei dvidešimtyje galingiausių modelių, parenkant tinkamą kiekvienai užduočiai. Dabar šią idėją galime pritaikyti ir patiems skaičiavimams: kuris modelis, kur jis veikia ir kodėl.

Hibridinis agentinis išvedimas skirtas darbams, kuriuose yra neskelbtinų duomenų, tačiau reikalingas galingas DI. Tai finansiniai įrašai, sveikatos priežiūros informacija ir asmeniniai failai. Kompaktiškas modelis veikia vietoje, jūsų įrenginyje, kad nustatytų, kada neskelbtini duomenys taip pat turėtų būti saugomi vietoje.

Tuo tarpu darbai, kuriems reikia viso galingiausio modelio pajėgumo, vykdomi serveryje. Dauguma realių užduočių yra mišrios, todėl „Personal Computer“ jas padalija ir koordinuoja dalis. Skirtingai nuo įrankių, kurie verčia iš anksto pasirinkti vietinį ar debesies režimą, tai vyksta savaime, užduotis po užduoties.

Įrenginys yra duomenų centras

Jau daugelį metų galingesnis silicis dažniausiai reiškė greitesnes programėles ir ilgesnį baterijos veikimo laiką. Tai pasikeičia, kai lustas gali atlikti realų išvedimą. Kuo geresnė vietinė aparatinė įranga, tuo daugiau orchestratorius gali išlaikyti jūsų kompiuteryje ir tuo daugiau jis gali rezervuoti serverį tiems darbams, kuriems to tikrai reikia.

Tai pristatėme kartu su „Intel“, o toks pat modeliui neutralus pagrindas veikia ir kituose vietiniuose silicio lustuose, įskaitant „NVIDIA's RTX Spark“. Vietinių skaičiavimų lenktynės prasidėjo. Tobulėjant lustams, tik „Perplexity“ turi agentinį pagrindą ir pritaikomąją išvedimo inžineriją tikrai sklandžiam koordinavimui.

Tai taip pat keičia skaičiavimus visiems, kurie stebi skaičiavimų trūkumą. Kai neskelbtini ir įprasti darbai perkeliami į žmonėms jau priklausančius įrenginius, nereikia kurti tiek daug centralizuotos infrastruktūros jiems aptarnauti. Tai keičia ir suverenumo sampratą: svarbūs duomenys gali likti savo jurisdikcijoje šaliai nekuriant tam skirto duomenų centro.

Žmonės mieliau turėtų duomenų centrą savo nešiojamajame kompiuteryje, nei kurtų jį ant to, kurio nekontroliuoja.

Tinkamai pritaikyta efektyvumo architektūra

Ši architektūra „Perplexity“ tinka neatsitiktinai. Mūsų verslas visada buvo orientuotas į tikslų DI, o ne į parduodamų žetonų maksimizavimą. Tai tinkama paskata optimizuoti vertę vatui: mes laimime, kai atsakymas yra teisingas ir darbas atliekamas, o ne tada, kai sunaudojama daugiau skaičiavimo išteklių.

Hibridinis DI jau seniai buvo pramonės siekis. Liepos mėnesį pasirodysiantis „Personal Computer“ su vietiniu išvedimu yra pirmasis produktas, kuris paverčia tai tikrove, ir pirmasis, kuris žiūri į skaičiavimus kaip į dar vieną dalyką, kurį galima išmaniai koordinuoti jūsų kompiuteryje ir debesyje.