Datu centrs pārvietojas uz jūsu datoru

Pareizais mērķis AI sistēmai ir nodrošināt vislielāko žetonu vērtību uz vatu katram lietotājam. Tas izklausās vienkārši. Tā nav, jo trīs lietas ir savstarpēji pretrunīgas.

Precizitāte prasa visjaudīgākos modeļus, kuru darbināšana ir dārga. Privātums prasa, lai daļa darba nekad nepamestu jūsu datoru. Izmaksas un enerģija prasa netērēt jaunākās paaudzes modeļa skaitļošanas jaudu uzdevumam, ar kuru var tikt galā mazāks modelis. Jūs nevarat maksimizēt vienu, neņemot vērā pārējos.

Visu trīs līdzsvarošana ir orķestrēšanas problēma. Un orķestrēšana ir tas, ko Perplexity vienmēr ir darījis.

Šodien mēs paziņojām par nākamo soli Personal Computer attīstībā: pirmo hibrīdo lokālā servera secinājumu orķestratoru. Tas apsver, kuram darbam ir jāizpildās jūsu ierīcē un kuram darbam ir jādodas uz aģentiem mākonī, un tas automātiski novirza katru uzdevuma daļu uz īsto vietu.

No modeļiem līdz skaitļošanai

Perplexity sāka ar rīku un avotu orķestrēšanu, lai iegūtu precīzas, citētas atbildes. Computer paplašināja to līdz satvaram simtiem aģentu, kas darbināti vairāk nekā divdesmit jaunākās paaudzes modeļos, izvēloties katram uzdevumam īsto. Tagad mēs varam paplašināt šo pašu ideju uz pašu skaitļošanu: kuru modeli, kur tas darbojas un kāpēc.

Hibrīda aģentu secinājumi ir paredzēti darbam, kas ietver sensitīvus datus, bet prasa jaudīgu AI. Tādas lietas kā finanšu ieraksti, veselības informācija un personīgie faili. Komaktais modelis darbojas lokāli jūsu ierīcē, lai noteiktu, kad sensitīviem datiem ir jāpaliek arī lokāli.

Tikmēr darbs, kam nepieciešama jaunākās paaudzes modeļa pilna jauda, ​​darbojas serverī. Lielākā daļa reālo uzdevumu ir kombinācija, tāpēc Personal Computer tos sadala un koordinē detaļas. Atšķirībā no rīkiem, kas liek jums iepriekš izvēlēties lokālo vai mākoņa risinājumu, tas notiek pats no sevis, uzdevumu pa uzdevumam.

Ierīce ir datu centrs

Gadiem ilgi jaudīgāks silīcijs galvenokārt nozīmēja ātrākas lietotnes un ilgāku akumulatora darbības laiku. Tas mainās, kad mikroshēma var veikt reālus secinājumus. Jo labāka ir lokālā aparatūra, jo vairāk orķestrators var paturēt jūsu datorā un jo vairāk tas var rezervēt serveri darbam, kas tam patiešām ir nepieciešams.

Mēs to atklājām kopā ar Intel, un tas pats modelim neitrālais satvars darbojas arī citos lokālajos silīcijos, tostarp NVIDIA RTX Spark. Cīņa par lokālo skaitļošanu ir sākusies. Mikroshēmām attīstoties, tikai Perplexity ir aģentu satvars un lietišķo secinājumuinženierija patiesi nemanāmai orķestrēšanai.

Tas maina arī aprēķinus ikvienam, kas vēro skaitļošanas jaudas deficītu. Kad sensitīvais darbs un ikdienas darbs tiek pārvietots uz ierīcēm, kas cilvēkiem jau pieder, nav nepieciešams būvēt tik daudz centralizētās infrastruktūras, lai to nodrošinātu. Tas maina arī to, kā izskatās suverenitāte: svarīgi dati var palikt savā jurisdikcijā bez valsts, kurai būtu jābūvē datu centrs, lai tos tur saglabātu.

Cilvēki drīzāk īpašumā turētu datu centru savā klēpjdatorā nekā balstītos uz tādu, ko viņi nekontrolē.

Pareizā arhitektūra efektivitātei

Šai arhitektūrai ir iemesls atbilst Perplexity. Mūsu bizness vienmēr ir bijis precīzs AI, nevis mūsu pārdoto žetonu maksimizēšana. Tā ir pareizā motivācija vērtības uz vatu optimizēšanai: mēs uzvaram, ja atbilde ir pareiza un darbs tiek paveikts, nevis tad, kad tas patērē vairāk skaitļošanas jaudas.

Hibrīda AI jau sen ir bijis nozares mērķis. Personal Computer ar lokālajiem secinājumiem, kas nonāks tirgū jūlijā, ir pirmais produkts, kas padara to reālu, un pirmais, kas uztver skaitļošanu kā vēl vienu lietu, ko inteliģenti orķestrēt gan jūsu datorā, gan mākonī.