Dátové centrum sa presúva do vášho zariadenia

Správnym cieľom pre systém umelej inteligencie je poskytnúť čo najvyššiu hodnotu tokenov na watt pre každého používateľa. Znie to jednoducho. Nie je to tak, pretože tri veci pôsobia proti sebe.

Presnosť si vyžaduje tie najschopnejšie modely, ktoré sú nákladné na prevádzku. Súkromie vyžaduje, aby niektorá práca nikdy neopustila váš počítač. Náklady a energia vyžadujú, aby ste nemíňali výpočtový výkon špičkového modelu na úlohu, ktorú zvládne menší model. Nemôžete maximalizovať jedno bez rešpektovania ostatných.

Vyváženie všetkých troch je problémom orchesterovácie. A orchesterácia je presne to, čo Perplexity robí odjakživa.

Dnes sme oznámili ďalší krok pre Personal Computer: prvý hybridný lokálno-serverový orchesterátor inferencie. Vyhodnocuje, aká práca by mala prebiehať vo vašom zariadení a aká by mala putovať k agentom v cloude, a automaticky smeruje každú časť úlohy na správne miesto.

Spoločnosť Perplexity začala orchesteráciou nástrojov a zdrojov na vytváranie presných odpovedí s citáciami. Computer to rozšíril na rámec pre stovky agentov spustených vo viac ako dvadsiatich špičkových modeloch, pričom pre každú úlohu vybral ten správny. Teraz môžeme tú istú myšlienku rozšíriť na samotný výpočtový výkon: ktorý model, kde beží a prečo.

Hybridná agentská inferencia je určená pre prácu, ktorá zahŕňa citlivé údaje, ale vyžaduje si výkonnú umelú inteligenciu. Ide o veci ako finančné záznamy, informácie o zdraví a osobné súbory. Kompaktný model beží lokálne vo vašom zariadení, aby určil, kedy by sa citlivé údaje mali uchovávať aj lokálne.

Medzitým práca, ktorá vyžaduje plnú schopnosť špičkového modelu, beží na serveri. Väčšina skutočných úloh je kombináciou, takže Personal Computer ich rozdelí a koordinuje jednotlivé časti. Na rozdiel od nástrojov, ktoré vás žiadajú, aby ste si vopred vybrali lokálne alebo cloudové riešenie, sa to deje samo, úlohu po úlohe.

V priebehu rokov znamenal výkonnejší kremík väčšinou rýchlejšie aplikácie a dlhšiu výdrž batérie. To sa mení, keď čip dokáže spustiť skutočnú inferenciu. Čím lepší je lokálny hardvér, tým viac môže orchesterátor ponechať vo vašom počítači a tým viac môže vyhradiť server pre prácu, ktorá si to skutočne vyžaduje.

Predstavili sme to v spolupráci so spoločnosťou Intel a rovnaký rámec nezávislý od modelov funguje aj na inom lokálnom kremíku vrátane NVIDIA RTX Spark. Preteky o lokálny výpočtový výkon sa začali. S napredovaním čipov má len Perplexity agentský rámec a aplikované inžinierstvo inferencie pre skutočne bezproblémovú orchesteráciu.

To mení aj matematiku pre každého, kto sleduje nedostatok výpočtového výkonu. Keď sa citlivá a rutinná práca presunie do zariadení, ktoré už ľudia vlastní, nemusíte budovať toľko centralizovanej infraštruktúry na jej obsluhu. Mení to aj podobu suverenity: dôležité údaje môžu zostať vo vlastnej jurisdikcii bez toho, aby musela krajina zriaďovať dátové centrum, aby ich tam udržala.

Ľudia by radšej vlastnili dátové centrum vo svojom notebooku, než aby stavali na takom, ktoré nekontrolujú.

Táto architektúra vyhovuje spoločnosti Perplexity z určitého dôvodu. Naším biznisom bola vždy presná umelá inteligencia, nie maximalizácia predaných tokenov. To je správna motivácia na optimalizáciu hodnoty na watt: vyhrávame vtedy, keď je odpoveď správna a práca je hotová, nie vtedy, keď spotrebuje viac výpočtového výkonu.

Hybridná umelá inteligencia je ambíciou odvetvia už dlhý čas. Personal Computer s lokálnou inferenciou, ktorý príde v júli, je prvým produktom, ktorý ju robí skutočnosťou, a prvým, ktorý považuje výpočtový výkon za ďalšiu vec, ktorú treba inteligentne orchesterovať naprieč vaším strojom a cloudom.

Od modelov k výpočtovému výkonu

Zariadenie je dátovým centrom

Správna architektúra pre efektivitu