Datové centrum se stěhuje do vašeho zařízení

Dnes jsme oznámili další krok pro Personal Computer: první hybridní orchestrátor inferencí kombinující lokální zařízení a server.

Správným cílem pro systém umělé inteligence je dodávat maximální hodnotu tokenů na watt pro každého uživatele. Zní to jednoduše. Není tomu tak, protože proti sobě působí tři faktory.

Přesnost vyžaduje schopnější modely, jejichž spuštění je nákladné. Soukromí vyžaduje, aby některá práce nikdy neopustila váš počítač. Náklady a energie vyžadují, abyste nevyplýtvali výpočetní výkon špičkového modelu na úkol, který zvládne menší model. Nemůžete maximalizovat jedno bez ohledu na ostatní.

Vyvážení všech tří faktorů je problém orchestrace. A orchestrace je přesně to, co Perplexity dělá odjakživa.

Dnes jsme oznámili další krok pro Personal Computer: první hybridní orchestrátor inferencí kombinující lokální zařízení a server. Analyzuje, jaká práce by měla běžet na vašem zařízení a jaká by měla směřovat k agentům v cloudu, a každou část úkolu automaticky směřuje na správné místo.

Od modelů k výpočetnímu výkonu

Perplexity začala orchestrací nástrojů a zdrojů za účelem vytváření přesných a citovaných odpovědí. Computer to rozšířil na základnu pro stovky agentů spuštěných na více než dvaceti špičkových modelech, přičemž pro každý úkol vybírá ten správný. Nyní můžeme stejnou myšlenku rozšířit na samotný výpočetní výkon: který model, kde běží a proč.

Hybridní agentská inference je určena pro práci, která zahrnuje citlivá data, ale vyžaduje výkonnou umělou inteligenci. Jde o věci jako finanční záznamy, zdravotní informace a osobní soubory. Kompaktní model běží lokálně na vašem zařízení a určuje, kdy by měla být citlivá data uchovávána také lokálně.

Práce, která vyžaduje plnou schopnost špičkového modelu, mezitím běží na serveru. Většina reálných úkolů představuje kombinaci obojího, takže Personal Computer je rozdělí a koordinuje jednotlivé části. Na rozdíl od nástrojů, které po vás chtějí, abyste si předem zvolili lokální řešení nebo cloud, to probíhá automaticky, úkol po úkolu.

Zařízení je datovým centrem

Schopnější křemík po léta znamenal hlavně rychlejší aplikace a delší výdrž baterie. To se mění, jakmile čip dokáže provádět skutečnou inferenci. Čím lepší je lokální hardware, tím více toho může orchestrátor ponechat ve vašem počítači a tím více může šetřit server pro práci, která to skutečně vyžaduje.

Představili jsme to ve spolupráci se společností Intel a stejná základna nezávislá na modelech funguje i na dalším lokálním křemíku, včetně NVIDIA RTX Spark. Závod o lokální výpočetní výkon začal. Jak se čipy vyvíjejí, pouze Perplexity disponuje agentskou základnou a aplikovaným inženýrstvím inferencí pro skutečně plynulou orchestraci.

To rovněž mění situaci pro všechny, kdo sledují nedostatek výpočetního výkonu. Když se citlivá a rutinní práce přesune na zařízení, která již lidé vlastní, nemusíte budovat tolik centralizované infrastruktury pro jejich obsluhu. Mění to i podobu suverenity: důležitá data mohou zůstat ve vlastní jurisdikci, aniž by stát musel zřizovat datové centrum, aby je tam udržel.

Lidé raději vlastní datové centrum ve svém notebooku, než aby stavěli na takovém, které neovládají.

Správná architektura pro efektivitu

Tato architektura se k Perplexity nehodí náhodou. Naším byznysem byla vždy přesná umělá inteligence, nikoliv maximalizace prodaných tokenů. To je správná motivace pro optimalizaci hodnoty na watt: vyhráváme, když je odpověď správná a práce je odvedena, nikoliv když spotřebuje více výpočetního výkonu.

Hybridní umělá inteligence je ambicí odvětví již dlouhou dobu. Personal Computer s lokální inferencí, který dorazí v červenci, je prvním produktem, který tuto myšlenku mění v realitu, a zároveň prvním, který bere výpočetní výkon jako další prvek k inteligentní orchestraci napříč vaším zařízením a cloudem.