Az adatközpont az Ön gépére költözik

Egy mesterséges intelligencia rendszer számára a helyes cél az, hogy minden felhasználó számára a legtöbb tokértéket nyújtsa wattanként. Ez egyszerűnek hangzik. Azonban nem az, mivel három tényező hat egymással ellentétes irányba.

A pontosság a leginkább képes modelleket igényli, amelyek futtatása költséges. Az adatvédelem megköveteli, hogy bizonyos munkák soha ne hagyják el az gépet. A költségek és az energia azt követelik meg, hogy ne pazaroljuk egy csúcskategóriás modell számítási kapacitását olyan feladatra, amellyel egy kisebb is megbirkózik. Nem lehet az egyiket maximalizálni anélkül, hogy ne tartanánk tiszteletben a többit.

Mindhárom egyensúlyba hozása egy orkesztrációs probléma. Az orkesztráció pedig az a dolog, amit a Perplexity mindig is csinált.

Ma bejelentettük a Personal Computer következő lépését: az első hibrid helyi-szerver inferencia-orkesztrátort. Átgondolja, hogy milyen munkának kell a készüléken futnia, és minek kell a felhőben lévő ügynökökhöz mennie, majd egy feladat minden részét automatikusan a megfelelő helyre irányítja.

A modellektől a számítási kapacitásig

A Perplexity azzal kezdte, hogy eszközöket és forrásokat orkesztrált pontos, hivatkozásokkal ellátott válaszok előállítása érdekében. A Computer ezt kiterjesztette ügynökök százai számára szolgáló keretrendszerré, amely több mint húsz csúcskategóriás modellen alapul, kiválasztva a megfelelőt minden egyes feladathoz. Most ugyanezt az elvet kiterjeszthetjük magára a számítási kapacitásra: melyik modell, hol fut és miért.

A hibrid ügynökalapú inferencia olyan munkákhoz való, amelyek érzékeny adatokat tartalmaznak, de erős MI-t igényelnek. Olyan dolgokhoz, mint a pénzügyi nyilvántartások, az egészségügyi információk és a személyes fájlok. A kompakt modell helyben fut az eszközén, hogy meghatározza, mikor kell az érzékeny adatokat szintén helyben tartani.

Mindeközben a kiszolgálón az a munka fut, amely egy csúcskategóriás modell teljes képességét igényli. A legtöbb valós feladat ezek keveréke, így a Personal Computer felosztja őket, és koordinálja a részeket. Ellentétben azokkal az eszközökkel, amelyek arra kérik, hogy előre válassza ki a helyi vagy a felhőalapú lehetőséget, ez magától történik, feladatról feladatra.

Az eszköz az adatközpont

Éveken át a nagyobb teljesítményű szilícium nagyrészt gyorsabb alkalmazásokat és hosszabb akkumulátor-üzemidőt jelentett. Ez megváltozik, amikor a chip képes valós inferenciát futtatni. Minél jobb a helyi hardver, az orkesztrátor annál többet tud megtartani a gépen, és annál inkább fenntarthatja a szervert azon munka számára, amely azt valóban igényli.

Ezt az Intel-lel együtt mutattuk be, és ugyanez a modellfüggetlen keretrendszer más helyi szilíciumon is fut, beleértve az NVIDIA RTX Sparkját is. A helyi számítási kapacitásért folyó verseny elindult. A chipek fejlődésével kizárólag a Perplexity rendelkezik az ügynökalapú keretrendszerrel és az alkalmazott inferenciamérnöki tudással a truly zökkenőmentes orkesztrációhoz.

Ez a számítást is megváltoztatja mindazok számára, akik figyelik a számítási kapacitás hiányát. Amikor az érzékeny és a rutinszerű munkák átkerülnek az emberek által már birtokolt eszközökre, nem kell annyi centralizált infrastruktúrát építeni a kiszolgálásukhoz. A szuverenitás fogalmát is megváltoztatja: a fontos adatok maradhatnak a saját joghatóságuk alatt anélkül, hogy egy országnak adatközpontot kellene felépítenie azok megőrzéséhez.

Az emberek inkább birtokolnak egy adatközpontot a laptopjukban, mintsem hogy olyanra építkezzenek, amelyet nem ők irányítanak.

A hatékonyság helyes architektúrája

Nem véletlen, hogy ez az architektúra illeszkedik a Perplexity-hez. Vállalkozásunk mindig is a pontos MI-ről szólt, nem pedig az eladott tokenek maximalizálásáról. Ez a megfelelő ösztönző a wattankénti érték optimalizálásához: akkor nyerünk, ha a válasz helyes és a munka elvégzésre kerül, nem pedig akkor, ha az több számítási kapacitást emészt fel.

A hibrid MI régóta az iparág ambíciója. A júliusban érkező, helyi inferenciával rendelkező Personal Computer az első olyan termék, amely valósággá teszi, és az első, amely a számítási kapacitást egy újabb, intelligensen orkesztrálandó elemként kezeli a gépén és a felhőben.