Центърът за данни се измества към вашето устройство

Правилната цел за една AI система е да предоставя максимална стойност на токените за ват за всеки потребител. Това звучи просто. Не е така, защото три неща си противоречат.

Точността изисква най-способните модели, чиято експлоатация е скъпа. Поверителността изисква част от работата никога да не напуска вашето устройство. Разходите и енергията изисква да не хабите изчислителната мощ на фронтиър модел за задача, с която по-малък модел може да се справи. Не можете да максимизирате едното, без да се съобразите с останалите.

Балансирането и на трите е проблем на оркестрацията. А оркестрацията е нещото, което Perplexity винаги е правил.

Днес обявихме следващата стъпка за Personal Computer: първия хибриден локално-сървърен оркестратор на инференс. Той преценява коя работа трябва да се изпълнява на вашето устройство и коя трябва да отиде при агентите в облака, и автоматично насочва всяка част от дадената задача към правилното място.

От моделите към изчислителната мощ

Perplexity започна с оркестриране на инструменти и източници за получаване на точни, цитирани отговори. Computer разшири това до среда за стотици агенти, стартирани в над двадесет фронтиър модела, като избира правилния за всяка задача. Сега можем да разширим същата идея към самата изчислителна мощ: кой модел, къде се изпълнява и защо.

Хибридният агентен инференс е предназначен за работа, която включва чувствителни данни, но се нуждае от мощен AI. Неща като финансови записи, здравна информация и лични файлове. Компактният модел работи локално на вашето устройство, за да определи кога чувствителните данни също трябва да се съхраняват локално.

Междувременно работата, която се нуждае от пълните възможности на фронтиър модел, се изпълнява на сървъра. Повечето реални задачи представляват комбинация, така че Personal Computer ги разделя и координира частите. За разлика от инструментите, които ви карат да изберете локално или облачно решение предварително, това се случва само по себе си, задача по задача.

Устройството е центърът за данни

В продължение на години по-мощният силиций означаваше предимно по-бързи приложения и по-дълъг живот на батерията. Това се променя, когато чипът може да изпълнява реален инференс. Колкото по-добър е локалният хардуер, толкова повече оркестраторът може да запази на вашата машина и толкова повече може да запази сървъра за работата, която наистина го изисква.

Представихме това с Intel, а същата моделно-агностична среда работи и на друг локален силиций, включително NVIDIA RTX Spark. Надпреградата за локална изчислителна мощ е започнала. С напредването на чиповете само Perplexity разполага с агентната среда и приложното инженерство за инференс за наистина безпроблемна оркестрация.

Това променя и сметките за всички, които наблюдават недостига на изчислителна мощ. Когато чувствителната работа и рутинната работа се преместят на устройствата, които хората вече притежават, не е нужно да изграждате толкова много централизирана инфраструктура, за да я обслужвате. Това променя и същността на суверенитета: важната информация може да остане в собствената си юрисдикция, без да е необходимо държавата да изгражда център за данни, за да я задържи там.

Хората биха предпочели да притежават център за данни в лаптопа си, отколкото да градят върху такъв, който не контролират.

Правилната архитектура за ефективност

Има причина тази архитектура да пасва на Perplexity. Нашият бизнес винаги е бил точният AI, а не максимизирането на токените, които продаваме. Това е правилният стимул за оптимизиране на стойността за ват: печелим, когато отговорът е точен и работата е свършена, а не когато тя консумира повече изчислителна мощ.

Хибридният AI е амбиция на индустрията от дълго време. Personal Computer с локален инференс, който очакваме през юли, е първият продукт, който го прави реалност, и първият, който третира изчислителната мощ като поредното нещо за интелигентно оркестриране между вашата машина и облака.