Дата-центр переміщується на ваш пристрій

Правильна мета для системи штучного інтелекту — забезпечувати максимальну цінність токенів на ват для кожного користувача. Це звучить просто. Але це не так, оскільки три чинники суперечать один одному.

Для точності потрібні найпотужніші моделі, які коштують дорого в роботі. Конфіденційність вимагає, щоб деякі завдання ніколи не залишали ваш пристрій. Вартість та енергоспоживання вимагають, щоб ви не витрачали обчислювальну потужність передової моделі на завдання, з яким може впоратися менша. Ви не можете максимізувати один показник, нехтуючи іншими.

Балансування всіх трьох факторів — це проблема оркестрації. І оркестрація — це те, чим Perplexity займається завжди.

Сьогодні ми анонсували наступний крок для Personal Computer: перший гібридний локально-серверний оркестратор інференсу. Він аналізує, які завдання мають виконуватися на вашому пристрої, а які — відправлятися до агентів у хмарі, та автоматично спрямовує кожну частину завдання в потрібне місце.

Від моделей до обчислень

Perplexity починала з оркестрації інструментів та джерел для створення точних відповідей із посиланнями. Computer розширив цей підхід до платформи для сотень агентів, заснованих на понад двадцяти передових моделях, обираючи правильну для кожного завдання. Тепер ми можемо поширити цю саму ідею на самі обчислення: яку модель обрати, де вона працює і чому.

Гібридний агентний інференс призначений для роботи, яка містить чутливі дані, але потребує потужного штучного інтелекту. Це такі речі, як фінансові записи, медична інформація та особисті файли. Компактна модель працює локально на вашому пристрої, щоб визначати, коли конфіденційні дані також повинні зберігатися локально.

Тим часом робота, яка потребує повної потужності передової моделі, виконується на сервері. Більшість реальних завдань є комбінованими, тому Personal Computer розділяє їх і координує окремі частини. На відміну від інструментів, які просять вас заздалегідь обрати локальний або хмарний режим, це відбувається самостійно, завдання за завданням.

Пристрій — це дата-центр

Роками більш потужний кремній здебільшого означав швидші додатки та довший час автономної роботи. Це змінюється, коли чип може виконувати справжній інференс. Що краще локальне апаратне забезпечення, то більше оркестратор може зберігати на вашому пристрої та то частіше він може залишати сервер для роботи, яка дійсно цього потребує.

Ми представили це спільно з Intel, і така ж незалежна від моделей платформа працює на інших локальних кремнієвих рішеннях, зокрема NVIDIA RTX Spark. Гонка локальних обчислень розпочалася. З розвитком чипів лише Perplexity володіє агентною платформою та прикладною інженерією інференсу для по-справжньому безшовної оркестрації.

Це також змінює ситуацію для всіх, хто стежить за дефіцитом обчислювальних потужностей. Коли конфіденційна та рутинна робота переміщується на пристрої, якими люди вже володіють, вам не потрібно будувати стільки централізованої інфраструктури для її обслуговування. Це також змінює уявлення про суверенітет: важливі дані можуть залишатися у своїй юрисдикції без необхідності для країни створювати дата-центр для їх утримання.

Люди вважають за краще мати дата-центр у своєму ноутбуці, ніж будувати його на базі того, що вони не контролюють.

Правильна архітектура для ефективності

Існує причина, чому ця архітектура підходить Perplexity. Нашим бізнесом завжди був точний штучний інтелект, а не максимізація проданих токенів. Це правильний стимул для оптимізації цінності на ват: ми виграємо, коли відповідь є правильною і робота виконується, а не тоді, коли вона споживає більше обчислювальних ресурсів.

Гібридний штучний інтелект довгий час був амбіцією індустрії. Personal Computer із локальним інференсом, який з'явиться в липні, є першим продуктом, що робить його реальністю, і першим, який розглядає обчислення як ще один елемент для інтелектуальної оркестрації між вашим пристроєм та хмарою.