Дата-центр перемещается на ваше устройство

Правильная цель для системы ИИ — обеспечить максимальную ценность токенов на ватт для каждого пользователя. Это звучит просто. Но это не так, потому что три фактора противоречат друг другу.

Для точности требуются самые мощные модели, которые дороги в эксплуатации. Конфиденциальность требует, чтобы некоторые рабочие процессы никогда не покидали ваш компьютер. Затраты и энергия требуют, чтобы вы не расходовали вычислительные мощности передовой модели на задачу, с которой справится более простая. Вы не можете максимизировать одно, не учитывая остальное.

Баланс между этими тремя факторами — это задача оркестрации. А оркестрация — это то, чем Perplexity занималась всегда.

Сегодня мы объявили о следующем шаге для Personal Computer: первом гибридном локально-серверном оркестраторе логического вывода. Он анализирует, какая работа должна выполняться на вашем устройстве, а какая — агентами в облаке, и автоматически направляет каждую часть задачи в нужное место.

От моделей к вычислениям

Компания Perplexity начала с оркестрации инструментов и источников для создания точных, подкрепленных ссылками ответов. Computer расширил это до платформы для сотен агентов, работающих на базе более двадцати передовых моделей, выбирая подходящую для каждой конкретной задачи. Теперь мы можем распространить ту же идею на сами вычисления: какую модель использовать, где она запускается и зачем.

Гибридный агентный логический вывод предназначен для работы с данными, содержащими конфиденциальную информацию, но требующими мощного ИИ. Например, финансовая отчетность, медицинские данные и личные файлы. Компактная модель запускается локально на вашем устройстве, чтобы определить, когда конфиденциальные данные также должны оставаться на устройстве.

В то же время работа, требующая полной мощности передовой модели, выполняется на сервере. Большинство реальных задач сочетают в себе оба варианта, поэтому Personal Computer разделяет их и координирует выполнение. В отличие от инструментов, требующих от вас выбора между локальной обработкой или облаком заранее, здесь это происходит автоматически, для каждой отдельной задачи.

Устройство — это дата-центр

Годами увеличение мощности процессоров означало ускорение приложений и продление времени работы от батареи. Все меняется, когда чип способен выполнять полноценный логический вывод. Чем лучше локальное оборудование, тем больше задач оркестратор может оставить на вашем устройстве и тем чаще он может резервировать сервер для задач, которые действительно требуют его ресурсов.

Мы представили это совместно с Intel, и та же модель-независимая платформа работает на другом локальном оборудовании, включая NVIDIA RTX Spark. Гонка за локальные вычисления началась. По мере совершенствования чипов, только Perplexity обладает агентной платформой и прикладной инженерией логического вывода для по-настоящему бесшовной оркестрации.

Это также меняет расчеты для всех, кто следит за дефицитом вычислительных мощностей. Когда конфиденциальная и рутинная работа переносится на устройства, которыми люди уже владеют, отпадает необходимость в строительстве такого количества централизованной инфраструктуры для её обслуживания. Это также меняет понятие суверенитета: важные данные могут оставаться в своей юрисдикции без необходимости строительства целого дата-центра в каждой стране.

Люди предпочли бы владеть дата-центром у себя в ноутбуке, чем полагаться на тот, который они не контролируют.

Правильная архитектура для эффективности

Есть причина, по которой эта архитектура подходит для Perplexity. Нашим бизнесом всегда был точный ИИ, а не максимизация прибыли от продажи токенов. Это правильный стимул для оптимизации ценности на ватт: мы выигрываем, когда ответ верный и работа выполнена, а не тогда, когда затрачено больше вычислительных ресурсов.

Гибридный ИИ долгое время был целью индустрии. Personal Computer с локальным логическим выводом, который выйдет в июле, — это первый продукт, воплощающий эту концепцию в реальность, и первый, который рассматривает вычисления как ещё один ресурс для интеллектуальной оркестрации между вашим устройством и облаком.