Centrum danych przenosi się na Twoje urządzenie

Właściwym celem systemu AI jest dostarczenie użytkownikowi jak największej wartości tokenów na wat. Brzmi to prosto. Tak nie jest, ponieważ trzy czynniki wzajemnie na siebie wpływają.

Dokładność wymaga najbardziej zaawansowanych modeli, których obsługa jest kosztowna. Prywatność wymaga, aby część pracy nigdy nie opuszczała urządzenia użytkownika. Koszt i energia wymagają, aby nie zużywać zasobów obliczeniowych modelu klasy frontier na zadanie, z którym poradzi sobie mniejszy model. Nie można zmaksymalizować jednego z tych czynników, nie szanując pozostałych.

Zrównoważenie wszystkich trzech czynników to problem orkiestracji. A orkiestracja jest tym, czym Perplexity zajmuje się od zawsze.

Dziś ogłosiliśmy kolejny krok dla Personal Computer: pierwszy hybrydowy orkiestrator wnioskowania lokalno-serwerowego. Dokonuje on analizy, która część pracy powinna zostać wykonana na urządzeniu użytkownika, a która przez agentów w chmurze, automatycznie kierując każdą część zadania we właściwe miejsce.

Od modeli do obliczeń

Perplexity rozpoczęło od orkiestracji narzędzi i źródeł w celu tworzenia dokładnych, cytowanych odpowiedzi. Computer rozszerzył to działanie na obsługę setek agentów, uruchamianych w ramach ponad dwudziestu modeli klasy frontier, wybierając odpowiedni model do każdego zadania. Teraz możemy rozszerzyć tę samą ideę na same obliczenia: który model, gdzie jest uruchamiany i dlaczego.

Hybrydowe wnioskowanie agentowe jest przeznaczone do pracy obejmującej wrażliwe dane, która jednocześnie wymaga zaawansowanej sztucznej inteligencji. Dotyczy to takich elementów jak dokumentacja finansowa, informacje zdrowotne i pliki osobiste. Kompaktowy model działa lokalnie na urządzeniu użytkownika, określając, kiedy wrażliwe dane powinny być również przechowywane lokalnie.

Tymczasem praca wymagająca pełnych możliwości modelu klasy frontier jest wykonywana na serwerze. Większość rzeczywistych zadań stanowi połączenie obu tych aspektów, dlatego Personal Computer dokonuje ich podziału i koordynuje poszczególne części. W przeciwieństwie do narzędzi, które wymagają od użytkownika wyboru między trybem lokalnym a chmurą, tutaj proces ten odbywa się automatycznie, zadanie po zadaniu.

Urządzenie to centrum danych

Przez lata większa wydajność krzemu oznaczała głównie szybsze aplikacje i dłuższy czas pracy na baterii. Zmienia się to, gdy chip jest w stanie przeprowadzić rzeczywiste wnioskowanie. Im lepszy sprzęt lokalny, tym więcej orkiestrator może utrzymać na urządzeniu użytkownika i tym częściej może rezerwować serwer do zadań, które rzeczywiście tego wymagają.

Zaprezentowaliśmy to rozwiązanie wraz z firmą Intel, a ten sam modelowo niezależny mechanizm działa na innych lokalnych układach krzemowych, w tym RTX Spark firmy NVIDIA. Wyścig o lokalne zasoby obliczeniowe trwa. W miarę rozwoju chipów, tylko Perplexity dysponuje agentowym mechanizmem i stosowaną inżynierią wnioskowania dla zapewnienia prawdziwie bezproblemowej orkiestracji.

Zmienia to również rachunek dla wszystkich obserwujących niedobór mocy obliczeniowej. Gdy wrażliwe i rutynowe zadania przenoszą się na urządzenia będące już w posiadaniu ludzi, nie ma potrzeby budowania tak dużej scentralizowanej infrastruktury, aby je obsłużyć. Zmienia to również postrzeganie suwerenności: ważne dane mogą pozostać w swojej jurysdykcji bez konieczności budowania przez państwo centrum danych w celu ich przechowywania.

Ludzie wolą posiadać centrum danych na swoim laptopie, niż polegać na takim, którego nie kontrolują.

Właściwa architektura dla efektywności

Istnieje powód, dla którego ta architektura pasuje do Perplexity. Nasz biznes zawsze opierał się na dokładnej sztucznej inteligencji, a nie na maksymalizacji sprzedaży tokenów. To właściwa zachęta do optymalizacji wartości na wat: wygrywamy, gdy odpowiedź jest prawidłowa i praca zostaje wykonana, a nie wtedy, gdy zużywa ona więcej zasobów obliczeniowych.

Hybrydowa sztuczna inteligencja od dawna jest ambicją branży. Personal Computer z lokalnym wnioskowaniem, który pojawi się w lipcu, to pierwszy produkt, który czyni to rzeczywistością i pierwszy, który traktuje zasoby obliczeniowe jako kolejny element do inteligentnej orkiestracji, pomiędzy urządzeniem użytkownika a chmurą.