Datacentret flyttar till din enhet

Idag tillkännagav vi nästa steg för Personal Computer: den första hybrida slutledningsorkestreraren för lokal server.

Det rätta målet för ett AI-system är att leverera det maximala tokenvärdet per watt, för varje användare. Det låter enkelt. Det är det inte, eftersom tre saker drar åt olika håll.

Noggrannhet kräver de mest kapabla modellerna, som är dyra att köra. Integritet kräver att vissa arbetsuppgifter aldrig lämnar din enhet. Kostnad och energi kräver att du inte slösar en frontier-modells beräkningskraft på en uppgift som en mindre modell kan hantera. Du kan inte maximera det ena utan att ta hänsyn till de andra.

Att balansera alla tre är ett orkestreringsproblem. Och orkestrering är det som Perplexity alltid har gjort.

Idag tillkännagav vi nästa steg för Personal Computer: den första hybrida slutledningsorkestreraren för lokal server. Den resonerar kring vilket arbete som ska köras på din enhet och vilket arbete som ska gå till agenter i molnet, och den dirigerar automatiskt varje del av en uppgift till rätt plats.

Från modeller till beräkningskraft

Perplexity började med att orkestrera verktyg och källor för att producera korrekta, källhänvisade svar. Computer utökade detta till en plattform för hundratals agenter, skapade i mer än tjugo frontier-modeller, som väljer ut den rätta för varje uppgift. Nu kan vi utvidga samma idé till själva beräkningskraften: vilken modell, var den körs och varför.

Hybrid agentbaserad slutledning är för arbete som innehåller känslig information men som kräver kraftfull AI. Saker som finansiella register, hälsoinformation och personliga filer. Den kompakta modellen körs lokalt på din enhet för att avgöra när känslig information dessutom bör hållas lokalt.

Samtidigt körs arbete som kräver en frontier-modells fulla kapacitet på servern. De flesta verkliga uppgifter är en blandning, så Personal Computer delar upp dem och samordnar delarna. Till skillnad från verktyg som ber dig att välja lokalt eller moln i förväg sker detta automatiskt, uppgift för uppgift.

Enheten är det nya datacenter

Under många år innebar mer kapabla chip mest snabbare appar och längre batteritid. Det förändras när chippet kan köra riktig slutledning. Ju bättre den lokala hårdvaran är, desto mer kan orkestreraren behålla på din maskin, och desto mer kan den reservera servern för det arbete som genuint kräver det.

Vi presenterade detta tillsammans med Intel, och samma modelloberoende plattform körs även på annan lokal kiselhårdvara, inklusive NVIDIA:s RTX Spark. Kapplöpningen om lokal beräkningskraft är i full gång. I takt med att chipen utvecklas är det bara Perplexity som har den agentbaserade plattformen och tillämpade slutledningstekniken för en genuint sömlös orkestrering.

Detta förändrar också kalkylen för alla som följer bristen på beräkningskraft. När känsligt och rutinmässigt arbete flyttas till de enheter som människor redan äger behöver du inte bygga lika mycket centraliserad infrastruktur för att hantera det. Det förändrar också hur suveränitet ser ut: viktig information kan stanna inom sin egen jurisdiktion utan att ett land behöver bygga ett datacenter för att behålla den där.

Folk äger hellre ett datacenter i sin bärbara dator än bygger på ett som de inte kontrollerar.

Den rätta arkitekturen för effektivitet

Det finns en anledning till att denna arkitektur passar Perplexity. Vår verksamhet har alltid handlat om exakt AI, inte om att maximera de tokens vi säljer. Det är rätt incitament för att optimera värde per watt: vi vinner när svaret blir rätt och arbetet blir utfört, inte när det förbrukar mer beräkningskraft.

Hybrid-AI har varit en branschambition under lång tid. Personal Computer med lokal slutledning, som kommer i juli, är den första produkten som gör det verkligt, och den första som behandlar beräkningskraft som ännu en sak att orkestrera intelligent, över din maskin och molnet.