Datasenteret flytter til din maskin

Det rette målet for et KI-system er å levere mest mulig token-verdi per watt for hver enkelt bruker. Det høres enkelt ut. Det er det ikke, fordi tre hensyn trekker i hver sin retning.

Nøyaktighet krever de mest kapable modellene, som er dyre i drift. Personvern krever at noe arbeid aldri forlater maskinen din. Kostnad og energi krever at du ikke bruker en avansert modells datakraft på en oppgave en mindre modell kan håndtere. Du kan ikke maksimere den ene uten å ta hensyn til de andre.

Å balansere alle tre er et orkestreringsproblem. Og orkestrering er det Perplexity alltid har gjort.

I dag kunngjorde vi neste skritt for Personal Computer: den første hybride lokal-server-inferensorkestratoren. Den vurderer hvilket arbeid som bør kjøres på enheten din, og hvilket arbeid som bør sendes til agenter i skyen, og den ruter automatisk hver del av en oppgave til riktig sted.

Perplexity startet med å orkestrere verktøy og kilder for å produsere nøyaktige, siterte svar. Computer utvidet det til et rammeverk for hundrevis av agenter, kjørt på mer enn tjue avanserte modeller, og valgte den rette for hver oppgave. Nå kan vi utvide den samme tankegangen til selve datakraften: hvilken modell, hvor den kjøres, og hvorfor.

Hybrid agentbasert inferens er for arbeid som inneholder sensitive data, men som trenger kraftig KI. Ting som finansregistre, helseopplysninger og personlige filer. Den kompakte modellen kjøres lokalt på enheten din for å avgjøre når sensitive data også bør holdes lokalt.

I mellomtiden kjøres arbeid som krever en avansert modells fulle kapasitet, på serveren. De fleste reelle oppgaver er en blanding, så Personal Computer deler dem opp og koordinerer delene. I motsetning til verktøy som ber deg velge lokalt eller sky på forhånd, skjer dette av seg selv, oppgave for oppgave.

I årevis betydde kraftigere silisium mest raskere apper og lengre batterilevetid. Det endrer seg når brikken kan kjøre reell inferens. Jo bedre den lokale maskinvaren er, desto mer kan orkestratoren beholde på maskinen din, og desto mer kan den reservere serveren for arbeidet som faktisk krever det.

Vi avduket dette sammen med Intel, og det samme modellagnostiske rammeverket kjører på tvers av annet lokalt silisium, inkludert NVIDIAs RTX Spark. Kappløpet om lokal datakraft er i gang. Etter hvert som brikkene utvikler seg, er det bare Perplexity som har det agentbaserte rammeverket og den anvendte inferensteknologien for virkelig sømløs orkestrering.

Dette endrer også regnestykket for alle som følger med på mangelen på datakraft. Når sensitivt arbeid og rutinearbeid flyttes til enhetene folk allerede eier, trenger du ikke å bygge like mye sentralisert infrastruktur for å betjene det. Det endrer også hvordan suverenitet ser ut: viktige data kan forbli i sin egen jurisdiksjon uten at et land må opprette et datasenter for å beholde dem der.

Folk vil heller eie et datasenter i laptopen sin enn å bygge på et de ikke kontrollerer.

Det er en grunn til at denne arkitekturen passer for Perplexity. Virksomheten vår har alltid handlet om nøyaktig KI, ikke å maksimere tokenene vi selger. Det er det rette insentivet for å optimalisere verdi per watt: vi vinner når svaret er riktig og arbeidet blir utført, ikke når det forbruker mer datakraft.

Hybrid KI har vært en bransjeambisjon lenge. Personal Computer med lokal inferens, som kommer i juli, er det første produktet som gjør det ekte, og det første som behandler datakraft som en ting til å orkestrere intelligent, på tvers av maskinen din og skyen.

Fra modeller til datakraft

Enheten er datasenteret

Den rette arkitekturen for effektivitet