Datacentret flytter til din maskine

Det rigtige mål for et AI-system er at levere den højeste token-værdi pr. watt for hver enkelt bruger. Det lyder enkelt. Det er det ikke, fordi tre ting modarbejder hinanden.

Nøjagtighed kræver de mest kapable modeller, som er dyre at køre. Privatliv kræver, at visse opgaver aldrig forlader din maskine. Omkostninger og energi kræver, at du ikke bruger en frontier-models beregningskraft på en opgave, som en mindre model kan klare. Du kan ikke maksimere det ene uden at tage hensyn til de andre.

At balancere alle tre er et orkestreringsproblem. Og orkestrering er det, som Perplexity altid har gjort.

I dag har vi annonceret det næste skridt for Personal Computer: den første hybride lokal-server-inferensorkestrator. Den ræsonnerer om, hvilke opgaver der skal køre på din enhed, og hvilke der skal gå til agenter i skyen, og den dirigerer automatisk hver del af en opgave til det rette sted.

Fra modeller til beregning

Perplexity begyndte med at orkestrere værktøjer og kilder for at levere nøjagtige, kildehenviste svar. Computer udvidede det til et rammeværk for hundredvis af agenter, sat i gang på mere end tyve frontier-modeller, hvor den rigtige vælges til hver opgave. Nu kan vi udvide den samme idé til selve beregningen: hvilken model, hvor den kører, og hvorfor.

Hybrid agent-inferens er til arbejde, der indeholder følsomme data, men kræver kraftfuld AI. Ting som finansielle optegnelser, sundhedsoplysninger og personlige filer. Den kompakte model kører lokalt på din enhed for at afgøre, hvornår følsomme data også bør holdes lokalt.

I mellemtiden kører arbejde, der kræver en frontier-models fulde kapacitet, på serveren. De fleste rigtige opgaver er en blanding, så Personal Computer opdeler dem og koordinerer delene. I modsætning til værktøjer, der beder dig om at vælge lokalt eller sky på forhånd, sker dette af sig selv, opgave for opgave.

Enheden er datacentret

I årevis betød mere kapabel silicium mest af alt hurtigere apps og længere batterilevetid. Det ændrer sig, når chippen kan køre rigtig inferens. Jo bedre den lokale hardware er, jo mere kan orkestratoren beholde på din maskine, og jo mere kan den reservere serveren til det arbejde, der reelt kræver det.

Vi afslørede dette sammen med Intel, og det samme model-agnostiske rammeværk kører på tværs af anden lokal silicium, herunder NVIDIAs RTX Spark. Kapløbet om lokal beregning er i gang. Efterhånden som chips udvikler sig, er det kun Perplexity, der har agent-rammeværket og den anvendte inferensteknik til ægte, sømløs orkestrering.

Dette ændrer også regnestykket for alle, der følger manglen på beregningskraft. Når følsomt arbejde og rutinearbejde flytter over på de enheder, folk allerede ejer, behøver man ikke at opbygge så meget centraliseret infrastruktur til at betjene det. Det ændrer også på, hvad suverænitet vil sige: vigtige data kan forblive i deres egen jurisdiktion, uden at et land behøver at oprette et datacenter for at holde dem der.

Folk vil hellere eje et datacenter i deres bærbar end at bygge på et, de ikke kontrollerer.

Den rigtige arkitektur for effektivitet

Der er en grund til, at denne arkitektur passer til Perplexity. Vores forretning har altid handlet om nøjagtig AI, ikke om at maksimere de tokens, vi sælger. Det er det rigtige incitament til at optimere værdi pr. watt: vi vinder, når svaret er rigtigt, og arbejdet bliver udført, ikke når det forbruger mere beregningskraft.

Hybrid AI har været en ambition i branchen i lang tid. Personal Computer med lokal inferens, der kommer i juli, er det første produkt, der gør det til virkelighed, og det første til at behandle beregning som endnu en ting, der skal orkestreres intelligent på tværs af din maskine og skyen.