Het datacenter verplaatst zich naar uw machine

Het juiste doel voor een AI-systeem is om per gebruiker de meeste tokenwaarde per watt te leveren. Dat klinkt eenvoudig. Dat is het niet, omdat drie factoren tegenstrijdig zijn.

Nauwkeurigheid vereist de krachtigste modellen, die duur zijn om uit te voeren. Privacy vereist dat sommige gegevens nooit uw apparaat verlaten. Kosten en energie vereisen dat u geen rekenkracht van een toonaangevend model verspilt aan een taak die door een kleiner model kan worden afgehandeld. U kunt de ene factor niet maximaliseren zonder de andere te respecteren.

Het in evenwicht brengen van alle drie is een orchestratievraagstuk. En orchestratie is precies wat Perplexity altijd heeft gedaan.

Vandaag kondigden we de volgende stap aan voor Personal Computer: de eerste hybride orchestrator voor lokale en server-gebaseerde inferentie. Het bepaalt welk werk op uw apparaat moet worden uitgevoerd en welk werk naar agents in de cloud moet worden verstuurd, en het leidt elk onderdeel van een taak automatisch naar de juiste locatie.

Van modellen naar rekenkracht

Perplexity begon met het orkestreren van tools en bronnen om nauwkeurige, geciteerde antwoorden te genereren. Computer breidde dit uit naar een framework voor honderden agents, draaiend op meer dan twintig toonaangevende modellen, waarbij voor elke taak het juiste model wordt gekozen. Nu kunnen we hetzelfde principe toepassen op rekenkracht zelf: welk model, waar het draait en waarom.

Hybride agentische inferentie is bedoeld voor werkzaamheden die gevoelige gegevens bevatten maar krachtige AI vereisen. Denk hierbij aan financiële gegevens, gezondheidsinformatie en persoonlijke bestanden. Het compacte model draait lokaal op uw apparaat om te bepalen wanneer gevoelige gegevens eveneens lokaal moeten blijven.

Ondertussen wordt werk dat de volledige capaciteit van een toonaangevend model vereist, uitgevoerd op de server. De meeste reële taken zijn een combinatie, dus Personal Computer splitst deze en coördineert de onderdelen. In tegenstelling tot tools die u vooraf laten kiezen tussen lokaal of cloud, gebeurt dit automatisch, taak voor taak.

Het apparaat is het datacenter

Jarenlang betekende krachtiger silicium vooral snellere apps en een langere batterijduur. Dat verandert wanneer de chip in staat is om daadwerkelijk inferentie uit te voeren. Hoe beter de lokale hardware, hoe meer de orchestrator op uw machine kan behouden, en hoe vaker de server kan worden gereserveerd voor werk dat dit daadwerkelijk vereist.

We hebben dit onthuld in samenwerking met Intel, en hetzelfde model-agnostische framework werkt op ander lokaal silicium, waaronder NVIDIA's RTX Spark. De race voor lokale rekenkracht is begonnen. Naarmate chips zich ontwikkelen, is Perplexity de enige met het agentische framework en toegepaste inferentie-techniek voor een werkelijk naadloze orchestratie.

Dit verandert ook de berekeningen voor iedereen die zich zorgen maakt over het tekort aan rekenkracht. Wanneer gevoelig werk en routinewerk worden verplaatst naar de apparaten die mensen al bezitten, hoeft er minder gecentraliseerde infrastructuur te worden gebouwd om dit te faciliteren. Het verandert ook de betekenis van soevereiniteit: belangrijke gegevens kunnen in hun eigen jurisdictie blijven zonder dat een land een datacenter hoeft op te zetten om ze daar te bewaren.

Mensen hebben liever een datacenter in hun laptop dan dat ze bouwen op een datacenter dat ze niet zelf controleren.

De juiste architectuur voor efficiëntie

Er is een reden waarom deze architectuur bij Perplexity past. Onze kernactiviteit is altijd nauwkeurige AI geweest, niet het maximaliseren van de tokens die we verkopen. Dat is de juiste prikkel voor het optimaliseren van de waarde per watt: wij winnen wanneer het antwoord correct is en het werk wordt voltooid, niet wanneer het meer rekenkracht verbruikt.

Hybride AI is al lange tijd een ambitie van de industrie. Personal Computer met lokale inferentie, beschikbaar in juli, is het eerste product dat dit werkelijkheid maakt en het eerste product dat rekenkracht beschouwt als een extra factor om intelligent te orkestreren, verdeeld over uw apparaat en de cloud.