Andmekeskus kolib teie seadmesse

Tehisintellektisüsteemi õige eesmärk on pakkuda igale kasutajale maksimaalset märgiväärtust vati kohta. See kõlab lihtsalt. See ei ole nii, sest kolm tegurit tõmbavad eri suundades.

Täpsus nõuab võimekamaid mudeleid, mille kasutamine on kallis. Privaatsus nõuab, et teatud tööd ei lahkuks kunagi teie seadmest. Kulu ja energia nõuavad, et te ei raiskaks tipptasemel mudeli arvutusvõimsust ülesandele, millega saab hakkama väiksem mudel. Te ei saa ühte maksimeerida teisi arvesse võtmata.

Kõigi kolme tasakaalustamine on orkestreerimise küsimus. Ja orkestreerimine ongi see, mida Perplexity on alati teinud.

Täna teatasime Personal Computer järgmisest sammust: esimesest hübriidsest kohaliku serveri järelduste orkestreerijast. See analüüsib, milline töö peaks toimuma teie seadmes ja milline minema pilves olevatele agentidele, ning suunab ülesande iga osa automaatselt õigesse kohta.

Mudelitest arvutusvõimsuseni

Perplexity sai alguse tööriistade ja allikate orkestreerimisest, et luua täpseid viidatud vastuseid. Computer laiendas selle sadade agentide aluseks, mis on käivitatud enam kui kahekümne tipptasemel mudeliga, valides iga ülesande jaoks õige. Nüüd saame sama ideed laiendada arvutusvõimsusele endale: milline mudel, kus see töötab ja miks.

Hübriidne agendipõhine järeldus on mõeldud töödeks, mis sisaldavad tundlikke andmeid, kuid vajavad võimsat tehisintellekti. Näiteks finantsarvestused, terviseandmed ja isiklikud failid. Kompaktne mudel töötab lokaalselt teie seadmes, et määrata kindlaks, millal tuleks tundlikke andmeid samuti lokaalselt hoida.

Samal ajal töötab serveris töö, mis vajab tipptasemel mudeli täielikku võimekust. Enamik reaalseid ülesandeid on segu, nii et Personal Computer jagab need osadeks ja koordineerib neid. Erinevalt tööriistadest, mis paluvad teil eelnevalt valida kohaliku või pilve vahel, toimub see iseenesest, ülesanne ülesande haaval.

Seade on andmekeskus

Aastaid tähendas võimekam ränitehnoloogia peamiselt kiiremaid rakendusi ja pikemat aku kestvust. See muutub, kui kiip suudab teha reaalset järeldust. Mida parem on kohalik riistvara, seda rohkem saab orkestreerija teie masinas hoida ja seda enam saab serverit reserveerida töö jaoks, mis seda tõeliselt vajab.

Avalikustasime selle koostöös Inteliga ja sama mudeli suhtes neutraalne alus töötab ka muul kohalikul ränil, sealhulgas NVIDIA RTX Sparkil. Kohaliku arvutusvõimsuse võidujooks on alanud. Kiipide arenedes on ainult Perplexityl agendipõhine alus ja rakenduslik järeldustehnika tõeliselt sujuvaks orkestreerimiseks.

See muudab arvutusteemat ka kõigi jaoks, kes arvutusvõimsuse nappust jälgivad. Kui tundlik ja rutiinne töö kolib inimeste juba omandatud seadmetesse, ei ole selle teenindamiseks vaja ehitada niipalju tsentraliseeritud infrastruktuuri. See muudab ka seda, milline näeb välja suveräänsus: olulised andmed saavad püsida oma jurisdiktsioonis ilma, et riik peaks nende hoidmiseks rajama andmekeskuse.

Inimesed omaksid pigem andmekeskust oma sülearvutis, kui ehitaksid selle millelegi, mida nad ei kontrolli.

Õige arhitektuur tõhususe tagamiseks

Sellel arhitektuuril on Perplexity jaoks põhjus. Meie äri on alati olnud täpne tehisintellekt, mitte müüdavate märkide maksimeerimine. See on õige stiimul vati kohta saadava väärtuse optimeerimiseks: me võidame siis, kui vastus on õige ja töö saab tehtud, mitte siis, kui see tarbib rohkem arvutusvõimsust.

Hübriidne tehisintellekt on olnud tööstuse ambitsioon juba pikka aega. Juulis saabuv kohaliku järeldusega Personal Computer on esimene toode, mis teeb selle reaalsuseks, ja esimene, mis käsitleb arvutusvõimsust kui järjekordset asja, mida nutikalt teie masinas ja pilves orkestreerida.