Деректер орталығы құрылғыңызға ауысады

Жасанды интеллект жүйесі үшін дұрыс мақсат – әрбір пайдаланушы үшін ватт сайынғы ең жоғары токен мәнін қамтамасыз ету. Бұл қарапайым болып көрінуі мүмкін. Бірақ олай емес, өйткені бұл жерде бір-біріне қарама-қарсы әсер ететін үш фактор бар.

Дәлдік ең қуатты модельдерді талап етеді, ал оларды іске қосу қымбатқа түседі. Құпиялылық кейбір жұмыстардың ешқашан құрылғыңыздан шықпауын талап етеді. Шығындар мен энергия кішірек модель шеше алатын тапсырмаға озық үлгідегі (frontier) модельдің есептеу қуатын жұмсамауды талап етеді. Бір факторды басқаларын ескермей максималды ету мүмкін емес.

Осы үшеуін теңестіру – бұл оркестрлеу мәселесі. Ал оркестрлеу – Perplexity әрқашан жасап келген нәрсе.

Бүгін біз Personal Computer үшін келесі қадамды жарияладық: алғашқы гибридті жергілікті-серверлік инференция оркестрлеушісі. Ол қандай жұмыс құрылғыңызда орындалуы керек және қандай жұмыс бұлттағы агенттерге жіберілуі тиіс екенін анықтайды және тапсырманың әрбір бөлігін тиісті орынға автоматты түрде бағыттайды.

Модельдерден есептеу қуатына дейін

Perplexity дәл және сілтеме жасалған жауаптарды шығару үшін құралдар мен дереккөздерді оркестрлеу арқылы бастады. Computer мұны жиырмадан астам озық модельде іске қосылған, әрбір тапсырма үшін дұрысын таңдайтын жүздеген агенттерге арналған жабдыққа дейін кеңейтті. Енді біз сол идеяны есептеу қуатының өзіне де қолдана аламыз: қай модель, қай жерде жұмыс істейді және неге.

Гибридті агенттік инференция құпия деректерді қамтитын, бірақ қуатты ЖИ қажет ететін жұмыстарға арналған. Қаржылық жазбалар, денсаулық туралы ақпарат және жеке файлдар сияқты нәрселер. Шағын модель құпия деректердің жергілікті жерде де сақталуы керектігін анықтау үшін құрылғыңызда жергілікті түрде жұмыс істейді.

Сонымен қатар, озық модельдің толық мүмкіндігін қажет ететін жұмыс серверде орындалады. Нақты тапсырмалардың көпшілігі аралас болып келеді, сондықтан Personal Computer оларды бөліп, бөліктерін үйлестіреді. Сізден жергілікті немесе бұлтты таңдауды алдын ала сұрайтын құралдардан айырмашылығы, бұл тапсырма сайын өздігінен болады.

Құрылғы – бұл деректер орталығы

Көптеген жылдар бойы қуаттырақ кремний көбінесе жылдамырақ қолданбалар мен ұзағырақ батарея қызметін білдірді. Чип нақты инференцияны орындай алатын кезде бұл өзгереді. Жергілікті аппараттық құрал қанқалты жақсы болса, оркестрлеуші құрылғыңызда көбірек ақпаратты сақтай алады және серверді шынымен қажет ететін жұмыс үшін соғұрлым көбірек сақтай алады.

Біз мұны Intel-мен бірге ұсындық және сондай модельге тәуелсіз жабдық басқа жергілікті кремний құрылғыларында, соның ішінде NVIDIA's RTX Spark жүйесінде де жұмыс істейді. Жергілікті есептеу қуаты үшін жарыс басталып кетті. Чиптер дамыған сайын, тек Perplexity-де ғана шынайы үздіксіз оркестрлеу үшін агенттік жабдық пен қолданбалы инференция инженериясы бар.

Бұл сондай-ақ есептеу қуатының тапшылығын бақылап отырған әрбір адам үшін есептеулерді өзгертеді. Құпия жұмыс пен күнделікті жұмыс адамдардың өздеріне тиесілі құрылғыларға көшкен кезде, оған қызмет көрсету үшін соншалықты орталықтандырылған инфрақұрылымды салудың қажеті жоқ. Бұл егемендіктің де қандай болатынын өзгертеді: маңызды деректер оны сақтау үшін ел деректер орталығын құрмай-ақ өз юрисдикциясында қала алады.

Адамдар басқара алмайтын деректер орталығын салғанша, өз ноутбугында деректер орталығына ие болғанды жөн көреді.

Тиімділік үшін дұрыс архитектура

Бұл архитектураның Perplexity-ге сәйкес келуінің өзіндік себебі бар. Біздің бизнесіміз әрқашан біз сататын токендерді максималды ету емес, дәл ЖИ болуы. Бұл ватт үшін мәнді оңтайландыру үшін дұрыс ынталандыру: біз көбірек есептеу қуатын тұтынған кезде емес, жауап дұрыс болып, жұмыс орындалған кезде жеңеміз.

Гибридті ЖИ – бұл саланың баяғыдан бергі арманы. Шілде айында шығатын жергілікті инференциясы бар Personal Computer – оны шындыққа айналдыратын және есептеу қуатын құрылғыңыз бен бұлт арасында интеллектуалды түрде оркестрлеуге болатын тағы бір нәрсе ретінде қарастыратын алғашқы өнім.