डेटा सेंटर तुमच्या मशीनवर हलते

एका एआय प्रणालीसाठी योग्य ध्येय म्हणजे प्रत्येक वापरकर्त्यासाठी प्रति वॅट जास्तीत जास्त टोकन मूल्य प्रदान करणे. हे सोपे वाटते. पण ते सोपे नाही, कारण तीन गोष्टी एकमेकांच्या विरोधात काम करतात.

अचूकतेसाठी अत्यंत सक्षम मॉडेल्सची आवश्यकता असते, जे चालवण्यासाठी महाग असतात. गोपनीयतेची मागणी असते की काही काम तुमच्या डिव्हाइसवरून कधीही बाहेर जाऊ नये. खर्च आणि ऊर्जेची मागणी अशी असते की तुम्ही लहान मॉडेल हाताळू शकणाऱ्या कामावर फ्रंटियर मॉडेलची संगणन शक्ती वाया घालवू नये. तुम्ही इतरांकडे दुर्लक्ष करून एकाची कमाल मर्यादा गाठू शकत नाही.

या तिन्ही गोष्टींमध्ये समतोल राखणे ही एक समन्वय समस्या आहे. आणि समन्वय साधणे ही ती गोष्ट आहे जी Perplexity ने नेहमीच केली आहे.

आज आम्ही Personal Computer साठीपुढील पावलाची घोषणा केली: पहिले हायब्रिड लोकल-सर्व्हर इन्फरन्स ऑर्केस्ट्रेटर. तुमच्या डिव्हाइसवर कोणते काम चालवले पाहिजे आणि क्लाउडमधील एजंट्सकडे कोणते काम गेले पाहिजे याचा ते विचार करतो, आणि आपोआप कामाच्या प्रत्येक भागाला योग्य ठिकाणी पाठवतो.

मॉडेल्सपासून संगणनापर्यंत

Perplexity ची सुरुवात अचूक, उद्धृत उत्तरे देण्यासाठी टूल्स आणि स्त्रोतांचे समन्वय साधण्यापासून झाली. Computer ने वीसहून अधिक फ्रंटियर मॉडेल्समध्ये तयार केलेल्या शेकडो एजंट्ससाठी एक हार्नेस तयार केला, ज्याने प्रत्येक कामासाठी योग्य मॉडेल निवडले. आता आम्ही तीच कल्पना स्वतः संगणनापर्यंत वाढवू शकतो: कोणते मॉडेल, ते कुठे चालते आणि का.

हायब्रिड एजंट इन्फरन्स अशा कामासाठी आहे ज्यामध्ये संवेदनशील डेटा समाविष्ट असतो परंतु शक्तिशाली एआयची आवश्यकता असते. आर्थिक रेकॉर्ड, आरोग्य माहिती आणि वैयक्तिक फाइल्स यांसारख्या गोष्टी. संवेदनशील डेटा कधी स्थानिक पातळीवर ठेवला जावा हे ठरवण्यासाठी कॉम्पॅक्ट मॉडेल तुमच्या डिव्हाइसवर स्थानिक पातळीवर चालते.

दरम्यान, फ्रंटियर मॉडेलच्या पूर्ण क्षमतेची आवश्यकता असलेले काम सर्व्हरवर चालते. बहुतेक वास्तविक कामे हे मिश्रण असतात, त्यामुळे Personal Computer त्यांना विभाजित करतो आणि भागांचे समन्वय साधतो. स्थानिक किंवा क्लाउड आधीच निवडण्यास सांगणाऱ्या साधनांच्या विपरीत, हे स्वतःहून, कामावर आधारित घडते.

डिव्हाइस हेच डेटा सेंटर आहे

वर्षानुवर्षे, अधिक सक्षम सिलिकॉनचा अर्थ मुख्यत्वे जलद ॲप्स आणि दीर्घ बॅटरी लाईफ असा होता. जेव्हा चिप वास्तविक इन्फरन्स चालवू शकते तेव्हा ते बदलते. स्थानिक हार्डवेअर जितके चांगले, तितके ऑर्केस्ट्रेटर तुमच्या मशीनवर अधिक ठेवू शकते, आणि ज्या कामासाठी खरोखर त्याची आवश्यकता आहे त्याच्यासाठी तो सर्व्हर राखून ठेवू शकतो.

आम्ही Intel सोबत याचे अनावरण केले, आणि तेच मॉडेल-अॅग्नोस्टिक हार्नेस NVIDIA च्या RTX स्पार्कसह इतर स्थानिक सिलिकॉनवर चालते. स्थानिक संगणनासाठी शर्यत सुरू आहे. चिप्स प्रगत होत असताना, खऱ्या अर्थाने अखंड समन्वयासाठी केवळ Perplexity कडे एजंट हार्नेस आणि अप्लाइड इन्फरन्स अभियांत्रिकी आहे.

संगणनाची कमतरता पाहणाऱ्या प्रत्येकासाठी हे समीकरण बदलते. जेव्हा संवेदनशील काम आणि नियमित काम लोक आधीच मालकीच्या असलेल्या डिव्हाइसवर जातात, तेव्हा त्यासाठी तुम्हाला तितके केंद्रीकृत इन्फ्रास्ट्रक्चर तयार करण्याची आवश्यकता नसते. यामुळे सार्वभौमत्वाचे स्वरूप देखील बदलते: डेटा सेंटर उभा न करता महत्त्वाचा डेटा स्वतःच्या अधिकारक्षेत्रात राहू शकतो.

लोकांना त्यांच्या नियंत्रणात नसलेल्या डेटा सेंटरवर काम करण्यापेक्षा त्यांच्या लॅपटॉपमध्ये डेटा सेंटर असणे अधिक आवडेल.

कार्यक्षमतेसाठी योग्य आर्किटेक्चर

हे आर्किटेक्चर Perplexity ला अनुकूल असण्याचे एक कारण आहे. आमचा व्यवसाय नेहमीच अचूक एआय राहिला आहे, आपण विकत घेत असलेली टोकन्स जास्तीत जास्त करणे नाही. प्रति वॅट मूल्य अनुकूलित करण्यासाठी हे योग्य प्रोत्साहन आहे: जेव्हा उत्तर बरोबर असते आणि काम पूर्ण होते तेव्हा आम्ही जिंकतो, जेव्हा ते अधिक संगणन वापरते तेव्हा नाही.

हायब्रिड एआय ही बऱ्याच काळापासून उद्योगाची महत्त्वाकांक्षा राहिली आहे. जुलैमध्ये येणारे लोकल इन्फरन्स असलेले Personal Computer हे पहिले उत्पादन आहे जे ते वास्तविक बनवते, आणि तुमच्या मशीन आणि क्लाउडवर संगणनाचा बुद्धिमत्तापूर्ण समन्वय साधणारी पहिली गोष्ट बनवते.