מרכז הנתונים עובר למכשיר שלך

היעד הנכון עבור מערכת בינה מלאכותית הוא לספק את ערך הטוקנים הגבוה ביותר לכל וואط עבור כל משתמש. זה נשמע פשוט. זה לא פשוט, מכיוון שששה דברים פועלים לכיוונים מנוגדים.

דיוק דורש את המודלים היכולתיים ביותר, שהפעלתם יקרה. פרטיות דורשת שחלק מהעבודה לעולם לא יעזוב את המכשיר שלך. עלות ואנרגיה דורשות שלא תבזבז את כוח החישוב של מודל חזיתי על משימה שמודל קטן יותר יכול להתמודד איתה. אי אפשר למקסם אחד מבלי להתחשב באחרים.

איזון בין שלושתם הוא בעיית תזמור. ותזמור הוא הדבר ש-Perplexity תמיד עשתה.

היום הכרزנו על השלב הבא עבור Personal Computer: מתזמר ההסקה ההיברידי הראשון המשלב מקומי ושרת. הוא מסיק אילו עבודות צריכות לרוץ על המכשיר שלך ואילו עבודות צריכות להגיע לסוכנים בענן, ומנתב כל חלק של משימה למקום הנכון באופן אוטומטי.

ממודלים ועד לכוח חישוב

Perplexity התחילה בתזמור כלים ומקורות כדי להפיק תשובות מדויקות ומגובות במקורות. Computer הרחיבה זאת לכלי עזר עבור מאות סוכנים, שהופעלו בלמעלה עשרים מודדי חזית, תוך בחירת המודל הנכון לכל משימה. כעת אנו יכולים להרחיב את אותו רעיון לכוח החישוב עצמו: באיזה מודל מדובר, היכן הוא פועל ולמה.

הסקה סוכנית היברידית מיועדת לעבודה הכוללת נתונים רגישים אך דורשת בינה מלאכותית עוצמתית. דברים כמו רשומות פיננסיות, מידע בריאותי וקבצים אישיים. המודל הקומפקטי פועל באופן מקומי על המכשיר שלך כדי לקבוע מתי נתונים רגישים צריכים להישאר גם הם באופן מקומי.

בינתיים, עבודה הדורשת את מלוא היכולות של מודל חזיתי פועלת על השרת. רוב המשימות האמיתיות הן שילוב, ולכן Personal Computer מפצלת אותן ומתאמתת בין החלקים. בניגוד לכלים שמבקשים ממך לבחור מראש בין מקומי לענן, זה קורה מעצמו, משימה אחר משימה.

המכשיר הוא מרכז הנתונים

במשך שנים, סיליקון בעל יכולות גבוהות יותר משמעותו הייתה בעיקר אפליקציות מהירות יותר וחיי סוללה ארוכים יותר. זה משתנה כאשר השבב מסוגל להריץ הסקה אמיתית. ככל שחומרה מקומית טובה יותר, כך המתזמר יכול לשמור יותר במכשיר שלך, ויכול להקצות יותר את השרת לעבודה הדורשת זאת באמת.

חשפנו זאת יחד עם אינטל, ואותה תשתית בלתי תלויה במודל פועלת על פני סיליקונים מקומיים אחרים, כולל RTX Spark של NVIDIA. המרוץ אחר כוח חישוב מקומי החל. ככל שהשבבים מתקדמים, רק ל-Perplexity יש את תשתית הסוכנים וההנדסה היישומית של הסקה עבור תזמור חלק באמת.

זה גם משנה את התמונה עבור כל מי שעוקב אחר מחסור כוח החישוב. כאשר עבודה רגישה ועבודה שגרתית עוברות למכשירים שאנשים כבר מחזיקים בבעלותם, אינך צריך לבנות תשתית מרכזית רבה כל כך כדי לשרת זאת. זה משנה גם כיצד נראית ריבונות: נתונים חשובים יכולים להישאר בתחומי השיפוט שלהם בלי שמדינה תצטרך להקים מרכז נתונים כדי לשמור עליהם שם.

אנשים מעדיפים להיות בעלים של מרכז נתונים במחשב הנייד שלהם מאשר לבנות על אחד שאין להם שליטה עליו.

הארכיטקטורה הנכונה ליעילות

יש סיבה לכך שארכיטקטורה זו מתאימה ל-Perplexity. העסק שלנו תמיד היה בינה מלאכותית מדויקת, ולא מיקסום הטוקנים שאנו מוכרים. זהו התמריץ הנכון לאופטימיזציה של ערך לוואט: אנחנו מרוויחים כאשר התשובה נכונה והעבודה מבוצעת, ולא כאשר היא צורכת יותר כוח חישוב.

בינה מלאכותית היברידית הייתה שאיפה של התעשייה במשך זמן רב. Personal Computer עם הסקה מקומית, המגיע ביולי, הוא המוצר הראשון שהופך זאת למציאות, והראשון שמתייחס לכוח חישוב כאל דבר נוסף לתזמור חכם, על פני המכשיר שלך והענן.