ศูนย์ข้อมูลย้ายมาอยู่บนเครื่องของคุณแล้ว

เป้าหมายที่ถูกต้องสำหรับระบบ AI คือการส่งมอบมูลค่าโทเค็นต่อวัตต์สูงสุดให้กับผู้ใช้แต่ละราย ฟังดูเหมือนจะง่าย แต่ความจริงไม่ใช่ เพราะมีปัจจัยสามประการที่ขัดแย้งกันอยู่

ความแม่นยำต้องอาศัยโมเดลที่มีความสามารถสูงสุด ซึ่งมีต้นทุนการทำงานสูง ความเป็นส่วนตัวกำหนดว่างานบางอย่างต้องไม่ถูกส่งออกจากเครื่องของคุณ ต้นทุนและพลังงานกำหนดว่าคุณไม่ควรใช้การประมวลผลของโมเดลระดับแนวหน้ากับงานที่โมเดลขนาดเล็กกว่าสามารถจัดการได้ คุณไม่สามารถเพิ่มสิ่งใดสิ่งหนึ่งให้สูงสุดได้โดยไม่คำนึงถึงสิ่งอื่น

การสร้างความสมดุลให้ทั้งสามสิ่งนี้คือปัญหาเรื่องการประสานการทำงาน และการประสานการทำงานคือสิ่งที่ Perplexity ทำมาโดยตลอด

วันนี้เราได้ประกาศก้าวสำคัญถัดไปสำหรับ Personal Computer: เครื่องมือประสานการอนุมานแบบไฮบริดระหว่างเครื่องในท้องถิ่นและเซิร์ฟเวอร์ตัวแรก โดยทำหน้าที่พิจารณาว่างานใดควรประมวลผลบนอุปกรณ์ของคุณและงานใดควรส่งไปยังเอเจนต์บนคลาวด์ พร้อมทั้งกำหนดเส้นทางแต่ละส่วนของงานไปยังตำแหน่งที่ถูกต้องโดยอัตโนมัติ

ตั้งแต่โมเดลไปจนถึงการประมวลผล

Perplexity เริ่มต้นด้วยการประสานเครื่องมือและแหล่งข้อมูลเพื่อให้ได้คำตอบที่แม่นยำและมีการอ้างอิง Computer ขยายขอบเขตนั้นให้กลายเป็นโครงสร้างพื้นฐานสำหรับเอเจนต์หลายร้อยตัว ที่ทำงานบนโมเดลระดับแนวหน้ามากกว่ายี่ห้อ พร้อมเลือกโมเดลที่เหมาะสมที่สุดสำหรับแต่ละงาน ตอนนี้เราสามารถขยายแนวคิดเดียวกันนี้ไปยังการประมวลผลได้แล้ว นั่นคือ โมเดลใด ทำงานที่ไหน และเพราะเหตุใด

การอนุมานแบบเอเจนต์ไฮบริดมีไว้สำหรับงานที่มีข้อมูลละเอียดอ่อนแต่ต้องการ AI ที่ทรงพลัง เช่น บันทึกทางการเงิน ข้อมูลสุขภาพ และไฟล์ส่วนตัว โมเดลขนาดกะทัดรัดจะทำงานบนอุปกรณ์ของคุณในเครื่องเพื่อกำหนดว่าเมื่อใดควรเก็บรักษาข้อมูลที่ละเอียดอ่อนไว้ในเครื่องเช่นกัน

ในขณะเดียวกัน งานที่ต้องการความสามารถเต็มรูปแบบของโมเดลระดับแนวหน้าจะทำงานบนเซิร์ฟเวอร์ งานจริงส่วนใหญ่เป็นการผสมผสานกัน ดังนั้น Personal Computer จึงทำการแยกส่วนและประสานงานเหล่านั้นเข้าด้วยกัน ซึ่งแตกต่างจากเครื่องมือที่ให้คุณเลือกระหว่างเครื่องในท้องถิ่นหรือคลาวด์ล่วงหน้า กระบวนการนี้เกิดขึ้นเองแบบอัตโนมัติทีละงาน

อุปกรณ์คือศูนย์ข้อมูล

เป็นเวลาหลายปีแล้วที่ซิลิคอนที่มีประสิทธิภาพสูงขึ้นหมายถึงแอปที่เร็วขึ้นและแบตเตอรี่ที่ใช้งานได้นานขึ้นเป็นส่วนใหญ่ แต่นั่นเปลี่ยนไปเมื่อชิปสามารถรันการอนุมานจริงได้ ยิ่งฮาร์ดแวร์ในเครื่องดีเท่าไหร่ เครื่องมือประสานการทำงานก็ยิ่งสามารถเก็บรักษาไว้บนเครื่องของคุณได้มากเท่านั้น และยิ่งช่วยสงวนเซิร์ฟเวอร์ไว้สำหรับงานที่จำเป็นต้องใช้จริงๆ ได้มากขึ้นเท่านั้น

เราได้เปิดตัวสิ่งนี้ร่วมกับ Intel และโครงสร้างพื้นฐานแบบไม่จำกัดโมเดลเดียวกันนี้ยังสามารถทำงานบนซิลิคอนในเครื่องอื่นๆ รวมถึง RTX Spark ของ NVIDIA การแข่งขันด้านการประมวลผลในท้องถิ่นได้เริ่มต้นขึ้นแล้ว ในขณะที่ชิปพัฒนาขึ้น มีเพียง Perplexity เท่านั้นที่มีโครงสร้างพื้นฐานแบบเอเจนต์และวิศวกรรมการอนุมานประยุกต์สำหรับการประสานการทำงานที่ราบรื่นอย่างแท้จริง

สิ่งนี้ยังเปลี่ยนมุมมองด้านการคำนวณสำหรับทุกคนที่กังวลเรื่องปัญหาการขาดแคลนพลังประมวลผล เมื่อคลังงานที่ละเอียดอ่อนและงานประจำย้ายมาอยู่บนอุปกรณ์ที่ผู้คนเป็นเจ้าของอยู่แล้ว คุณก็ไม่จำเป็นต้องสร้างโครงสร้างพื้นฐานแบบรวมศูนย์มากนักเพื่อให้บริการมัน นอกจากนี้ยังเปลี่ยนรูปแบบของอธิปไตยทางข้อมูลด้วย ข้อมูลสำคัญสามารถอยู่ในเขตอำนาจศาลของตนเองได้โดยที่ประเทศนั้นๆ ไม่จำเป็นต้องสร้างศูนย์ข้อมูลขึ้นมาเพื่อเก็บรักษาไว้

ผู้คนย่อมอยากเป็นเจ้าของศูนย์ข้อมูลในแล็ปท็อปของตนเองมากกว่าที่จะต้องไปสร้างหรือพึ่งพาศูนย์ข้อมูลที่ตนเองควบคุมไม่ได้

สถาปัตยกรรมที่ถูกต้องเพื่อประสิทธิภาพ

มีเหตุผลว่าทำไมสถาปัตยกรรมนี้จึงเหมาะกับ Perplexity ธุรกิจของเรามุ่งเน้นที่ AI ที่แม่นยำมาโดยตลอด ไม่ใช่การเพิ่มจำนวนโทเค็นที่เราขายให้ได้มากที่สุด นั่นคือแรงจูงใจที่ถูกต้องในการเพิ่มประสิทธิภาพมูลค่าต่อวัตต์: เราจะประสบความสำเร็จเมื่อได้คำตอบที่ถูกต้องและงานลุล่วง ไม่ใช่เมื่อมันใช้พลังประมวลผลมากขึ้น

AI แบบไฮบริดเป็นเป้าหมายของอุตสาหกรรมมาเป็นเวลานานแล้ว Personal Computer ที่มาพร้อมกับการอนุมานในเครื่อง ซึ่งจะเปิดตัวในเดือนกรกฎาคม เป็นผลิตภัณฑ์ชิ้นแรกที่ทำให้เรื่องนี้กลายเป็นจริง และเป็นผลิตภัณฑ์ชิ้นแรกที่ถือว่าการประมวลผลเป็นอีกหนึ่งสิ่งที่จะต้องประสานการทำงานอย่างชาญฉลาด ทั้งบนเครื่องของคุณและบนคลาวด์