Pusat data berpindah ke perangkat Anda

Tujuan yang tepat untuk sistem AI adalah memberikan nilai token terbanyak per watt bagi setiap pengguna. Itu terdengar sederhana. Kenyataannya tidak, karena ada tiga hal yang saling bertolak belakang.

Keakuratan menuntut model yang paling mumpuni, yang biayanya mahal untuk dijalankan. Privasi menuntut agar sebagian pekerjaan tidak pernah meninggalkan perangkat Anda. Biaya dan energi menuntut agar Anda tidak menghabiskan daya komputasi model tingkat lanjut untuk tugas yang dapat ditangani oleh model yang lebih kecil. Anda tidak dapat memaksimalkan salah satunya tanpa mengabaikan yang lain.

Menyeimbangkan ketiga hal tersebut adalah masalah orkestrasi. Dan orkestrasi adalah hal yang selalu dilakukan oleh Perplexity.

Hari ini kami mengumumkan langkah selanjutnya untuk Personal Computer: orchestrator inferensi hibrida lokal-server yang pertama. Sistem ini menalar pekerjaan mana yang harus dijalankan di perangkat Anda dan pekerjaan mana yang harus dikirim ke agen di cloud, serta merutekan setiap bagian tugas ke tempat yang tepat secara otomatis.

Dari model hingga komputasi

Perplexity bermula dengan mengorkestrasikan alat dan sumber untuk menghasilkan jawaban yang akurat dan bersumber. Computer memperluas hal tersebut menjadi sarana bagi ratusan agen, yang dijalankan di lebih dari dua puluh model tingkat lanjut, memilih model yang tepat untuk setiap tugas. Sekarang kita dapat memperluas gagasan yang sama ke komputasi itu sendiri: model mana, di mana model itu berjalan, dan mengapa.

Inferensi agen hibrida ditujukan untuk pekerjaan yang mencakup data sensitif tetapi membutuhkan AI yang bertenaga. Hal-hal seperti catatan keuangan, informasi kesehatan, dan file pribadi. Model ringkas berjalan secara lokal di perangkat Anda untuk menentukan kapan data sensitif juga harus disimpan secara lokal.

Sementara itu, pekerjaan yang memerlukan kemampuan penuh model tingkat lanjut berjalan di server. Sebagian besar tugas nyata adalah gabungan keduanya, sehingga Personal Computer membagi dan mengoordinasikan bagian-bagian tersebut. Tidak seperti alat yang meminta Anda memilih lokal atau cloud di awal, proses ini terjadi dengan sendirinya, tugas demi tugas.

Perangkat adalah pusat data

Selama bertahun-tahun, silikon yang lebih mumpuni sebagian besar berarti aplikasi yang lebih cepat dan masa pakai baterai yang lebih lama. Hal itu berubah ketika chip mampu menjalankan inferensi nyata. Semakin baik perangkat keras lokal, semakin banyak orchestrator yang dapat disimpan di mesin Anda, dan semakin banyak server yang dapat dicadangkan untuk pekerjaan yang benar-benar membutuhkannya.

Kami meluncurkan ini bersama Intel, dan sarana agnostik model yang sama berjalan di silikon lokal lainnya, termasuk RTX Spark dari NVIDIA. Perlombaan untuk komputasi lokal telah dimulai. Seiring kemajuan chip, hanya Perplexity yang memiliki sarana agen dan teknik inferensi terapan untuk orkestrasi yang benar-benar mulus.

Ini juga mengubah perhitungan bagi siapa pun yang mengamati kekurangan komputasi. Ketika pekerjaan sensitif dan pekerjaan rutin berpindah ke perangkat yang sudah dimiliki orang, Anda tidak perlu membangun infrastruktur terpusat sebanyak itu untuk melayaninya. Ini juga mengubah bentuk kedaulatan: data penting dapat tetap berada di yurisdiksinya sendiri tanpa suatu negara harus mendirikan pusat data untuk menyimpannya di sana.

Orang lebih suka memiliki pusat data di laptop mereka daripada membangun di atas pusat data yang tidak mereka kendalikan.

Arsitektur yang tepat untuk efisiensi

Ada alasan mengapa arsitektur ini cocok dengan Perplexity. Bisnis kami selalu berupa AI yang akurat, bukan memaksimalkan token yang kami jual. Itu adalah insentif yang tepat untuk mengoptimalkan nilai per watt: kami menang ketika jawabannya tepat dan pekerjaan selesai, bukan ketika pekerjaan tersebut menghabiskan lebih banyak daya komputasi.

AI hibrida telah menjadi ambisi industri sejak lama. Personal Computer dengan inferensi lokal, yang akan hadir pada bulan Juli, adalah produk pertama yang mewujudkannya, dan produk pertama yang memperlakukan komputasi sebagai satu hal lagi untuk diorkestrasikan secara cerdas, di seluruh mesin Anda dan cloud.