Trung tâm dữ liệu chuyển đến thiết bị của bạn

Mục tiêu đúng đắn cho một hệ thống AI là mang lại giá trị token lớn nhất trên mỗi watt cho mỗi người dùng. Nghe có vẻ đơn giản. Thực tế không phải vậy, vì có ba yếu tố luôn tác động lẫn nhau.

Độ chính xác đòi hỏi các mô hình mạnh mẽ nhất, vốn có chi phí vận hành cao. Quyền riêng tư đòi hỏi một số công việc không bao giờ rời khỏi thiết bị của bạn. Chi phí và năng lượng đòi hỏi bạn không lãng phí năng lực tính toán của một mô hình tiên tiến cho một tác vụ mà mô hình nhỏ hơn có thể xử lý. Bạn không thể tối đa hóa yếu tố này mà không tôn trọng các yếu tố khác.

Cân bằng cả ba yếu tố này là một bài toán điều phối. Và điều phối chính là thế mạnh mà Perplexity luôn thực hiện.

Hôm nay, chúng tôi công bố bước tiếp theo cho Personal Computer: bộ điều phối suy luận kết hợp cục bộ - máy chủ đầu tiên. Công nghệ này phân tích xem công việc nào nên chạy trên thiết bị của bạn và công việc nào nên chuyển đến các tác nhân trên đám mây, đồng thời tự động định tuyến từng phần của tác vụ đến đúng nơi.

Perplexity bắt đầu bằng việc điều phối các công cụ và nguồn dữ liệu để đưa ra các câu trả lời chính xác, có trích dẫn. Computer đã mở rộng điều đó thành một nền tảng cho hàng trăm tác nhân, được thiết lập trên hơn hai mươi mô hình tiên tiến, chọn ra mô hình phù hợp cho từng tác vụ. Giờ đây, chúng tôi có thể mở rộng ý tưởng tương tự sang chính năng lực tính toán: mô hình nào, chạy ở đâu và tại sao.

Suy luận kết hợp mang tính tác nhân dành cho công việc có chứa dữ liệu nhạy cảm nhưng cần AI mạnh mẽ. Các ví dụ như hồ sơ tài chính, thông tin y tế và tệp cá nhân. Mô hình gọn nhẹ chạy cục bộ trên thiết bị của bạn để xác định thời điểm dữ liệu nhạy cảm cũng nên được lưu giữ cục bộ.

Trong khi đó, công việc cần toàn bộ khả năng của một mô hình tiên tiến sẽ chạy trên máy chủ. Hầu hết các tác vụ thực tế là sự kết hợp, vì vậy Personal Computer sẽ tách chúng ra và phối hợp các phần với nhau. Khác với các công cụ yêu cầu bạn phải chọn trước chế độ cục bộ hoặc đám mây, quá trình này diễn ra tự động, theo từng tác vụ.

Trong nhiều năm, phần cứng mạnh mẽ hơn chủ yếu có nghĩa là ứng dụng nhanh hơn và thời lượng pin dài hơn. Điều đó thay đổi khi con chip có thể chạy suy luận thực tế. Phần cứng cục bộ càng tốt, bộ điều phối càng giữ lại được nhiều trên máy của bạn, và càng có thể dành nhiều tài nguyên máy chủ cho công việc thực sự cần đến nó.

Chúng tôi đã ra mắt điều này cùng với Intel, và nền tảng bất khả tri về mô hình tương tự cũng chạy trên các phần cứng cục bộ khác, bao gồm RTX Spark của NVIDIA. Cuộc đua về năng lực tính toán cục bộ đã bắt đầu. Khi các con chip tiên tiến hơn, chỉ có Perplexity mới sở hữu nền tảng tác nhân và kỹ thuật suy luận ứng dụng để điều phối thực sự mượt mà.

Điều này cũng thay đổi bài toán đối với tất cả những ai đang theo dõi tình trạng thiếu hụt năng lực tính toán. Khi công việc nhạy cảm và công việc thông thường chuyển sang các thiết bị mà mọi người đã sở hữu, bạn không cần phải xây dựng quá nhiều cơ sở hạ tầng tập trung để phục vụ chúng. Nó cũng thay đổi khái niệm về chủ quyền: dữ liệu quan trọng có thể được lưu giữ trong phạm vi quyền hạn của chính nó mà không cần một quốc gia phải xây dựng trung tâm dữ liệu để duy trì điều đó.

Mọi người thà sở hữu một trung tâm dữ liệu trong máy tính xách tay của họ còn hơn là xây dựng trên một trung tâm dữ liệu mà họ không kiểm soát.

Có một lý do khiến kiến trúc này phù hợp với Perplexity. Hoạt động kinh doanh của chúng tôi luôn hướng đến AI chính xác, chứ không phải tối đa hóa số lượng token chúng tôi bán ra. Đó là động lực đúng đắn để tối ưu hóa giá trị trên mỗi watt: chúng tôi thắng khi câu trả lời chính xác và công việc được hoàn thành, chứ không phải khi nó tiêu tốn nhiều năng lực tính toán hơn.

AI kết hợp đã là hoài bão của ngành công nghệ trong một thời gian dài. Personal Computer với khả năng suy luận cục bộ, ra mắt vào tháng 7, là sản phẩm đầu tiên hiện thực hóa điều đó và là sản phẩm đầu tiên coi năng lực tính toán là một yếu tố nữa cần được điều phối thông minh, trên thiết bị của bạn và đám mây.

Từ mô hình đến năng lực tính toán

Thiết bị chính là trung tâm dữ liệu

Kiến trúc phù hợp cho hiệu suất