Giới thiệu Orchestrator: Một API cho các mô hình tiên phong và mô hình trọng số mở

Perplexity Orchestrator cung cấp quyền truy cập vào các mô hình tiên phong và mô hình trọng số mở, cùng với thanh toán hợp nhất và chuyển đổi dự phòng trong một API duy nhất.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity về cốt lõi là một nền tảng đa mô hình, cho phép mọi người tự do lựa chọn các mô hình tiên tiến và mô hình trọng số mở mới nhất cho công việc của mình. Cách tiếp cận đa mô hình này tận dụng thế mạnh của từng mô hình và có thể giảm chi phí khi một tác vụ không cần đến mô hình mạnh nhất. Ở phía sau, công nghệ điều phối của chúng tôi có thể sử dụng nhiều mô hình để hoàn thành một công việc duy nhất.

Các doanh nghiệp cũng đang áp dụng cách tiếp cận tương tự để cân bằng giữa hiệu suất, chi phí và tính linh hoạt. Mỗi lần ra mắt mô hình mới là một cơ hội để giảm chi phí hoặc cải thiện chất lượng. Chỉ riêng năm nay, các phòng thí nghiệm như Anthropic và OpenAI đã phát hành hơn một chục mô hình mới. Hơn 100 mô hình trọng số mở cũng đã ra mắt. Dù điều này mang lại cho các nhóm nhiều lựa chọn hơn cho từng khối lượng công việc, nó cũng khiến họ phải quản lý nhiều nhà cung cấp, hợp đồng và hóa đơn hơn.

Hôm nay, chúng tôi ra mắt Perplexity Orchestrator API, mang công nghệ không phụ thuộc vào mô hình của chúng tôi đến với các nhà phát triển và các nhóm đang xây dựng ứng dụng AI. Thông qua một API duy nhất, các nhóm có thể chạy các tác vụ đơn giản, khối lượng lớn trên các mô hình chi phí thấp hơn và dành các mô hình mạnh hơn cho những công việc đòi hỏi cao hơn.

Với Orchestrator, các nhóm có thể giảm và tập trung chi tiêu cho AI, đồng thời áp dụng các mô hình mới ngay khi ra mắt mà không phải đánh đổi hiệu suất hay thời gian hoạt động. Các nhóm có thể chọn mô hình xử lý từng khối lượng công việc, còn Perplexity đảm nhận việc định tuyến nhà cung cấp và chuyển đổi dự phòng để đảm bảo suy luận ổn định.

Được xây dựng trên lớp mô hình vận hành thực tế của Perplexity

Perplexity vận hành các mô hình trọng số mở và mô hình tiên tiến trong môi trường sản xuất mỗi ngày. Lớp mô hình của chúng tôi định tuyến hàng trăm triệu yêu cầu qua hơn 85 mô hình và hơn một chục nhà cung cấp.

Chọn một mô hình dễ hơn nhiều so với việc giữ cho mọi yêu cầu luôn nhanh và tiết kiệm chi phí khi các nhà cung cấp chạy chậm, thiếu công suất hoặc thay đổi giá. Chúng tôi đã giảm chi phí phục vụ của chính mình bằng cách chuyển khối lượng công việc sang những mô hình phù hợp nhất với từng tác vụ.

Orchestrator cho phép các nhà phát triển truy cập cơ sở hạ tầng dùng chung đứng sau cách tiếp cận đó.

Orchestrator cung cấp lớp suy luận đó thông qua một API duy nhất. API này bao gồm các mô hình từ OpenAI, Anthropic, Google và xAI, cùng với các mô hình trọng số mở như GLM, Kimi và DeepSeek. Các mô hình trọng số mở được Perplexity phục vụ trực tiếp hoặc thông qua các đối tác suy luận.

Orchestrator hỗ trợ các định dạng OpenAI Chat Completions, OpenAI Responses và Anthropic Messages. Các nhóm có thể tiếp tục sử dụng những bộ công cụ phát triển phần mềm (SDK) quen thuộc. Với hầu hết các nhóm, để bắt đầu chỉ cần cập nhật khóa API và URL cơ sở, rồi chọn một mô hình khả dụng.

Thanh toán hợp nhất, không thêm phí nền tảng

Việc chạy các mô hình từ nhiều phòng thí nghiệm và nhà cung cấp dịch vụ suy luận có thể đòi hỏi các tài khoản, khóa API, hợp đồng, quy trình đánh giá bảo mật và hóa đơn riêng biệt. Điều đó cũng có thể đồng nghĩa với các cam kết hằng năm riêng biệt dựa trên một tổ hợp mô hình có thể thay đổi chỉ trong vài tuần.

Orchestrator đưa các mô hình được hỗ trợ về một nhà cung cấp và một hóa đơn duy nhất, nhờ đó các nhóm có thể thay đổi tổ hợp mô hình mà không cần đàm phán cam kết riêng với từng nhà cung cấp. Không có thêm phí nền tảng nào ngoài tín dụng.

Các nhóm cũng có thể theo dõi mức sử dụng và quản lý chi tiêu thông qua API Console:

  • Báo cáo mức sử dụng: Chi tiêu được phân tách theo mô hình, dự án, khóa API và ngày
  • Khóa API: Tách riêng khóa API để theo dõi mức sử dụng theo dự án hoặc nhóm
  • Quyền kiểm soát của quản trị viên: Danh sách cho phép mô hình của tổ chức, hạn chế người dùng, giới hạn chi tiêu và yêu cầu tăng công suất

Yêu cầu đáng tin cậy hơn trên nhiều nhà cung cấp

Các mô hình có sẵn qua nhiều nhà cung cấp mang lại cho các nhóm nhiều cách để phục vụ một yêu cầu.

Orchestrator theo dõi tình trạng, năng lực xử lý và độ trễ của từng nhà cung cấp để phân phối lưu lượng đến những nhà cung cấp hoạt động tốt nhất. Nếu một yêu cầu thất bại, hệ thống có thể thử lại trên một bản triển khai khác của cùng mô hình, tự xử lý chuyển đổi dự phòng mà các nhóm không cần tự xây dựng logic này.

Với các nhóm chạy hàng triệu yêu cầu mỗi ngày, ngay cả một chênh lệch nhỏ về tỷ lệ yêu cầu thành công, như mức chênh giữa 99,0% và 99,99%, cũng có thể ảnh hưởng đến hàng nghìn phản hồi. Với Orchestrator, các nhóm không phải tự xây dựng hay duy trì mã chuyển đổi dự phòng.

Trong một tháng lưu lượng thực tế trên Orchestrator, các yêu cầu Claude và GPT qua Perplexity có tỷ lệ thành công cao hơn bất kỳ nhà cung cấp riêng lẻ nào được đo lường, đồng thời ít biến động hằng ngày hơn trong các sự cố của nhà cung cấp.

Đang ở bản xem trước: Routes và Auto effort

Routes cho phép các nhóm mô tả bằng ngôn ngữ thông thường những yêu cầu mà mỗi mô hình nên xử lý, đồng thời đặt mô hình mặc định. Các nhóm có thể bắt đầu từ hồ sơ tích hợp sẵn Lower cost, Balanced hoặc Higher quality, hoặc tự xây dựng hồ sơ tùy chỉnh. Nếu các nhóm không cung cấp mô tả hoặc chỉ định mục tiêu, mô hình mặc định sẽ phục vụ yêu cầu.

Cũng đang ở bản xem trước, Auto effort điều chỉnh mức độ suy luận mà một mô hình được hỗ trợ sử dụng ở lượt tiếp theo theo chính sách do nhà phát triển xác định. Một tác nhân có thể dành nhiều nỗ lực hơn để khắc phục lỗi công cụ mà không cần chuyển đổi mô hình.

Bắt đầu với điều phối mô hình thông minh

Orchestrator là bước đầu tiên trong nền tảng API của Perplexity hướng tới việc điều phối mô hình thông minh. Tìm hiểu cách chúng tôi xây dựng và đánh giá Routes, bao gồm lý do vì sao định tuyến mô hình khó thực hiện đúng.

Để bắt đầu, hãy tạo khóa API trong API Console, trỏ SDK OpenAI hoặc Anthropic hiện có đến URL cơ sở của Orchestrator và chọn từ danh mục mô hình.

Hướng dẫn bắt đầu nhanh giúp bạn gửi yêu cầu đầu tiên chỉ trong vài phút. Các nhóm có khối lượng công việc lớn hoặc có cam kết sử dụng có thể gửi email đến api@perplexity.ai để biết thêm thông tin về giá theo khối lượng và năng lực xử lý.

Tạo khóa API ngay hôm nay.