Orchestrator: Một API cho suy luận đáng tin cậy

Kết nối với các mô hình AI trọng số mở và độc quyền thông qua một API duy nhất, với hình thức thanh toán hợp nhất và tự động chuyển đổi dự phòng trong cùng mô hình.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator đưa các mô hình trọng số mở và mô hình độc quyền vào một API duy nhất với hình thức thanh toán hợp nhất. Orchestrator tự động chọn nhà cung cấp dựa trên tính khả dụng, công suất và độ trễ, đồng thời có thể thử lại các yêu cầu thất bại trên một bản triển khai khả dụng khác của cùng mô hình.

Một tích hợp duy nhất cho các mô hình trọng số mở và mô hình độc quyền

Orchestrator phục vụ các mô hình trọng số mở được lưu trữ trên cơ sở hạ tầng suy luận của Perplexity, cùng với các mô hình độc quyền từ những nhà cung cấp khác. Danh mục hiện tại liệt kê các lựa chọn mô hình khả dụng.

Orchestrator chấp nhận các yêu cầu OpenAI Chat Completions, OpenAI Responses và Anthropic Messages, vì vậy bạn có thể kết nối thông qua SDK OpenAI hoặc Anthropic hiện có của mình.

Hướng dẫn bắt đầu nhanh và hướng dẫn định tuyến cung cấp các ví dụ về SDK và cách định tuyến hiện tại.

Độ tin cậy và tốc độ giữa các nhà cung cấp

Độ tin cậy

Chọn Claude không có nghĩa là phải phụ thuộc vào một nhà cung cấp duy nhất: một yêu cầu thất bại trên Anthropic vẫn có thể thành công trên AWS Bedrock. Tính năng chuyển đổi dự phòng nhà cung cấp cho phép chuyển bản triển khai đang phục vụ yêu cầu mà không cần thay đổi mô hình.

Orchestrator sử dụng dữ liệu quan sát được về tình trạng hoạt động và công suất để phân phối yêu cầu giữa các bản triển khai của một mô hình. Nếu một nhà cung cấp trả về lỗi, chạm giới hạn tốc độ hoặc hết thời gian chờ, Orchestrator sẽ thử lại trên một bản triển khai khác của mô hình đó, với giới hạn về thời gian đến token đầu tiên và tổng thời lượng cho mỗi lần thử.

Trong các phép đo từ ngày 4 tháng 10 đến ngày 2 tháng 11 năm 2026, các yêu cầu Claude và GPT thông qua Perplexity thành công thường xuyên hơn so với các yêu cầu gửi đến bất kỳ nhà cung cấp riêng lẻ nào mà chúng tôi đã đo lường. Tỷ lệ thành công hằng ngày của chúng cũng ít biến động hơn trong các sự cố của nhà cung cấp.

Tỷ lệ yêu cầu thành công, từ ngày 4 tháng 10 đến ngày 2 tháng 11 năm 2026: Claude ở bên trái; các mô hình GPT khả dụng qua cả OpenAI và Azure ở bên phải.
Tỷ lệ yêu cầu thành công hằng ngày trong cùng khoảng thời gian: Claude ở bên trái và GPT ở bên phải.

Chúng tôi tính một yêu cầu là thất bại khi Orchestrator đã dùng hết các bản triển khai khả dụng hoặc lớp phục vụ trả về lỗi, nhưng loại trừ các lỗi phía máy khách như yêu cầu không hợp lệ và vi phạm giới hạn tốc độ phía máy khách.

Tốc độ đầu ra

Chúng tôi đang phát triển tính năng định tuyến thích ứng có tính đến tốc độ của mô hình để Orchestrator có thể điều chỉnh việc lựa chọn nhà cung cấp khi hiệu suất thay đổi.

Nhà cung cấp nhanh nhất cho bất kỳ mô hình nào cũng thay đổi theo thời gian. Với Claude Opus 5.5, Anthropic dẫn đầu trong 15 trên 30 ngày, còn AWS Bedrock dẫn đầu trong 15 ngày còn lại.

Tốc độ đầu ra trung vị của Claude Opus 5.5 theo nhà cung cấp và theo ngày, từ ngày 4 tháng 10 đến ngày 2 tháng 11 năm 2026. Đường được làm nổi bật đi theo nhà cung cấp nhanh hơn mỗi ngày, minh họa mục tiêu của tính năng định tuyến theo tốc độ trực tiếp.

Trong cùng 30 ngày đó, tốc độ đầu ra trung vị của GPT-5.6 Sol trên Azure cao hơn 27% so với trên OpenAI.

Tốc độ đầu ra trung vị của GPT-5.6 Sol sau token đầu tiên, từ ngày 4 tháng 10 đến ngày 2 tháng 11 năm 2026.

Một hóa đơn cho tất cả các mô hình

Mỗi yêu cầu chỉ được tính vào mức sử dụng token của mô hình đã trả lời. Orchestrator tính phí theo mức giá mỗi token đã công bố của mô hình bất kể nhà cung cấp nào phục vụ yêu cầu, vì vậy việc chuyển đổi dự phòng nhà cung cấp không làm thay đổi mức giá đó. Mức sử dụng được trừ vào cùng nguồn tín dụng trả trước với phần còn lại của dự án API Perplexity của bạn.

Trong API Console, bạn có thể xem chi tiêu theo mô hình và lọc mức sử dụng theo khóa API. Bạn cũng có thể mua tín dụng thông qua AWS Marketplace.

Định tuyến tự động (bản xem trước): chọn đúng mô hình cho từng tác vụ

Orchestrator cung cấp tính năng định tuyến tự động, một tính năng tùy chọn hiện có ở bản xem trước. Tính năng này chọn mô hình cho từng yêu cầu bằng một hồ sơ ghép các mô tả tác vụ bằng ngôn ngữ thông thường với các mô hình. Bạn có thể tự xác định hồ sơ của mình hoặc sử dụng hồ sơ mặc định tích hợp sẵn của Orchestrator.

Các yêu cầu định tuyến tự động sử dụng perplexity/auto làm mô hình. Với hồ sơ tùy chỉnh, hãy thêm một đối tượng định tuyến với default_model và routes. Mỗi tuyến chỉ định tên, mô tả và mô hình.

Với mỗi yêu cầu, perplexity/auto gọi mô hình quyết định của chúng tôi để đọc cuộc trò chuyện và đối chiếu với phần mô tả các tuyến mà không nhìn thấy tên mô hình. Sau đó, Orchestrator gửi yêu cầu đến mô hình được gán cho tuyến đã chọn, hoặc đến mô hình mặc định của bạn nếu không có tuyến nào phù hợp. Orchestrator cũng sử dụng mô hình mặc định của bạn nếu mô hình quyết định gặp lỗi hoặc hết thời gian chờ.

Các ví dụ dưới đây bao gồm định tuyến để tránh việc mô hình từ chối, định tuyến theo loại sự cố hỗ trợ khách hàng và theo thay đổi tác vụ trong một cuộc trò chuyện.

Định tuyến để tránh từ chối

Một tác nhân có thể sử dụng định tuyến tự động để tránh những lần từ chối có thể dự đoán trước, trong khi vẫn giữ mô hình ưa thích cho các công việc khác. Anthropic ghi nhận rằng các biện pháp bảo vệ của Claude Fable 5.2 có thể chặn các công việc vô hại liên quan đến an ninh mạng và khoa học sự sống. Chúng tôi đã thử nghiệm trường hợp sử dụng này trên một tập con gồm 63 tác vụ của Terminal-Bench 4.1.

Chúng tôi đã chạy Claude Code chỉ với Fable và với hai hồ sơ định tuyến tùy chỉnh. Cả hai hồ sơ đều giữ Fable làm mô hình mặc định và gán các tuyến an ninh mạng, sinh học và after_refusal cho GPT-6 Astra hoặc GPT-6.1 Sol. Chúng tôi cũng đưa vào các lần chạy Astra và Sol độc lập trong Codex để so sánh.

Trong phép so sánh đã điều chỉnh này, cả hai cấu hình Claude Code có định tuyến đều giải quyết được 41 trên 63 tác vụ, so với 38 tác vụ khi chỉ dùng Fable, với chi phí ước tính cho mỗi tác vụ cao hơn. Biểu đồ thể hiện sự đánh đổi này cùng với Astra và Sol chạy trong Codex.

Terminal-Bench 4.1, phép so sánh đã điều chỉnh trên 63 tác vụ. Astra Codex bao gồm một lần vượt qua được giả định; chi phí là ước tính.

Ví dụ dưới đây sử dụng Sol: các tuyến bảo mật và sinh học chọn Sol trước khi xảy ra từ chối, còn after_refusal chọn Sol khi cuộc trò chuyện đã có một lần từ chối.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Định tuyến theo loại sự cố

Đối với một trợ lý hỗ trợ khách hàng, hầu hết các câu hỏi chỉ cần một mô hình nhanh và chi phí thấp. Một khiếu nại về thanh toán đòi hỏi câu trả lời cẩn trọng và thấu cảm. Một tích hợp bị hỏng cần được khắc phục sự cố. Trợ lý có thể sử dụng hai tuyến cho khiếu nại thanh toán và sự cố kỹ thuật, để các câu hỏi thông thường cho mô hình mặc định xử lý:

Tuyến

Mô tả tác vụ

Mô hình

default_model

Mọi trường hợp khác, chẳng hạn như cách thay đổi email tài khoản

GLM-5.3 Flash

billing_dispute

Khách hàng khiếu nại về một khoản phí, yêu cầu hoàn tiền hoặc không hài lòng về số tiền bị tính.

Claude Opus 5.5

technical_issue

Khách hàng báo cáo lỗi, thông báo lỗi hoặc một tích hợp đã ngừng hoạt động và cần khắc phục sự cố.

GPT-6.1 Sol

Gửi một yêu cầu được định tuyến

Cách perplexity/auto phục vụ một yêu cầu: mô hình quyết định chọn một tuyến hoặc trả về kết quả không khớp, và Orchestrator gọi mô hình đã chọn hoặc mô hình mặc định của bạn. Tiêu đề phản hồi cho biết kết quả định tuyến.

Yêu cầu dưới đây gửi một sự cố lỗi API thông qua hồ sơ hỗ trợ khách hàng ở trên.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Mô hình quyết định đã khớp các lệnh gọi API thất bại với technical_issue, vì vậy Orchestrator đã gửi yêu cầu đến GPT-6.1 Sol. Phản hồi bao gồm tuyến đã chọn và mô hình đã trả lời:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route xác định tuyến đã chọn hoặc cho biết không có tuyến nào. x-perplexity-autoroute-outcome cho biết cách yêu cầu được xử lý, bao gồm việc yêu cầu đã được định tuyến hay chuyển về mô hình mặc định của bạn. Trường model xác định mô hình đã trả lời.

Định tuyến trong một cuộc trò chuyện

Khi một cuộc trò chuyện chuyển từ tác vụ này sang tác vụ khác, mô hình đã xử lý một lượt có thể không phải là lựa chọn phù hợp cho lượt tiếp theo. Các yêu cầu tiếp theo của bạn bao gồm lịch sử cuộc trò chuyện, vì vậy cả mô hình quyết định và mô hình được chọn đều có thể đọc các lượt trước đó, kể cả câu trả lời từ các mô hình khác. Chúng tôi đã chạy ba cuộc trò chuyện thực tế gồm bốn lượt: hỗ trợ khách hàng, lập trình và nghiên cứu.

Hỗ trợ khách hàng

Trong ví dụ trên, giả sử cùng một cuộc trò chuyện chuyển từ câu hỏi về tài khoản sang khiếu nại thanh toán, rồi đến một tích hợp bị hỏng. Khi tác vụ thay đổi, mô hình quyết định sẽ chọn tuyến phù hợp; khi người dùng gửi lời cảm ơn kết thúc, Orchestrator quay lại GLM-5.3 Flash.

Cuộc trò chuyện hỗ trợ: tuyến và mô hình cho từng lượt.

Lưu bộ nhớ đệm lời nhắc khi chuyển giao giữa các mô hình

Mỗi yêu cầu mang theo toàn bộ lịch sử tin nhắn, nhưng mỗi mô hình duy trì bộ nhớ đệm riêng. Khi cuộc trò chuyện quay lại GLM Flash ở lượt 4, mô hình này có thể sử dụng lại tiền tố trùng khớp từ lượt 1 khi tiền tố đó vẫn còn trong bộ nhớ đệm, sau đó xử lý các câu trả lời do Opus và Sol thêm vào ở lượt 2 và 3. Điều tương tự cũng áp dụng cho Opus hoặc Sol nếu chúng được chọn ở lượt 5.

Orchestrator giữ các yêu cầu liên quan trên cùng một bản triển khai khi có thể để duy trì bộ nhớ đệm lời nhắc. Hãy sử dụng lại một prompt_cache_key ổn định cho cuộc trò chuyện để giúp duy trì mối liên kết đó.

Lưu bộ nhớ đệm lời nhắc khi chuyển giao giữa các mô hình: GLM Flash có thể sử dụng lại tiền tố trước đó của mình trong khi xử lý phần hội thoại xen giữa dưới dạng đầu vào mới.

Trợ lý lập trình

Ở lượt 4 của cuộc trò chuyện lập trình, GLM-5.3 Flash viết một docstring dựa trên ngữ cảnh từ chẩn đoán lỗi của Claude Opus 5.5 và kế hoạch triển khai của GPT-6.1 Sol.

Hồ sơ định tuyến gán việc đổi tên và chỉnh sửa nhỏ cho GLM-5.3 Flash, chẩn đoán lỗi cho Claude Opus 5.5 và lập kế hoạch thay đổi trên nhiều mô-đun cho GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Cuộc trò chuyện lập trình: tuyến và mô hình cho từng lượt.

Trợ lý nghiên cứu

Trong ví dụ nghiên cứu, một câu hỏi về dữ kiện dẫn đến một phép tính, và phép tính này sau đó trở thành cơ sở cho một bản ghi nhớ. Hồ sơ gán câu hỏi về dữ kiện cho GLM-5.3 Flash, phép tính cho GPT-6.1 Sol và việc viết bản ghi nhớ cho Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

Bản ghi nhớ ở lượt 3 sử dụng các phép tính từ câu trả lời trước đó của GPT-6.1 Sol, làm tròn các số liệu mà không cần yêu cầu người dùng nhắc lại.

Cuộc trò chuyện nghiên cứu: tuyến và mô hình cho từng lượt.

Bắt đầu với Orchestrator

Kết nối SDK OpenAI hoặc Anthropic hiện có của bạn bằng khóa API Perplexity, URL cơ sở của Orchestrator phù hợp và một mô hình trong danh mục.

Hướng dẫn bắt đầu nhanh trình bày cách thiết lập, tình trạng cung cấp hiện tại và quyền truy cập. Nếu có câu hỏi, vui lòng liên hệ api@perplexity.ai.