Orchestrator: Satu API untuk inferensi yang andal

Terhubung ke model AI bobot terbuka dan berpemilik melalui satu API dengan penagihan terpadu dan failover otomatis dalam model yang sama.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator menyatukan model bobot terbuka dan model berpemilik dalam satu API dengan penagihan terpadu. Layanan ini secara otomatis memilih penyedia berdasarkan ketersediaan, kapasitas, dan latensi, serta dapat mencoba ulang permintaan yang gagal pada deployment lain yang tersedia dari model yang sama.

Satu integrasi untuk model bobot terbuka dan model berpemilik

Orchestrator menyajikan model bobot terbuka yang di-hosting di infrastruktur inferensi Perplexity bersama model berpemilik dari penyedia lain. Katalog saat ini mencantumkan pilihan model yang tersedia.

Layanan ini menerima permintaan OpenAI Chat Completions, OpenAI Responses, dan Anthropic Messages, sehingga Anda dapat terhubung melalui SDK OpenAI atau Anthropic yang sudah Anda gunakan.

Panduan memulai cepat dan panduan perutean mencakup contoh SDK dan perilaku perutean saat ini.

Keandalan dan kecepatan di berbagai penyedia

Keandalan

Memilih Claude tidak harus berarti bergantung pada satu penyedia: permintaan yang gagal di Anthropic tetap dapat berhasil di AWS Bedrock. Failover penyedia memungkinkan pergantian deployment yang melayani permintaan tanpa mengganti model.

Orchestrator menggunakan kondisi kesehatan dan kapasitas yang teramati untuk mendistribusikan permintaan di antara deployment suatu model. Jika penyedia mengembalikan galat, mencapai batas laju, atau kehabisan waktu, Orchestrator mencoba ulang pada deployment lain dari model tersebut, dengan batas waktu hingga token pertama dan durasi total untuk setiap percobaan.

Dalam pengukuran dari 4 Oktober hingga 2 November 2026, permintaan Claude dan GPT melalui Perplexity lebih sering berhasil dibandingkan permintaan ke penyedia individual mana pun yang kami ukur. Tingkat keberhasilan hariannya juga lebih sedikit bervariasi selama insiden penyedia.

Tingkat keberhasilan permintaan, 4 Oktober hingga 2 November 2026: Claude di sebelah kiri; model GPT yang tersedia melalui OpenAI dan Azure di sebelah kanan.
Tingkat keberhasilan permintaan harian selama periode yang sama: Claude di sebelah kiri dan GPT di sebelah kanan.

Kami menghitung permintaan sebagai gagal ketika Orchestrator telah menghabiskan deployment yang tersedia atau lapisan penyajian mengembalikan galat, tetapi mengecualikan galat klien seperti permintaan yang tidak valid dan pelanggaran batas laju klien.

Kecepatan output

Kami sedang mengembangkan perutean adaptif yang memperhitungkan kecepatan model agar Orchestrator dapat menyesuaikan pemilihan penyedia seiring perubahan performa.

Penyedia tercepat untuk model apa pun berubah dari waktu ke waktu. Untuk Claude Opus 5.5, Anthropic unggul pada 15 dari 30 hari, dan AWS Bedrock unggul pada 15 hari lainnya.

Median kecepatan output Claude Opus 5.5 menurut penyedia dan hari, 4 Oktober hingga 2 November 2026. Garis yang disorot mengikuti penyedia yang lebih cepat setiap harinya, menggambarkan target untuk perutean berbasis kecepatan secara langsung.

Dalam 30 hari yang sama, median kecepatan output Azure untuk GPT-5.6 Sol 27% lebih tinggi daripada OpenAI.

Median kecepatan output GPT-5.6 Sol setelah token pertama, 4 Oktober hingga 2 November 2026.

Satu tagihan untuk semua model

Setiap permintaan hanya dihitung terhadap penggunaan token model yang menjawab. Orchestrator mengenakan tarif per token yang dipublikasikan untuk setiap model, terlepas dari penyedia mana yang melayani permintaan, sehingga failover penyedia tidak mengubah tarif tersebut. Penggunaan diambil dari kredit prabayar yang sama dengan bagian lain proyek API Perplexity Anda.

Di API Console, Anda dapat melihat pengeluaran per model dan memfilter penggunaan berdasarkan kunci API. Anda juga dapat membeli kredit melalui AWS Marketplace.

Perutean otomatis (pratinjau): cocokkan setiap tugas dengan model yang tepat

Orchestrator menawarkan perutean otomatis, fitur opsional yang tersedia dalam pratinjau. Fitur ini memilih model untuk setiap permintaan menggunakan profil yang memasangkan deskripsi tugas dalam bahasa sederhana dengan model. Anda dapat menentukan profil sendiri atau menggunakan profil default bawaan Orchestrator.

Permintaan perutean otomatis menggunakan perplexity/auto sebagai model. Untuk profil kustom, sertakan objek routing dengan default_model dan routes. Setiap rute menetapkan nama, deskripsi, dan model.

Untuk setiap permintaan, perplexity/auto memanggil model keputusan kami untuk membaca percakapan dan mencocokkannya dengan deskripsi rute, tanpa melihat nama model. Orchestrator kemudian mengirim permintaan ke model yang ditetapkan untuk rute terpilih, atau ke model default Anda jika tidak ada rute yang cocok. Orchestrator juga menggunakan model default Anda jika model keputusan gagal atau kehabisan waktu.

Contoh di bawah ini mencakup perutean untuk menghindari penolakan model, jenis masalah dukungan pelanggan, dan perubahan tugas dalam percakapan.

Perutean untuk menghindari penolakan

Agen dapat menggunakan perutean otomatis untuk menghindari penolakan yang dapat diprediksi sambil tetap menggunakan model pilihannya untuk pekerjaan lain. Anthropic mendokumentasikan bahwa pengaman Claude Fable 5.2 dapat memblokir pekerjaan keamanan siber dan ilmu hayati yang tidak berbahaya. Kami menguji kasus penggunaan ini pada subset 63 tugas dari Terminal-Bench 4.1.

Kami menjalankan Claude Code dengan Fable saja dan dengan dua profil perutean kustom. Kedua profil mempertahankan Fable sebagai default dan menetapkan rute keamanan siber, biologi, dan after_refusal ke GPT-6 Astra atau GPT-6.1 Sol. Kami juga menyertakan pengujian Astra dan Sol secara mandiri di Codex sebagai pembanding.

Dalam perbandingan yang disesuaikan ini, kedua penyiapan Claude Code yang dirutekan menyelesaikan 41 dari 63 tugas, dibandingkan dengan 38 tugas untuk Fable saja, dengan estimasi biaya per tugas yang lebih tinggi. Grafik menunjukkan pertukaran ini bersama Astra dan Sol yang berjalan di Codex.

Terminal-Bench 4.1, perbandingan 63 tugas yang disesuaikan. Astra Codex mencakup satu kelulusan yang diasumsikan; biaya merupakan estimasi.

Contoh di bawah ini menggunakan Sol: rute keamanan dan biologi memilihnya sebelum penolakan terjadi, sedangkan after_refusal memilihnya ketika percakapan sudah berisi penolakan.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Perutean berdasarkan jenis masalah

Untuk asisten dukungan pelanggan, sebagian besar pertanyaan hanya memerlukan model yang cepat dan murah. Sengketa tagihan memerlukan balasan yang cermat dan empatik. Integrasi yang rusak memerlukan pemecahan masalah. Asisten dapat menggunakan dua rute untuk sengketa tagihan dan masalah teknis, lalu menyerahkan pertanyaan rutin kepada model default-nya:

Rute

Deskripsi tugas

Model

default_model

Semua hal lainnya, seperti cara mengubah email akun

GLM-5.3 Flash

billing_dispute

Pelanggan menyanggah tagihan, meminta pengembalian dana, atau kesal karena jumlah uang yang ditagihkan kepadanya.

Claude Opus 5.5

technical_issue

Pelanggan melaporkan bug, pesan galat, atau integrasi yang berhenti berfungsi dan memerlukan pemecahan masalah.

GPT-6.1 Sol

Mengirim permintaan yang dirutekan

Cara perplexity/auto melayani permintaan: model keputusan memilih rute atau tidak menemukan kecocokan, dan Orchestrator memanggil model terpilih atau model default Anda. Header respons melaporkan hasil perutean.

Permintaan di bawah ini mengirimkan masalah kegagalan API melalui profil dukungan pelanggan di atas.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Model keputusan mencocokkan panggilan API yang gagal dengan technical_issue, sehingga Orchestrator mengirim permintaan ke GPT-6.1 Sol. Respons menyertakan rute terpilih dan model yang menjawab:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route mengidentifikasi rute terpilih, atau menunjukkan tidak ada rute. x-perplexity-autoroute-outcome melaporkan cara permintaan ditangani, termasuk apakah permintaan dirutekan atau beralih ke model default Anda. Kolom model mengidentifikasi model yang menjawab.

Perutean dalam percakapan

Saat percakapan berpindah antartugas, model yang menangani satu giliran mungkin bukan pilihan yang tepat untuk giliran berikutnya. Permintaan lanjutan Anda menyertakan riwayat percakapan, sehingga model keputusan dan model terpilih dapat membaca giliran sebelumnya, termasuk balasan dari model lain. Kami menjalankan tiga percakapan nyata yang masing-masing terdiri dari empat giliran: dukungan pelanggan, pengodean, dan penelitian.

Layanan pelanggan

Dalam contoh di atas, misalkan percakapan yang sama beralih dari pertanyaan akun ke sengketa tagihan, lalu ke integrasi yang rusak. Saat tugas berubah, model keputusan memilih rute yang sesuai; ketika pengguna mengirim ucapan terima kasih penutup, Orchestrator kembali ke GLM-5.3 Flash.

Percakapan dukungan: rute dan model untuk setiap giliran.

Caching prompt di seluruh perpindahan model

Setiap permintaan membawa riwayat pesan lengkap, tetapi setiap model mempertahankan cache-nya sendiri. Ketika percakapan kembali ke GLM Flash pada giliran ke-4, model ini dapat menggunakan kembali prefiks yang cocok dari giliran ke-1 selama masih tersimpan di cache, lalu memproses respons yang ditambahkan oleh Opus dan Sol pada giliran ke-2 dan ke-3. Hal yang sama berlaku untuk Opus atau Sol jika model tersebut dipilih pada giliran ke-5.

Orchestrator mempertahankan permintaan terkait pada deployment yang sama jika memungkinkan untuk menjaga caching prompt. Gunakan kembali prompt_cache_key yang stabil untuk percakapan tersebut guna membantu mempertahankan afinitas itu.

Caching prompt di seluruh perpindahan model: GLM Flash dapat menggunakan kembali prefiks sebelumnya sambil memproses percakapan di antaranya sebagai input baru.

Asisten pengodean

Pada giliran ke-4 percakapan pengodean, GLM-5.3 Flash menulis docstring menggunakan konteks dari diagnosis bug oleh Claude Opus 5.5 dan rencana implementasi dari GPT-6.1 Sol.

Profil perutean menetapkan penggantian nama dan pengeditan kecil ke GLM-5.3 Flash, diagnosis bug ke Claude Opus 5.5, serta perencanaan perubahan lintas modul ke GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Percakapan pengodean: rute dan model untuk setiap giliran.

Asisten penelitian

Dalam contoh penelitian, pertanyaan faktual mengarah ke perhitungan, yang kemudian menjadi dasar untuk sebuah memo. Profil ini menetapkan pertanyaan faktual ke GLM-5.3 Flash, perhitungan ke GPT-6.1 Sol, dan penulisan memo ke Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

Memo pada giliran ke-3 menggunakan perhitungan dari balasan GPT-6.1 Sol sebelumnya, dengan membulatkan angka tanpa meminta pengguna mengulanginya.

Percakapan penelitian: rute dan model untuk setiap giliran.

Mulai menggunakan Orchestrator

Hubungkan SDK OpenAI atau Anthropic yang sudah Anda gunakan dengan kunci API Perplexity, URL dasar Orchestrator yang sesuai, dan model dari katalog.

Panduan memulai cepat mencakup penyiapan, ketersediaan saat ini, dan akses. Jika ada pertanyaan, silakan hubungi api@perplexity.ai.