Orchestrator: Güvenilir çıkarım için tek API
Birleşik faturalandırma ve aynı model için otomatik yük devretme özelliğiyle tek bir API üzerinden açık ağırlıklı ve tescilli yapay zeka modellerine bağlanın.

Orchestrator, açık ağırlıklı ve tescilli modelleri birleşik faturalandırmayla tek bir API’de bir araya getirir. Kullanılabilirlik, kapasite ve gecikme süresine göre otomatik olarak bir sağlayıcı seçer ve başarısız istekleri aynı modelin kullanılabilir başka bir dağıtımında yeniden deneyebilir.
Açık ağırlıklı ve tescilli modeller için tek entegrasyon
Orchestrator, Perplexity’nin çıkarım altyapısında barındırılan açık ağırlıklı modelleri diğer sağlayıcıların tescilli modelleriyle birlikte sunar. Güncel katalog, kullanılabilir model seçeneklerini listeler.
OpenAI Chat Completions, OpenAI Responses ve Anthropic Messages isteklerini kabul eder; böylece mevcut OpenAI veya Anthropic SDK’nız üzerinden bağlanabilirsiniz.
Hızlı başlangıç kılavuzu ve yönlendirme kılavuzu, SDK örneklerini ve güncel yönlendirme davranışını ele alır.
Sağlayıcılar genelinde güvenilirlik ve hız
Güvenilirlik
Claude’u seçmek, tek bir sağlayıcıya bağımlı kalmak anlamına gelmek zorunda değil: Anthropic’te başarısız olan bir istek AWS Bedrock’ta yine de başarılı olabilir. Sağlayıcı yük devretmesi, modeli değiştirmeden isteği sunan dağıtımın değiştirilmesine olanak tanır.
Orchestrator, istekleri bir modelin dağıtımları arasında dağıtmak için gözlemlenen sağlık durumunu ve kapasiteyi kullanır. Bir sağlayıcı hata döndürürse, hız sınırına takılırsa veya zaman aşımına uğrarsa Orchestrator, her deneme için ilk token’a kadar geçen süre ve toplam süre sınırlarıyla, o modelin başka bir dağıtımında yeniden dener.
4 Ekim – 2 Kasım 2026 tarihleri arasındaki ölçümlerde, Perplexity üzerinden gönderilen Claude ve GPT istekleri, ölçtüğümüz herhangi bir tekil sağlayıcıya gönderilen isteklerden daha sık başarılı oldu. Günlük başarı oranları da sağlayıcı kesintileri sırasında daha az dalgalandı.
Orchestrator kullanılabilir dağıtımları tükettiğinde veya sunum katmanı bir hata döndürdüğünde isteği başarısız saydık; ancak geçersiz istekler ve istemci hız sınırı ihlalleri gibi istemci hatalarını hariç tuttuk.
Çıktı hızı
Performans değiştikçe Orchestrator’ın sağlayıcı seçimini ayarlayabilmesi için model hızını hesaba katan uyarlanabilir yönlendirme üzerinde çalışıyoruz.
Herhangi bir model için en hızlı sağlayıcı zamanla değişir. Claude Opus 5.5 için 30 günün 15’inde Anthropic, diğer 15’inde ise AWS Bedrock önde oldu.
Aynı 30 günlük dönemde Azure’un GPT-5.6 Sol için medyan çıktı hızı, OpenAI’ınkinden %27 daha yüksekti.
Tüm modeller için tek fatura
Her istek yalnızca yanıtı veren modelin token kullanımına sayılır. Orchestrator, isteği hangi sağlayıcı sunarsa sunsun her modelin yayımlanmış token başına ücretlerini uygular; dolayısıyla sağlayıcı yük devretmesi bu ücreti değiştirmez. Kullanım, Perplexity API projenizin geri kalanıyla aynı ön ödemeli kredilerden düşülür.
API Console’da harcamaları modele göre görüntüleyebilir ve kullanımı API anahtarına göre filtreleyebilirsiniz. Ayrıca kredileri AWS Marketplace üzerinden satın alabilirsiniz.
Otomatik yönlendirme (önizleme): her görevi doğru modelle eşleştirin
Orchestrator, önizlemede kullanılabilen isteğe bağlı bir özellik olan otomatik yönlendirmeyi sunar. Bu özellik, sade dille yazılmış görev açıklamalarını modellerle eşleştiren bir profil kullanarak her istek için bir model seçer. Kendi profilinizi tanımlayabilir veya Orchestrator’ın yerleşik varsayılan profilini kullanabilirsiniz.
Otomatik yönlendirme istekleri model olarak perplexity/auto kullanır. Özel bir profil için default_model ve routes içeren bir yönlendirme nesnesi ekleyin. Her rota bir ad, açıklama ve model belirtir.
Her istek için perplexity/auto, sohbeti okumak ve model adlarını görmeden rota açıklamalarıyla eşleştirmek üzere karar modelimizi çağırır. Orchestrator ardından isteği seçilen rotaya atanmış modele ya da hiçbir rota eşleşmezse varsayılan modelinize gönderir. Karar modeli başarısız olursa veya zaman aşımına uğrarsa da Orchestrator varsayılan modelinizi kullanır.
Aşağıdaki örnekler; model reddetmelerini aşmaya yönelik yönlendirmeyi, müşteri desteği sorun türlerini ve sohbet içindeki görev değişikliklerini ele alıyor.
Reddetmeleri aşmak için yönlendirme
Bir ajan, diğer işler için tercih ettiği modeli korurken öngörülebilir reddetmelerden kaçınmak için otomatik yönlendirmeyi kullanabilir. Anthropic, Claude Fable 5.2’nin güvenlik önlemlerinin zararsız siber güvenlik ve yaşam bilimleri çalışmalarını engelleyebileceğini belgelemektedir. Bu kullanım senaryosunu Terminal-Bench 4.1’in 63 görevlik bir alt kümesinde test ettik.
Claude Code’u yalnızca Fable ile ve iki özel yönlendirme profiliyle çalıştırdık. Her iki profil de Fable’ı varsayılan olarak tuttu ve siber güvenlik, biyoloji ve after_refusal rotalarını GPT-6 Astra’ya veya GPT-6.1 Sol’a atadı. Karşılaştırma için Codex’te tek başına Astra ve Sol çalıştırmalarını da dahil ettik.
Bu düzeltilmiş karşılaştırmada, yönlendirmeli her iki Claude Code kurulumu da 63 görevden 41’ini çözüyor; tek başına Fable ise 38’ini çözüyor. Ancak bu, görev başına daha yüksek bir tahmini maliyetle gerçekleşiyor. Grafik, bu ödünleşimi Codex’te çalışan Astra ve Sol ile birlikte gösteriyor.
Aşağıdaki örnek Sol’u kullanır: güvenlik ve biyoloji rotaları bir reddetme gerçekleşmeden önce onu seçer, after_refusal ise sohbet zaten bir reddetme içerdiğinde onu seçer.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Sorun türüne göre yönlendirme
Bir müşteri desteği asistanı için soruların çoğu yalnızca hızlı ve ucuz bir model gerektirir. Bir fatura itirazı dikkatli ve empatik bir yanıt gerektirir. Bozuk bir entegrasyon ise sorun giderme gerektirir. Asistan, fatura itirazları ve teknik sorunlar için iki rota kullanıp rutin soruları varsayılan modeline bırakabilir:
Rota | Görev açıklaması | Model |
default_model | Hesap e-postasının nasıl değiştirileceği gibi diğer her şey | GLM-5.3 Flash |
billing_dispute | Bir müşteri bir ücrete itiraz ediyor, para iadesi istiyor ya da kendisine fatura edilen tutar nedeniyle rahatsız. | Claude Opus 5.5 |
technical_issue | Bir müşteri bir yazılım hatası, bir hata mesajı veya çalışmayı durduran ve sorun giderme gerektiren bir entegrasyon bildiriyor. | GPT-6.1 Sol |
Yönlendirmeli istek gönderme
Aşağıdaki istek, bir API hatası sorununu yukarıdaki müşteri desteği profili üzerinden gönderir.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'Karar modeli başarısız API çağrılarını technical_issue ile eşleştirdi; bu nedenle Orchestrator isteği GPT-6.1 Sol’a gönderdi. Yanıt, seçilen rotayı ve yanıtı veren modeli içerir:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route, seçilen rotayı veya hiçbir rotanın seçilmediğini belirtir. x-perplexity-autoroute-outcome, isteğin yönlendirilip yönlendirilmediği ya da varsayılan modelinize geri dönülüp dönülmediği dahil olmak üzere isteğin nasıl işlendiğini bildirir. Model alanı, yanıtı veren modeli belirtir.
Sohbet içinde yönlendirme
Bir sohbet görevler arasında ilerledikçe, bir turu yanıtlayan model bir sonraki tur için doğru seçim olmayabilir. Takip istekleriniz sohbet geçmişini içerir; böylece hem karar modeli hem de seçilen model, diğer modellerin yanıtları dahil önceki turları okuyabilir. Müşteri desteği, kodlama ve araştırma olmak üzere dört turdan oluşan üç gerçek sohbet yürüttük.
Müşteri desteği
Yukarıdaki örnekte aynı sohbetin bir hesap sorusundan bir fatura itirazına, ardından da bozuk bir entegrasyona geçtiğini varsayalım. Görev değiştikçe karar modeli eşleşen rotayı seçer; kullanıcı kapanışta teşekkür ettiğinde Orchestrator GLM-5.3 Flash’a geri döner.
Model geçişlerinde istem önbelleğe alma
Her istek tüm mesaj geçmişini taşır, ancak her model kendi önbelleğini tutar. Sohbet 4. turda GLM Flash’a döndüğünde model, 1. turdaki eşleşen bir öneki hâlâ önbellekteyken yeniden kullanabilir, ardından 2. ve 3. turlarda Opus ve Sol tarafından eklenen yanıtları işler. Aynı durum, 5. turda seçilmeleri halinde Opus veya Sol için de geçerlidir.
Orchestrator, istem önbelleğe almayı korumak için ilgili istekleri mümkün olduğunda aynı dağıtımda tutar. Bu bağlılığı sürdürmeye yardımcı olmak için sohbet boyunca sabit bir prompt_cache_key değerini yeniden kullanın.
Kodlama asistanı
Kodlama sohbetinin 4. turunda GLM-5.3 Flash, Claude Opus 5.5’in hata teşhisindeki ve GPT-6.1 Sol’un uygulama planındaki bağlamı kullanarak bir docstring yazar.
Yönlendirme profili, yeniden adlandırmaları ve küçük düzenlemeleri GLM-5.3 Flash’a, hata teşhisini Claude Opus 5.5’e ve modüller arası değişikliklerin planlanmasını GPT-6.1 Sol’a atar:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Araştırma asistanı
Araştırma örneğinde, olgusal bir soru bir hesaplamaya yol açar ve bu hesaplama daha sonra bir bilgi notunun temelini oluşturur. Profil, olgusal soruları GLM-5.3 Flash’a, hesaplamaları GPT-6.1 Sol’a ve bilgi notu yazımını Claude Opus 5.5’e atar:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}3. turdaki bilgi notu, GPT-6.1 Sol’un önceki yanıtındaki hesaplamaları kullanır ve kullanıcıdan bunları tekrarlamasını istemeden rakamları yuvarlar.
Orchestrator’ı kullanmaya başlayın
Mevcut OpenAI veya Anthropic SDK’nızı bir Perplexity API anahtarı, uygun Orchestrator temel URL’si ve katalogdaki bir modelle bağlayın.
Hızlı başlangıç kılavuzu kurulumu, güncel kullanılabilirliği ve erişimi ele alır. Sorularınız için lütfen api@perplexity.ai adresiyle iletişime geçin.