Karşınızda Orchestrator: Öncü ve açık ağırlıklı modeller için tek API

Perplexity Orchestrator, birleşik faturalandırma ve yük devretme özellikleriyle öncü ve açık ağırlıklı modellere tek bir API üzerinden erişim sağlar.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity özünde çok modellidir ve insanlara işleri için en yeni öncü ve açık ağırlıklı modelleri seçme özgürlüğü tanır. Bu çok modelli yaklaşım her modelin güçlü yönlerinden yararlanır ve bir görev en güçlü modeli gerektirmediğinde maliyetleri düşürebilir. Arka planda orkestrasyon teknolojimiz, tek bir işi tamamlamak için birden fazla model kullanabilir.

İşletmeler de performans, maliyet ve esneklik arasında denge kurmak için benzer bir yaklaşım benimsiyor. Her yeni model sürümü, maliyetleri düşürmek veya kaliteyi artırmak için bir fırsat sunuyor. Yalnızca bu yıl Anthropic ve OpenAI gibi laboratuvarlar bir düzineden fazla yeni model yayımladı. 100'den fazla açık ağırlıklı model de kullanıma sunuldu. Bu durum ekiplere her iş yükü için daha fazla seçenek sunsa da yönetmeleri gereken sağlayıcı, sözleşme ve fatura sayısını da artırıyor.

Bugün Perplexity Orchestrator API'yi kullanıma sunuyor ve modelden bağımsız teknolojimizi yapay zekâ uygulamaları geliştiren geliştiricilerin ve ekiplerin erişimine açıyoruz. Ekipler tek bir API üzerinden basit, yüksek hacimli görevleri daha düşük maliyetli modellerde çalıştırabilir ve daha güçlü modelleri daha zorlu işler için ayırabilir.

Orchestrator ile ekipler, performanstan veya çalışma süresinden ödün vermeden yapay zekâ harcamalarını düşürüp merkezileştirebilir ve yeni modelleri çıktıkları anda benimseyebilir. Ekipler her iş yükünü hangi modelin üstleneceğini seçebilir; Perplexity ise güvenilir çıkarım sağlamak için sağlayıcı yönlendirmesini ve yük devretmeyi yönetir.

Perplexity'nin üretim model katmanı üzerine inşa edildi

Perplexity her gün üretimde açık ağırlıklı ve öncü modeller çalıştırıyor. Model katmanımız, yüz milyonlarca isteği 85’ten fazla model ve bir düzineden fazla sağlayıcı arasında yönlendiriyor.

Model seçmek, sağlayıcılar yavaşladığında, kapasite sıkıntısı yaşadığında veya fiyatlarını değiştirdiğinde her isteği hızlı ve uygun maliyetli tutmaktan daha kolaydır. İş yüklerini her göreve en uygun modellere taşıyarak kendi sunum maliyetlerimizi düşürdük.

Orchestrator, geliştiricilere bu yaklaşımın arkasındaki paylaşılan altyapıya erişim sağlar.

Orchestrator, bu çıkarım katmanını tek bir API üzerinden kullanıma sunar. GLM, Kimi ve DeepSeek gibi açık ağırlıklı modellerin yanı sıra OpenAI, Anthropic, Google ve xAI modellerini de kapsar. Açık ağırlıklı modeller Perplexity tarafından veya çıkarım ortakları aracılığıyla sunulur.

Orchestrator; OpenAI Chat Completions, OpenAI Responses ve Anthropic Messages formatlarını destekler. Ekipler alışık oldukları yazılım geliştirme kitlerini (SDK’lar) kullanmaya devam edebilir. Çoğu ekip için başlamak; API anahtarını ve temel URL’yi güncellemeyi ve kullanılabilir bir model seçmeyi içerir.

Ek platform ücreti olmadan birleşik faturalandırma

Birden fazla laboratuvar ve çıkarım sağlayıcısından modeller çalıştırmak; ayrı hesaplar, API anahtarları, sözleşmeler, güvenlik incelemeleri ve faturalar gerektirebilir. Ayrıca birkaç hafta içinde değişebilecek bir model karışımına dayanan ayrı yıllık taahhütler anlamına da gelebilir.

Orchestrator, desteklenen modelleri tek bir tedarikçi ve tek bir fatura altında toplar; böylece ekipler her sağlayıcıyla ayrı bir taahhüt pazarlığı yapmadan model karışımlarını değiştirebilir. Krediler dışında ek bir platform ücreti alınmaz.

Ekipler ayrıca API Console üzerinden kullanımı izleyebilir ve harcamaları yönetebilir:

  • Kullanım raporları: Model, proje, API anahtarı ve tarihe göre harcama dökümü
  • API anahtarları: Kullanımı proje veya ekip bazında izlemek için ayrı API anahtarları
  • Yönetici denetimleri: Kuruluş model izin listeleri, kullanıcı kısıtlamaları, harcama limitleri ve kapasite talepleri

Sağlayıcılar genelinde daha güvenilir istekler

Birden fazla sağlayıcı üzerinden sunulan modeller, ekiplere bir isteği karşılamak için birden fazla yol sunar.

Orchestrator, trafiği en iyi performans gösteren sağlayıcılara dağıtmak için her sağlayıcının durumunu, kapasitesini ve gecikmesini izler. Bir istek başarısız olursa aynı modelin başka bir dağıtımında yeniden deneyebilir; böylece ekiplerin bu mantığı kendilerinin oluşturmasına gerek kalmadan yük devretmeyi üstlenir.

Günde milyonlarca istek çalıştıran ekipler için istek başarı oranlarındaki küçük bir fark bile, örneğin %99,0 ile %99,99 arasındaki fark, binlerce yanıtı etkileyebilir. Orchestrator ile ekiplerin yük devretme kodunu kendilerinin oluşturması veya sürdürmesi gerekmez.

Orchestrator'daki bir aylık üretim trafiğinde, Perplexity üzerinden iletilen Claude ve GPT istekleri, ölçülen tüm bireysel sağlayıcılardan daha yüksek başarı oranlarına ulaştı ve sağlayıcı kaynaklı olaylar sırasında daha az günlük dalgalanma gösterdi.

Önizlemede: Routes ve Auto effort

Routes, ekiplerin her modelin hangi istekleri işlemesi gerektiğini sade bir dille tanımlamasına ve bir varsayılan model belirlemesine olanak tanır. Ekipler yerleşik Lower cost, Balanced veya Higher quality profilinden başlayabilir ya da özel bir profil oluşturabilir. Ekipler bir açıklama sağlamazsa veya bir hedef belirtmezse isteği varsayılan model sunar.

Yine önizlemede olan Auto effort, desteklenen bir modelin bir sonraki turunda ne kadar akıl yürütme kullanacağını geliştiricinin tanımladığı bir politikaya göre ayarlar. Bir ajan, model değiştirmeden bir araç hatasından kurtulmak için daha fazla çaba harcayabilir.

Akıllı model orkestrasyonuna başlayın

Orchestrator, Perplexity’nin akıllı model orkestrasyonuna yönelik API platformundaki ilk adımdır. Model yönlendirmenin doğru yapılmasının neden zor olduğu da dahil olmak üzere Routes’u nasıl geliştirip değerlendirdiğimizi öğrenin.

Başlamak için API Console üzerinden bir API anahtarı oluşturun, mevcut bir OpenAI veya Anthropic SDK'sını Orchestrator temel URL'sine yönlendirin ve model kataloğundan seçim yapın.

Hızlı başlangıç kılavuzu, ilk isteği dakikalar içinde göndermeyi anlatıyor. Büyük veya taahhütlü iş yüklerine sahip ekipler, hacim fiyatlandırması ve kapasite hakkında daha fazla bilgi için api@perplexity.ai adresine e-posta gönderebilir.

Hemen bugün bir API anahtarı oluşturun.