Presentamos Orchestrator: unha única API para modelos de vangarda e de pesos abertos

Perplexity Orchestrator ofrece acceso a modelos de vangarda e de pesos abertos con facturación unificada e conmutación por erro nunha única API.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity é multimodelo na súa esencia e ofrece ás persoas a liberdade de escoller os modelos de fronteira e de pesos abertos máis recentes para o seu traballo. Este enfoque multimodelo aproveita os puntos fortes de cada modelo e pode reducir custos cando unha tarefa non necesita o modelo máis potente. Entre bastidores, a nosa tecnoloxía de orquestración pode usar varios modelos para completar un único traballo.

As empresas están a adoptar un enfoque similar para equilibrar rendemento, custo e flexibilidade. Cada novo lanzamento de modelos supón unha oportunidade para reducir custos ou mellorar a calidade. Só este ano, laboratorios como Anthropic e OpenAI lanzaron máis dunha ducia de novos modelos. Ademais, publicáronse máis de 100 modelos de pesos abertos. Aínda que isto dá aos equipos máis opcións para cada carga de traballo, tamén lles dá máis provedores, contratos e facturas que xestionar.

Hoxe lanzamos a API de Perplexity Orchestrator, que pon a nosa tecnoloxía independente do modelo á disposición dos desenvolvedores e equipos que crean aplicacións de IA. A través dunha única API, os equipos poden executar tarefas sinxelas e de gran volume en modelos de menor custo e reservar os modelos máis potentes para o traballo máis esixente.

Con Orchestrator, os equipos poden reducir e centralizar o gasto en IA e adoptar novos modelos a medida que se lanzan, sen comprometer o rendemento nin a dispoñibilidade. Os equipos poden escoller que modelo xestiona cada carga de traballo, e Perplexity encárgase do enrutamento entre provedores e da conmutación por erro para garantir unha inferencia fiable.

Baseado na capa de modelos en produción de Perplexity

Perplexity executa modelos de pesos abertos e de fronteira en produción todos os días. A nosa capa de modelos enruta centos de millóns de solicitudes entre máis de 85 modelos e máis dunha ducia de provedores.

Elixir un modelo é máis doado que manter cada solicitude rápida e asequible cando os provedores se ralentizan, quedan sen capacidade ou cambian os prezos. Reducimos os nosos propios custos de servizo trasladando as cargas de traballo aos modelos máis axeitados para cada tarefa.

Orchestrator dálles aos programadores acceso á infraestrutura compartida que sustenta ese enfoque.

Orchestrator pon esa capa de inferencia á disposición a través dunha única API. Inclúe modelos de OpenAI, Anthropic, Google e xAI, xunto con modelos de pesos abertos como GLM, Kimi e DeepSeek. Perplexity serve os modelos de pesos abertos directamente ou a través de socios de inferencia.

Orchestrator admite os formatos OpenAI Chat Completions, OpenAI Responses e Anthropic Messages. Os equipos poden seguir usando os kits de desenvolvemento de software (SDK) que xa coñecen. Para a maioría dos equipos, comezar supón actualizar a clave da API e o URL base, e seleccionar un modelo dispoñible.

Facturación unificada sen tarifa adicional de plataforma

Executar modelos de varios laboratorios e provedores de inferencia pode requirir contas, claves da API, contratos, revisións de seguridade e facturas separados. Tamén pode supoñer compromisos anuais separados baseados nunha combinación de modelos que podería cambiar en cuestión de semanas.

Orchestrator reúne os modelos compatibles baixo un único fornecedor e unha única factura, de modo que os equipos poden cambiar a súa combinación de modelos sen negociar un compromiso separado con cada provedor. Non hai ningunha tarifa adicional de plataforma ademais dos créditos.

Os equipos tamén poden facer o seguimento do uso e xestionar o gasto a través da consola da API:

  • Informes de uso: gasto desagregado por modelo, proxecto, clave de API e data
  • Claves da API: claves da API separadas para facer o seguimento do uso por proxecto ou equipo
  • Controis de administración: listas de modelos permitidos da organización, restricións de usuarios, límites de gasto e solicitudes de capacidade

Solicitudes máis fiables entre provedores

Os modelos dispoñibles a través de varios provedores ofrecen aos equipos máis dunha forma de atender unha solicitude.

Orchestrator supervisa o estado, a capacidade e a latencia de cada provedor para distribuír o tráfico entre os que mellor rendemento ofrecen. Se unha solicitude falla, pode reintentala noutro despregamento do mesmo modelo e xestionar así a conmutación por erro sen que os equipos teñan que crear esa lóxica eles mesmos.

Para os equipos que executan millóns de solicitudes ao día, mesmo unha pequena diferenza nas taxas de éxito das solicitudes, como a que hai entre o 99,0 % e o 99,99 %, pode afectar a milleiros de respostas. Con Orchestrator, os equipos non teñen que crear nin manter código de conmutación por erro eles mesmos.

Nun mes de tráfico de produción en Orchestrator, as solicitudes a Claude e GPT a través de Perplexity tiveron taxas de éxito máis altas que calquera provedor individual medido, ademais dunha menor variación diaria durante as incidencias dos provedores.

En vista previa: Routes e Auto effort

Routes permite aos equipos describir en linguaxe sinxela que solicitudes debe xestionar cada modelo e establecer un modelo predeterminado. Os equipos poden partir dun perfil integrado de menor custo, equilibrado ou de maior calidade, ou crear un personalizado. Se os equipos non proporcionan unha descrición nin especifican un obxectivo, o modelo predeterminado atende a solicitude.

Tamén en vista previa, Auto effort axusta canto razoamento usa un modelo compatible na súa seguinte quenda segundo unha política que define o programador. Un axente pode dedicar máis esforzo a recuperarse dun erro dunha ferramenta sen cambiar de modelo.

Comeza coa orquestración intelixente de modelos

Orchestrator é o primeiro paso da plataforma da API de Perplexity cara á orquestración intelixente de modelos. Descubre como creamos e avaliamos Routes, incluído por que é tan difícil acertar co enrutamento de modelos.

Para comezar, crea unha clave de API na API Console, apunta un SDK existente de OpenAI ou Anthropic ao URL base de Orchestrator e escolle no catálogo de modelos.

A guía de inicio rápido explica como facer unha primeira solicitude en minutos. Os equipos con cargas de traballo grandes ou con compromisos de uso poden escribir a api@perplexity.ai para obter máis información sobre prezos por volume e capacidade.

Crea unha clave de API hoxe.