Presentamos Orchestrator: una sola API para modelos de vanguardia y de pesos abiertos

Perplexity Orchestrator ofrece acceso a modelos de vanguardia y de pesos abiertos con facturación unificada y conmutación por error en una sola API.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity es multimodelo en esencia y da a las personas la libertad de elegir los modelos de frontera y de pesos abiertos más recientes para su trabajo. Este enfoque multimodelo aprovecha los puntos fuertes de cada modelo y puede reducir los costes cuando una tarea no necesita el modelo más potente. Entre bastidores, nuestra tecnología de orquestación puede utilizar varios modelos para completar un solo trabajo.

Las empresas están adoptando un enfoque similar para equilibrar rendimiento, coste y flexibilidad. Cada nuevo lanzamiento de un modelo supone una oportunidad para reducir costes o mejorar la calidad. Solo este año, laboratorios como Anthropic y OpenAI han lanzado más de una docena de modelos nuevos. También se han publicado más de 100 modelos de pesos abiertos. Aunque esto ofrece a los equipos más opciones para cada carga de trabajo, también les supone más proveedores, contratos y facturas que gestionar.

Hoy lanzamos la API de Perplexity Orchestrator, que pone nuestra tecnología independiente del modelo a disposición de los desarrolladores y equipos que crean aplicaciones de IA. Con una sola API, los equipos pueden ejecutar tareas sencillas y de gran volumen en modelos de menor coste y reservar los modelos más potentes para el trabajo más exigente.

Con Orchestrator, los equipos pueden reducir y centralizar el gasto en IA y adoptar nuevos modelos a medida que se lanzan, sin renunciar al rendimiento ni a la disponibilidad. Los equipos pueden elegir qué modelo gestiona cada carga de trabajo, y Perplexity se encarga del enrutamiento entre proveedores y de la conmutación por error para garantizar una inferencia fiable.

Basado en la capa de modelos de producción de Perplexity

Perplexity ejecuta a diario modelos de pesos abiertos y de frontera en producción. Nuestra capa de modelos enruta cientos de millones de solicitudes entre más de 85 modelos y más de una docena de proveedores.

Elegir un modelo es más fácil que conseguir que cada solicitud siga siendo rápida y asequible cuando los proveedores se ralentizan, se quedan sin capacidad o cambian sus precios. Hemos reducido nuestros propios costes de servicio trasladando las cargas de trabajo a los modelos más adecuados para cada tarea.

Orchestrator da a los desarrolladores acceso a la infraestructura compartida en la que se basa ese enfoque.

Orchestrator pone esa capa de inferencia a tu disposición a través de una sola API. Abarca modelos de OpenAI, Anthropic, Google y xAI, junto con modelos de pesos abiertos como GLM, Kimi y DeepSeek. Perplexity ofrece los modelos de pesos abiertos directamente o a través de socios de inferencia.

Orchestrator admite los formatos OpenAI Chat Completions, OpenAI Responses y Anthropic Messages. Los equipos pueden seguir usando los kits de desarrollo de software (SDK) que ya conocen. Para la mayoría de los equipos, empezar consiste en actualizar la clave de API y la URL base, y seleccionar un modelo disponible.

Facturación unificada sin tarifa de plataforma adicional

Ejecutar modelos de varios laboratorios y proveedores de inferencia puede requerir cuentas, claves de API, contratos, revisiones de seguridad y facturas por separado. También puede suponer compromisos anuales independientes basados en una combinación de modelos que podría cambiar en cuestión de semanas.

Orchestrator reúne los modelos compatibles bajo un único proveedor y una única factura, de modo que los equipos pueden cambiar su combinación de modelos sin negociar un compromiso independiente con cada proveedor. No se cobra ninguna tarifa de plataforma adicional además de los créditos.

Los equipos también pueden hacer un seguimiento del uso y gestionar el gasto a través de la consola de la API:

  • Informes de uso: gasto desglosado por modelo, proyecto, clave de API y fecha
  • Claves de API: claves de API independientes para hacer un seguimiento del uso por proyecto o equipo
  • Controles de administración: listas de modelos permitidos para la organización, restricciones de usuarios, límites de gasto y solicitudes de capacidad

Solicitudes más fiables entre proveedores

Los modelos disponibles a través de varios proveedores ofrecen a los equipos más de una forma de atender una solicitud.

Orchestrator supervisa el estado, la capacidad y la latencia de cada proveedor para distribuir el tráfico entre los que ofrecen mejor rendimiento. Si una solicitud falla, Orchestrator puede reintentarla en otra implementación del mismo modelo y gestionar así la conmutación por error sin que los equipos tengan que crear esa lógica por su cuenta.

Para los equipos que ejecutan millones de solicitudes al día, incluso una pequeña diferencia en las tasas de éxito de las solicitudes, como la que hay entre el 99,0 % y el 99,99 %, puede afectar a miles de respuestas. Con Orchestrator, los equipos no tienen que crear ni mantener por su cuenta el código de conmutación por error.

En un mes de tráfico de producción en Orchestrator, las solicitudes a Claude y GPT a través de Perplexity tuvieron tasas de éxito más altas que cualquiera de los proveedores individuales medidos, además de una menor variación diaria durante las incidencias de los proveedores.

En versión preliminar: Routes y Auto effort

Routes permite a los equipos describir en lenguaje natural qué solicitudes debe gestionar cada modelo y establecer un modelo predeterminado. Los equipos pueden partir de un perfil integrado (Menor coste, Equilibrado o Mayor calidad) o crear uno personalizado. Si los equipos no proporcionan una descripción ni especifican un objetivo, la solicitud la atiende el modelo predeterminado.

También en versión preliminar, Auto effort ajusta cuánto razonamiento utiliza un modelo compatible en su siguiente turno según una política que define el desarrollador. Un agente puede dedicar más esfuerzo a recuperarse de un error de una herramienta sin cambiar de modelo.

Empieza a usar la orquestación inteligente de modelos

Orchestrator es el primer paso de la plataforma de API de Perplexity hacia la orquestación inteligente de modelos. Descubre cómo creamos y evaluamos Routes, incluido por qué es tan difícil acertar con el enrutamiento de modelos.

Para empezar, crea una clave de API en la API Console, apunta un SDK de OpenAI o Anthropic que ya utilices a la URL base de Orchestrator y elige un modelo del catálogo de modelos.

La guía de inicio rápido explica cómo hacer una primera solicitud en minutos. Los equipos con cargas de trabajo grandes o con volumen comprometido pueden escribir a api@perplexity.ai para obtener más información sobre precios por volumen y capacidad.

Crea una clave de API hoy mismo.