Apresentamos o Orchestrator: uma única API para modelos de ponta e de pesos abertos

O Perplexity Orchestrator dá acesso a modelos de ponta e de pesos abertos com faturação unificada e failover numa única API.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

A Perplexity é multimodelo na sua essência, dando às pessoas a liberdade de escolherem os mais recentes modelos de fronteira e de pesos abertos para o seu trabalho. Esta abordagem multimodelo tira partido dos pontos fortes de cada modelo e pode reduzir custos quando uma tarefa não precisa do modelo mais potente. Nos bastidores, a nossa tecnologia de orquestração pode utilizar vários modelos para concluir um único trabalho.

As empresas estão a adotar uma abordagem semelhante para equilibrar desempenho, custo e flexibilidade. Cada novo lançamento de modelo representa uma oportunidade para reduzir custos ou melhorar a qualidade. Só este ano, laboratórios como a Anthropic e a OpenAI lançaram mais de uma dúzia de novos modelos. Foram também lançados mais de 100 modelos de pesos abertos. Embora isto dê às equipas mais opções para cada carga de trabalho, também lhes dá mais fornecedores, contratos e faturas para gerir.

Hoje lançamos a API do Perplexity Orchestrator, que disponibiliza a nossa tecnologia independente de modelos aos programadores e às equipas que criam aplicações de IA. Através de uma única API, as equipas podem executar tarefas simples e de grande volume em modelos de menor custo e reservar modelos mais potentes para trabalho mais exigente.

Com o Orchestrator, as equipas podem reduzir e centralizar os gastos com IA e adotar novos modelos à medida que são lançados, sem comprometer o desempenho nem a disponibilidade. As equipas podem escolher o modelo que processa cada carga de trabalho, e a Perplexity trata do encaminhamento entre fornecedores e do failover para garantir uma inferência fiável.

Assente na camada de modelos de produção da Perplexity

A Perplexity executa modelos de pesos abertos e de fronteira em produção todos os dias. A nossa camada de modelos encaminha centenas de milhões de pedidos por mais de 85 modelos e mais de uma dúzia de fornecedores.

Escolher um modelo é mais fácil do que manter todos os pedidos rápidos e acessíveis quando os fornecedores ficam mais lentos, ficam sem capacidade ou alteram os preços. Reduzimos os nossos próprios custos de serviço ao transferir cargas de trabalho para os modelos mais adequados a cada tarefa.

O Orchestrator dá aos programadores acesso à infraestrutura partilhada por trás dessa abordagem.

O Orchestrator disponibiliza essa camada de inferência através de uma única API. Abrange modelos da OpenAI, Anthropic, Google e xAI, bem como modelos de pesos abertos como o GLM, o Kimi e o DeepSeek. Os modelos de pesos abertos são servidos pela Perplexity ou através de parceiros de inferência.

O Orchestrator suporta os formatos OpenAI Chat Completions, OpenAI Responses e Anthropic Messages. As equipas podem continuar a utilizar os kits de desenvolvimento de software (SDK) que já conhecem. Para a maioria das equipas, começar implica atualizar a chave de API e o URL base, e selecionar um modelo disponível.

Faturação unificada sem taxa de plataforma adicional

Executar modelos de vários laboratórios e fornecedores de inferência pode exigir contas, chaves de API, contratos, análises de segurança e faturas separados. Também pode implicar compromissos anuais separados com base numa combinação de modelos que pode mudar em poucas semanas.

O Orchestrator reúne os modelos suportados num único fornecedor e numa única fatura, para que as equipas possam alterar a combinação de modelos sem terem de negociar um compromisso separado com cada fornecedor. Não existe qualquer taxa de plataforma adicional para além dos créditos.

As equipas também podem acompanhar a utilização e gerir os gastos através da API Console:

  • Relatórios de utilização: gastos discriminados por modelo, projeto, chave de API e data
  • Chaves de API: chaves de API separadas para acompanhar a utilização por projeto ou equipa
  • Controlos de administração: listas de modelos permitidos da organização, restrições de utilizadores, limites de gastos e pedidos de capacidade

Pedidos mais fiáveis entre fornecedores

Os modelos disponíveis através de vários fornecedores dão às equipas mais do que uma forma de servir um pedido.

O Orchestrator monitoriza o estado, a capacidade e a latência de cada fornecedor para distribuir o tráfego pelos que têm melhor desempenho. Se um pedido falhar, pode ser repetido noutra implementação do mesmo modelo, assegurando o failover sem que as equipas tenham de criar essa lógica.

Para equipas que executam milhões de pedidos por dia, mesmo uma pequena diferença nas taxas de sucesso dos pedidos, como a diferença entre 99,0% e 99,99%, pode afetar milhares de respostas. Com o Orchestrator, as equipas não precisam de criar nem manter código de failover.

Num mês de tráfego de produção no Orchestrator, os pedidos ao Claude e ao GPT feitos através da Perplexity registaram taxas de sucesso mais elevadas do que qualquer fornecedor individual medido, bem como menor variação diária durante incidentes dos fornecedores.

Em pré-visualização: Routes e Auto effort

O Routes permite às equipas descrever em linguagem simples que pedidos cada modelo deve tratar e definir um modelo predefinido. As equipas podem começar a partir de um perfil incorporado Lower cost, Balanced ou Higher quality, ou criar um personalizado. Se as equipas não fornecerem uma descrição nem especificarem um objetivo, é o modelo predefinido que trata o pedido.

Também em pré-visualização, o Auto effort ajusta a quantidade de raciocínio que um modelo compatível utiliza no seu turno seguinte, de acordo com uma política definida pelo programador. Um agente pode dedicar mais esforço à recuperação de um erro de ferramenta sem mudar de modelo.

Comece a utilizar a orquestração inteligente de modelos

O Orchestrator é o primeiro passo na plataforma de API da Perplexity para a orquestração inteligente de modelos. Saiba como criámos e avaliámos o Routes, incluindo por que razão é difícil acertar no encaminhamento de modelos.

Para começar, crie uma chave de API na Consola da API, aponte um SDK existente da OpenAI ou da Anthropic para o URL base do Orchestrator e escolha a partir do catálogo de modelos.

O guia de início rápido permite fazer um primeiro pedido em minutos. As equipas com cargas de trabalho de grande volume ou com compromisso de utilização podem enviar um e-mail para api@perplexity.ai para obter mais informações sobre preços por volume e capacidade.

Crie uma chave de API hoje.