Orchestrator를 소개합니다: 프런티어 및 오픈 웨이트 모델을 위한 하나의 API

Perplexity Orchestrator는 통합 청구와 장애 조치를 갖춘 하나의 API로 프런티어 모델과 오픈 웨이트 모델에 대한 액세스를 제공합니다.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity는 본질적으로 멀티 모델이며, 사람들이 작업에 최신 프런티어 모델과 오픈 웨이트 모델을 자유롭게 선택할 수 있도록 합니다. 이러한 멀티 모델 접근 방식은 각 모델의 강점을 활용하며, 가장 강력한 모델이 필요하지 않은 작업에서는 비용을 낮출 수 있습니다. 내부적으로 저희의 오케스트레이션 기술은 여러 모델을 사용해 하나의 작업을 완료할 수 있습니다.

기업들도 성능, 비용, 유연성의 균형을 맞추기 위해 비슷한 접근 방식을 취하고 있습니다. 새로운 모델이 출시될 때마다 비용을 낮추거나 품질을 높일 기회가 생깁니다. 올해에만 Anthropic, OpenAI 등의 연구소가 십수 개의 새 모델을 출시했습니다. 100개가 넘는 오픈 웨이트 모델도 공개되었습니다. 이로 인해 팀은 각 워크로드에 대해 더 많은 선택지를 갖게 되었지만, 관리해야 할 제공업체, 계약, 청구서도 늘어났습니다.

오늘 Perplexity는 Perplexity Orchestrator API를 출시하여, AI 애플리케이션을 구축하는 개발자와 팀이 모델에 구애받지 않는 Perplexity의 기술을 활용할 수 있도록 합니다. 팀은 하나의 API를 통해 단순한 대량 작업은 저비용 모델로 실행하고, 더 까다로운 작업에는 더 강력한 모델을 사용할 수 있습니다.

Orchestrator를 사용하면 팀은 성능이나 가동 시간을 희생하지 않고도 AI 지출을 줄이고 일원화할 수 있으며, 새 모델이 출시되는 즉시 도입할 수 있습니다. 팀은 각 워크로드를 처리할 모델을 선택할 수 있고, Perplexity는 안정적인 추론을 보장하기 위해 제공업체 라우팅과 장애 조치를 처리합니다.

Perplexity의 프로덕션 모델 계층 기반

Perplexity는 매일 프로덕션 환경에서 오픈 웨이트 모델과 프런티어 모델을 운영합니다. 저희 모델 계층은 85개 이상의 모델과 10여 곳이 넘는 제공업체에 걸쳐 수억 건의 요청을 라우팅합니다.

모델을 선택하는 것은 제공업체의 속도가 느려지거나, 용량이 부족해지거나, 가격이 바뀔 때 모든 요청을 빠르고 저렴하게 유지하는 것보다 쉽습니다. 저희는 각 작업에 가장 적합한 모델로 워크로드를 옮겨 자체 서빙 비용을 낮췄습니다.

Orchestrator는 개발자가 이러한 접근 방식을 뒷받침하는 공유 인프라를 이용할 수 있게 해 줍니다.

Orchestrator는 이러한 추론 계층을 하나의 API로 제공합니다. OpenAI, Anthropic, Google, xAI의 모델은 물론 GLM, Kimi, DeepSeek 같은 오픈 웨이트 모델도 지원합니다. 오픈 웨이트 모델은 Perplexity 또는 추론 파트너를 통해 제공됩니다.

Orchestrator는 OpenAI Chat Completions, OpenAI Responses, Anthropic Messages 형식을 지원합니다. 팀은 익숙한 소프트웨어 개발 키트(SDK)를 계속 사용할 수 있습니다. 대부분의 팀은 API 키와 기본 URL을 업데이트하고 사용 가능한 모델을 선택하기만 하면 바로 시작할 수 있습니다.

추가 플랫폼 수수료 없는 통합 청구

여러 연구소와 추론 제공업체의 모델을 실행하려면 별도의 계정, API 키, 계약, 보안 검토, 청구서가 필요할 수 있습니다. 또한 몇 주 안에 바뀔 수 있는 모델 구성을 기준으로 별도의 연간 약정을 맺어야 할 수도 있습니다.

Orchestrator는 지원되는 모델을 하나의 공급업체와 하나의 청구서로 통합하므로, 팀은 각 제공업체와 별도의 약정을 협상하지 않고도 모델 구성을 변경할 수 있습니다. 크레딧 외에 추가 플랫폼 수수료는 없습니다.

팀은 API Console을 통해 사용량을 추적하고 지출을 관리할 수도 있습니다:

  • 사용량 보고: 모델, 프로젝트, API 키, 날짜별 지출 내역
  • API 키: 프로젝트 또는 팀별로 사용량을 추적할 수 있는 별도의 API 키
  • 관리자 제어: 조직 모델 허용 목록, 사용자 제한, 지출 한도, 용량 요청

여러 제공업체에 걸친 더 안정적인 요청 처리

여러 제공업체를 통해 이용할 수 있는 모델은 팀에게 요청을 처리할 수 있는 여러 경로를 제공합니다.

Orchestrator는 각 제공업체의 상태, 처리 용량, 지연 시간을 추적하여 가장 성능이 좋은 제공업체들로 트래픽을 분산합니다. 요청이 실패하면 동일한 모델의 다른 배포에서 재시도할 수 있으므로, 팀이 직접 로직을 구축하지 않아도 장애 조치가 처리됩니다.

하루 수백만 건의 요청을 처리하는 팀에게는 요청 성공률의 작은 차이, 즉 99.0%와 99.99% 사이의 차이만으로도 수천 건의 응답이 영향을 받을 수 있습니다. Orchestrator를 사용하면 팀이 장애 조치 코드를 직접 구축하거나 유지 관리할 필요가 없습니다.

Orchestrator의 한 달간 프로덕션 트래픽에서 Perplexity를 통한 Claude 및 GPT 요청은 측정된 어떤 개별 제공업체보다 높은 성공률을 보였으며, 제공업체 장애 발생 시 일일 변동 폭도 더 작았습니다.

프리뷰 기능: Routes 및 Auto effort

Routes를 사용하면 팀이 각 모델이 처리할 요청을 일상적인 언어로 설명하고 기본 모델을 설정할 수 있습니다. 팀은 기본 제공되는 저비용(Lower cost), 균형(Balanced), 고품질(Higher quality) 프로필 중 하나로 시작할 수 있습니다. 또는 사용자 지정 프로필을 직접 만들 수도 있습니다. 팀이 설명을 제공하지 않거나 목표를 지정하지 않으면 기본 모델이 요청을 처리합니다.

역시 프리뷰로 제공되는 Auto effort는 개발자가 정의한 정책에 따라, 지원되는 모델이 다음 턴에 사용할 추론의 양을 조정합니다. 에이전트는 모델을 바꾸지 않고도 도구 오류에서 복구하는 데 더 많은 노력을 들일 수 있습니다.

지능형 모델 오케스트레이션 시작하기

Orchestrator는 지능형 모델 오케스트레이션을 위한 Perplexity API 플랫폼의 첫 단계입니다. 모델 라우팅을 제대로 구현하기 어려운 이유를 포함해 Routes를 어떻게 구축하고 평가했는지 알아보세요.

시작하려면 API 콘솔에서 API 키를 생성하고, 기존 OpenAI 또는 Anthropic SDK가 Orchestrator 기본 URL을 가리키도록 설정한 다음, 모델 카탈로그에서 모델을 선택하세요.

빠른 시작 가이드에서는 몇 분 만에 첫 요청을 보내는 방법을 안내합니다. 대규모 또는 약정 워크로드를 운영하는 팀은 api@perplexity.ai로 이메일을 보내 볼륨 요금 및 처리 용량에 대한 자세한 정보를 받아볼 수 있습니다.

지금 바로 API 키를 생성하세요.