Orchestrator: 안정적인 추론을 위한 하나의 API

통합 청구와 동일 모델 자동 페일오버를 지원하는 하나의 API로 오픈 웨이트 및 독점 AI 모델에 연결하세요.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator는 오픈 웨이트 모델과 독점 모델을 통합 청구가 적용되는 하나의 API로 제공합니다. 가용성, 용량, 지연 시간을 기준으로 제공업체를 자동으로 선택하며, 실패한 요청을 같은 모델의 다른 사용 가능한 배포에서 재시도할 수 있습니다.

오픈 웨이트 모델과 독점 모델을 위한 하나의 통합

Orchestrator는 Perplexity의 추론 인프라에서 호스팅되는 오픈 웨이트 모델과 함께 다른 제공업체의 독점 모델을 제공합니다. 현재 카탈로그에서 사용 가능한 모델 목록을 확인할 수 있습니다.

OpenAI Chat Completions, OpenAI Responses, Anthropic Messages 요청을 지원하므로 기존 OpenAI 또는 Anthropic SDK를 통해 연결할 수 있습니다.

빠른 시작 가이드와 라우팅 가이드에서 SDK 예제와 현재 라우팅 동작을 확인할 수 있습니다.

제공업체 전반의 안정성과 속도

안정성

Claude를 선택한다고 해서 단일 제공업체에 의존해야 하는 것은 아닙니다. Anthropic에서 실패한 요청도 AWS Bedrock에서는 성공할 수 있습니다. 제공업체 페일오버를 사용하면 모델을 변경하지 않고도 요청을 처리하는 배포를 전환할 수 있습니다.

Orchestrator는 관찰된 상태와 용량을 바탕으로 모델의 여러 배포에 요청을 분산합니다. 제공업체가 오류를 반환하거나, 속도 제한에 도달하거나, 시간 초과되면 Orchestrator는 해당 모델의 다른 배포에서 재시도하며, 각 시도에는 첫 토큰까지의 시간과 총 소요 시간에 대한 제한이 적용됩니다.

2026년 10월 4일부터 11월 2일까지의 측정에서 Perplexity를 통한 Claude 및 GPT 요청은 저희가 측정한 어느 개별 제공업체에 대한 요청보다도 높은 성공률을 보였습니다. 또한 제공업체 장애 기간에도 일일 성공률의 변동이 더 적었습니다.

요청 성공률, 2026년 10월 4일~11월 2일: 왼쪽은 Claude, 오른쪽은 OpenAI와 Azure 모두를 통해 제공되는 GPT 모델.
같은 기간의 일일 요청 성공률: 왼쪽은 Claude, 오른쪽은 GPT.

Orchestrator가 사용 가능한 배포를 모두 소진했거나 서빙 계층이 오류를 반환한 경우를 실패한 요청으로 집계했으며, 잘못된 요청이나 클라이언트 속도 제한 위반과 같은 클라이언트 오류는 제외했습니다.

출력 속도

저희는 성능 변화에 따라 Orchestrator가 제공업체 선택을 조정할 수 있도록 모델 속도를 고려하는 적응형 라우팅을 개발하고 있습니다.

어떤 모델이든 가장 빠른 제공업체는 시간에 따라 바뀝니다. Claude Opus 5.5의 경우 30일 중 15일은 Anthropic이, 나머지 15일은 AWS Bedrock이 가장 빨랐습니다.

제공업체별·일별 Claude Opus 5.5 중앙값 출력 속도, 2026년 10월 4일~11월 2일. 강조 표시된 선은 매일 더 빠른 제공업체를 따라가며, 실시간 속도 인식 라우팅의 목표를 보여 줍니다.

같은 30일 동안 GPT-5.6 Sol에 대한 Azure의 중앙값 출력 속도는 OpenAI보다 27% 높았습니다.

첫 토큰 이후 GPT-5.6 Sol 중앙값 출력 속도, 2026년 10월 4일~11월 2일.

모든 모델을 하나의 청구서로

각 요청은 답변한 모델의 토큰 사용량에만 집계됩니다. Orchestrator는 어떤 제공업체가 요청을 처리하든 각 모델의 공개된 토큰당 요금을 부과하므로 제공업체 페일오버가 발생해도 요금은 바뀌지 않습니다. 사용량은 Perplexity API 프로젝트의 나머지 부분과 동일한 선불 크레딧에서 차감됩니다.

API Console에서는 모델별 지출을 확인하고 API 키별로 사용량을 필터링할 수 있습니다. AWS Marketplace를 통해 크레딧을 구매할 수도 있습니다.

자동 라우팅(프리뷰): 각 작업에 맞는 모델 연결

Orchestrator는 프리뷰로 제공되는 선택 기능인 자동 라우팅을 지원합니다. 자동 라우팅은 일상 언어로 작성한 작업 설명과 모델을 짝지은 프로필을 사용해 각 요청에 맞는 모델을 선택합니다. 직접 프로필을 정의하거나 Orchestrator의 기본 제공 프로필을 사용할 수 있습니다.

자동 라우팅 요청은 모델로 perplexity/auto를 사용합니다. 사용자 지정 프로필의 경우 default_model과 routes가 포함된 routing 객체를 추가하세요. 각 라우트는 이름, 설명, 모델을 지정합니다.

각 요청에 대해 perplexity/auto는 결정 모델을 호출해 대화를 읽고, 모델 이름을 보지 않은 채 라우트 설명과 대조합니다. 그런 다음 Orchestrator는 선택된 라우트에 할당된 모델로 요청을 보내며, 일치하는 라우트가 없으면 기본 모델로 보냅니다. 결정 모델이 실패하거나 시간 초과되는 경우에도 Orchestrator는 기본 모델을 사용합니다.

아래 예시에서는 모델 거부를 우회하는 라우팅, 고객 지원 문의 유형, 대화 내 작업 변경을 다룹니다.

거부를 우회하는 라우팅

에이전트는 자동 라우팅을 사용해 예측 가능한 거부를 피하면서 다른 작업에는 선호하는 모델을 계속 사용할 수 있습니다. Anthropic은 Claude Fable 5.2의 안전장치가 무해한 사이버 보안 및 생명 과학 작업을 차단할 수 있다고 문서화하고 있습니다. 저희는 Terminal-Bench 4.1의 63개 작업 하위 집합으로 이 사용 사례를 테스트했습니다.

저희는 Claude Code를 Fable 단독으로, 그리고 두 가지 사용자 지정 라우팅 프로필로 실행했습니다. 두 프로필 모두 Fable을 기본 모델로 유지하고, 사이버 보안, 생물학, after_refusal 라우트를 GPT-6 Astra 또는 GPT-6.1 Sol에 할당했습니다. 비교를 위해 Codex에서 Astra와 Sol을 단독으로 실행한 결과도 포함했습니다.

이 조정된 비교에서 라우팅을 적용한 두 Claude Code 구성은 모두 63개 작업 중 41개를 해결해 Fable 단독의 38개보다 많았지만, 작업당 예상 비용은 더 높았습니다. 차트는 이 트레이드오프를 Codex에서 실행한 Astra 및 Sol과 함께 보여 줍니다.

Terminal-Bench 4.1, 63개 작업 조정 비교. Astra Codex에는 통과로 가정한 1건이 포함되어 있으며, 비용은 추정치입니다.

아래 예시에서는 Sol을 사용합니다. 보안 및 생물학 라우트는 거부가 발생하기 전에 Sol을 선택하고, after_refusal은 대화에 이미 거부가 포함된 경우 Sol을 선택합니다.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

이슈 유형별 라우팅

고객 지원 어시스턴트의 경우 대부분의 질문에는 빠르고 저렴한 모델만 있으면 됩니다. 청구 분쟁에는 신중하고 공감 어린 답변이 필요합니다. 고장 난 연동은 문제 해결이 필요합니다. 어시스턴트는 청구 분쟁과 기술 문제에 두 개의 라우트를 사용하고, 일상적인 질문은 기본 모델에 맡길 수 있습니다:

라우트

작업 설명

모델

default_model

계정 이메일 변경 방법 등 그 밖의 모든 문의

GLM-5.3 Flash

billing_dispute

고객이 요금에 이의를 제기하거나, 환불을 요청하거나, 청구된 금액에 불만을 표합니다.

Claude Opus 5.5

technical_issue

고객이 버그, 오류 메시지 또는 작동이 멈춰 문제 해결이 필요한 연동을 신고합니다.

GPT-6.1 Sol

라우팅된 요청 보내기

perplexity/auto가 요청을 처리하는 방식: 결정 모델이 라우트를 선택하거나 일치 항목 없음을 반환하면, Orchestrator가 선택된 모델 또는 기본 모델을 호출합니다. 응답 헤더는 라우팅 결과를 보고합니다.

아래 요청은 위의 고객 지원 프로필을 통해 API 장애 문의를 보냅니다.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

결정 모델이 실패한 API 호출을 technical_issue에 매칭했으므로 Orchestrator는 요청을 GPT-6.1 Sol로 보냈습니다. 응답에는 선택된 라우트와 답변한 모델이 포함됩니다:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route는 선택된 라우트를 나타내거나, 선택된 라우트가 없음을 나타냅니다. x-perplexity-autoroute-outcome는 요청이 라우팅되었는지 또는 기본 모델로 폴백되었는지를 포함해 요청이 어떻게 처리되었는지 보고합니다. model 필드는 답변한 모델을 나타냅니다.

대화 내 라우팅

대화가 여러 작업으로 옮겨 가면, 한 턴을 처리한 모델이 다음 턴에는 적합하지 않을 수 있습니다. 후속 요청에는 대화 기록이 포함되므로, 결정 모델과 선택된 모델 모두 다른 모델의 응답을 포함한 이전 턴을 읽을 수 있습니다. 저희는 고객 지원, 코딩, 리서치라는 세 가지 실제 4턴 대화를 실행했습니다.

고객 지원

위 예시에서 같은 대화가 계정 문의에서 청구 분쟁으로, 이어서 고장 난 연동 문제로 넘어간다고 가정해 보겠습니다. 작업이 바뀔 때마다 결정 모델이 일치하는 라우트를 선택하며, 사용자가 마지막으로 감사 인사를 보내면 Orchestrator는 다시 GLM-5.3 Flash로 돌아갑니다.

지원 대화: 턴별 라우트와 모델.

모델 핸드오프 간 프롬프트 캐싱

각 요청에는 전체 메시지 기록이 포함되지만, 각 모델은 자체 캐시를 유지합니다. 4턴에서 대화가 GLM Flash로 돌아오면, 1턴의 일치하는 프리픽스가 아직 캐시되어 있는 동안 이를 재사용한 다음 2턴과 3턴에서 Opus와 Sol이 추가한 응답을 처리할 수 있습니다. 5턴에서 Opus나 Sol이 선택되는 경우에도 마찬가지입니다.

Orchestrator는 프롬프트 캐싱을 유지하기 위해 가능한 한 관련 요청을 같은 배포에 유지합니다. 이러한 어피니티를 유지하려면 대화에 안정적인 prompt_cache_key를 재사용하세요.

모델 핸드오프 간 프롬프트 캐싱: GLM Flash는 중간 대화를 새 입력으로 처리하면서 이전 프리픽스를 재사용할 수 있습니다.

코딩 어시스턴트

코딩 대화의 4턴에서 GLM-5.3 Flash는 Claude Opus 5.5의 버그 진단과 GPT-6.1 Sol의 구현 계획에서 얻은 컨텍스트를 활용해 docstring을 작성합니다.

라우팅 프로필은 이름 변경과 작은 수정을 GLM-5.3 Flash에, 버그 진단을 Claude Opus 5.5에, 여러 모듈에 걸친 변경 계획을 GPT-6.1 Sol에 할당합니다:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
코딩 대화: 턴별 라우트와 모델.

리서치 어시스턴트

리서치 예시에서는 사실 확인 질문이 계산으로 이어지고, 그 계산이 메모의 근거가 됩니다. 이 프로필은 사실 확인 질문을 GLM-5.3 Flash에, 계산을 GPT-6.1 Sol에, 메모 작성을 Claude Opus 5.5에 할당합니다:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

3턴의 메모는 GPT-6.1 Sol의 이전 응답에 있는 계산 결과를 사용하며, 사용자에게 다시 묻지 않고 수치를 반올림합니다.

리서치 대화: 턴별 라우트와 모델.

Orchestrator 시작하기

Perplexity API 키, 적절한 Orchestrator 기본 URL, 카탈로그의 모델을 사용해 기존 OpenAI 또는 Anthropic SDK를 연결하세요.

빠른 시작 가이드에서 설정, 현재 제공 범위, 액세스 방법을 확인할 수 있습니다. 문의 사항은 api@perplexity.ai로 연락해 주세요.