Orchestrator: API เดียวสำหรับการอนุมานที่เชื่อถือได้

เชื่อมต่อกับโมเดล AI แบบ open-weight และโมเดลที่เป็นกรรมสิทธิ์ผ่าน API เดียว พร้อมการเรียกเก็บเงินแบบรวมศูนย์และการสลับสำรองอัตโนมัติภายในโมเดลเดียวกัน

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator รวมโมเดลแบบ open-weight และโมเดลที่เป็นกรรมสิทธิ์ไว้ใน API เดียว พร้อมการเรียกเก็บเงินแบบรวมศูนย์ โดยจะเลือกผู้ให้บริการโดยอัตโนมัติตามความพร้อมใช้งาน ความจุ และเวลาแฝง และสามารถลองส่งคำขอที่ล้มเหลวอีกครั้งบนดีพลอยเมนต์อื่นที่พร้อมใช้งานของโมเดลเดียวกันได้

การผสานรวมเดียวสำหรับโมเดลแบบ open-weight และโมเดลที่เป็นกรรมสิทธิ์

Orchestrator ให้บริการโมเดลแบบ open-weight ที่โฮสต์บนโครงสร้างพื้นฐานการอนุมานของ Perplexity ควบคู่กับโมเดลที่เป็นกรรมสิทธิ์จากผู้ให้บริการรายอื่น แค็ตตาล็อกปัจจุบันแสดงรายการโมเดลที่เลือกใช้ได้

รองรับคำขอแบบ OpenAI Chat Completions, OpenAI Responses และ Anthropic Messages คุณจึงเชื่อมต่อผ่าน SDK ของ OpenAI หรือ Anthropic ที่ใช้อยู่ได้ทันที

คู่มือเริ่มต้นอย่างรวดเร็วและคู่มือการกำหนดเส้นทางมีตัวอย่าง SDK และอธิบายพฤติกรรมการกำหนดเส้นทางในปัจจุบัน

ความน่าเชื่อถือและความเร็วในผู้ให้บริการต่างๆ

ความน่าเชื่อถือ

การเลือก Claude ไม่ได้หมายความว่าต้องพึ่งพาผู้ให้บริการเพียงรายเดียว คำขอที่ล้มเหลวบน Anthropic ยังคงสำเร็จได้บน AWS Bedrock การสลับไปยังผู้ให้บริการสำรองช่วยให้เปลี่ยนดีพลอยเมนต์ที่ให้บริการคำขอได้โดยไม่ต้องเปลี่ยนโมเดล

Orchestrator ใช้ข้อมูลสถานะและความจุที่สังเกตได้เพื่อกระจายคำขอไปยังดีพลอยเมนต์ต่างๆ ของโมเดล หากผู้ให้บริการส่งคืนข้อผิดพลาด เกินขีดจำกัดอัตรา หรือหมดเวลา Orchestrator จะลองอีกครั้งบนดีพลอยเมนต์อื่นของโมเดลนั้น โดยมีการจำกัดเวลาจนถึงโทเค็นแรกและระยะเวลารวมของแต่ละครั้ง

จากการวัดผลระหว่างวันที่ 4 ตุลาคม ถึง 2 พฤศจิกายน 2026 คำขอ Claude และ GPT ผ่าน Perplexity สำเร็จบ่อยกว่าคำขอที่ส่งไปยังผู้ให้บริการรายใดรายหนึ่งที่เราวัดผล อีกทั้งอัตราความสำเร็จรายวันยังผันผวนน้อยกว่าในช่วงที่ผู้ให้บริการเกิดเหตุขัดข้อง

อัตราความสำเร็จของคำขอ ตั้งแต่วันที่ 4 ตุลาคม ถึง 2 พฤศจิกายน 2026: Claude อยู่ทางซ้าย ส่วนโมเดล GPT ที่ใช้งานได้ทั้งผ่าน OpenAI และ Azure อยู่ทางขวา
อัตราความสำเร็จของคำขอรายวันในช่วงเวลาเดียวกัน: Claude อยู่ทางซ้าย และ GPT อยู่ทางขวา

เรานับว่าคำขอล้มเหลวเมื่อ Orchestrator ใช้ดีพลอยเมนต์ที่มีอยู่จนหมดแล้ว หรือเลเยอร์ให้บริการส่งคืนข้อผิดพลาด แต่ไม่นับข้อผิดพลาดฝั่งไคลเอนต์ เช่น คำขอที่ไม่ถูกต้องและการละเมิดขีดจำกัดอัตราของไคลเอนต์

ความเร็วเอาต์พุต

เรากำลังพัฒนาการกำหนดเส้นทางแบบปรับตัวที่คำนึงถึงความเร็วของโมเดล เพื่อให้ Orchestrator ปรับการเลือกผู้ให้บริการได้เมื่อประสิทธิภาพเปลี่ยนแปลง

ผู้ให้บริการที่เร็วที่สุดของแต่ละโมเดลเปลี่ยนแปลงไปตามเวลา สำหรับ Claude Opus 5.5 นั้น Anthropic นำใน 15 จาก 30 วัน และ AWS Bedrock นำในอีก 15 วันที่เหลือ

ความเร็วเอาต์พุตมัธยฐานของ Claude Opus 5.5 แยกตามผู้ให้บริการและวัน ตั้งแต่วันที่ 4 ตุลาคม ถึง 2 พฤศจิกายน 2026 เส้นที่ไฮไลต์แสดงผู้ให้บริการที่เร็วกว่าในแต่ละวัน ซึ่งแสดงให้เห็นเป้าหมายของการกำหนดเส้นทางที่คำนึงถึงความเร็วแบบเรียลไทม์

ในช่วง 30 วันเดียวกัน ความเร็วเอาต์พุตมัธยฐานของ GPT-5.6 Sol บน Azure สูงกว่าบน OpenAI 27%

ความเร็วเอาต์พุตมัธยฐานของ GPT-5.6 Sol หลังโทเค็นแรก ตั้งแต่วันที่ 4 ตุลาคม ถึง 2 พฤศจิกายน 2026

บิลเดียวสำหรับทุกโมเดล

แต่ละคำขอจะนับรวมเฉพาะการใช้โทเค็นของโมเดลที่ตอบเท่านั้น Orchestrator เรียกเก็บเงินตามอัตราต่อโทเค็นที่เผยแพร่ของแต่ละโมเดล ไม่ว่าผู้ให้บริการรายใดจะให้บริการคำขอนั้น ดังนั้นการสลับไปยังผู้ให้บริการสำรองจะไม่เปลี่ยนอัตรานั้น การใช้งานจะหักจากเครดิตแบบชำระล่วงหน้าเดียวกันกับส่วนอื่นๆ ของโปรเจกต์ Perplexity API ของคุณ

ใน API Console คุณสามารถดูค่าใช้จ่ายแยกตามโมเดลและกรองการใช้งานตามคีย์ API ได้ นอกจากนี้ยังซื้อเครดิตผ่าน AWS Marketplace ได้ด้วย

การกำหนดเส้นทางอัตโนมัติ (พรีวิว): จับคู่แต่ละงานกับโมเดลที่เหมาะสม

Orchestrator มีการกำหนดเส้นทางอัตโนมัติ ซึ่งเป็นฟีเจอร์เสริมที่เปิดให้ใช้งานแบบพรีวิว โดยจะเลือกโมเดลสำหรับแต่ละคำขอด้วยโปรไฟล์ที่จับคู่คำอธิบายงานในภาษาธรรมดากับโมเดล คุณสามารถกำหนดโปรไฟล์ของคุณเองหรือใช้ค่าเริ่มต้นในตัวของ Orchestrator ก็ได้

คำขอการกำหนดเส้นทางอัตโนมัติใช้ perplexity/auto เป็นโมเดล สำหรับโปรไฟล์แบบกำหนดเอง ให้ใส่ออบเจ็กต์ routing ที่มี default_model และ routes แต่ละเส้นทางจะระบุชื่อ คำอธิบาย และโมเดล

สำหรับแต่ละคำขอ perplexity/auto จะเรียกใช้โมเดลตัดสินใจของเราเพื่ออ่านบทสนทนาและจับคู่กับคำอธิบายเส้นทาง โดยไม่เห็นชื่อโมเดล จากนั้น Orchestrator จะส่งคำขอไปยังโมเดลที่กำหนดให้กับเส้นทางที่เลือก หรือไปยังโมเดลเริ่มต้นของคุณหากไม่มีเส้นทางใดตรงกัน นอกจากนี้ Orchestrator ยังใช้โมเดลเริ่มต้นของคุณหากโมเดลตัดสินใจล้มเหลวหรือหมดเวลา

ตัวอย่างด้านล่างครอบคลุมการกำหนดเส้นทางเพื่อหลีกเลี่ยงการปฏิเสธของโมเดล ประเภทปัญหาของฝ่ายบริการลูกค้า และการเปลี่ยนงานภายในบทสนทนา

การกำหนดเส้นทางเพื่อหลีกเลี่ยงการปฏิเสธ

เอเจนต์สามารถใช้การกำหนดเส้นทางอัตโนมัติเพื่อหลีกเลี่ยงการปฏิเสธที่คาดการณ์ได้ ขณะที่ยังคงใช้โมเดลที่ต้องการสำหรับงานอื่นๆ Anthropic ระบุไว้ในเอกสารว่ามาตรการป้องกันของ Claude Fable 5.2 อาจบล็อกงานด้านความปลอดภัยไซเบอร์และวิทยาศาสตร์ชีวภาพที่ไม่เป็นอันตราย เราทดสอบกรณีการใช้งานนี้กับชุดย่อย 63 งานของ Terminal-Bench 4.1

เราทดสอบ Claude Code โดยใช้ Fable เพียงอย่างเดียว และใช้ร่วมกับโปรไฟล์การกำหนดเส้นทางแบบกำหนดเองสองโปรไฟล์ ทั้งสองโปรไฟล์คง Fable ไว้เป็นโมเดลเริ่มต้น และกำหนดเส้นทางด้านความปลอดภัยไซเบอร์ ชีววิทยา และ after_refusal ให้กับ GPT-6 Astra หรือ GPT-6.1 Sol นอกจากนี้ เรายังรวมการรัน Astra และ Sol แบบเดี่ยวใน Codex ไว้เพื่อเปรียบเทียบด้วย

ในการเปรียบเทียบที่ปรับแล้วนี้ การตั้งค่า Claude Code ที่ใช้การกำหนดเส้นทางทั้งสองแบบแก้โจทย์ได้ 41 จาก 63 งาน เทียบกับ 38 งานเมื่อใช้ Fable เพียงอย่างเดียว แต่มีต้นทุนต่องานโดยประมาณสูงกว่า แผนภูมิแสดงข้อแลกเปลี่ยนนี้ควบคู่กับ Astra และ Sol ที่ทำงานใน Codex

Terminal-Bench 4.1 การเปรียบเทียบแบบปรับแล้ว 63 งาน Astra Codex รวมการผ่านที่สันนิษฐานไว้ 1 ครั้ง และต้นทุนเป็นค่าประมาณ

ตัวอย่างด้านล่างใช้ Sol: เส้นทางด้านความปลอดภัยและชีววิทยาจะเลือก Sol ก่อนที่จะเกิดการปฏิเสธ ส่วน after_refusal จะเลือก Sol เมื่อบทสนทนามีการปฏิเสธเกิดขึ้นแล้ว

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

การกำหนดเส้นทางตามประเภทปัญหา

สำหรับผู้ช่วยบริการลูกค้า คำถามส่วนใหญ่ต้องการเพียงโมเดลที่รวดเร็วและราคาไม่แพง ข้อโต้แย้งเรื่องการเรียกเก็บเงินต้องการคำตอบที่รอบคอบและเห็นอกเห็นใจ ส่วนการผสานรวมที่ใช้งานไม่ได้ต้องอาศัยการแก้ไขปัญหา ผู้ช่วยสามารถใช้สองเส้นทางสำหรับข้อโต้แย้งเรื่องการเรียกเก็บเงินและปัญหาทางเทคนิค และปล่อยให้คำถามทั่วไปเป็นหน้าที่ของโมเดลเริ่มต้น:

เส้นทาง

คำอธิบายงาน

โมเดล

default_model

เรื่องอื่นๆ ทั้งหมด เช่น วิธีเปลี่ยนอีเมลของบัญชี

GLM-5.3 Flash

billing_dispute

ลูกค้าโต้แย้งการเรียกเก็บเงิน ขอเงินคืน หรือไม่พอใจเกี่ยวกับยอดเงินที่ถูกเรียกเก็บ

Claude Opus 5.5

technical_issue

ลูกค้าแจ้งข้อบกพร่อง ข้อความแสดงข้อผิดพลาด หรือการผสานรวมที่หยุดทำงานและต้องแก้ไขปัญหา

GPT-6.1 Sol

การส่งคำขอที่กำหนดเส้นทาง

วิธีที่ perplexity/auto ให้บริการคำขอ: โมเดลตัดสินใจจะเลือกเส้นทางหรือแจ้งว่าไม่มีเส้นทางที่ตรงกัน และ Orchestrator จะเรียกใช้โมเดลที่เลือกหรือโมเดลเริ่มต้นของคุณ ส่วนหัวของการตอบกลับจะรายงานผลลัพธ์ของการกำหนดเส้นทาง

คำขอด้านล่างส่งปัญหา API ล้มเหลวผ่านโปรไฟล์ฝ่ายบริการลูกค้าข้างต้น

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

โมเดลตัดสินใจจับคู่การเรียก API ที่ล้มเหลวกับ technical_issue Orchestrator จึงส่งคำขอไปยัง GPT-6.1 Sol การตอบกลับจะระบุเส้นทางที่เลือกและโมเดลที่ตอบ:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route ระบุเส้นทางที่เลือก หรือระบุว่าไม่มี x-perplexity-autoroute-outcome รายงานว่าคำขอได้รับการจัดการอย่างไร รวมถึงว่าคำขอถูกกำหนดเส้นทางหรือย้อนกลับไปใช้โมเดลเริ่มต้นของคุณ ฟิลด์ model ระบุโมเดลที่ตอบ

การกำหนดเส้นทางภายในบทสนทนา

เมื่อบทสนทนาเปลี่ยนจากงานหนึ่งไปอีกงานหนึ่ง โมเดลที่จัดการเทิร์นหนึ่งอาจไม่ใช่ตัวเลือกที่เหมาะสมสำหรับเทิร์นถัดไป คำขอติดตามผลของคุณจะมีประวัติบทสนทนาอยู่ด้วย ทั้งโมเดลที่ทำหน้าที่ตัดสินใจและโมเดลที่ถูกเลือกจึงอ่านเทิร์นก่อนหน้าได้ รวมถึงคำตอบจากโมเดลอื่นๆ เราได้ทดลองใช้บทสนทนาจริงสามชุด ชุดละสี่เทิร์น ได้แก่ การบริการลูกค้า การเขียนโค้ด และการค้นคว้า

การบริการลูกค้า

ในตัวอย่างข้างต้น สมมติว่าบทสนทนาเดียวกันเปลี่ยนจากคำถามเกี่ยวกับบัญชีไปเป็นข้อโต้แย้งเรื่องการเรียกเก็บเงิน แล้วต่อด้วยการผสานรวมที่ใช้งานไม่ได้ เมื่องานเปลี่ยนไป โมเดลตัดสินใจจะเลือกเส้นทางที่ตรงกัน และเมื่อผู้ใช้ส่งคำขอบคุณปิดท้าย Orchestrator จะกลับไปใช้ GLM-5.3 Flash

บทสนทนาด้านการบริการลูกค้า: เส้นทางและโมเดลของแต่ละเทิร์น

การแคชพรอมต์ระหว่างการส่งต่อโมเดล

แต่ละคำขอมีประวัติข้อความทั้งหมด แต่แต่ละโมเดลจะเก็บแคชของตัวเอง เมื่อบทสนทนากลับมาที่ GLM Flash ในเทิร์นที่ 4 โมเดลจะนำส่วนนำหน้าที่ตรงกันจากเทิร์นที่ 1 กลับมาใช้ได้ขณะที่ยังอยู่ในแคช แล้วจึงประมวลผลคำตอบที่ Opus และ Sol เพิ่มเข้ามาในเทิร์นที่ 2 และ 3 ซึ่งก็เป็นเช่นเดียวกันสำหรับ Opus หรือ Sol หากถูกเลือกในเทิร์นที่ 5

Orchestrator จะเก็บคำขอที่เกี่ยวข้องกันไว้บนดีพลอยเมนต์เดียวกันเมื่อเป็นไปได้ เพื่อรักษาการแคชพรอมต์ ใช้ prompt_cache_key ที่คงที่ซ้ำสำหรับบทสนทนา เพื่อช่วยรักษาความต่อเนื่องนี้ไว้

การแคชพรอมต์ระหว่างการส่งต่อโมเดล: GLM Flash สามารถนำส่วนนำหน้า (prefix) ก่อนหน้าของตัวเองกลับมาใช้ซ้ำ ขณะประมวลผลบทสนทนาที่เกิดขึ้นในระหว่างนั้นเป็นอินพุตใหม่

ผู้ช่วยเขียนโค้ด

ในเทิร์นที่ 4 ของบทสนทนาด้านการเขียนโค้ด GLM-5.3 Flash เขียน docstring โดยใช้บริบทจากการวินิจฉัยบั๊กของ Claude Opus 5.5 และแผนการพัฒนาของ GPT-6.1 Sol

โปรไฟล์การกำหนดเส้นทางกำหนดการเปลี่ยนชื่อและการแก้ไขเล็กน้อยให้ GLM-5.3 Flash การวินิจฉัยบั๊กให้ Claude Opus 5.5 และการวางแผนการเปลี่ยนแปลงข้ามโมดูลให้ GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
บทสนทนาด้านการเขียนโค้ด: เส้นทางและโมเดลของแต่ละเทิร์น

ผู้ช่วยด้านการค้นคว้า

ในตัวอย่างด้านการค้นคว้า คำถามเชิงข้อเท็จจริงนำไปสู่การคำนวณ ซึ่งจากนั้นจะกลายเป็นพื้นฐานของบันทึกช่วยจำ โปรไฟล์นี้กำหนดคำถามเชิงข้อเท็จจริงให้ GLM-5.3 Flash การคำนวณให้ GPT-6.1 Sol และการเขียนบันทึกช่วยจำให้ Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

บันทึกช่วยจำในเทิร์นที่ 3 ใช้ผลการคำนวณจากคำตอบก่อนหน้าของ GPT-6.1 Sol โดยปัดเศษตัวเลขโดยไม่ต้องให้ผู้ใช้ระบุซ้ำ

บทสนทนาด้านการค้นคว้า: เส้นทางและโมเดลของแต่ละเทิร์น

เริ่มต้นใช้งาน Orchestrator

เชื่อมต่อ SDK ของ OpenAI หรือ Anthropic ที่คุณใช้อยู่ด้วยคีย์ API ของ Perplexity, URL ฐานของ Orchestrator ที่เหมาะสม และโมเดลจากแค็ตตาล็อก

คู่มือเริ่มต้นอย่างรวดเร็วครอบคลุมการตั้งค่า ความพร้อมใช้งานในปัจจุบัน และการเข้าถึง หากมีคำถาม โปรดติดต่อ api@perplexity.ai