Orchestrator: ವಿಶ್ವಾಸಾರ್ಹ ಇನ್‌ಫರೆನ್ಸ್‌ಗಾಗಿ ಒಂದೇ API

ಏಕೀಕೃತ ಬಿಲ್ಲಿಂಗ್ ಮತ್ತು ಸ್ವಯಂಚಾಲಿತ ಅದೇ-ಮಾಡೆಲ್ ಫೇಲ್‌ಓವರ್‌ನೊಂದಿಗೆ ಒಂದೇ API ಮೂಲಕ ಓಪನ್-ವೇಟ್ ಮತ್ತು ಸ್ವಾಮ್ಯದ AI ಮಾಡೆಲ್‌ಗಳಿಗೆ ಸಂಪರ್ಕಿಸಿ.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator ಓಪನ್-ವೇಟ್ ಮತ್ತು ಸ್ವಾಮ್ಯದ ಮಾಡೆಲ್‌ಗಳನ್ನು ಏಕೀಕೃತ ಬಿಲ್ಲಿಂಗ್‌ನೊಂದಿಗೆ ಒಂದೇ API ಗೆ ತರುತ್ತದೆ. ಇದು ಲಭ್ಯತೆ, ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಲೇಟೆನ್ಸಿಯ ಆಧಾರದ ಮೇಲೆ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಪೂರೈಕೆದಾರರನ್ನು ಆಯ್ಕೆಮಾಡುತ್ತದೆ ಮತ್ತು ವಿಫಲವಾದ ವಿನಂತಿಗಳನ್ನು ಅದೇ ಮಾಡೆಲ್‌ನ ಮತ್ತೊಂದು ಲಭ್ಯವಿರುವ ಡಿಪ್ಲಾಯ್‌ಮೆಂಟ್‌ನಲ್ಲಿ ಮರುಪ್ರಯತ್ನಿಸಬಹುದು.

ಓಪನ್-ವೇಟ್ ಮತ್ತು ಸ್ವಾಮ್ಯದ ಮಾಡೆಲ್‌ಗಳಿಗೆ ಒಂದೇ ಇಂಟಿಗ್ರೇಷನ್

Orchestrator ಇತರ ಪೂರೈಕೆದಾರರ ಸ್ವಾಮ್ಯದ ಮಾಡೆಲ್‌ಗಳ ಜೊತೆಗೆ Perplexity ಯ ಇನ್‌ಫರೆನ್ಸ್ ಮೂಲಸೌಕರ್ಯದಲ್ಲಿ ಹೋಸ್ಟ್ ಮಾಡಲಾದ ಓಪನ್-ವೇಟ್ ಮಾಡೆಲ್‌ಗಳನ್ನು ಪೂರೈಸುತ್ತದೆ. ಪ್ರಸ್ತುತ ಕ್ಯಾಟಲಾಗ್ ಲಭ್ಯವಿರುವ ಮಾಡೆಲ್ ಆಯ್ಕೆಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ.

ಇದು OpenAI Chat Completions, OpenAI Responses ಮತ್ತು Anthropic Messages ವಿನಂತಿಗಳನ್ನು ಸ್ವೀಕರಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ನೀವು ನಿಮ್ಮ ಈಗಿನ OpenAI ಅಥವಾ Anthropic SDK ಮೂಲಕ ಸಂಪರ್ಕಿಸಬಹುದು.

ಕ್ವಿಕ್‌ಸ್ಟಾರ್ಟ್ ಮತ್ತು ರೂಟಿಂಗ್ ಮಾರ್ಗದರ್ಶಿ SDK ಉದಾಹರಣೆಗಳನ್ನು ಮತ್ತು ಪ್ರಸ್ತುತ ರೂಟಿಂಗ್ ನಡವಳಿಕೆಯನ್ನು ವಿವರಿಸುತ್ತವೆ.

ಪೂರೈಕೆದಾರರಾದ್ಯಂತ ವಿಶ್ವಾಸಾರ್ಹತೆ ಮತ್ತು ವೇಗ

ವಿಶ್ವಾಸಾರ್ಹತೆ

Claude ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದೆಂದರೆ ಒಂದೇ ಪೂರೈಕೆದಾರರನ್ನು ಅವಲಂಬಿಸಬೇಕೆಂದೇನಿಲ್ಲ: Anthropic ನಲ್ಲಿ ವಿಫಲವಾದ ವಿನಂತಿಯು AWS Bedrock ನಲ್ಲಿ ಇನ್ನೂ ಯಶಸ್ವಿಯಾಗಬಹುದು. ಪೂರೈಕೆದಾರ ಫೇಲ್‌ಓವರ್, ಮಾಡೆಲ್ ಅನ್ನು ಬದಲಾಯಿಸದೆಯೇ ವಿನಂತಿಯನ್ನು ಪೂರೈಸುತ್ತಿರುವ ಡಿಪ್ಲಾಯ್‌ಮೆಂಟ್ ಅನ್ನು ಬದಲಾಯಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.

Orchestrator ಒಂದು ಮಾಡೆಲ್‌ನ ಡಿಪ್ಲಾಯ್‌ಮೆಂಟ್‌ಗಳ ನಡುವೆ ವಿನಂತಿಗಳನ್ನು ಹಂಚಲು ಗಮನಿಸಿದ ಆರೋಗ್ಯ ಸ್ಥಿತಿ ಮತ್ತು ಸಾಮರ್ಥ್ಯವನ್ನು ಬಳಸುತ್ತದೆ. ಪೂರೈಕೆದಾರರು ದೋಷವನ್ನು ಹಿಂದಿರುಗಿಸಿದರೆ, ದರ ಮಿತಿಯನ್ನು ತಲುಪಿದರೆ ಅಥವಾ ಸಮಯ ಮೀರಿದರೆ, Orchestrator ಆ ಮಾಡೆಲ್‌ನ ಮತ್ತೊಂದು ಡಿಪ್ಲಾಯ್‌ಮೆಂಟ್‌ನಲ್ಲಿ ಮರುಪ್ರಯತ್ನಿಸುತ್ತದೆ; ಪ್ರತಿ ಪ್ರಯತ್ನಕ್ಕೂ ಮೊದಲ ಟೋಕನ್‌ವರೆಗಿನ ಸಮಯ ಮತ್ತು ಒಟ್ಟು ಅವಧಿಯ ಮೇಲೆ ಮಿತಿಗಳಿರುತ್ತವೆ.

2026 ರ ಅಕ್ಟೋಬರ್ 4 ರಿಂದ ನವೆಂಬರ್ 2 ರವರೆಗಿನ ಮಾಪನಗಳಲ್ಲಿ, Perplexity ಮೂಲಕ ಕಳುಹಿಸಿದ Claude ಮತ್ತು GPT ವಿನಂತಿಗಳು ನಾವು ಅಳೆದ ಯಾವುದೇ ಪ್ರತ್ಯೇಕ ಪೂರೈಕೆದಾರರಿಗೆ ಕಳುಹಿಸಿದ ವಿನಂತಿಗಳಿಗಿಂತ ಹೆಚ್ಚಾಗಿ ಯಶಸ್ವಿಯಾದವು. ಪೂರೈಕೆದಾರರ ಘಟನೆಗಳ ಸಮಯದಲ್ಲಿ ಅವುಗಳ ದೈನಂದಿನ ಯಶಸ್ಸಿನ ದರಗಳು ಕಡಿಮೆ ಏರಿಳಿತಗೊಂಡವು.

ವಿನಂತಿ ಯಶಸ್ಸಿನ ದರಗಳು, 2026 ರ ಅಕ್ಟೋಬರ್ 4 ರಿಂದ ನವೆಂಬರ್ 2 ರವರೆಗೆ: ಎಡಭಾಗದಲ್ಲಿ Claude; ಬಲಭಾಗದಲ್ಲಿ OpenAI ಮತ್ತು Azure ಎರಡರ ಮೂಲಕವೂ ಲಭ್ಯವಿರುವ GPT ಮಾಡೆಲ್‌ಗಳು.
ಅದೇ ಅವಧಿಯಲ್ಲಿನ ದೈನಂದಿನ ವಿನಂತಿ ಯಶಸ್ಸಿನ ದರಗಳು: ಎಡಭಾಗದಲ್ಲಿ Claude ಮತ್ತು ಬಲಭಾಗದಲ್ಲಿ GPT.

Orchestrator ಲಭ್ಯವಿರುವ ಎಲ್ಲಾ ಡಿಪ್ಲಾಯ್‌ಮೆಂಟ್‌ಗಳನ್ನು ಪ್ರಯತ್ನಿಸಿ ಮುಗಿಸಿದಾಗ ಅಥವಾ ಸರ್ವಿಂಗ್ ಲೇಯರ್ ದೋಷವನ್ನು ಹಿಂದಿರುಗಿಸಿದಾಗ ನಾವು ವಿನಂತಿಯನ್ನು ವಿಫಲವೆಂದು ಎಣಿಸಿದೆವು, ಆದರೆ ಅಮಾನ್ಯ ವಿನಂತಿಗಳು ಮತ್ತು ಕ್ಲೈಂಟ್ ದರ-ಮಿತಿ ಉಲ್ಲಂಘನೆಗಳಂತಹ ಕ್ಲೈಂಟ್ ದೋಷಗಳನ್ನು ಹೊರಗಿಟ್ಟೆವು.

ಔಟ್‌ಪುಟ್ ವೇಗ

ಕಾರ್ಯಕ್ಷಮತೆ ಬದಲಾದಂತೆ Orchestrator ಪೂರೈಕೆದಾರರ ಆಯ್ಕೆಯನ್ನು ಹೊಂದಿಸಲು ಸಾಧ್ಯವಾಗುವಂತೆ, ಮಾಡೆಲ್ ವೇಗವನ್ನು ಪರಿಗಣಿಸುವ ಅಡಾಪ್ಟಿವ್ ರೂಟಿಂಗ್ ಮೇಲೆ ನಾವು ಕೆಲಸ ಮಾಡುತ್ತಿದ್ದೇವೆ.

ಯಾವುದೇ ಮಾಡೆಲ್‌ಗೆ ಅತ್ಯಂತ ವೇಗದ ಪೂರೈಕೆದಾರರು ಕಾಲಕ್ರಮೇಣ ಬದಲಾಗುತ್ತಾರೆ. Claude Opus 5.5 ಗೆ, 30 ದಿನಗಳಲ್ಲಿ 15 ದಿನ Anthropic ಮುಂಚೂಣಿಯಲ್ಲಿತ್ತು, ಉಳಿದ 15 ದಿನ AWS Bedrock ಮುಂಚೂಣಿಯಲ್ಲಿತ್ತು.

ಪೂರೈಕೆದಾರ ಮತ್ತು ದಿನದ ಪ್ರಕಾರ Claude Opus 5.5 ನ ಮಧ್ಯಾಂಕ ಔಟ್‌ಪುಟ್ ವೇಗ, 2026 ರ ಅಕ್ಟೋಬರ್ 4 ರಿಂದ ನವೆಂಬರ್ 2 ರವರೆಗೆ. ಹೈಲೈಟ್ ಮಾಡಲಾದ ರೇಖೆಯು ಪ್ರತಿದಿನ ವೇಗವಾದ ಪೂರೈಕೆದಾರರನ್ನು ಅನುಸರಿಸುತ್ತದೆ, ಇದು ನೈಜ-ಸಮಯದ ವೇಗ-ಆಧಾರಿತ ರೂಟಿಂಗ್‌ನ ಗುರಿಯನ್ನು ವಿವರಿಸುತ್ತದೆ.

ಅದೇ 30 ದಿನಗಳಲ್ಲಿ, GPT-5.6 Sol ಗಾಗಿ Azure ನ ಮಧ್ಯಾಂಕ ಔಟ್‌ಪುಟ್ ವೇಗವು OpenAI ಗಿಂತ 27% ಹೆಚ್ಚಾಗಿತ್ತು.

ಮೊದಲ ಟೋಕನ್ ನಂತರದ GPT-5.6 Sol ನ ಮಧ್ಯಾಂಕ ಔಟ್‌ಪುಟ್ ವೇಗ, 2026 ರ ಅಕ್ಟೋಬರ್ 4 ರಿಂದ ನವೆಂಬರ್ 2 ರವರೆಗೆ.

ಎಲ್ಲಾ ಮಾಡೆಲ್‌ಗಳಿಗೂ ಒಂದೇ ಬಿಲ್

ಪ್ರತಿ ವಿನಂತಿಯನ್ನು ಉತ್ತರಿಸಿದ ಮಾಡೆಲ್‌ನ ಟೋಕನ್ ಬಳಕೆಗೆ ಮಾತ್ರ ಎಣಿಸಲಾಗುತ್ತದೆ. ಯಾವ ಪೂರೈಕೆದಾರರು ವಿನಂತಿಯನ್ನು ಪೂರೈಸುತ್ತಾರೆ ಎಂಬುದನ್ನು ಲೆಕ್ಕಿಸದೆ Orchestrator ಪ್ರತಿ ಮಾಡೆಲ್‌ನ ಪ್ರಕಟಿತ ಪ್ರತಿ-ಟೋಕನ್ ದರಗಳನ್ನು ವಿಧಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಪೂರೈಕೆದಾರ ಫೇಲ್‌ಓವರ್ ಆ ದರವನ್ನು ಬದಲಾಯಿಸುವುದಿಲ್ಲ. ನಿಮ್ಮ Perplexity API ಪ್ರಾಜೆಕ್ಟ್‌ನ ಉಳಿದ ಬಳಕೆಗೆ ಬಳಸುವ ಅದೇ ಮುಂಗಡ ಪಾವತಿಸಿದ ಕ್ರೆಡಿಟ್‌ಗಳು ಈ ಬಳಕೆಗೂ ಕಡಿತಗೊಳ್ಳುತ್ತವೆ.

API Console ನಲ್ಲಿ, ನೀವು ಮಾಡೆಲ್ ಪ್ರಕಾರ ಖರ್ಚನ್ನು ವೀಕ್ಷಿಸಬಹುದು ಮತ್ತು API ಕೀ ಪ್ರಕಾರ ಬಳಕೆಯನ್ನು ಫಿಲ್ಟರ್ ಮಾಡಬಹುದು. AWS Marketplace ಮೂಲಕವೂ ಕ್ರೆಡಿಟ್‌ಗಳು ಖರೀದಿಗೆ ಲಭ್ಯವಿವೆ.

ಸ್ವಯಂಚಾಲಿತ ರೂಟಿಂಗ್ (ಪ್ರಿವ್ಯೂ): ಪ್ರತಿ ಕಾರ್ಯವನ್ನು ಸರಿಯಾದ ಮಾಡೆಲ್‌ಗೆ ಹೊಂದಿಸಿ

Orchestrator ಸ್ವಯಂಚಾಲಿತ ರೂಟಿಂಗ್ ಅನ್ನು ನೀಡುತ್ತದೆ, ಇದು ಪ್ರಿವ್ಯೂನಲ್ಲಿ ಲಭ್ಯವಿರುವ ಐಚ್ಛಿಕ ವೈಶಿಷ್ಟ್ಯವಾಗಿದೆ. ಸರಳ ಭಾಷೆಯ ಕಾರ್ಯ ವಿವರಣೆಗಳನ್ನು ಮಾಡೆಲ್‌ಗಳೊಂದಿಗೆ ಜೋಡಿಸುವ ಪ್ರೊಫೈಲ್ ಬಳಸಿ ಇದು ಪ್ರತಿ ವಿನಂತಿಗೂ ಒಂದು ಮಾಡೆಲ್ ಅನ್ನು ಆಯ್ಕೆಮಾಡುತ್ತದೆ. ನೀವು ನಿಮ್ಮದೇ ಆದ ಪ್ರೊಫೈಲ್ ಅನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಬಹುದು ಅಥವಾ Orchestrator ನ ಅಂತರ್ನಿರ್ಮಿತ ಡೀಫಾಲ್ಟ್ ಅನ್ನು ಬಳಸಬಹುದು.

ಸ್ವಯಂಚಾಲಿತ ರೂಟಿಂಗ್ ವಿನಂತಿಗಳು ಮಾಡೆಲ್ ಆಗಿ perplexity/auto ಅನ್ನು ಬಳಸುತ್ತವೆ. ಕಸ್ಟಮ್ ಪ್ರೊಫೈಲ್‌ಗಾಗಿ, default_model ಮತ್ತು routes ಹೊಂದಿರುವ ರೂಟಿಂಗ್ ಆಬ್ಜೆಕ್ಟ್ ಅನ್ನು ಸೇರಿಸಿ. ಪ್ರತಿ ರೂಟ್ ಹೆಸರು, ವಿವರಣೆ ಮತ್ತು ಮಾಡೆಲ್ ಅನ್ನು ನಿರ್ದಿಷ್ಟಪಡಿಸುತ್ತದೆ.

ಪ್ರತಿ ವಿನಂತಿಗೂ, perplexity/auto ನಮ್ಮ ನಿರ್ಧಾರ ಮಾಡೆಲ್ ಅನ್ನು ಕರೆಯುತ್ತದೆ; ಅದು ಮಾಡೆಲ್ ಹೆಸರುಗಳನ್ನು ನೋಡದೆಯೇ ಸಂಭಾಷಣೆಯನ್ನು ಓದಿ ರೂಟ್ ವಿವರಣೆಗಳೊಂದಿಗೆ ಹೊಂದಿಸುತ್ತದೆ. ನಂತರ Orchestrator ವಿನಂತಿಯನ್ನು ಆಯ್ಕೆಯಾದ ರೂಟ್‌ಗೆ ನಿಗದಿಪಡಿಸಿದ ಮಾಡೆಲ್‌ಗೆ ಕಳುಹಿಸುತ್ತದೆ, ಅಥವಾ ಯಾವುದೇ ರೂಟ್ ಹೊಂದಿಕೆಯಾಗದಿದ್ದರೆ ನಿಮ್ಮ ಡೀಫಾಲ್ಟ್ ಮಾಡೆಲ್‌ಗೆ ಕಳುಹಿಸುತ್ತದೆ. ನಿರ್ಧಾರ ಮಾಡೆಲ್ ವಿಫಲವಾದರೆ ಅಥವಾ ಸಮಯ ಮೀರಿದರೆ ಸಹ Orchestrator ನಿಮ್ಮ ಡೀಫಾಲ್ಟ್ ಮಾಡೆಲ್ ಅನ್ನು ಬಳಸುತ್ತದೆ.

ಕೆಳಗಿನ ಉದಾಹರಣೆಗಳು ಮಾಡೆಲ್ ನಿರಾಕರಣೆಗಳನ್ನು ತಪ್ಪಿಸುವ ರೂಟಿಂಗ್, ಗ್ರಾಹಕ ಬೆಂಬಲ ಸಮಸ್ಯೆಯ ಪ್ರಕಾರಗಳು ಮತ್ತು ಸಂಭಾಷಣೆಯೊಳಗಿನ ಕಾರ್ಯ ಬದಲಾವಣೆಗಳನ್ನು ಒಳಗೊಂಡಿವೆ.

ನಿರಾಕರಣೆಗಳನ್ನು ತಪ್ಪಿಸುವ ರೂಟಿಂಗ್

ಏಜೆಂಟ್ ಇತರ ಕೆಲಸಗಳಿಗೆ ತನ್ನ ಆದ್ಯತೆಯ ಮಾಡೆಲ್ ಅನ್ನು ಉಳಿಸಿಕೊಂಡೇ, ನಿರೀಕ್ಷಿತ ನಿರಾಕರಣೆಗಳನ್ನು ತಪ್ಪಿಸಲು ಸ್ವಯಂಚಾಲಿತ ರೂಟಿಂಗ್ ಅನ್ನು ಬಳಸಬಹುದು. Claude Fable 5.2 ನ ಸುರಕ್ಷತಾ ಕ್ರಮಗಳು ಹಾನಿಕರವಲ್ಲದ ಸೈಬರ್‌ಸುರಕ್ಷತೆ ಮತ್ತು ಜೀವ ವಿಜ್ಞಾನ ಕೆಲಸವನ್ನು ತಡೆಯಬಹುದು ಎಂದು Anthropic ದಾಖಲಿಸಿದೆ. ನಾವು ಈ ಬಳಕೆಯ ಸಂದರ್ಭವನ್ನು Terminal-Bench 4.1 ನ 63-ಕಾರ್ಯಗಳ ಉಪಸಮೂಹದಲ್ಲಿ ಪರೀಕ್ಷಿಸಿದೆವು.

ನಾವು Claude Code ಅನ್ನು ಕೇವಲ Fable ನೊಂದಿಗೆ ಮತ್ತು ಎರಡು ಕಸ್ಟಮ್ ರೂಟಿಂಗ್ ಪ್ರೊಫೈಲ್‌ಗಳೊಂದಿಗೆ ಚಲಾಯಿಸಿದೆವು. ಎರಡೂ ಪ್ರೊಫೈಲ್‌ಗಳು Fable ಅನ್ನು ಡೀಫಾಲ್ಟ್ ಆಗಿ ಉಳಿಸಿಕೊಂಡವು ಮತ್ತು ಸೈಬರ್‌ಸುರಕ್ಷತೆ, ಜೀವಶಾಸ್ತ್ರ ಮತ್ತು after_refusal ರೂಟ್‌ಗಳನ್ನು GPT-6 Astra ಅಥವಾ GPT-6.1 Sol ಗೆ ನಿಗದಿಪಡಿಸಿದವು. ಹೋಲಿಕೆಗಾಗಿ ನಾವು Codex ನಲ್ಲಿ ಪ್ರತ್ಯೇಕ Astra ಮತ್ತು Sol ರನ್‌ಗಳನ್ನು ಸಹ ಸೇರಿಸಿದೆವು.

ಈ ಹೊಂದಾಣಿಕೆ ಮಾಡಿದ ಹೋಲಿಕೆಯಲ್ಲಿ, ರೂಟ್ ಮಾಡಲಾದ ಎರಡೂ Claude Code ಸೆಟಪ್‌ಗಳು ಪ್ರತಿ ಕಾರ್ಯಕ್ಕೆ ಹೆಚ್ಚಿನ ಅಂದಾಜು ವೆಚ್ಚದಲ್ಲಿ 63 ಕಾರ್ಯಗಳಲ್ಲಿ 41 ಅನ್ನು ಪರಿಹರಿಸುತ್ತವೆ, ಆದರೆ Fable ಒಂದೇ 38 ಅನ್ನು ಪರಿಹರಿಸುತ್ತದೆ. Codex ನಲ್ಲಿ ಚಲಿಸುವ Astra ಮತ್ತು Sol ಜೊತೆಗೆ ಈ ವಿನಿಮಯವನ್ನು ಚಾರ್ಟ್ ತೋರಿಸುತ್ತದೆ.

Terminal-Bench 4.1, 63-ಕಾರ್ಯಗಳ ಹೊಂದಾಣಿಕೆ ಮಾಡಿದ ಹೋಲಿಕೆ. Astra Codex ಒಂದು ಊಹಿತ ಪಾಸ್ ಅನ್ನು ಒಳಗೊಂಡಿದೆ; ವೆಚ್ಚಗಳು ಅಂದಾಜು ಮಾತ್ರ.

ಕೆಳಗಿನ ಉದಾಹರಣೆಯು Sol ಅನ್ನು ಬಳಸುತ್ತದೆ: ಭದ್ರತೆ ಮತ್ತು ಜೀವಶಾಸ್ತ್ರ ರೂಟ್‌ಗಳು ನಿರಾಕರಣೆ ಸಂಭವಿಸುವ ಮೊದಲೇ ಅದನ್ನು ಆಯ್ಕೆಮಾಡುತ್ತವೆ, ಮತ್ತು ಸಂಭಾಷಣೆಯಲ್ಲಿ ಈಗಾಗಲೇ ನಿರಾಕರಣೆ ಇದ್ದಾಗ after_refusal ಅದನ್ನು ಆಯ್ಕೆಮಾಡುತ್ತದೆ.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

ಸಮಸ್ಯೆಯ ಪ್ರಕಾರದ ಆಧಾರದ ಮೇಲೆ ರೂಟಿಂಗ್

ಗ್ರಾಹಕ ಬೆಂಬಲ ಸಹಾಯಕಕ್ಕೆ, ಹೆಚ್ಚಿನ ಪ್ರಶ್ನೆಗಳಿಗೆ ವೇಗವಾದ, ಕಡಿಮೆ ವೆಚ್ಚದ ಮಾಡೆಲ್ ಸಾಕು. ಬಿಲ್ಲಿಂಗ್ ವಿವಾದಕ್ಕೆ ಎಚ್ಚರಿಕೆಯ, ಸಹಾನುಭೂತಿಯ ಪ್ರತ್ಯುತ್ತರ ಬೇಕು. ಕೆಟ್ಟುಹೋದ ಇಂಟಿಗ್ರೇಷನ್‌ಗೆ ಸಮಸ್ಯೆ ನಿವಾರಣೆ ಅಗತ್ಯ. ಸಹಾಯಕವು ಬಿಲ್ಲಿಂಗ್ ವಿವಾದಗಳು ಮತ್ತು ತಾಂತ್ರಿಕ ಸಮಸ್ಯೆಗಳಿಗೆ ಎರಡು ರೂಟ್‌ಗಳನ್ನು ಬಳಸಿ, ಸಾಮಾನ್ಯ ಪ್ರಶ್ನೆಗಳನ್ನು ತನ್ನ ಡೀಫಾಲ್ಟ್ ಮಾಡೆಲ್‌ಗೆ ಬಿಡಬಹುದು:

ರೂಟ್

ಕಾರ್ಯದ ವಿವರಣೆ

ಮಾಡೆಲ್

default_model

ಖಾತೆಯ ಇಮೇಲ್ ಅನ್ನು ಹೇಗೆ ಬದಲಾಯಿಸುವುದು ಎಂಬಂತಹ ಉಳಿದೆಲ್ಲವೂ

GLM-5.3 Flash

billing_dispute

ಗ್ರಾಹಕರು ಶುಲ್ಕವನ್ನು ಆಕ್ಷೇಪಿಸುತ್ತಾರೆ, ಮರುಪಾವತಿಯನ್ನು ಕೇಳುತ್ತಾರೆ ಅಥವಾ ತಮಗೆ ಬಿಲ್ ಮಾಡಲಾದ ಹಣದ ಬಗ್ಗೆ ಅಸಮಾಧಾನಗೊಂಡಿರುತ್ತಾರೆ.

Claude Opus 5.5

technical_issue

ಗ್ರಾಹಕರು ಬಗ್, ದೋಷ ಸಂದೇಶ ಅಥವಾ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿದ ಮತ್ತು ಸಮಸ್ಯೆ ನಿವಾರಣೆ ಅಗತ್ಯವಿರುವ ಇಂಟಿಗ್ರೇಷನ್ ಬಗ್ಗೆ ವರದಿ ಮಾಡುತ್ತಾರೆ.

GPT-6.1 Sol

ರೂಟ್ ಮಾಡಿದ ವಿನಂತಿಯನ್ನು ಕಳುಹಿಸುವುದು

perplexity/auto ವಿನಂತಿಯನ್ನು ಹೇಗೆ ಪೂರೈಸುತ್ತದೆ: ನಿರ್ಧಾರ ಮಾಡೆಲ್ ಒಂದು ರೂಟ್ ಅನ್ನು ಆಯ್ಕೆಮಾಡುತ್ತದೆ ಅಥವಾ ಯಾವುದೇ ಹೊಂದಾಣಿಕೆ ಇಲ್ಲ ಎಂದು ಹಿಂದಿರುಗಿಸುತ್ತದೆ, ಮತ್ತು Orchestrator ಆಯ್ಕೆಯಾದ ಮಾಡೆಲ್ ಅನ್ನು ಅಥವಾ ನಿಮ್ಮ ಡೀಫಾಲ್ಟ್ ಮಾಡೆಲ್ ಅನ್ನು ಕರೆಯುತ್ತದೆ. ಪ್ರತಿಕ್ರಿಯೆ ಹೆಡರ್‌ಗಳು ರೂಟಿಂಗ್ ಫಲಿತಾಂಶವನ್ನು ವರದಿ ಮಾಡುತ್ತವೆ.

ಕೆಳಗಿನ ವಿನಂತಿಯು API ವೈಫಲ್ಯದ ಸಮಸ್ಯೆಯನ್ನು ಮೇಲಿನ ಗ್ರಾಹಕ ಬೆಂಬಲ ಪ್ರೊಫೈಲ್ ಮೂಲಕ ಕಳುಹಿಸುತ್ತದೆ.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

ನಿರ್ಧಾರ ಮಾಡೆಲ್ ವಿಫಲವಾದ API ಕರೆಗಳನ್ನು technical_issue ಗೆ ಹೊಂದಿಸಿತು, ಆದ್ದರಿಂದ Orchestrator ವಿನಂತಿಯನ್ನು GPT-6.1 Sol ಗೆ ಕಳುಹಿಸಿತು. ಪ್ರತಿಕ್ರಿಯೆಯು ಆಯ್ಕೆಯಾದ ರೂಟ್ ಮತ್ತು ಉತ್ತರಿಸಿದ ಮಾಡೆಲ್ ಅನ್ನು ಒಳಗೊಂಡಿದೆ:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route ಆಯ್ಕೆಯಾದ ರೂಟ್ ಅನ್ನು ಗುರುತಿಸುತ್ತದೆ, ಅಥವಾ ಯಾವುದೂ ಇಲ್ಲ ಎಂದು ತಿಳಿಸುತ್ತದೆ. x-perplexity-autoroute-outcome ವಿನಂತಿಯನ್ನು ರೂಟ್ ಮಾಡಲಾಯಿತೇ ಅಥವಾ ನಿಮ್ಮ ಡೀಫಾಲ್ಟ್ ಮಾಡೆಲ್‌ಗೆ ಹಿಂತಿರುಗಿತೇ ಎಂಬುದನ್ನೂ ಒಳಗೊಂಡು, ಅದನ್ನು ಹೇಗೆ ನಿರ್ವಹಿಸಲಾಯಿತು ಎಂಬುದನ್ನು ವರದಿ ಮಾಡುತ್ತದೆ. model ಫೀಲ್ಡ್ ಉತ್ತರಿಸಿದ ಮಾಡೆಲ್ ಅನ್ನು ಗುರುತಿಸುತ್ತದೆ.

ಸಂಭಾಷಣೆಯೊಳಗೆ ರೂಟಿಂಗ್

ಸಂಭಾಷಣೆಯು ಒಂದು ಕಾರ್ಯದಿಂದ ಇನ್ನೊಂದಕ್ಕೆ ಸಾಗಿದಂತೆ, ಒಂದು ಸರದಿಯನ್ನು ನಿರ್ವಹಿಸಿದ ಮಾಡೆಲ್ ಮುಂದಿನ ಸರದಿಗೆ ಸರಿಯಾದ ಆಯ್ಕೆಯಾಗಿರದಿರಬಹುದು. ನಿಮ್ಮ ಮುಂದುವರಿದ ವಿನಂತಿಗಳು ಸಂಭಾಷಣೆಯ ಇತಿಹಾಸವನ್ನು ಒಳಗೊಂಡಿರುತ್ತವೆ, ಆದ್ದರಿಂದ ನಿರ್ಧಾರ ಮಾಡೆಲ್ ಮತ್ತು ಆಯ್ಕೆಯಾದ ಮಾಡೆಲ್ ಎರಡೂ ಇತರ ಮಾಡೆಲ್‌ಗಳ ಪ್ರತ್ಯುತ್ತರಗಳನ್ನು ಒಳಗೊಂಡಂತೆ ಹಿಂದಿನ ಸರದಿಗಳನ್ನು ಓದಬಹುದು. ನಾವು ನಾಲ್ಕು ಸರದಿಗಳ ಮೂರು ನೈಜ ಸಂಭಾಷಣೆಗಳನ್ನು ನಡೆಸಿದೆವು: ಗ್ರಾಹಕ ಬೆಂಬಲ, ಕೋಡಿಂಗ್ ಮತ್ತು ಸಂಶೋಧನೆ.

ಗ್ರಾಹಕ ಬೆಂಬಲ

ಮೇಲಿನ ಉದಾಹರಣೆಯಲ್ಲಿ, ಅದೇ ಸಂಭಾಷಣೆಯು ಖಾತೆಯ ಪ್ರಶ್ನೆಯಿಂದ ಬಿಲ್ಲಿಂಗ್ ವಿವಾದಕ್ಕೆ ಮತ್ತು ನಂತರ ಕೆಟ್ಟುಹೋದ ಇಂಟಿಗ್ರೇಷನ್‌ಗೆ ಸಾಗುತ್ತದೆ ಎಂದು ಭಾವಿಸಿ. ಕಾರ್ಯ ಬದಲಾದಂತೆ, ನಿರ್ಧಾರ ಮಾಡೆಲ್ ಹೊಂದಿಕೆಯಾಗುವ ರೂಟ್ ಅನ್ನು ಆಯ್ಕೆಮಾಡುತ್ತದೆ; ಬಳಕೆದಾರರು ಕೊನೆಯಲ್ಲಿ ಧನ್ಯವಾದ ಕಳುಹಿಸಿದಾಗ, Orchestrator ಮತ್ತೆ GLM-5.3 Flash ಗೆ ಹಿಂತಿರುಗುತ್ತದೆ.

ಬೆಂಬಲ ಸಂಭಾಷಣೆ: ಪ್ರತಿ ಸರದಿಯ ರೂಟ್ ಮತ್ತು ಮಾಡೆಲ್.

ಮಾಡೆಲ್ ಹಸ್ತಾಂತರಗಳಾದ್ಯಂತ ಪ್ರಾಂಪ್ಟ್ ಕ್ಯಾಶಿಂಗ್

ಪ್ರತಿ ವಿನಂತಿಯು ಸಂಪೂರ್ಣ ಸಂದೇಶ ಇತಿಹಾಸವನ್ನು ಹೊಂದಿರುತ್ತದೆ, ಆದರೆ ಪ್ರತಿ ಮಾಡೆಲ್ ತನ್ನದೇ ಆದ ಕ್ಯಾಶ್ ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ. 4ನೇ ಸರದಿಯಲ್ಲಿ ಸಂಭಾಷಣೆ GLM Flash ಗೆ ಮರಳಿದಾಗ, 1ನೇ ಸರದಿಯ ಹೊಂದಿಕೆಯಾಗುವ ಪ್ರಿಫಿಕ್ಸ್ ಇನ್ನೂ ಕ್ಯಾಶ್‌ನಲ್ಲಿದ್ದರೆ ಅದು ಅದನ್ನು ಮರುಬಳಕೆ ಮಾಡಬಹುದು, ನಂತರ 2 ಮತ್ತು 3ನೇ ಸರದಿಗಳಲ್ಲಿ Opus ಮತ್ತು Sol ಸೇರಿಸಿದ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಬಹುದು. 5ನೇ ಸರದಿಯಲ್ಲಿ Opus ಅಥವಾ Sol ಆಯ್ಕೆಯಾದರೆ ಅವುಗಳಿಗೂ ಇದೇ ಅನ್ವಯಿಸುತ್ತದೆ.

ಪ್ರಾಂಪ್ಟ್ ಕ್ಯಾಶಿಂಗ್ ಅನ್ನು ಕಾಪಾಡಲು, ಸಾಧ್ಯವಾದಲ್ಲೆಲ್ಲಾ Orchestrator ಸಂಬಂಧಿತ ವಿನಂತಿಗಳನ್ನು ಅದೇ ಡಿಪ್ಲಾಯ್‌ಮೆಂಟ್‌ನಲ್ಲಿ ಇರಿಸುತ್ತದೆ. ಆ ಅಫಿನಿಟಿಯನ್ನು ಕಾಯ್ದುಕೊಳ್ಳಲು ಸಹಾಯವಾಗುವಂತೆ ಸಂಭಾಷಣೆಗೆ ಸ್ಥಿರವಾದ prompt_cache_key ಅನ್ನು ಮರುಬಳಕೆ ಮಾಡಿ.

ಮಾಡೆಲ್ ಹಸ್ತಾಂತರಗಳಾದ್ಯಂತ ಪ್ರಾಂಪ್ಟ್ ಕ್ಯಾಶಿಂಗ್: GLM Flash ತನ್ನ ಹಿಂದಿನ ಪ್ರಿಫಿಕ್ಸ್ ಅನ್ನು ಮರುಬಳಕೆ ಮಾಡುತ್ತಾ, ನಡುವಿನ ಸಂಭಾಷಣೆಯನ್ನು ಹೊಸ ಇನ್‌ಪುಟ್ ಆಗಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಬಹುದು.

ಕೋಡಿಂಗ್ ಸಹಾಯಕ

ಕೋಡಿಂಗ್ ಸಂಭಾಷಣೆಯ 4ನೇ ಸರದಿಯಲ್ಲಿ, Claude Opus 5.5 ನ ಬಗ್ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು GPT-6.1 Sol ನ ಅನುಷ್ಠಾನ ಯೋಜನೆಯ ಸಂದರ್ಭವನ್ನು ಬಳಸಿಕೊಂಡು GLM-5.3 Flash ಒಂದು docstring ಅನ್ನು ಬರೆಯುತ್ತದೆ.

ರೂಟಿಂಗ್ ಪ್ರೊಫೈಲ್ ಮರುಹೆಸರಿಸುವಿಕೆ ಮತ್ತು ಸಣ್ಣ ಸಂಪಾದನೆಗಳನ್ನು GLM-5.3 Flash ಗೆ, ಬಗ್ ವಿಶ್ಲೇಷಣೆಯನ್ನು Claude Opus 5.5 ಗೆ ಮತ್ತು ಮಾಡ್ಯೂಲ್‌ಗಳಾದ್ಯಂತ ಬದಲಾವಣೆಗಳ ಯೋಜನೆಯನ್ನು GPT-6.1 Sol ಗೆ ನಿಗದಿಪಡಿಸುತ್ತದೆ:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
ಕೋಡಿಂಗ್ ಸಂಭಾಷಣೆ: ಪ್ರತಿ ಸರದಿಯ ರೂಟ್ ಮತ್ತು ಮಾಡೆಲ್.

ಸಂಶೋಧನಾ ಸಹಾಯಕ

ಸಂಶೋಧನಾ ಉದಾಹರಣೆಯಲ್ಲಿ, ವಾಸ್ತವಾಂಶದ ಪ್ರಶ್ನೆಯೊಂದು ಲೆಕ್ಕಾಚಾರಕ್ಕೆ ಕಾರಣವಾಗುತ್ತದೆ, ಅದು ನಂತರ ಮೆಮೊಗೆ ಆಧಾರವಾಗುತ್ತದೆ. ಪ್ರೊಫೈಲ್ ವಾಸ್ತವಾಂಶದ ಪ್ರಶ್ನೆಗಳನ್ನು GLM-5.3 Flash ಗೆ, ಲೆಕ್ಕಾಚಾರಗಳನ್ನು GPT-6.1 Sol ಗೆ ಮತ್ತು ಮೆಮೊ ಬರವಣಿಗೆಯನ್ನು Claude Opus 5.5 ಗೆ ನಿಗದಿಪಡಿಸುತ್ತದೆ:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

3ನೇ ಸರದಿಯ ಮೆಮೊ GPT-6.1 Sol ನ ಹಿಂದಿನ ಪ್ರತ್ಯುತ್ತರದ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಬಳಸುತ್ತದೆ ಮತ್ತು ಬಳಕೆದಾರರು ಅವುಗಳನ್ನು ಪುನರಾವರ್ತಿಸುವಂತೆ ಕೇಳದೆಯೇ ಅಂಕಿಗಳನ್ನು ಪೂರ್ಣಾಂಕಗೊಳಿಸುತ್ತದೆ.

ಸಂಶೋಧನಾ ಸಂಭಾಷಣೆ: ಪ್ರತಿ ಸರದಿಯ ರೂಟ್ ಮತ್ತು ಮಾಡೆಲ್.

Orchestrator ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ

Perplexity API ಕೀ, ಸೂಕ್ತವಾದ Orchestrator ಬೇಸ್ URL ಮತ್ತು ಕ್ಯಾಟಲಾಗ್‌ನಿಂದ ಒಂದು ಮಾಡೆಲ್ ಬಳಸಿ ನಿಮ್ಮ ಈಗಿನ OpenAI ಅಥವಾ Anthropic SDK ಅನ್ನು ಸಂಪರ್ಕಿಸಿ.

ಕ್ವಿಕ್‌ಸ್ಟಾರ್ಟ್ ಸೆಟಪ್, ಪ್ರಸ್ತುತ ಲಭ್ಯತೆ ಮತ್ತು ಪ್ರವೇಶವನ್ನು ವಿವರಿಸುತ್ತದೆ. ಪ್ರಶ್ನೆಗಳಿದ್ದರೆ, ದಯವಿಟ್ಟು api@perplexity.ai ಅನ್ನು ಸಂಪರ್ಕಿಸಿ.