Orchestrator: Ένα API για αξιόπιστο συμπερασμό
Συνδεθείτε σε μοντέλα τεχνητής νοημοσύνης ανοιχτών βαρών και ιδιόκτητα μοντέλα μέσω ενός API, με ενιαία χρέωση και αυτόματη μετάβαση σε εφεδρική ανάπτυξη του ίδιου μοντέλου.

Το Orchestrator συγκεντρώνει μοντέλα ανοιχτών βαρών και ιδιόκτητα μοντέλα σε ένα ενιαίο API με ενιαία χρέωση. Επιλέγει αυτόματα πάροχο με βάση τη διαθεσιμότητα, τη χωρητικότητα και τον λανθάνοντα χρόνο, και μπορεί να επαναλάβει αποτυχημένα αιτήματα σε μια άλλη διαθέσιμη ανάπτυξη του ίδιου μοντέλου.
Μία ενσωμάτωση για μοντέλα ανοιχτών βαρών και ιδιόκτητα μοντέλα
Το Orchestrator εξυπηρετεί μοντέλα ανοιχτών βαρών που φιλοξενούνται στην υποδομή συμπερασμού της Perplexity, μαζί με ιδιόκτητα μοντέλα άλλων παρόχων. Ο τρέχων κατάλογος περιλαμβάνει τα διαθέσιμα μοντέλα.
Υποστηρίζει αιτήματα OpenAI Chat Completions, OpenAI Responses και Anthropic Messages, ώστε να μπορείτε να συνδεθείτε μέσω του υπάρχοντος OpenAI ή Anthropic SDK σας.
Ο οδηγός γρήγορης εκκίνησης και ο οδηγός δρομολόγησης περιλαμβάνουν παραδείγματα SDK και περιγράφουν την τρέχουσα συμπεριφορά δρομολόγησης.
Αξιοπιστία και ταχύτητα σε όλους τους παρόχους
Αξιοπιστία
Η επιλογή του Claude δεν σημαίνει απαραίτητα εξάρτηση από έναν μόνο πάροχο: ένα αίτημα που αποτυγχάνει στην Anthropic μπορεί και πάλι να επιτύχει στο AWS Bedrock. Η εναλλαγή παρόχου επιτρέπει την αλλαγή της ανάπτυξης που εξυπηρετεί ένα αίτημα χωρίς αλλαγή μοντέλου.
Το Orchestrator χρησιμοποιεί την παρατηρούμενη κατάσταση λειτουργίας και τη χωρητικότητα για να κατανέμει τα αιτήματα στις αναπτύξεις ενός μοντέλου. Αν ένας πάροχος επιστρέψει σφάλμα, φτάσει σε όριο ρυθμού ή λήξει το χρονικό όριο, το Orchestrator επαναλαμβάνει το αίτημα σε μια άλλη ανάπτυξη του ίδιου μοντέλου, με όρια στον χρόνο έως το πρώτο token και στη συνολική διάρκεια κάθε προσπάθειας.
Σε μετρήσεις από 4 Οκτωβρίου έως 2 Νοεμβρίου 2026, τα αιτήματα προς Claude και GPT μέσω της Perplexity ήταν επιτυχή συχνότερα από τα αιτήματα προς οποιονδήποτε μεμονωμένο πάροχο μετρήσαμε. Επιπλέον, τα ημερήσια ποσοστά επιτυχίας τους παρουσίασαν μικρότερη διακύμανση κατά τη διάρκεια περιστατικών στους παρόχους.
Θεωρήσαμε ένα αίτημα αποτυχημένο όταν το Orchestrator εξάντλησε τις διαθέσιμες αναπτύξεις ή το επίπεδο εξυπηρέτησης επέστρεψε σφάλμα, αλλά εξαιρέσαμε τα σφάλματα πελάτη, όπως τα μη έγκυρα αιτήματα και τις παραβιάσεις ορίων ρυθμού από την πλευρά του πελάτη.
Ταχύτητα εξόδου
Εργαζόμαστε σε προσαρμοστική δρομολόγηση που λαμβάνει υπόψη την ταχύτητα των μοντέλων, ώστε το Orchestrator να μπορεί να προσαρμόζει την επιλογή παρόχου καθώς μεταβάλλεται η απόδοση.
Ο ταχύτερος πάροχος για κάθε μοντέλο αλλάζει με την πάροδο του χρόνου. Για το Claude Opus 5.5, η Anthropic ήταν πρώτη σε 15 από τις 30 ημέρες και το AWS Bedrock στις υπόλοιπες 15.
Στο ίδιο διάστημα των 30 ημερών, η διάμεση ταχύτητα εξόδου του Azure για το GPT-5.6 Sol ήταν κατά 27% υψηλότερη από εκείνη του OpenAI.
Ενιαία χρέωση για όλα τα μοντέλα
Κάθε αίτημα προσμετράται μόνο στη χρήση tokens του μοντέλου που απάντησε. Το Orchestrator χρεώνει τις δημοσιευμένες τιμές ανά token κάθε μοντέλου, ανεξάρτητα από τον πάροχο που εξυπηρετεί το αίτημα, επομένως η εναλλαγή παρόχου δεν αλλάζει αυτή την τιμή. Η χρήση αφαιρείται από τις ίδιες προπληρωμένες πιστώσεις με το υπόλοιπο έργο σας στο Perplexity API.
Στο API Console, μπορείτε να δείτε τις δαπάνες ανά μοντέλο και να φιλτράρετε τη χρήση ανά κλειδί API. Μπορείτε επίσης να αγοράσετε πιστώσεις μέσω του AWS Marketplace.
Αυτόματη δρομολόγηση (προεπισκόπηση): αντιστοιχίστε κάθε εργασία στο κατάλληλο μοντέλο
Το Orchestrator προσφέρει αυτόματη δρομολόγηση, μια προαιρετική λειτουργία διαθέσιμη σε προεπισκόπηση. Επιλέγει ένα μοντέλο για κάθε αίτημα χρησιμοποιώντας ένα προφίλ που αντιστοιχίζει περιγραφές εργασιών σε απλή γλώσσα με μοντέλα. Μπορείτε να ορίσετε το δικό σας προφίλ ή να χρησιμοποιήσετε το ενσωματωμένο προεπιλεγμένο προφίλ του Orchestrator.
Τα αιτήματα αυτόματης δρομολόγησης χρησιμοποιούν το perplexity/auto ως μοντέλο. Για ένα προσαρμοσμένο προφίλ, συμπεριλάβετε ένα αντικείμενο δρομολόγησης με τα default_model και routes. Κάθε διαδρομή καθορίζει όνομα, περιγραφή και μοντέλο.
Για κάθε αίτημα, το perplexity/auto καλεί το μοντέλο απόφασης μας, ώστε να διαβάσει τη συνομιλία και να την αντιστοιχίσει με τις περιγραφές των διαδρομών, χωρίς να βλέπει τα ονόματα των μοντέλων. Στη συνέχεια, το Orchestrator στέλνει το αίτημα στο μοντέλο που έχει αντιστοιχιστεί στην επιλεγμένη διαδρομή ή στο προεπιλεγμένο μοντέλο σας, αν δεν ταιριάζει καμία διαδρομή. Το Orchestrator χρησιμοποιεί επίσης το προεπιλεγμένο μοντέλο σας, αν το μοντέλο απόφασης αποτύχει ή λήξει το χρονικό όριό του.
Τα παρακάτω παραδείγματα καλύπτουν τη δρομολόγηση για την παράκαμψη αρνήσεων των μοντέλων, τους τύπους ζητημάτων υποστήριξης πελατών και τις αλλαγές εργασιών μέσα σε μια συνομιλία.
Δρομολόγηση για την παράκαμψη αρνήσεων
Ένας πράκτορας μπορεί να χρησιμοποιεί την αυτόματη δρομολόγηση για να αποφεύγει προβλέψιμες αρνήσεις, διατηρώντας παράλληλα το προτιμώμενο μοντέλο του για άλλες εργασίες. Η Anthropic τεκμηριώνει ότι οι δικλίδες ασφαλείας του Claude Fable 5.2 μπορεί να μπλοκάρουν ακίνδυνες εργασίες κυβερνοασφάλειας και βιοεπιστημών. Δοκιμάσαμε αυτή την περίπτωση χρήσης σε ένα υποσύνολο 63 εργασιών του Terminal-Bench 4.1.
Εκτελέσαμε το Claude Code με το Fable μόνο του και με δύο προσαρμοσμένα προφίλ δρομολόγησης. Και τα δύο προφίλ διατήρησαν το Fable ως προεπιλογή και ανέθεσαν τις διαδρομές κυβερνοασφάλειας, βιολογίας και after_refusal είτε στο GPT-6 Astra είτε στο GPT-6.1 Sol. Συμπεριλάβαμε επίσης αυτόνομες εκτελέσεις των Astra και Sol στο Codex για σύγκριση.
Σε αυτήν την προσαρμοσμένη σύγκριση, και οι δύο διαμορφώσεις του Claude Code με δρομολόγηση επιλύουν 41 από τις 63 εργασίες, έναντι 38 για το Fable μόνο του, με υψηλότερο εκτιμώμενο κόστος ανά εργασία. Το γράφημα παρουσιάζει αυτή τη σχέση απόδοσης και κόστους μαζί με τα Astra και Sol που εκτελούνται στο Codex.
Το παρακάτω παράδειγμα χρησιμοποιεί το Sol: οι διαδρομές ασφάλειας και βιολογίας το επιλέγουν πριν προκύψει άρνηση, ενώ η διαδρομή after_refusal το επιλέγει όταν η συνομιλία περιέχει ήδη άρνηση.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Δρομολόγηση ανά τύπο ζητήματος
Για έναν βοηθό υποστήριξης πελατών, οι περισσότερες ερωτήσεις χρειάζονται μόνο ένα γρήγορο, οικονομικό μοντέλο. Μια αμφισβήτηση χρέωσης απαιτεί μια προσεκτική απάντηση με ενσυναίσθηση. Μια ενσωμάτωση που δεν λειτουργεί απαιτεί αντιμετώπιση προβλημάτων. Ο βοηθός μπορεί να χρησιμοποιεί δύο διαδρομές για τις αμφισβητήσεις χρεώσεων και τα τεχνικά ζητήματα, αφήνοντας τις συνηθισμένες ερωτήσεις στο προεπιλεγμένο μοντέλο του:
Διαδρομή | Περιγραφή εργασίας | Μοντέλο |
default_model | Όλα τα υπόλοιπα, όπως η αλλαγή του email ενός λογαριασμού | GLM-5.3 Flash |
billing_dispute | Ένας πελάτης αμφισβητεί μια χρέωση, ζητά επιστροφή χρημάτων ή είναι δυσαρεστημένος με ένα ποσό που του χρεώθηκε. | Claude Opus 5.5 |
technical_issue | Ένας πελάτης αναφέρει ένα πρόβλημα λογισμικού, ένα μήνυμα σφάλματος ή μια ενσωμάτωση που σταμάτησε να λειτουργεί και χρειάζεται αντιμετώπιση προβλημάτων. | GPT-6.1 Sol |
Αποστολή αιτήματος με δρομολόγηση
Το παρακάτω αίτημα στέλνει ένα ζήτημα αποτυχίας API μέσω του παραπάνω προφίλ υποστήριξης πελατών.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'Το μοντέλο απόφασης αντιστοίχισε τις αποτυχημένες κλήσεις API στη διαδρομή technical_issue, οπότε το Orchestrator έστειλε το αίτημα στο GPT-6.1 Sol. Η απάντηση περιλαμβάνει την επιλεγμένη διαδρομή και το μοντέλο που απάντησε:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}Η κεφαλίδα x-perplexity-autoroute-route προσδιορίζει την επιλεγμένη διαδρομή ή ότι δεν επιλέχθηκε καμία. Η κεφαλίδα x-perplexity-autoroute-outcome αναφέρει πώς διεκπεραιώθηκε το αίτημα, συμπεριλαμβανομένου του αν δρομολογήθηκε ή αν χρησιμοποιήθηκε εναλλακτικά το προεπιλεγμένο μοντέλο σας. Το πεδίο model προσδιορίζει το μοντέλο που απάντησε.
Δρομολόγηση μέσα σε μια συνομιλία
Καθώς μια συνομιλία μεταβαίνει από τη μία εργασία στην άλλη, το μοντέλο που χειρίστηκε έναν γύρο μπορεί να μην είναι η σωστή επιλογή για τον επόμενο. Τα επόμενα αιτήματά σας περιλαμβάνουν το ιστορικό της συνομιλίας, οπότε τόσο το μοντέλο απόφασης όσο και το επιλεγμένο μοντέλο μπορούν να διαβάσουν τους προηγούμενους γύρους, συμπεριλαμβανομένων των απαντήσεων άλλων μοντέλων. Εκτελέσαμε τρεις πραγματικές συνομιλίες τεσσάρων γύρων: υποστήριξη πελατών, προγραμματισμός και έρευνα.
Εξυπηρέτηση πελατών
Στο παραπάνω παράδειγμα, ας υποθέσουμε ότι η ίδια συνομιλία μεταβαίνει από μια ερώτηση σχετικά με τον λογαριασμό σε μια αμφισβήτηση χρέωσης και στη συνέχεια σε μια ενσωμάτωση που δεν λειτουργεί. Καθώς αλλάζει η εργασία, το μοντέλο απόφασης επιλέγει την αντίστοιχη διαδρομή· όταν ο χρήστης στέλνει ένα τελικό ευχαριστώ, το Orchestrator επιστρέφει στο GLM-5.3 Flash.
Προσωρινή αποθήκευση προτροπών κατά τις μεταβιβάσεις μεταξύ μοντέλων
Κάθε αίτημα μεταφέρει ολόκληρο το ιστορικό μηνυμάτων, αλλά κάθε μοντέλο διατηρεί τη δική του κρυφή μνήμη. Όταν η συνομιλία επιστρέφει στο GLM Flash στον γύρο 4, αυτό μπορεί να επαναχρησιμοποιήσει ένα αντίστοιχο πρόθεμα από τον γύρο 1, εφόσον βρίσκεται ακόμη στην κρυφή μνήμη, και στη συνέχεια να επεξεργαστεί τις απαντήσεις που πρόσθεσαν τα Opus και Sol στους γύρους 2 και 3. Το ίδιο ισχύει για το Opus ή το Sol, αν επιλεγούν στον γύρο 5.
Το Orchestrator διατηρεί τα σχετικά αιτήματα στην ίδια ανάπτυξη, όπου είναι δυνατόν, για να διατηρείται η προσωρινή αποθήκευση προτροπών. Επαναχρησιμοποιείτε ένα σταθερό prompt_cache_key για τη συνομιλία, ώστε να διατηρείται αυτή η σύνδεση.
Βοηθός προγραμματισμού
Στον 4ο γύρο της συνομιλίας προγραμματισμού, το GLM-5.3 Flash γράφει ένα docstring αξιοποιώντας το πλαίσιο από τη διάγνωση σφάλματος του Claude Opus 5.5 και το σχέδιο υλοποίησης του GPT-6.1 Sol.
Το προφίλ δρομολόγησης αναθέτει τις μετονομασίες και τις μικρές επεξεργασίες στο GLM-5.3 Flash, τη διάγνωση σφαλμάτων στο Claude Opus 5.5 και τον σχεδιασμό αλλαγών σε πολλές μονάδες κώδικα στο GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Βοηθός έρευνας
Στο παράδειγμα έρευνας, μια πραγματολογική ερώτηση οδηγεί σε έναν υπολογισμό, ο οποίος στη συνέχεια γίνεται η βάση για ένα υπόμνημα. Το προφίλ αναθέτει τις πραγματολογικές ερωτήσεις στο GLM-5.3 Flash, τους υπολογισμούς στο GPT-6.1 Sol και τη σύνταξη υπομνημάτων στο Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}Το υπόμνημα στον 3ο γύρο χρησιμοποιεί τους υπολογισμούς από την προηγούμενη απάντηση του GPT-6.1 Sol, στρογγυλοποιώντας τα νούμερα χωρίς να ζητήσει από τον χρήστη να τα επαναλάβει.
Ξεκινήστε με το Orchestrator
Συνδέστε το υπάρχον OpenAI ή Anthropic SDK σας με ένα κλειδί API της Perplexity, το κατάλληλο βασικό URL του Orchestrator και ένα μοντέλο από τον κατάλογο.
Ο οδηγός γρήγορης εκκίνησης καλύπτει τη ρύθμιση, την τρέχουσα διαθεσιμότητα και την πρόσβαση. Για ερωτήσεις, επικοινωνήστε στη διεύθυνση api@perplexity.ai.