Παρουσιάζουμε το Orchestrator: ένα API για μοντέλα αιχμής και μοντέλα ανοιχτών βαρών

Το Perplexity Orchestrator παρέχει πρόσβαση σε μοντέλα αιχμής και μοντέλα ανοιχτών βαρών, με ενιαία χρέωση και εναλλαγή σε περίπτωση αστοχίας, μέσω ενός ενιαίου API.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Η Perplexity είναι εκ φύσεως πολυμοντελική και δίνει στους ανθρώπους την ελευθερία να επιλέγουν τα πιο πρόσφατα μοντέλα αιχμής και ανοιχτών βαρών για τη δουλειά τους. Αυτή η πολυμοντελική προσέγγιση αξιοποιεί τα δυνατά σημεία κάθε μοντέλου και μπορεί να μειώσει το κόστος όταν μια εργασία δεν χρειάζεται το πιο ισχυρό μοντέλο. Στο παρασκήνιο, η τεχνολογία ενορχήστρωσής μας μπορεί να χρησιμοποιεί πολλά μοντέλα για την ολοκλήρωση μιας μόνο εργασίας.

Οι επιχειρήσεις υιοθετούν παρόμοια προσέγγιση για να εξισορροπήσουν την απόδοση, το κόστος και την ευελιξία. Κάθε νέα κυκλοφορία μοντέλου αποτελεί ευκαιρία για μείωση του κόστους ή βελτίωση της ποιότητας. Μόνο φέτος, εργαστήρια όπως η Anthropic και η OpenAI έχουν κυκλοφορήσει περισσότερα από δώδεκα νέα μοντέλα. Έχουν επίσης κυκλοφορήσει περισσότερα από 100 μοντέλα ανοιχτών βαρών. Παρότι αυτό δίνει στις ομάδες περισσότερες επιλογές για κάθε φόρτο εργασίας, τους φέρνει επίσης περισσότερους παρόχους, συμβάσεις και τιμολόγια προς διαχείριση.

Σήμερα λανσάρουμε το Perplexity Orchestrator API, διαθέτοντας την τεχνολογία μας, που δεν εξαρτάται από κάποιο συγκεκριμένο μοντέλο, σε προγραμματιστές και ομάδες που αναπτύσσουν εφαρμογές AI. Μέσω ενός ενιαίου API, οι ομάδες μπορούν να εκτελούν απλές εργασίες υψηλού όγκου σε μοντέλα χαμηλότερου κόστους και να κρατούν τα πιο ισχυρά μοντέλα για πιο απαιτητικές εργασίες.

Με το Orchestrator, οι ομάδες μπορούν να μειώσουν και να συγκεντρώσουν τις δαπάνες τους για AI και να υιοθετούν νέα μοντέλα μόλις κυκλοφορούν, χωρίς συμβιβασμούς στην απόδοση ή τον χρόνο λειτουργίας. Οι ομάδες μπορούν να επιλέγουν ποιο μοντέλο χειρίζεται κάθε φόρτο εργασίας, ενώ η Perplexity αναλαμβάνει τη δρομολόγηση μεταξύ παρόχων και την εναλλαγή σε περίπτωση αστοχίας, ώστε να διασφαλίζεται αξιόπιστος συμπερασμός.

Βασισμένο στο επίπεδο μοντέλων παραγωγής της Perplexity

Η Perplexity εκτελεί καθημερινά μοντέλα ανοιχτών βαρών και μοντέλα αιχμής σε παραγωγή. Το επίπεδο μοντέλων μας δρομολογεί εκατοντάδες εκατομμύρια αιτήματα σε περισσότερα από 85 μοντέλα και πάνω από δώδεκα παρόχους.

Η επιλογή ενός μοντέλου είναι ευκολότερη από το να διατηρείται κάθε αίτημα γρήγορο και οικονομικό όταν οι πάροχοι επιβραδύνονται, έχουν περιορισμένη χωρητικότητα ή αλλάζουν τις τιμές τους. Έχουμε μειώσει το δικό μας κόστος εξυπηρέτησης μεταφέροντας φόρτους εργασίας στα μοντέλα που ταιριάζουν καλύτερα σε κάθε εργασία.

Το Orchestrator δίνει στους προγραμματιστές πρόσβαση στην κοινή υποδομή πίσω από αυτήν την προσέγγιση.

Το Orchestrator καθιστά αυτό το επίπεδο συμπερασμού διαθέσιμο μέσω ενός ενιαίου API. Καλύπτει μοντέλα των OpenAI, Anthropic, Google και xAI, καθώς και μοντέλα ανοιχτών βαρών, όπως τα GLM, Kimi και DeepSeek. Τα μοντέλα ανοιχτών βαρών εξυπηρετούνται από την Perplexity ή μέσω συνεργατών συμπερασμού.

Το Orchestrator υποστηρίζει τις μορφές OpenAI Chat Completions, OpenAI Responses και Anthropic Messages. Οι ομάδες μπορούν να συνεχίσουν να χρησιμοποιούν γνώριμα κιτ ανάπτυξης λογισμικού (SDK). Για τις περισσότερες ομάδες, το ξεκίνημα απαιτεί την ενημέρωση του κλειδιού API και του βασικού URL, καθώς και την επιλογή ενός διαθέσιμου μοντέλου.

Ενιαία χρέωση χωρίς πρόσθετο τέλος πλατφόρμας

Η χρήση μοντέλων από διάφορα εργαστήρια και παρόχους συμπερασμού μπορεί να απαιτεί ξεχωριστούς λογαριασμούς, κλειδιά API, συμβάσεις, ελέγχους ασφαλείας και τιμολόγια. Μπορεί επίσης να σημαίνει ξεχωριστές ετήσιες δεσμεύσεις βάσει ενός συνδυασμού μοντέλων που θα μπορούσε να αλλάξει μέσα σε λίγες εβδομάδες.

Το Orchestrator συγκεντρώνει τα υποστηριζόμενα μοντέλα σε έναν προμηθευτή και έναν λογαριασμό χρέωσης, ώστε οι ομάδες να μπορούν να αλλάζουν τον συνδυασμό μοντέλων τους χωρίς να διαπραγματεύονται ξεχωριστή δέσμευση με κάθε πάροχο. Δεν υπάρχει πρόσθετο τέλος πλατφόρμας πέρα από τις πιστώσεις.

Οι ομάδες μπορούν επίσης να παρακολουθούν τη χρήση και να διαχειρίζονται τις δαπάνες μέσω του API Console:

  • Αναφορές χρήσης: Ανάλυση δαπανών ανά μοντέλο, έργο, κλειδί API και ημερομηνία
  • Κλειδιά API: Ξεχωριστά κλειδιά API για την παρακολούθηση της χρήσης ανά έργο ή ομάδα
  • Έλεγχοι διαχειριστή: Λίστες επιτρεπόμενων μοντέλων για τον οργανισμό, περιορισμοί χρηστών, ανώτατα όρια δαπανών και αιτήματα χωρητικότητας

Πιο αξιόπιστα αιτήματα σε όλους τους παρόχους

Τα μοντέλα που είναι διαθέσιμα μέσω πολλών παρόχων δίνουν στις ομάδες περισσότερους από έναν τρόπο εξυπηρέτησης ενός αιτήματος.

Το Orchestrator παρακολουθεί την κατάσταση, τη χωρητικότητα και τον λανθάνοντα χρόνο κάθε παρόχου, ώστε να κατανέμει την κίνηση στους παρόχους με την καλύτερη απόδοση. Αν ένα αίτημα αποτύχει, μπορεί να το επαναλάβει σε άλλη ανάπτυξη του ίδιου μοντέλου και να διαχειριστεί έτσι την εναλλαγή σε περίπτωση αστοχίας, χωρίς να χρειάζεται οι ομάδες να υλοποιήσουν οι ίδιες τη σχετική λογική.

Για ομάδες που εκτελούν εκατομμύρια αιτήματα την ημέρα, ακόμη και μια μικρή διαφορά στα ποσοστά επιτυχίας των αιτημάτων, όπως μεταξύ 99,0% και 99,99%, μπορεί να επηρεάσει χιλιάδες απαντήσεις. Με το Orchestrator, οι ομάδες δεν χρειάζεται να αναπτύσσουν ή να συντηρούν οι ίδιες κώδικα εναλλαγής σε περίπτωση αστοχίας.

Σε έναν μήνα κίνησης παραγωγής στο Orchestrator, τα αιτήματα προς τα Claude και GPT μέσω της Perplexity είχαν υψηλότερα ποσοστά επιτυχίας από οποιονδήποτε μεμονωμένο πάροχο που μετρήθηκε, καθώς και μικρότερη ημερήσια διακύμανση κατά τη διάρκεια περιστατικών στους παρόχους.

Σε προεπισκόπηση: Routes και Auto effort

Τα Routes επιτρέπουν στις ομάδες να περιγράφουν σε απλή γλώσσα ποια αιτήματα πρέπει να χειρίζεται κάθε μοντέλο και να ορίζουν ένα προεπιλεγμένο μοντέλο. Οι ομάδες μπορούν να ξεκινήσουν από ένα ενσωματωμένο προφίλ Lower cost, Balanced ή Higher quality ή να δημιουργήσουν ένα προσαρμοσμένο. Αν οι ομάδες δεν παρέχουν περιγραφή ή δεν ορίσουν στόχο, το αίτημα εξυπηρετείται από το προεπιλεγμένο μοντέλο.

Επίσης σε προεπισκόπηση, το Auto effort προσαρμόζει πόση συλλογιστική χρησιμοποιεί ένα υποστηριζόμενο μοντέλο στον επόμενο γύρο του, σύμφωνα με μια πολιτική που ορίζει ο προγραμματιστής. Ένας πράκτορας μπορεί να καταβάλει μεγαλύτερη προσπάθεια για να ανακάμψει από ένα σφάλμα εργαλείου χωρίς να αλλάξει μοντέλο.

Ξεκινήστε με την έξυπνη ενορχήστρωση μοντέλων

Το Orchestrator είναι το πρώτο βήμα στην πλατφόρμα API της Perplexity για έξυπνη ενορχήστρωση μοντέλων. Μάθετε πώς δημιουργήσαμε και αξιολογήσαμε τα Routes, καθώς και γιατί η δρομολόγηση μοντέλων είναι δύσκολο να γίνει σωστά.

Για να ξεκινήσετε, δημιουργήστε ένα κλειδί API στην Κονσόλα API, κατευθύνετε ένα υπάρχον SDK της OpenAI ή της Anthropic στη βασική διεύθυνση URL του Orchestrator και επιλέξτε από τον κατάλογο μοντέλων.

Ο οδηγός γρήγορης εκκίνησης σας καθοδηγεί στο πρώτο σας αίτημα μέσα σε λίγα λεπτά. Οι ομάδες με μεγάλους ή δεσμευμένους φόρτους εργασίας μπορούν να στείλουν email στη διεύθυνση api@perplexity.ai για περισσότερες πληροφορίες σχετικά με την τιμολόγηση βάσει όγκου και τη χωρητικότητα.

Δημιουργήστε ένα κλειδί API σήμερα.