Perplexity Decider

Πώς το εκπαιδεύουμε, το αξιολογούμε και το χρησιμοποιούμε.

ΣυγγραφείςPerplexity Research

Κυκλοφορούμε τα Decider v1.3 και Decider Flash v1.3, τους διαδόχους των προηγούμενων μοντέλων αποφάσεών μας: v1, v1.1, v1.2 και Flash v1.2.

Το Decider Flash v1.3 είναι ένα μικρότερο μοντέλο που προέκυψε από απόσταξη του Decider v1.3. Και τα δύο μοντέλα διατίθενται στο Hugging Face με άδεια Apache, μέσω του OpenRouter και μέσω του Perplexity Decisions API.

Το Perplexity Decider είναι εμπνευσμένο από το Jev, το System One Model της TypeSafe AI. Υποστηρίζει δυαδική ταξινόμηση και ταξινόμηση πολλαπλών κλάσεων με διατεταγμένες ή μη διατεταγμένες ετικέτες, επιστρέφοντας πιθανότητες που οι εφαρμογές μπορούν να χρησιμοποιούν για να ταξινομούν, να δρομολογούν, να κατατάσσουν και να αξιολογούν εισόδους.

Και τα δύο μοντέλα v1.3 βελτιώνουν την απόδοση και την ανθεκτικότητα σε ένα ευρύ φάσμα εργασιών κειμένου και όρασης, χάρη στην αμφίδρομη προσοχή, στα καλύτερα επιμελημένα δεδομένα εκπαίδευσης και σε μια βελτιωμένη μέθοδο εκπαίδευσης. Παρουσιάζουμε επίσης το locate, μια νέα λειτουργία που επισημαίνει το επιλεγμένο περιεχόμενο σε εργασίες αναγνώρισης ονομαστικών οντοτήτων, εντοπισμού προσωπικών πληροφοριών και εξαγωγικής απάντησης ερωτήσεων.

Σε αυτή την ανάρτηση, εξηγούμε πώς εκπαιδεύουμε και αξιολογούμε το Decider και πώς το χρησιμοποιούμε εσωτερικά στην Perplexity.

Τι είναι ένα μοντέλο αποφάσεων;

Ένα μοντέλο αποφάσεων είναι ένας ταξινομητής γενικής χρήσης. Του δίνετε μια είσοδο και ένα σύνολο ερωτήσεων, καθεμία με τις πιθανές απαντήσεις της. Για κάθε ερώτηση, επιστρέφει μια κατανομή πιθανοτήτων επί των απαντήσεων. Υποστηρίζει 3 τύπους ερωτήσεων:

  • Ναι / Όχι: δυαδικές αποφάσεις.
  • Πολλαπλή επιλογή: προσαρμοσμένες ετικέτες πολλαπλών κλάσεων.
  • Βαθμολογία: ταξινομημένα επίπεδα.

Τα μοντέλα αποφάσεων υποστηρίζουν ένα ευρύ φάσμα εργασιών ταξινόμησης και βαθμολόγησης:

  • Αξιολόγηση εξόδων: εκτίμηση της πιστότητας, της ποιότητας και της ασφάλειας.
  • Δρομολόγηση: προώθηση αιτημάτων σε μικρότερα ή μεγαλύτερα μοντέλα ανάλογα με τη δυσκολία.
  • Έλεγχος περιεχομένου και ασφάλεια: ανίχνευση επιβλαβούς περιεχομένου, phishing και prompt injection στις εξόδους εργαλείων.
  • Φιλτράρισμα και επισήμανση: οργάνωση μεγάλων συλλογών περιεχομένου.
  • Ανάκτηση και αναδιάταξη: βαθμολόγηση των αποτελεσμάτων αναζήτησης με βάση τη συνάφεια.

Πολλές από αυτές τις εργασίες τις χειρίζονταν παλαιότερα παραγωγικά μοντέλα όπως τα LLM, παρόλο που δεν απαιτούν παραγωγή ελεύθερου κειμένου. Τα μοντέλα αποφάσεων τοποθετούνται ανάμεσα στα LLM και στους ταξινομητές που είναι ειδικοί για κάθε εργασία. Επιστρέφουν πιθανότητες για πολλαπλές ερωτήσεις σχετικά με την ίδια είσοδο σε ένα μόνο εμπρόσθιο πέρασμα, αποφεύγοντας την παραγωγή απάντησης token προς token και μοιράζοντας τον υπολογισμό μεταξύ των ερωτήσεων. Σε αντίθεση με τους ταξινομητές που είναι ειδικοί για κάθε εργασία, μπορούν να χειριστούν νέες εργασίες μέσω prompts σε φυσική γλώσσα, μια ευελιξία που αποκτούν μέσω της εκπαίδευσης σε ποικίλες εργασίες σε μια κοινή μορφή ερωτήσεων-απαντήσεων.

Εκπαίδευση

Μετατροπή ενός γενετικού LLM σε μοντέλο αποφάσεων

Δημιουργούμε το Decider προσαρμόζοντας ισχυρά βασικά μοντέλα παραγωγικών LLM. Για να εξηγήσουμε την προσαρμογή, περιγράφουμε πρώτα πώς αναπαρίσταται ένα αίτημα. Όπως φαίνεται παρακάτω, ένα αίτημα αποτελείται από ένα κοινό πλαίσιο (την κατάσταση) και έναν αριθμό ερωτήσεων. Η κατάσταση επαναχρησιμοποιείται από όλες τις ερωτήσεις.

Για παράδειγμα, με δεδομένα ένα έγγραφο και την περίληψή του, ένα μόνο αίτημα μπορεί να ρωτά αν η περίληψη αποδίδει πιστά το έγγραφο και αν απευθύνεται σε ειδικούς ή στο ευρύ κοινό. Μετά την κατάσταση, κάθε μπλοκ ερώτησης περιέχει μια ερώτηση και τις πιθανές απαντήσεις της, καθεμία από τις οποίες αντιστοιχίζεται σε ένα προκαθορισμένο token ετικέτας, όπως A, B ή C. Ένα ειδικό token <|marker|> υποδεικνύει το σημείο από το οποίο διαβάζεται η πρόβλεψη του μοντέλου. Σε αυτή τη θέση, ένα εκπαιδευμένο γραμμικό επίπεδο εξόδου (μια κεφαλή αποφάσεων) αντιστοιχίζει την κρυφή κατάσταση σε βαθμολογίες για τις επιλογές απάντησης της ερώτησης, οι οποίες στη συνέχεια μετατρέπονται σε πιθανότητες.

Αρχικοποιούμε το επίπεδο εξόδου από το βασικό μοντέλο, το οποίο κανονικά βαθμολογεί το επόμενο token από ολόκληρο το λεξιλόγιο, και κρατάμε μόνο τις γραμμές που αντιστοιχούν στα προκαθορισμένα tokens επιλογών, όπως A, B ή C. Αυτό το περικομμένο επίπεδο εκπαιδεύεται στη συνέχεια ώστε να μετατρέπει την κρυφή κατάσταση του <|marker|> σε βαθμολογίες απαντήσεων. Αυτή η προσέγγιση καλύπτει όλες τις ερωτήσεις ταξινόμησης, επειδή όλες μπορούν να διατυπωθούν ως ερωτήσεις πολλαπλής επιλογής.

Για την εκπαίδευση, χρησιμοποιούμε εκατοντάδες δημόσια σύνολα δεδομένων που καλύπτουν ποικίλες εργασίες (συναίσθημα, εξαγωγή συμπερασμάτων σε φυσική γλώσσα, ανίχνευση πρόθεσης, αντιστοίχιση οντοτήτων, έλεγχο περιεχομένου, επαλήθευση γεγονότων, αξιολογήσεις κ.λπ.) και μετατρέπουμε κάθε παράδειγμα στην ενιαία μορφή που περιγράφηκε παραπάνω: μια κατάσταση, μία ή περισσότερες ερωτήσεις, τις επιλογές τους και έναν στόχο. Ο στόχος μπορεί να είναι η μοναδική σωστή επιλογή, εφόσον διαθέτουμε ετικέτες αναφοράς (gold labels), ή μια κατανομή πιθανοτήτων επί των επιλογών.

Στην έκδοση v1.3, παρουσιάζουμε το locate, το οποίο εξάγει κείμενο από την κατάσταση αντί να επιλέγει από προκαθορισμένες επιλογές. Μια ερώτηση locate περιγράφει τι πρέπει να βρεθεί, χρησιμοποιώντας είτε μια σύντομη ετικέτα, όπως «τοποθεσία», είτε μια οδηγία, όπως «Εξαγάγετε το όνομα της πόλης όπου βρίσκεται η θέση εργασίας». Το μοντέλο επιστρέφει το ακριβές κείμενο που ταιριάζει από την κατάσταση, μαζί με τις θέσεις του αρχικού και του τελικού χαρακτήρα του. Αν δεν εντοπίσει αντιστοιχίες, επιστρέφει κενή λίστα.

Χάρη στην κοινή κατάσταση, ένα μόνο αίτημα μπορεί να συνδυάζει ερωτήσεις locate, ταξινόμησης και βαθμολόγησης για την ίδια είσοδο. Για παράδειγμα, μπορεί να ρωτά αν μια θέση εργασίας απαιτεί εμπειρία ανώτερου επιπέδου και να εξάγει τις απαιτούμενες δεξιότητες.

Αμφίδρομη προσοχή: το μοντέλο διαβάζει και προς τις δύο κατευθύνσεις

Τα μοντέλα μας ξεκινούν από ισχυρές προεκπαιδευμένες γενετικές βάσεις (backbones), των οποίων η αιτιακή προσοχή επιτρέπει σε κάθε token να «προσέχει» μόνο τον εαυτό του και τα προηγούμενα tokens. Οι μελέτες αφαίρεσης (ablation) που πραγματοποιήσαμε έδειξαν ότι η μετατροπή των επιπέδων πλήρους προσοχής της βάσης σε αμφίδρομα βελτιώνει την απόδοση, γι’ αυτό υιοθετούμε αυτόν τον σχεδιασμό, ώστε κάθε token να ενσωματώνει πλαίσιο από ολόκληρη την είσοδο.

Η αμφίδρομη προσοχή εισάγει μια ακόμη σχεδιαστική επιλογή: πώς πρέπει να αλληλεπιδρούν η κατάσταση και οι ερωτήσεις; Εξετάσαμε τρία μοτίβα προσοχής, με διαφορετικές επιπτώσεις στην απόδοση, στη σταθερότητα των απαντήσεων και στην επαναχρησιμοποίηση της κρυφής μνήμης:

  • Όλα βλέπουν τα πάντα (v1.2): Η κατάσταση και όλες οι ερωτήσεις επεξεργάζονται μαζί με πλήρη αμφίδρομη προσοχή. Ο υπολογισμός επί της κατάστασης είναι κοινός, όμως η απάντηση σε μία ερώτηση μπορεί να αλλάξει ανάλογα με το τι άλλο ερωτάται.
  • Απομονωμένες ερωτήσεις (v1.3): Η κατάσταση «προσέχει» όλες τις ερωτήσεις, ενώ κάθε ερώτηση «προσέχει» μόνο την κατάσταση και τα δικά της tokens. Οι ερωτήσεις μπορούν ακόμη να επηρεάζουν η μία την άλλη έμμεσα μέσω της κοινής κατάστασης, αλλά τα αποτελέσματα είναι πιο σταθερά.
  • Πλήρης δυνατότητα προσωρινής αποθήκευσης: Η κατάσταση εφαρμόζει προσοχή μόνο στον εαυτό της, ενώ κάθε ερώτηση εφαρμόζει προσοχή στην κατάσταση και στα δικά της tokens. Η κατάσταση είναι ανεξάρτητη από τις ερωτήσεις και επαναχρησιμοποιήσιμη μεταξύ αιτημάτων, ώστε να αξιοποιείται η προσωρινή αποθήκευση των prompts (prompt caching). Δεν τη χρησιμοποιούμε από προεπιλογή, επειδή η δυνατότητα της κατάστασης να βλέπει τις ερωτήσεις έχει μεγάλη σημασία για αρκετές εργασίες, αλλά μια μικρή πρόσθετη εκπαίδευση (fine-tuning) αρκεί για να μεταβεί ένα μοντέλο σε αυτή τη λειτουργία.

Τελικά επιλέξαμε τις απομονωμένες ερωτήσεις λόγω της υψηλής απόδοσης και της σταθερότητάς τους.

Μέθοδος εκπαίδευσης

Η εκπαίδευση πραγματοποιείται σε τρία στάδια και για τα δύο μεγέθη μοντέλου. Αρχικά εκπαιδεύουμε το μεγαλύτερο μοντέλο, βασισμένο στο Qwen3.8-27B, χρησιμοποιώντας διασταυρούμενη εντροπία (cross-entropy) σε μεγάλα σύνολα δεδομένων, και στη συνέχεια το αποστάζουμε στο μικρότερο μοντέλο Qwen3.5-4B.

Το πρώτο στάδιο είναι η εκπαίδευση γενικής χρήσης, κατά την οποία εφαρμόζουμε πλήρη λεπτομερή ρύθμιση του μοντέλου σε σώματα κειμένων μεγάλης κλίμακας. Σε αυτό το στάδιο, δεχόμαστε μόνο δεδομένα που βοηθούν το μοντέλο συνολικά και δεν αφορούν συγκεκριμένα κάποιο benchmark· επομένως, εξαιρούμε όλα τα τμήματα εκπαίδευσης των benchmark.

Αφού εκπαιδευτεί αυτό το γενικό μοντέλο, εκτελούμε ένα δεύτερο, πιο εξειδικευμένο στάδιο με χρήση LoRA. Τα δεδομένα αυτού του σταδίου στοχεύουν σε συγκεκριμένους τομείς και εργασίες. Προσθέτουμε δεδομένα στο δεύτερο στάδιο αντί για το πρώτο, αν παρατηρούμε οριακά οφέλη ή κάποιες υποβαθμίσεις σε άλλες εργασίες. Χρησιμοποιούμε LoRA για να αποφύγουμε την υπερβολική απόκλιση από το γενικό μοντέλο και τον κίνδυνο απώλειας απόδοσης προκειμένου να προσαρμοστεί σε αυτούς τους συγκεκριμένους τομείς. Στόχος είναι η βελτίωση της απόδοσης με διατήρηση της γενικής γνώσης του βασικού μοντέλου (backbone). Χρησιμοποιούμε επίσης ένα βάρος κατά τη συγχώνευση του LoRA πίσω στο βασικό μοντέλο, ώστε να ελέγχουμε την απόκλιση με μεγαλύτερη ακρίβεια και να δίνουμε προτεραιότητα στις μετρικές σε δεδομένα εκτός εκπαίδευσης (held-out) έναντι οποιωνδήποτε οφελών εντός τομέα.

Τέλος, προσθέτουμε ένα βήμα ειδικά για την όραση. Όπως και το δεύτερο στάδιο, το βήμα όρασης αντιμετωπίζεται ως ένα ακόμη βήμα λεπτομερούς εξειδίκευσης, με χρήση ενός προσαρμογέα LoRA που συγχωνεύεται ξανά στο βασικό μοντέλο με κάποιο βάρος. Ορισμένες δυνατότητες όρασης μπορεί να έρχονται εις βάρος της απόδοσης στο κείμενο. Επειδή παρατηρούμε πολύ μεγαλύτερη χρήση των μοντέλων για κείμενο, δίνουμε προτεραιότητα στις μετρικές κειμένου έναντι των μετρικών όρασης.

Και για τα δύο στάδια κειμένου, χρησιμοποιούμε τον μέσο όρο των βαρών από τρεις εκτελέσεις, καθεμία με διαφορετικό τυχαίο seed. Διαπιστώσαμε ότι αυτό βελτιώνει την απόδοση και την ανθεκτικότητα του συγκεντρωτικού μοντέλου.

Μόλις αποκτηθεί το τελικό μεγάλο μοντέλο, εφαρμόζουμε την ίδια διαδικασία εκπαίδευσης τριών σταδίων στο μικρότερο μοντέλο. Εδώ, το μεγάλο μοντέλο λειτουργεί ως δάσκαλος: η προβλεπόμενη κατανομή εξόδου του αντικαθιστά τις ετικέτες αναφοράς (gold labels) και το μικρότερο μοντέλο εκπαιδεύεται ώστε να ελαχιστοποιεί την απόκλιση KL μεταξύ των δικών του προβλέψεων και εκείνων του δασκάλου. Αυτός ο στόχος απόσταξης υπερτερεί της διασταυρούμενης εντροπίας στα ίδια δεδομένα εκπαίδευσης. Παρότι η διασταυρούμενη εντροπία αποδίδει καλύτερα σε benchmarks με ειδικά δεδομένα εκπαίδευσης, γενικεύει λιγότερο καλά σε δεδομένα εκτός εκπαίδευσης. Η υπόθεσή μας είναι ότι η απόσταξη μεταφέρει καλύτερα την κατανομή εξόδου του δασκάλου, συμπεριλαμβανομένης της βεβαιότητάς του για εναλλακτικές πέρα από τις ετικέτες αναφοράς, ενώ η διασταυρούμενη εντροπία ενθαρρύνει την υπερπροσαρμογή στην κατανομή εκπαίδευσης που είναι ειδική για κάθε benchmark. Επομένως, υιοθετούμε τον στόχο απόσταξης που βασίζεται στην απόκλιση KL.

Για να περιορίσουμε τη μόλυνση μεταξύ δεδομένων εκπαίδευσης και δοκιμής, αφαιρούμε όσα δείγματα εκπαίδευσης θα μπορούσαν να επικαλύπτονται με οποιαδήποτε αξιολόγηση χρησιμοποιούμε. Αυτό είναι σημαντικό, επειδή ορισμένα δημόσια σύνολα δεδομένων εκπαίδευσης περιέχουν μεγάλα τμήματα ορισμένων συνόλων δεδομένων αξιολόγησης. Πραγματοποιούμε επίσης εκτεταμένους ελέγχους για μεροληψίες και τις αφαιρούμε, ώστε να διασφαλίσουμε ότι τα οφέλη μας είναι αξιόπιστα και δεν οφείλονται απλώς σε μεροληψίες που αποκτήθηκαν κατά την εκπαίδευση.

Προσθήκη της δυνατότητας εξαγωγής πληροφοριών

Η λειτουργία locate εξάγει πληροφορίες, όπως ονομαστικές οντότητες, από κείμενο, χωρίς να αλλάζει τον τρόπο με τον οποίο απαντά σε συνηθισμένα αιτήματα. Για τον σκοπό αυτό, προσθέτουμε ένα επιπλέον στάδιο εκπαίδευσης: εισάγουμε στο Decider ένα νέο ειδικό token, το <|locate|>, μια κεφαλή span και έναν προσαρμογέα LoRA.

Αρχικοποιούμε την ενσωμάτωση του <|locate|> από εκείνη του <|marker|> που εκπαιδεύτηκε στα προηγούμενα στάδια. Εκπαιδεύουμε μόνο αυτή τη νέα ενσωμάτωση, την κεφαλή span και τους προσαρμογείς LoRA, ενώ τα αρχικά βάρη της βάσης και η κεφαλή αποφάσεων παραμένουν παγωμένα. Κάθε ζητούμενο πεδίο λαμβάνει το δικό του token <|locate|>.

Η κεφαλή τμημάτων (span head) χρησιμοποιεί την αναπαράσταση του <|locate|> μαζί με τις αναπαραστάσεις των tokens της κατάστασης για να βαθμολογήσει πού ξεκινούν και πού τελειώνουν τα τμήματα που ταιριάζουν, καθώς και ποια ζεύγη αρχής-τέλους ανήκουν μαζί. Χρησιμοποιεί επίσης την αναπαράσταση του token <|locate|> για να προβλέψει κατώφλια ανά πεδίο για αυτές τις βαθμολογίες. Τα επιλεγμένα τμήματα επιστρέφονται ως θέσεις χαρακτήρων στο αρχικό κείμενο.

Εκπαιδεύουμε την κεφαλή τμημάτων (span head) με μια προσαρμοσμένη συνάρτηση απώλειας InfoNCE, η οποία ωθεί κάθε σωστό τμήμα (gold span) πάνω από το κατώφλι και το κατώφλι πάνω από κάθε άλλο τμήμα. Η απώλεια έχει δύο όρους: ο πρώτος ωθεί τις βαθμολογίες των σωστών τμημάτων πάνω από το κατώφλι και από τα λανθασμένα τμήματα. Ο δεύτερος όρος ωθεί το κατώφλι πάνω από τις βαθμολογίες των λανθασμένων τμημάτων. Τα πεδία χωρίς απάντηση λαμβάνουν μόνο τον δεύτερο όρο, ο οποίος διδάσκει στο μοντέλο να επιστρέφει κενή λίστα.

Εκπαιδεύουμε σε ένα μείγμα εργασιών εξαγωγής τμημάτων κειμένου (spans), όπως αναγνώριση ονομαστικών οντοτήτων, ανίχνευση PII και εξαγωγική απάντηση ερωτήσεων. Διαφοροποιούμε τις περιγραφές των πεδίων από σύντομες ετικέτες έως λεπτομερείς οδηγίες, ώστε το μοντέλο να μαθαίνει να ακολουθεί το αίτημα αντί να απομνημονεύει ένα σταθερό σύνολο ετικετών.

Το Locate διδάσκει στο μοντέλο μια δομικά διαφορετική εργασία και θέλουμε να το προσθέσουμε χωρίς να χαθούν όσα το μοντέλο ήδη κάνει καλά. Η συγχώνευση των προσαρμογέων (adapters) locate στο βασικό μοντέλο προκαλεί κάποια υποβάθμιση στα αιτήματα αποφάσεων. Για να το περιορίσουμε, διερευνούμε προσεγγίσεις όπως περισσότερα δεδομένα επανάληψης (replay) από προηγούμενα στάδια και βοηθητικούς στόχους που διατηρούν τις εξόδους του μοντέλου στα αιτήματα αποφάσεων κοντά σε εκείνες του αρχικού μοντέλου. Ωστόσο, διαπιστώνουμε ότι προς το παρόν η συγχώνευση εξακολουθεί να μην είναι χωρίς απώλειες, γι' αυτό διατηρούμε τους προσαρμογείς μη συγχωνευμένους και τους ενεργοποιούμε μόνο για αιτήματα locate.

Αξιολόγηση

Αξιολογούμε τα Decider v1.3 και Decider Flash v1.3 σε εξωτερικά benchmarks από το Hugging Face Decision Index, το ClaimBench της Vals AI και το Artificial Analysis Decision Index.

Σε όλες αυτές τις αξιολογήσεις, τα μοντέλα μας επιδεικνύουν ισχυρή απόδοση. Παρόλο που αυτοί οι πίνακες κατάταξης περιλαμβάνουν ιδιωτικές εργασίες, εξακολουθούν να είναι δυνατό να χειραγωγηθούν μέσω επαναλαμβανόμενων υποβολών και επαναληπτικής βελτιστοποίησης με βάση την ανατροφοδότηση του πίνακα κατάταξης. Για να συμπληρώσουμε αυτούς τους πίνακες κατάταξης, αξιολογούμε τα μοντέλα σε μια εσωτερική σουίτα που συνδυάζει ιδιωτικές εργασίες παραγωγής με αξιολογήσεις σε δεδομένα εκτός εκπαίδευσης (held-out), προερχόμενες από δημόσια σύνολα δεδομένων που δεν αποτελούν benchmarks. Αυτές οι αξιολογήσεις παρέχουν έναν επιπλέον έλεγχο της γενίκευσης πέρα από τα δημόσια benchmarks, βοηθώντας μας να διακρίνουμε τις ευρύτερες βελτιώσεις από τα οφέλη που αφορούν μόνο γνωστές σουίτες αξιολόγησης.

Εσωτερικά, δημιουργήσαμε μια σουίτα με περισσότερες από 200 εργασίες που καλύπτουν διάφορους τομείς και τύπους εργασιών, όπως ταξινόμηση, βαθμολόγηση, αναδιάταξη και εξαγωγή οντοτήτων. Για να αξιολογήσουμε με ειλικρίνεια την πραγματική απόδοση του Decider, όλες οι αξιολογήσεις γίνονται zero-shot, χωρίς λεπτομερή ρύθμιση ανά εργασία, κάτι που μας δίνει σαφή ένδειξη για το πού πρέπει να βελτιωθεί το μοντέλο.

Ταξινόμηση ερωτημάτων

Στην Perplexity, χρησιμοποιούμε ένα σύστημα ταξινόμησης πολλαπλών κεφαλών για την επεξεργασία κάθε ερωτήματος χρήστη. Κάθε ερώτημα περνά πρώτα από ένα μοντέλο ενσωματώσεων (embeddings) που λειτουργεί ως εξαγωγέας χαρακτηριστικών. Η ενσωμάτωση που προκύπτει τροφοδοτείται στη συνέχεια σε πολλαπλές ξεχωριστές κεφαλές ταξινόμησης, οι οποίες περιλαμβάνουν τόσο δυαδικούς ταξινομητές όσο και ταξινομητές πολλαπλών ετικετών. Για παράδειγμα, μία κεφαλή καθορίζει αν ένα ερώτημα χρήστη πρέπει να ενεργοποιήσει αναζήτηση στον ιστό.

Σε 63 εργασίες ταξινόμησης με αναφορές που επισημάνθηκαν εκ νέου ανεξάρτητα από ένα κορυφαίο LLM, το Decider v1.3 επιτυγχάνει μέση ακρίβεια 91,6%, ξεπερνώντας τους ταξινομητές παραγωγής μας κατά 6,54 ποσοστιαίες μονάδες. Το Decider Flash v1.3 ξεπερνά επίσης το μοντέλο αναφοράς της παραγωγής, ενώ το Decider v1.3 ξεπερνά το Jev 1.14.

Ταξινόμηση ανά τομέα

Συγκεντρώσαμε μια σουίτα αξιολόγησης ανά τομέα από δημόσια σύνολα δεδομένων, για να αξιολογήσουμε την απόδοση ταξινόμησης των μοντέλων αποφάσεων σε επτά τομείς: επαλήθευση ισχυρισμών (6 εργασίες), υγειονομική περίθαλψη (7), κυβερνοασφάλεια (8), προγραμματισμός (16), δημόσια διοίκηση (7), νομικά (9) και χρηματοοικονομικά (9).

Για παράδειγμα, «κρίνε τη χρονική πολυπλοκότητα ενός προγράμματος Python» ή «χρησιμοποίησε μια ετήσια οικονομική έκθεση για να προσδιορίσεις αν τα ελεύθερα ταμειακά διαθέσιμα μιας εταιρείας καλύπτουν το κεφάλαιο χρέους που λήγει μέσα στους επόμενους δώδεκα μήνες». Το Decider v1.3 προηγείται και στους επτά τομείς, ξεπερνώντας το Jev 1.14 έως και κατά 12,9 ποσοστιαίες μονάδες στα χρηματοοικονομικά και κατά 9,3 μονάδες στα νομικά. Το Decider Flash v1.3 υστερεί έναντι του Jev 1.14 στα χρηματοοικονομικά, στον προγραμματισμό και στα νομικά, ενώ έχει παρόμοια απόδοση στους υπόλοιπους τομείς.

Ανάκτηση και αναδιάταξη

Η αναζήτηση βρίσκεται στον πυρήνα της Perplexity. Διατηρούμε μια ευρεία σουίτα εργασιών ανάκτησης για να αξιολογούμε την απόδοση αναδιάταξης των μοντέλων μας. Για κάθε εργασία, χρησιμοποιούμε πρώτα ένα σύνολο μοντέλων ενσωματώσεων για να ανακτήσουμε τα 50 κορυφαία υποψήφια έγγραφα από κάθε σώμα κειμένων. Στη συνέχεια, αναδιατάσσουμε αυτά τα υποψήφια έγγραφα με το Decider και συγκρίνουμε την απόδοσή του με ένα ισχυρό μοντέλο αναφοράς για αναδιάταξη, το Qwen3-Reranker-8B.

Αξιολογούμε το Decider σε ρύθμιση zero-shot και ανά σημείο (pointwise), χρησιμοποιώντας το μοντέλο για να βαθμολογεί απευθείας και ανεξάρτητα κάθε ζεύγος ερωτήματος–εγγράφου και να κατατάσσει τα έγγραφα με βάση τη συνάφεια. Σε 72 εργασίες ανάκτησης, το Decider v1.3 επιτυγχάνει μέσο nDCG@10 ίσο με 83,99, ξεπερνώντας το Qwen3-Reranker-8B κατά 1,81 μονάδες και το Jev 1.14 κατά 2,24 μονάδες.

Στο benchmark BEIR, και τα δύο μοντέλα ξεπερνούν το Qwen3-Reranker-8B κατά 8,78 και 7,05 μονάδες nDCG@10 αντίστοιχα. Σε σύγκριση με το Jev 1.14, το Decider v1.3 σημειώνει 1,33 μονάδες περισσότερο, ενώ η έκδοση Flash σημειώνει 0,4 λιγότερο.

Πολυγλωσσική ταξινόμηση

Για να αξιολογήσουμε τα μοντέλα αποφάσεων πέρα από τα αγγλικά, συγκεντρώσαμε ένα πολυγλωσσικό benchmark ταξινόμησης που περιλαμβάνει 19 εργασίες ανά γλώσσα από 8 δημόσια σύνολα δεδομένων, με 46.484 παραδείγματα σε οκτώ γλώσσες: γερμανικά, ισπανικά, γαλλικά, ιταλικά, ρωσικά, ιαπωνικά, κορεατικά και κινεζικά. Το benchmark καλύπτει ανίχνευση πρόθεσης, ταξινόμηση θεμάτων, ανάλυση συναισθήματος, εξαγωγή συμπερασμάτων σε φυσική γλώσσα, ανίχνευση παράφρασης, ανίχνευση προσβλητικού λόγου και γραμματική αποδεκτότητα.

Αναφέρουμε τη μέση ακρίβεια στις εργασίες κάθε γλώσσας, δίνοντας ίση βαρύτητα σε κάθε εργασία. Το Decider v1.3 ξεπερνά το Jev 1.14 και στις οκτώ γλώσσες και το Decider Flash v1.3 σε έξι, με μέση ακρίβεια ανά εργασία 88,16% για το Decider v1.3 και 86,50% για το Decider Flash v1.3, έναντι 85,41% για το Jev 1.14.

NER, PII και εξαγωγικές ερωτήσεις-απαντήσεις

Αξιολογούμε τη λειτουργία locate σε 17 εργασίες εκτός τομέα, οι οποίες δοκιμάζουν την ικανότητα εξαγωγής της σε διάφορους τομείς, μορφές εισόδου (κείμενο, πίνακες, δομημένα έγγραφα) και οδηγίες (σύντομες ετικέτες, ερωτήσεις και λεπτομερείς περιγραφές). Οι τομείς εκτείνονται από τη Wikipedia έως επιστημονικές δημοσιεύσεις, αναφορές κυβερνοαπειλών, τεχνική υποστήριξη, πολιτικές απορρήτου, βιογραφικά σημειώματα και νομικές συμβάσεις. Τα αιτήματα ποικίλλουν από σύντομα ονόματα ετικετών, όπως «πρόσωπο» ή «διεύθυνση email», και ερωτήσεις σχετικά με έναν πίνακα ή ένα αίτημα υποστήριξης, έως λεπτομερείς περιγραφές πεδίων για δομημένη εξαγωγή, όπως τα συμβαλλόμενα μέρη μιας συμφωνίας εμπιστευτικότητας (NDA) ή το σύνολο ενός τιμολογίου.

Αξιολογούμε την αναγνώριση ονομαστικών οντοτήτων (NER) και τον εντοπισμό PII με το F1 ακριβούς τμήματος (exact-span F1), το οποίο απαιτεί τα προβλεπόμενα τμήματα να ταιριάζουν ακριβώς με τα όρια αναφοράς. Η εξαγωγική απάντηση ερωτήσεων (extractive QA) χρησιμοποιεί F1 σε επίπεδο χαρακτήρων, αποδίδοντας μερική βαθμολογία για επικαλυπτόμενο κείμενο απάντησης, ενώ η δομημένη εξαγωγή χρησιμοποιεί την ακρίβεια πεδίων, δηλαδή το ποσοστό των πεδίων που εξάγονται σωστά. Για την ανάλυση βιογραφικών (CV parsing), υπολογίζουμε τον μέσο όρο των βαθμολογιών F1 ακριβούς τμήματος για NER και PII.

Συγκρίνουμε τα μοντέλα μας με μοντέλα εξαγωγής γενικής χρήσης διαφόρων μεγεθών: GLiNER large v2.5 (0,5B), Liquid d1 (2B) και Clairic της Cloudflare (μη γνωστοποιημένο μέγεθος). Το Decider v1.3 φτάνει μέση βαθμολογία 69,0 (με βάση την κύρια μετρική κάθε εργασίας) και το Decider Flash v1.3 φτάνει το 63,6, έναντι 43,3 για το Liquid d1, 41,5 για το Clairic και 33,6 για το GLiNER large v2.5. Και τα δύο μοντέλα Decider προηγούνται σε κάθε κατηγορία.

Ταξινόμηση εικόνων

Το Decider υποστηρίζει εγγενώς εργασίες όρασης ήδη από την έκδοση v1. Για να αξιολογήσουμε την απόδοσή του πέρα από το κείμενο, συγκεντρώσαμε μια σουίτα benchmark πέντε εργασιών με ιδιαίτερη έμφαση στην ταξινόμηση εγγράφων, όπως τιμολόγια, επιστολές και βιογραφικά σημειώματα. Η σουίτα καλύπτει επίσης ταξινόμηση δορυφορικών εικόνων, ταξινόμηση υφών, ταξινόμηση φυλών κατοικίδιων ζώων και καταμέτρηση ζώων.

Το Decider v1.3 επιτυγχάνει μέση ακρίβεια 76,99% στις πέντε οπτικές εργασίες, ξεπερνώντας το Jev 1.14 κατά 1,47 ποσοστιαίες μονάδες. Το Decider Flash v1.3 επιτυγχάνει 72,77%, αποδεικνύοντας δυνατότητες οπτικής ταξινόμησης σε ένα μικρότερο μοντέλο.

Πραγματικά αιτήματα αποφάσεων

Πήραμε δείγμα ενός εκατομμυρίου αιτημάτων, χωρίς διπλότυπα και με απόκρυψη των PII, που υποβλήθηκαν στο Perplexity Decision API κατά τις πρώτες 18 ημέρες διαθεσιμότητάς του. Επειδή κάθε αίτημα μπορεί να περιέχει πολλαπλές ερωτήσεις για την ίδια κατάσταση, το δείγμα περιλαμβάνει 2.318.887 μεμονωμένες ερωτήσεις. Όλα τα αιτήματα συμπεριλήφθηκαν με ρητή άδεια των χρηστών για ερευνητικούς σκοπούς.

Τα αιτήματα παραγωγής δεν συνοδεύονται από ετικέτες πραγματικής αλήθειας (ground truth), γι’ αυτό χρησιμοποιούμε κορυφαία LLM ως κριτές για να δημιουργήσουμε απαντήσεις αναφοράς και μετράμε τον βαθμό συμφωνίας κάθε μοντέλου με αυτές. Επίσης, ομαδοποιούμε τα αιτήματα σε 10 κατηγορίες εργασιών, μεταξύ των οποίων η εξαγωγή πληροφοριών, η ταξινόμηση τομέα, η ανάλυση συναισθήματος, η πρόθεση και δρομολόγηση, η κατάταξη συνάφειας, ο έλεγχος περιεχομένου, ο έλεγχος ποιότητας και συμμόρφωσης, η αντιστοίχιση οντοτήτων, η επιχειρηματική ανάλυση και μια κατηγορία «Άλλο». Αυτή η ανάλυση δείχνει πώς διαφοροποιείται η απόδοση στις διάφορες πραγματικές περιπτώσεις χρήσης.

Η κατανομή των εργασιών είναι άνιση: η εξαγωγή πληροφοριών αντιστοιχεί σε 425.402 ερωτήσεις, η ταξινόμηση τομέα σε 409.564 και η ανάλυση συναισθήματος σε 344.158. Συνολικά, αυτές οι τρεις κατηγορίες αποτελούν το 50,8% των ερωτήσεων του δείγματος.

Το Decider v1.3 επιτυγχάνει την υψηλότερη συμφωνία με τους κριτές, με 93,98%, έναντι 93,68% για το Decider v1.2 και 93,35% για το Jev 1.14. Τα Decider v1.3 και Jev 1.14 είναι σχεδόν ισάξια στην ταξινόμηση τομέα και στην ανάλυση συναισθήματος, με διαφορές 0,34 και 0,07 ποσοστιαίων μονάδων αντίστοιχα. Το Jev προηγείται κατά 0,69 μονάδες στην κατάταξη συνάφειας, ενώ το Decider v1.3 προηγείται κατά 0,93 μονάδες στην εξαγωγή πληροφοριών (την πιο συχνή εργασία στο δείγμα) και κατά 1,21 μονάδες στην πρόθεση και δρομολόγηση.

Το παρακάτω γράφημα συγκρίνει το αναφερόμενο κόστος εκτέλεσης του ίδιου ενός εκατομμυρίου αιτημάτων παραγωγής. Κάθε αίτημα μπορεί να περιέχει πολλαπλές ερωτήσεις, επομένως η μονάδα μέτρησης εδώ είναι τα αιτήματα και όχι οι μεμονωμένες ερωτήσεις.

Το Decider εκτελέστηκε τοπικά· τα GLM και DeepSeek χρησιμοποίησαν το llm-api· το Jev χρησιμοποίησε το OpenRouter. Τα αναφερόμενα κόστη αφορούν τον συγκεκριμένο φόρτο εργασίας, χωρίς προσδιορισμένο τρόπο υπολογισμού του κόστους του τοπικού υλικού και χωρίς σύγκριση καθυστέρησης υπό ίδιες συνθήκες.

Ανθεκτικότητα

Αξιολογήσαμε την ευαισθησία στις ετικέτες σε 372 ερωτήσεις πολλαπλής επιλογής, υποβάλλοντας 4.788 αιτήματα ανά μοντέλο. Αλλάξαμε τη σειρά των επιλογών, αντιστοιχίσαμε εκ νέου τις ετικέτες στα κείμενα των απαντήσεων και μετονομάσαμε τις ετικέτες, διατηρώντας το νόημα κάθε ερώτησης, και στη συνέχεια ελέγξαμε αν άλλαξε η σημασιολογική απάντηση του μοντέλου. Χαμηλότερα ποσοστά αλλαγής υποδηλώνουν μεγαλύτερη σταθερότητα.

Το Decider v1.3 άλλαξε την απάντησή του μόλις στο 0,27% των ερωτήσεων υπό κάθε μετασχηματισμό, έναντι 2,69–4,84% για το Jev 1.14. Επαναλάβαμε επίσης πανομοιότυπες εισόδους για να μετρήσουμε τη μεταβλητότητα κατά την εξυπηρέτηση: το Decider v1.3 δεν παρουσίασε καμία αλλαγή, ενώ το Jev 1.14 άλλαξε απάντηση στο 1,88% των ερωτήσεων.

Πώς χρησιμοποιούμε το Decider

Το Decider έχει σχεδιαστεί για ροές εργασίας που απαιτούν γρήγορες και δομημένες αποφάσεις. Σε αυτή την ενότητα εξετάζουμε πώς μπορούμε να το αξιοποιήσουμε ώστε να έχει ουσιαστικό αντίκτυπο στον τρόπο που εργαζόμαστε. Ακολουθούν ορισμένες χρήσεις που ξεχώρισαν.

Αυτοβελτιούμενοι κανόνες ασφαλείας

Εσωτερικά, χρησιμοποιούμε ήδη το Decider για να βελτιώσουμε τις πολιτικές ασφαλείας μας.

Η δραστηριότητα των πρακτόρων μας καταγράφεται και εκτελείται μια σειρά ελέγχων βάσει κανόνων για τον εντοπισμό τυχόν προβληματικής συμπεριφοράς. Η προσέγγιση βάσει κανόνων μάς επιτρέπει να παρακολουθούμε τους πράκτορές μας σε πραγματικό χρόνο με αμελητέα πρόσθετη καθυστέρηση. Εκτός σύνδεσης, χρησιμοποιούμε το Decider για να εξετάζουμε δείγματα από αυτά τα καταγεγραμμένα αρχεία καταγραφής των πρακτόρων. Αν δεν έχει επισημανθεί καμία προβληματική συμπεριφορά, το Decider ελέγχει αν υπάρχει κάτι που ξέφυγε από το σύνολο κανόνων μας· αν έχει σημάνει συναγερμός, το Decider ελέγχει αν επρόκειτο για ψευδή συναγερμό. Όσες εγγραφές δείχνουν ότι το σύνολο κανόνων μας αποτυγχάνει σε οποιαδήποτε από τις δύο περιπτώσεις αποστέλλονται σε έναν πράκτορα για διαλογή, και προτείνεται μια διόρθωση των κανόνων, η οποία πρέπει να εγκριθεί από ένα μέλος της ομάδας ασφαλείας μας.

Μέσα σε μία ημέρα, το Decider διάβασε 1 δισεκατομμύριο tokens σε 7.000 συνεδρίες πρακτόρων και εντόπισε αδυναμίες που οδήγησαν σε 14 διορθώσεις κανόνων, 6 από τις οποίες εγκρίθηκαν και τέθηκαν σε εφαρμογή μέσα σε δύο ημέρες. Σε αναπαραγωγή με αρχεία καταγραφής μίας εβδομάδας, οι διορθώσεις μείωσαν τον όγκο του πιο πολυάσχολου κανόνα μας κατά 52%, ενώ οι διευρυμένοι κανόνες εντόπισαν περίπου 40% περισσότερες νόμιμες ενέργειες προς διερεύνηση.

Παρακολούθηση rollouts ενισχυτικής μάθησης

Όταν εκπαιδεύουμε περαιτέρω μοντέλα με ενισχυτική μάθηση (post-training), οι συγκεντρωτικές μετρήσεις, όπως μια τελική ανταμοιβή, δεν εξηγούν γιατί ένα rollout (μια μεμονωμένη απόπειρα εκτέλεσης μιας εργασίας) πέτυχε ή απέτυχε. Ένα rollout μπορεί να χάσει ανταμοιβή άδικα επειδή απέτυχε μια υπηρεσία εργαλείου ή το sandbox, ή να λάβει ανταμοιβή που δεν του αξίζει, αν ο αξιολογητής παραβλέψει έναν αστήρικτο ισχυρισμό, όπως μια επινοημένη τιμή που δεν επέστρεψε κανένα εργαλείο.

Χρησιμοποιούμε το Decider για να παρακολουθούμε τα rollouts σε αυτές τις περιπτώσεις. Αρχικά, κώδικας εντοπίζει τα τμήματα ενός rollout που χρήζουν προσεκτικότερης εξέτασης: μια αποτυχημένη κλήση εργαλείου και τη συλλογιστική γύρω από αυτήν, κώδικα που εκτελέστηκε χωρίς σφάλματα ή την τελική απάντηση. Στη συνέχεια, το Decider απαντά σε ερωτήσεις πολλαπλής επιλογής για κάθε τμήμα, όπως τι απέτυχε σε ένα βήμα (μια υπηρεσία εργαλείου, ένας εξωτερικός ιστότοπος, το sandbox, το harness ή ο ίδιος ο κώδικας του πράκτορα) και αν ο πράκτορας ερμήνευσε σωστά το αποτέλεσμα. Ομαδοποιούμε όλες τις ερωτήσεις για ένα συγκεκριμένο τμήμα σε ένα μόνο αίτημα και αποθηκεύουμε τις πιθανότητες αντί για μια ετυμηγορία, ώστε να μπορούμε να προσαρμόσουμε τα κατώφλια αργότερα χωρίς να υποβάλουμε ξανά ερωτήματα στο Decider. Η παρακολούθηση μόνο παρατηρεί και διαγιγνώσκει: δεν αλλάζει ποτέ μια ανταμοιβή ούτε διακόπτει μια εκτέλεση.

Φιλτράρισμα ποιότητας σελίδων

Κατά την ανίχνευση ιστοσελίδων για ευρετηρίαση και προβολή στους χρήστες, πολλές σελίδες είναι πολύ χαμηλής ποιότητας για να έχουν οποιαδήποτε χρησιμότητα. Σε αυτές περιλαμβάνονται τείχη προστασίας από bot, CAPTCHA και σελίδες σφάλματος, καθώς και ιστοσελίδες που φορτώνουν σωστά αλλά απλώς δεν περιέχουν καμία χρήσιμη πληροφορία, όπως spam, περιεχόμενο-γέμισμα για SEO ή σελίδες που περιέχουν μόνο πλοήγηση. Αυτές οι σελίδες χαμηλής ποιότητας πρέπει να εντοπίζονται και να αφαιρούνται από το ευρετήριό μας.

Με το Decider, μπορούμε να κρίνουμε την ποιότητα των σελίδων καθώς τις ανιχνεύουμε. Στο ίδιο εμπρόσθιο πέρασμα (forward pass), εκτελούμε μια σειρά από άλλες εργασίες ταξινόμησης, όπως τον προσδιορισμό του τομέα και του κοινού-στόχου του περιεχομένου, καθώς και το αν περιέχει επιβλαβείς, παράνομες ή προσωπικά ταυτοποιήσιμες πληροφορίες. Σε σύγκριση με τη χρήση ενός LLM ως κριτή, το Decider είναι σημαντικά ταχύτερο και φθηνότερο.

Ενδεικτικό αίτημα ποιότητας σελίδας: Οι χρήσιμες πληροφορίες, το κοινό στο οποίο απευθύνεται, το επιβλαβές ή παράνομο περιεχόμενο και οι πληροφορίες προσωπικής ταυτοποίησης αξιολογούνται από την ίδια σελίδα.

Πέρα από αυτές τις εσωτερικές χρήσεις, το Decider ταιριάζει επίσης σε ροές εργασίας όπως οι παρακάτω.

Οπτικές ερωτήσεις-απαντήσεις

Επειδή το Decider διαβάζει εικόνες, λειτουργεί επίσης ως οπτικός ελεγκτής, εξετάζοντας αλλαγές στο στυλ ιστοσελίδων ή εφαρμογών και εντοπίζοντας σφάλματα. Μπορεί να ελέγχει στιγμιότυπα οθόνης σελίδων για κομμένο κείμενο, επικαλυπτόμενα στοιχεία και χαλασμένες διατάξεις πριν από τη διάθεση μιας αλλαγής, ή να επισημαίνει γραφήματα των οποίων ο σχεδιασμός θα μπορούσε να παραπλανήσει τον αναγνώστη ή να παραβιάσει έναν οδηγό εταιρικής ταυτότητας.

Πλοήγηση στο πρόγραμμα περιήγησης

Οι πράκτορες μπορούν να χρησιμοποιούν το Decider για τις μικρές αποφάσεις μέσα σε μεγαλύτερες εργασίες. Ένας πράκτορας προγράμματος περιήγησης μπορεί να στέλνει ένα στιγμιότυπο οθόνης σε κάθε βήμα και να λαμβάνει λεπτομερείς πληροφορίες για την κατάσταση της σελίδας και το αναμενόμενο αποτέλεσμα κάθε πιθανής ενέργειας.

Σχεδιασμός ερευνητικών εργασιών

Οι ερωτήσεις των χρηστών μπορεί να διαφέρουν σημαντικά ως προς την πολυπλοκότητά τους, όπως και το βάθος της αναζήτησης που απαιτείται για να βρεθεί μια απάντηση. Το Decider μπορεί να το εκτιμήσει αυτό πριν ξεκινήσει η αναζήτηση, ώστε να δαπανώνται λιγότεροι πόροι σε απλές ερωτήσεις.

Πώς να ξεκινήσετε

Το Decider επιστρέφει πιθανότητες. Το κατάλληλο κατώφλι απόφασης εξαρτάται από την εφαρμογή. Οι συχνότητες των ετικετών και το σχετικό κόστος των ψευδώς θετικών και ψευδώς αρνητικών αποτελεσμάτων διαφέρουν ανάλογα με την περίπτωση χρήσης. Γι’ αυτό, συνιστούμε στους χρήστες να ρυθμίζουν τα κατώφλια σε ένα μικρό, αντιπροσωπευτικό σύνολο ανάπτυξης με ετικέτες, αντί να υποθέτουν ότι ένα σταθερό όριο θα λειτουργεί εξίσου καλά σε όλες τις εργασίες.

Συνιστούμε το Decider v1.3 για κρίσεις με λεπτές αποχρώσεις, λεπτομερή κριτήρια αξιολόγησης και ροές εργασίας όπου τα σφάλματα κοστίζουν ακριβά. Επιλέξτε το Decider Flash v1.3 για δρομολόγηση, επισήμανση και φιλτράρισμα μεγάλου όγκου, όπου η καθυστέρηση και το κόστος είναι οι κύριοι περιορισμοί. Αξιολογήστε και τα δύο μοντέλα σε αντιπροσωπευτικά παραδείγματα από τον φόρτο εργασίας σας και, στη συνέχεια, επιλέξτε το μοντέλο που καλύπτει τις απαιτήσεις σας ως προς την ποιότητα, την καθυστέρηση και τον προϋπολογισμό.

Και τα δύο μοντέλα διατίθενται ως βάρη για λήψη στο Hugging Face με άδεια Apache, μέσω του OpenRouter και μέσω του Perplexity Decisions API.

Παραπομπή

BibTeX
@online{perplexity2026PerplexityDecider,
  author = {{Perplexity} and Antoine Chaffin and Jonas Golde and Louis Milliken and Sarah Eslami and Markus Krimmel and Nandor Licker and Aleksandr Nikolenko and Ron Heichman and Bo Wang and Jarrod Bryan and Jeremy Yang and Denis Yarats},
  title = {{Perplexity Decider}},
  date = {2026-11-12},
  url = {https://www.perplexity.ai/hub/blog/perplexity-decider}
}