Search API: Καλύτερη εξαγωγή, δυναμικά benchmarks

Τον Σεπτέμβριο, δημοσιεύσαμε μια τεχνική επισκόπηση της αρχιτεκτονικής του Perplexity Search API και κυκλοφορήσαμε το search_evals, το πλαίσιο αξιολόγησης ανοιχτού κώδικα για τη μέτρηση απόδοσης API αναζήτησης σε ροή εργασίας τύπου agent. Έκτοτε, η πιο σημαντική επένδυση αφορά την ποιότητα των αποσπασμάτων, η οποία βελτιστοποιήθηκε ως προς δύο διαστάσεις: τη συνάφεια και το μέγεθος. Η επιστροφή του σωστού περιεχομένου στην κατάλληλη ποσότητα καθορίζει άμεσα την ακρίβεια απάντησης και την αποδοτικότητα των tokens στα επόμενα στάδια. Η εργασία για να επιτευχθεί αυτό περιελάμβανε τη δημιουργία νέων συστημάτων εξαγωγής, επισήμανσης σε επίπεδο τμήματος (span) και αξιολόγησης, πιο αξιοσημείωτα μιας ροής εργασίας επισήμανσης τμημάτων που εντοπίζει ποια τμήματα ενός εγγράφου πηγής ανταποκρίνονται σε ένα δεδομένο ερώτημα.

Αξιολόγηση αποσπασμάτων σε επίπεδο τμήματος (span)

Για να βελτιώσουμε συστηματικά τα αποσπάσματα, σχεδιάσαμε ένα νέο σύστημα αξιολόγησης. Για ένα δεδομένο ερώτημα και έγγραφο, το σύστημα εντοπίζει και επισημάνει τμήματα εντός του εγγράφου βάσει της σχέσης τους με το ερώτημα: «ζωτικά» τμήματα που πρέπει να συμπεριληφθούν στο απόσπασμα, διάφορες κατηγορίες «ασχετών» τμημάτων που πρέπει να εξαιρεθούν, διπλότυπα και άλλες κατηγορίες. Αυτή η επισήμανση σε επίπεδο τμήματος μας επιτρέπει να αξιολογούμε την ποιότητα των αποσπασμάτων με επίπεδο ακρίβειας που δεν ήταν προηγουμένως εφικτό, μετρώντας τόσο αυτό που συμπεριλήφθηκε σωστά όσο και αυτό που παραλείφθηκε σωστά.

Στην πράξη, αυτές οι βελτιώσεις μάς επιτρέπουν να παράγουμε μικρότερα αποσπάσματα που είναι πιο συναφή με το ερώτημα. Η αυτοβελτιούμενη ροή εργασίας κατανόησης περιεχομένου μας διαχειρίζεται πλέον ένα ευρύτερο φάσμα μορφών δομημένων δεδομένων, συμπεριλαμβανομένων πινάκων, ένθετων λιστών και δυναμικά αποδιδόμενου περιεχομένου που οι προηγούμενες ομάδες κανόνων δεν μπορούσαν να αναλύσουν αξιόπιστα.

Αυτές οι βελτιώσεις προέκυψαν από τα δικά μας συστήματα παραγωγής. Καθώς η εσωτερική μας έρευνα προήγαγε τη συνάφεια και το μέγεθος των αποσπασμάτων, οι εσωτερικές αξιολογήσεις αποκάλυψαν ότι τα μικρότερα όρια περιεχομένου παρήγαγαν στην πραγματικότητα πιο ακριβή αποτελέσματα μετά από μια σειρά βελτιώσεων ποιότητας. Προβάλλαμε ορισμένες τροποποιήσεις στις προεπιλεγμένες διαμορφώσεις μας ώστε να αντικατοπτρίζουν τα ευρήματά μας, μειώνοντας το μέγεθος του ωφέλιμου φορτίου απόκρισης και την καθυστέρηση, ενώ προσφέρουμε πιο χρήσιμο περιεχόμενο ανά αποτέλεσμα. Για τους προγραμματιστές, τα μικρότερα και πιο συναφή αποσπάσματα μεταφράζονται άμεσα σε χαμηλότερο κόστος tokens και καλύτερη διαχείριση πλαισίου (context) για τα επόμενα LLMs.

SEAL: συγκριτική αξιολόγηση ανάκτησης ευαίσθητης στον χρόνο

Το κριτήριο αξιολόγησης SEAL εξετάζει κατά πόσον ένα σύστημα ανάκτησης μπορεί να απαντήσει σε ερωτήσεις των οποίων η σωστή απάντηση αλλάζει με την πάροδο του χρόνου. Η αξιόπιστη απάντηση απαιτεί φρεσκάδα ευρετηρίου σε πραγματικό χρόνο, εξυπνότερη εξαγωγή αποσπασμάτων από διάφορες συνεχώς ενημερωνόμενες πηγές δεδομένων και ανάλυση που μπορεί να εντοπίσει την τρέχουσα τιμή αντί για μια ιστορική.

Όταν εκτελέσαμε το search_evals έναντι της έκδοσης SEAL της 22ας Φεβρουαρίου χρησιμοποιώντας το Claude Sonnet 4.5, οι βαθμολογίες του Perplexity αυξήθηκαν ενώ άλλοι πάροχοι υποχώρησαν στο SEAL-Hard:

Μεγέθυνση

Έχουμε επεκτείνει το πλαίσιο search_evals για να συμπεριλάβει το SEAL μαζί με τα κριτήρια αξιολόγησης που αναφέρθηκαν στην ανάρτησή μας τον Σεπτέμβριο. Τα ενημερωμένα αποτελέσματα και η μεθοδολογία είναι διαθέσιμα στο ενημερωμένο αποθετήριο στο GitHub.

Υποστήριξη πολλαπλών ερωτημάτων

Το API υποστηρίζει πλέον έως και 5 ερωτήματα σε ένα μόνο αίτημα. Τα αποτελέσματα επιστρέφονται ομαδοποιημένα ανά ερώτημα με την ίδια σειρά που υποβλήθηκαν. Αυτό μειώνει τα αιτήματα-απαντήσεις (round trips) για εφαρμογές που πρέπει να εκτελούν σχετικές αναζητήσεις παράλληλα, όπως agents που αναλύουν ένα σύνθετο ερώτημα σε πολλαπλές υποεργασίες ανάκτησης.

Επεκτεταμένο φιλτράρισμα

Εκτός από το φιλτράρισμα τομέων (λίστα επιτρεπόμενων και λίστα αποκλεισμένων, έως 20 τομείς) και το φιλτράρισμα επικαιρότητας, το API υποστηρίζει πλέον φιλτράρισμα γλωσσών με κωδικό ISO 639-1 και περιφερειακή αναζήτηση με κωδικό χώρας ISO. Αυτά μπορούν να συνδυαστούν για τον ακριβή καθορισμό των αποτελεσμάτων, για παράδειγμα τον περιορισμό σε αποτελέσματα αγγλικής γλώσσας από γερμανικούς τομείς.

SDK και διαθεσιμότητα

Το Python SDK (pip install perplexityai) παρέχει πλέον εγγενή υποστήριξη για το Search API μαζί με το Agent API και το Sonar API.

Η πλήρης τεκμηρίωση βρίσκεται στη διεύθυνση docs.perplexity.ai