Αξιολόγηση της απόδοσης της Εις βάθος έρευνας στην πράξη με το benchmark DRACO

Σήμερα, δημοσιεύουμε το Benchmark Ακρίβειας, Πληρότητας και Αντικειμενικότητας για Εις βάθος έρευνα (DRACO), ένα ανοιχτό benchmark για την αξιολόγηση πρακτόρων εις βάθος έρευνας με βάση τον τρόπο με τον οποίο οι χρήστες χρησιμοποιούν στην πραγματικότητα την τεχνητή νοημοσύνη για σύνθετες ερευνητικές εργασίες. Με τη διάθεση του DRACO ως ανοιχτού κώδικα, στοχεύουμε να βοηθήσουμε την ευρύτερη κοινότητα της τεχνητής νοημοσύνης να δημιουργήσει ερευνητικά εργαλεία που εξυπηρετούν καλύτερα τις πραγματικές ανάγκες των χρηστών.

Το DRACO αναδεικνύει το χάσμα μεταξύ της επίλυσης συνθετικών εργασιών και της εξυπηρέτησης αυθεντικών ερευνητικών αναγκών. Το σύστημα αξιολόγησης είναι ανεξάρτητο από μοντέλα: καθώς θα εμφανίζονται ισχυρότερα LLMs με δυνατότητες δράσης, θα επαναλαμβάνουμε τις αξιολογήσεις και θα δημοσιεύουμε ενημερωμένα αποτελέσματα. Και καθώς θα ενσωματώνουμε βελτιώσεις στην Εις βάθος έρευνα στο Perplexity.ai, οι χρήστες θα βλέπουν αυτά τα οφέλη να αντανακλούνται τόσο στην απόδοση του προϊόντος όσο και στις βαθμολογίες του benchmark.

Κορυφαία Εις βάθος έρευνα

Η Εις βάθος έρευνα του Perplexity επιτυγχάνει κορυφαίες επιδόσεις σε κορυφαία εξωτερικά benchmarks, συμπεριλαμβανομένων των DeepSearchQA του Google DeepMind και ResearchRubrics της Scale AI.

Μεγέθυνση

Μεγέθυνση

Αυτά τα αποτελέσματα προκύπτουν από τον συνδυασμό των καλύτερων διαθέσιμων μοντέλων με τις ειδικά σχεδιασμένες δυνατότητες δράσης του Perplexity: ιδιόκτητα εργαλεία αναζήτησης, υποδομή προγράμματος περιήγησης και εκτέλεση κώδικα. Μαζί, αυτά σχηματίζουν ένα σύστημα βελτιστοποιημένο από άκρη σε άκρη για την ανάκτηση, τη σύνθεση και τον συλλογισμό πληροφοριών από τον πραγματικό κόσμο.

Κατά τη διαδικασία ανάπτυξης αυτού του προϊόντος, συνειδητοποιήσαμε ότι τα εξωτερικά benchmarks, παρόλο που είναι χρήσιμα για τη σύγκριση μοντέλων, συχνά δεν αποτυπώνουν τα πολυδιάστατα ερωτήματα και τις απαιτήσεις σύνθεσης που θέτουν οι πραγματικοί χρήστες καθημερινά. Σήμερα, διαθέτουμε σε ανοιχτό κώδικα το Benchmark DRACO, ένα benchmark βασισμένο στον τρόπο με τον οποίο οι άνθρωποι χρησιμοποιούν πραγματικά την εις βάθος έρευνα, με κίνητρο εκατομμύρια εργασίες παραγωγής σε δέκα τομείς.

Μεγέθυνση

Γιατί έχει σημασία η αξιολόγηση βάσει της παραγωγής

Τα υπάρχοντα benchmarks συχνά δοκιμάζουν στενές δεξιότητες μεμονωμένα: την ανάκτηση ενός μόνο γεγονότος, την απάντηση σε μια ερώτηση γνώσεων ή την επίλυση ενός καλά καθορισμένου προβλήματος. Όμως τα πραγματικά ερευνητικά ερωτήματα απαιτούν σύνθεση από διάφορες πηγές, διαφοροποιημένη ανάλυση και καθοδήγηση με δυνατότητα δράσης, διατηρώντας παράλληλα την ακρίβεια των γεγονότων και την κατάλληλη παράθεση πηγών.

Το Benchmark DRACO περιλαμβάνει 100 προσεκτικά επιλεγμένες εργασίες που καλύπτουν τους τομείς Ακαδημαϊκά, Χρηματοοικονομικά, Νομικά, Ιατρική, Τεχνολογία, Γενικές Γνώσεις, Σχεδιασμός UX, Ε εξατομικευμένος βοηθός, Σύγκριση αγορών/προϊόντων και "Βελόνα στα άχυρα", καθεμία από τις οποίες συνδυάζεται με κριτήρια αξιολόγησης που έχουν κατασκευαστεί από ειδικούς και ανέρχονται κατά μέσο όρο σε ~40 κριτήρια αξιολόγησης.

Αυτές οι εργασίες προέρχονται από πραγματικά αιτήματα χρηστών στο Perplexity Deep Research, δείγματα από εκατομμύρια αιτήματα παραγωγής και στη συνέχεια αναδιαμορφώθηκαν συστηματικά, εμπλουτίστηκαν και φιλτραρίστηκαν μέσω μιας διαδικασίας πέντε σταδίων: αφαιρούμε πληροφορίες προσωπικής ταυτοποίησης, προσθέτουμε πλαίσιο και πεδίο εφαρμογής, φιλτράρουμε για αντικειμενικότητα και δυσκολία, και διεξάγουμε τελική αναθεώρηση από ειδικούς του τομέα. Το αποτέλεσμα είναι ένα benchmark που αντανακλά τις αυθεντικές ανάγκες των χρηστών και όχι συνθετικές ασκήσεις ή εργασίες επιλεγμένες από ειδικούς.

Πώς λειτουργεί το Benchmark DRACO

Μεγέθυνση

Κάθε εργασία στο benchmark πέρασε από μια αυστηρή διαδικασία ανάπτυξης κριτηρίων. Το Perplexity συνεργάστηκε με έναν συνεργάτη παραγωγής δεδομένων, την The LLM Data Company, για την ανάπτυξη και δοκιμή υπό πίεση των κριτηρίων αξιολόγησης για το σύνολο. Ειδικοί επί του θέματος συνέταξαν τα αρχικά κριτήρια με τη βοήθεια εργαλείων LLM, στη συνέχεια πέρασαν από αξιολόγηση από ομοτίμους και βαθμονόμηση. Τα ασαφή και υπερβολικά επιεικείς κριτήρια επέστρεψαν για αναθεώρηση, με περίπου το 45% των κριτηρίων να βελτιώνονται τουλάχιστον μία φορά μέσω αυτής της διαδικασίας. Το αποτέλεσμα είναι κριτήρια αξιολόγησης που διαχωρίζουν γνήσια τις δυνατότητες του συστήματος.

Τα κριτήρια αξιολογούν τέσσερις διαστάσεις: ακρίβεια γεγονότων (περίπου τα μισά από όλα τα κριτήρια), εύρος και βάθος ανάλυσης, ποιότητα παρουσίασης και παραπομπή πρωτογενών πηγών. Κάθε κριτήριο λαμβάνει ένα βάρος που αντανακλά τη σημασία του και ορισμένα κριτήρια είναι αρνητικά, τιμωρώντας σφάλματα όπως οι παραισθήσεις ή οι μη υποστηριζόμενοι ισχυρισμοί.

Οι απαντήσεις βαθμολογούνται χρησιμοποιώντας ένα πρωτόκολλο LLM-as-judge, όπου κάθε κριτήριο λαμβάνει δυαδική αξιολόγηση. Αυτή η προσέγγιση είναι ιδιαίτερα κατάλληλη για την αξιολόγηση της ακρίβειας των γεγονότων, επειδή τα rubrics θεμελιώνουν τον κριτή στην πραγματική δεδομένα που προέρχονται από αποτελέσματα αναζήτησης, μετατρέποντας τη υποκειμενική αξιολόγηση σε επαληθεύσιμο fact-checking. Επαληθεύσαμε την αξιοπιστία σε τρία μοντέλα κριτή και διαπιστώσαμε ότι, παρότι οι απόλυτες βαθμολογίες διαφέρουν, οι σχετικές κατατάξεις των συστημάτων παραμένουν συνεπείς.

Μεγέθυνση

Εργαλειοθήκη και περιβάλλον αξιολόγησης

Το benchmark έχει σχεδιαστεί για να αξιολογεί πράκτορες με πρόσβαση σε μια πλήρη ερευνητική εργαλειοθήκη, συμπεριλαμβανομένου ενός sandbox εκτέλεσης κώδικα και δυνατοτήτων προγράμματος περιήγησης.

Τι ανακαλύψαμε

Απόδοση ανά τομέα. Αξιολογήσαμε τέσσερα συστήματα εις βάθος έρευνας σε 10 τομείς γνώσης μετρώντας τα ποσοστά επιτυχίας (ποσοστό κριτηρίων αξιολόγησης που πληρούνται). Η Εις βάθος έρευνα πέτυχε τα υψηλότερα ποσοστά επιτυχίας σε όλους τους τομείς, με ιδιαίτερα ισχυρή απόδοση στη Νομική (89.4%) και στα Ακαδημαϊκά (82.4%).

Μεγέθυνση

Για τους χρήστες, αυτό σημαίνει πιο αξιόπιστες απαντήσεις είτε ετοιμάζετε ένα νομικό υπόμνημα, είτε διεξάγετε μια βιβλιογραφική ανασκόπηση, είτε συγκρίνετε επιλογές ιατρικής θεραπείας. Τα κενά απόδοσης διευρύνθηκαν σημαντικά σε εργασίες σύνθετης συλλογιστικής: στα σενάρια Personalized Assistant και Needle in a Haystack, το Perplexity ξεπέρασε το σύστημα με τη χαμηλότερη βαθμολογία κατά πάνω από 20 ποσοστιαίες μονάδες. Αυτοί οι τομείς αντικατοπτρίζουν πραγματικές ανάγκες των χρηστών, όπως εξατομικευμένες συστάσεις και εύρεση συγκεκριμένων στοιχείων θαμμένων σε μεγάλα έγγραφα.

Μεγέθυνση

Απόδοση ανά πτυχή αξιολόγησης. Σε τέσσερες βασικές διαστάσεις αξιολόγησης, η Εις βάθος έρευνα ηγήθηκε στις τρεις: Ακρίβεια Γεγονότων, Εύρος και Βάθος Ανάλυσης, και Ποιότητα Παραπομπών. Αυτές είναι οι διαστάσεις που έχουν μεγαλύτερη σημασία όταν πρέπει να εμπιστευτείτε την έρευνά σας για πραγματικές αποφάσεις, είτε συμβουλεύετε έναν πελάτη, είτε κάνετε μια επένδυση, είτε γράφετε μια αναφορά με το όνομά σας σε αυτήν. Μόνο ένα άλλο σύστημα έδειξε συγκρίσιμη απόδοση με την Εις βάθος έρευνα του Perplexity στην Ποιότητα Παρουσίασης, υποδεικνύοντας ότι τα δύσκολα προβλήματα στην εις βάθος έρευνα δεν αφορούν τη μορφοποίηση αλλά το να είναι τα γεγονότα σωστά και η ανάλυση πλήρης.

Μεγέθυνση

Ποιότητα και αποδοτικότητα. Αξιοσημείωτο είναι ότι το σύστημα με τις καλύτερες επιδόσεις πέτυχε επίσης τη χαμηλότερη καθυστέρηση (459.6 δευτερόλεπτα έναντι 592 έως 1808 δευτερόλεπτα για τους ανταγωνιστές). Για τους χρήστες, αυτό σημαίνει ότι δεν χρειάζεται να επιλέξετε μεταξύ εμπεριστατωμένης έρευνας και γρήγορης λήψης απαντήσεων. Αυτό αντικατοπτρίζει το πλεονέκτημα της καθετοποιημένης υποδομής από άκρη σε άκρη: η καλύτερη αναζήτηση¹ [σύνδεσμος υποσημείωσης στο api αναζήτησής μας] και η ενσωμάτωση του προγράμματος περιήγησης με βελτιστοποιημένα περιβάλλοντα εκτέλεσης μεταφράζονται άμεσα σε ταχύτερη και πιο ακριβή έρευνα.

Τι ακολουθεί

Το σύστημα Εις βάθος έρευνας του Perplexity είναι ανεξάρτητο από μοντέλα: καθώς θα εμφανίζονται ισχυρότερα LLMs με δυνατότητες δράσης, θα επαναλαμβάνουμε τις αξιολογήσεις και θα δημοσιεύουμε ενημερωμένα αποτελέσματα. Και καθώς θα ενσωματώνουμε βελτιώσεις στην Εις βάθος έρευνα στο Perplexity.ai, οι χρήστες θα βλέπουν αυτά τα οφέλη να αντανακλούνται τόσο στην απόδοση του προϊόντος όσο και στις βαθμολογίες του benchmark.

Το benchmark αξιολογεί προς το παρόν μόνο αγγλικές αλληλεπιδράσεις ενός γύρου σε δέκα τομείς. Μελλοντικές επαναλήψεις θα επκτείνουν τη γλωσσική ποικιλομορφία, θα προσθέσουν αξιολόγηση πολλαπλών γύρων και θα διευρύνουν την κάλυψη των τομέων.

Δημιουργήστε καλύτερους πράκτορες έρευνας με το Benchmark DRACO

Το Benchmark DRACO είναι πλέον πλήρως ανοιχτού κώδικα. Οποιαδήποτε ομάδα κατασκευάζει συστήματα εις βάθος έρευνας μπορεί να αξιολογήσει τα μοντέλα της έναντι ερευνητικών εργασιών του πραγματικού κόσμου αντί για συνθετικούς ακαδημαϊκούς γρίφους. Δημοσιεύουμε το πλήρες benchmark, όλα τα κριτήρια και το prompt του κριτή.

Για να μάθετε περισσότερα σχετικά με τη μεθοδολογία και τα λεπτομερή αποτελέσματα, διαβάστε την πλήρη τεχνική αναφορά: Benchmark DRACO και εξερευνήστε το σύνολο δεδομένων στο Hugging Face.

Παραπομπή

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}