WANDR benchmark: Evaluating research agents that must search wide and deep

Ένα σημείο αναφοράς για εργασία γνώσης υψηλού όγκου και βαρέων αποδεικτικών στοιχείων.

ΣυγγραφείςPerplexity Research

Σήμερα, κυκλοφορούμε το WANDR (Wide ANd Deep Research), ένα ανοιχτό σημείο αναφοράς και εργαλείο αξιολόγησης που βασίζεται σε 500 ρεαλιστικές, απαιτητικές εργασίες συλλογής δεδομένων για εργασία γνώσης. Το WANDR είναι το ευρύ αδελφάκι του DRACO benchmark for deep research. Το DRACO εξετάζει αν ένας πράκτορας μπορεί να παράγει μια ακριβή, πλήρη και αντικειμενική μακροσκελή έκθεση· το WANDR εξετάζει αν μπορεί να χτίσει μια μεγάλη συλλογή και να υποστηρίξει κάθε μέλος με συγκεκριμένα αποδεικτικά στοιχεία.

Αυτά είναι τα είδη εργασιών που οι άνθρωποι αναθέτουν ήδη σε πράκτορες έρευνας: χαρτογράφηση ανταγωνισμού, δέουσα επιμέλεια, βιβλιογραφική επισκόπηση, ανάλυση αγοράς, σύγκριση προϊόντων, ανεύρεση ταλέντων και άλλα. Οι εργασίες κυμαίνονται από δεκάδες έως χιλιάδες ανεξάρτητα επαληθεύσιμα αρχεία. Ακόμη και σε ρύθμιση υψηλς προσπάθειας, το ισχυρότερο σύστημα στην αξιολόγησή μας φτάνει μόλις 0,363 soft F1 και 0,133 hard F1. Η ευρεία και εις βάθος έρευνα απέχει ακόμη πολύ από το να έχει επιλυθεί.

Κλίμακα αξιολόγησης WANDR και οι καλύτερες βαθμολογίες soft F1 και hard F1 που αναφέρονται σε αυτήν την αξιολόγηση.

Γιατί έχει σημασία η ευρεία και εις βάθος έρευνα

Πολλές χρήσιμες ερευνητικές εργασίες δεν τελειώνουν όταν ένας πράκτορας βρίσκει μία απάντηση. Ένας αναλυτής αγοράς μπορεί να χρειάζεται κάθε δικαιούχο ανταγωνιστή, με τα ίδια αποδεικτικά στοιχεία για καθέναν. Μια ομάδα δέουσας επιμέλειας μπορεί να χρειάζεται δεκάδες εταιρείες, έπειτα την ιδιοκτησία, τα στελέχη, τη χρηματοδότηση και το κανονιστικό καθεστώς για καθεμία από αυτές. Αυτό δημιουργεί δύο ξεχωριστές απαιτήσεις:

Ευρεία: ανακάλυψη ενός μεγάλου και συχνά ανοιχτού συνόλου δικαιούχων οντοτήτων.

Εις βάθος: διερεύνηση κάθε οντότητας σε αρκετό βάθος ώστε να υποστηρίζεται κάθε ζητούμενος ισχυρισμός με αποδεικτικά στοιχεία.

Ο συνδυασμός των δύο αλλάζει το πρόβλημα. Μια χούφτα πειστικών παραδειγμάτων δεν αρκεί, ούτε μια προσεγμένη αφήγηση χτισμένη σε ελλιπή έρευνα. Ο πράκτορας πρέπει να διατηρεί ευρεία ανακάλυψη χωρίς να θυσιάζει την τε Eκτική ποιότητα από το ένα αρχείο στο επόμενο.

Το WANDR αποτυπώνει αυτή τη δομή με μια ευέλικτη, συνθέσιμη ιεραρχία κλειδιών προσόντων. Μια εργασία μπορεί να ζητάει

company(n) → employee(m) → url(k)

Αυτό σημαίνει εύρεση n δικαιούχων εταιρειών, m δικαιούχων υπαλλήλων σε κάθε εταιρεία και k σελίδων υποστήριξης για κάθε υπάλληλο. Κάθε πλήρης διαδρομή μέσα από το δέντρο μπορεί να επικυρωθεί ανεξάρτητα. Η ίδια βασική δομή μπορεί να αναπαριστά μια επίπεδη λίστα, μια ένθετη αναζήτηση, έναν πίνακα ή μια εργασία με πολλαπλούς κλάδους αποδεικτικών στοιχείων. Αυτά τα μοτίβα μπορούν επίσης να συνδυαστούν, επιτρέποντας σε μία αναπαράσταση να καλύψει ένα ευρύ φάσμα περιπτώσεων χρήσης στον πραγματικό κόσμο.

Έξι κοινά ιεραρχικά μοτίβα. Οι γεμιστές κύκλοι είναι οντότητες, οι διακεκομμένοι κύκλοι είναι σταθερές ετικέτες και τα τετράγωνα είναι φύλλα URL. Στον πίνακα, οι επαναλαμβανόμενες θυγατρικές ετικέτες υποδηλώνουν τις ίδιες θυγατρικές τιμές κάτω από διαφορετικούς γονείς.

Μια κυκλοφορημένη εργασία δείχνει αυτή τη δομή στην πράξη.

ceo_cfo_appointments

Κύρια εργασία. Βρείτε τουλάχιστον 70 εταιρείες με έδρα στις ΗΠΑ και διορισμό CEO ή CFO που ανακοινώθηκε για πρώτη φορά μεταξύ 1ης Μαρτίου και 30ής Απριλίου 2026. Για κάθε εταιρεία, παράσχετε μια έγκυρη σελίδα διορισμού που προσδιορίζει την εταιρεία και το διοριζόμενο πρόσωπο, καθορίζει τον ρόλο και την ημερομηνία ανακοίνωσης, και προέρχεται από τον εκδότη, μια κατάθεση, ένα πρακτορείο ειδήσεων ή απευθείας αποδιδόμενη πρωτογενή επιχειρηματική δημοσιογραφία.

Κύρια ιεραρχία. company(70) → company_appointee(1) → url(1).

Υποεργασία καταχώρισης εταιρειών. Για τις ίδιες εταιρείες, παράσχετε μια αναγνωρισμένη σελίδα αρχής καταχώρισης που δείχνει είτε καταχώριση σε εθνικό χρηματιστήριο αξιών των ΗΠΑ είτε καθεστώς εκδότη που υποβάλλει εκθέσεις βάσει του SEC Exchange Act με έδρα τις ΗΠΑ.

Ιεραρχία υποεργασίας. company(70) → url(1).

Απαιτούμενα αρχεία. 140: 70 αρχεία διορισμού συν 70 αρχεία καταχώρισης.

Κάθε διαδρομή καταλήγει σε μια σελίδα και αποσπάσματα που ο βαθμολογητής μπορεί να επανελέγξει. Το κοινό κλειδί εταιρείας ευθυγραμμίζει τους κλάδους διορισμού και καταχώρισης, οπότε ένας διορισμός χωρίς ξεχωριστή απόδειξη καθεστώτος καταχώρισης αφήνει ακόμη αυτή την εταιρεία ελλιπή.

Ρεαλιστικές εργασίες, παραγόμενες σε κλίμακα

Το WANDR ξεκινά από ανωνυμοποιημένα μοτίβα που παρατηρήθηκαν στη χρήση παραγωγής παρά από συνθετικά prompts. Αυτό κρατά το σημείο αναφοράς κοντά στη δουλειά που οι άνθρωποι αναθέτουν πραγματικά: ανοιχτή ανακάλυψη, επαναλαμβανόμενος εμπλουτισμός, έλεγχοι πολλαπλών πηγών και δο Sημένες συγκρίσεις σε επαγγελματική κλίμακα. Ένας ημι-αυτοματοποιημένος αγωγός μετατρέπει αυτά τα μοτίβα σε εργασίες, δεσμεύοντας την ανθρώπινη προσπάθεια για ποιοτικό έλεγχο αντί για εξαντλητική σχολιασμό απαντήσεων.

Η σωλήνωση έχει τέσσερα στάδια. Σπορά εξορύσσει αποπροσδιορισμένα αιτήματα προϊόντων για ένα επαναχρησιμοποιήσιμο ευρείας έρευνας μοτίβο. Συγγραφή εκτελεί έναν εναλλασσόμενο βρόχο συντάκτη-κριτή: οι πράκτορες σκιαγραφούν και δοκιμάζουν σε συνθήκες πίεσης τον σχεδιασμό, γράφουν την προδιαγραφή της εργασίας και τον κριτή, δημιουργούν εγγραφές fixtures και χρησιμοποιούν έναν μηχανικό linter για να διατηρούν τα πάντα ευθυγραμμισμένα. Αποδοχή ελέγχει ότι ο στόχος όγκος είναι εφικτός συγχωνεύοντας 10–12 εκτελέσεις συγγραφής, ελέγχει τον κριτή ειδικό για την εργασία και προαιρετικά προσθέτει ανθρώπινη έγκριση. Επιμέλεια επισημαίνει τις αποδεκτές εργασίες και επιλέγει ένα ισορροπημένο τελικό σύνολο ανάμεσα σε θέματα, κλίμακα, τοπολογία και δυσκολία.

Η διοχέτευση δημιουργίας εργασιών έχει τέσσερα στάδια. Το seeding εντοπίζει ένα ρεαλιστικό αίτημα· η συγγραφή το μετατρέπει σε μια αυτόνομη εργασία μέσω ενός βρόχου author–critic και μηχανικών ελέγχων· τα admission tests αξιολογούν τη σκοπιμότητα και την ποιότητα του κριτή· και η επιμέλεια επιλέγει μια ισορροπημένη έκδοση. Το αποτέλεσμα είναι 500 δημόσια πακέτα εργασιών.

Η διάμεση εργασία ζητά 50 μέλη, τέσσερα αρχεία ανά μέλος και 245 αρχεία συνολικά. Συνολικά, οι 500 εργασίες απαιτούν 170.495 αρχεία που υποστηρίζονται από πηγές. Βαθμονομούμε τη δυσκολία από ιστορικές αναπτύξεις σταδίου σχεδιασμού, και στη συνέχεια χωρίζουμε τις εργασίες ανά κατάταξη σε 167 παραδείγματα χαμηλότερης, 166 μεσαίας και 167 υψηλότερης δυσκολίας. Το παρακάτω γράφημα δείχνει ότι η δυσκολία δεν καθορίζεται μόνο από την κλίμακα· εξαρτάται επίσης από την εργασία που απαιτείται για κάθε αρχείο.

Συνολική δυσκολία εργασίας στο επίπεδο εύρους-βάθους (log-log; 500 εργασίες αναφοράς). Το εύρος είναι ο αριθμός των απαιτούμενων μελών· το βάθος είναι ο απαιτούμενος αριθμός αρχείων διαιρεμένος με αυτόν τον αριθμό μελών. Το χρώμα των σημείων δηλώνει την ετικέτα συνολικής δυσκολίας. Οι διακεκομμένοι οδηγοί σηματοδοτούν το διάμεσο εύρος (50 μέλη) και το διάμεσο βάθος (4,00 αρχεία ανά μέλος).

Βαθμολόγηση χωρίς αναφορά, επα Sευμένη με αποδεικτικά στοιχεία

Ένα σταθερό κλειδί απαντήσεων ταιριάζει φτωχά στην ανοιχτή έρευνα. Είναι ακριβό στην κατασκευή, γίνεται γρήγορα παρωχημένο και αντιπροσωπεύει φτωχά ερωτήσεις των οποίων οι απαντήσεις αλλάζουν με τον χρόνο. Αν αυτού, το WANDR βαθμολογεί κάθε υποβληθέντα ισχυρισμό έναντι των αποδεικτικών στοιχείων που παραθέτει ο πράκτορας.

Κάθε αρχείο περιέχει ένα στοιχείο, ένα URL, επιλεγμένα αποσπάσματα και μια απάντηση. Ο βαθμολογητής ανακτά εκ νέου τη σελίδα και ελέγχει αν είναι χρηστική, αν ο ισχυρισμός είναι σαφός και εντός πεδίου, αν τα αποσπάσματα εμφανίζονται πιστά στη σελίδα και αν τόσο η σελίδα όσο και τα αποσπάσματα υποστηρίζουν κάθε απαίτηση.

Αυτές οι δυαδικές αποφάσεις εγγραφής συγκεντρώνονται ιεραρχικά. Ακρίβεια μετρά την ποιότητα όσων υπέβαλε το σύστημα. Ανάκληση μετρά την ολοκλήρωση προσαρμοσμένη στην ποιότητα σε σχέση με τον ζητούμενο όγκο, καλύπτοντας τυχόν έλλειμμα με μηδενικά. F1 εξισορροπεί τα δύο. Οι μαλακές βαθμολογίες δίνουν μερική πίστωση σε ελλιπή μέλη· οι σκληρές βαθμολογίες μετρούν μόνο μέλη των οποίων ο πλήρης απαιτούμενος υποδένδρο είναι σωστός. Για διάγνωση, το WANDR αναφέρει επίσης μια απόφαση μόνο ανάκτησης που εξετάζει αν η ανακτημένη σελίδα ικανοποιεί την εργασία πριν προστεθούν οι αυστηρότεροι έλεγχοι εγκυρότητας και των υποβληθέντων αποσπασμάτων.

Αυτό κάνει τις αστοχίες ερμηνεύσιμες και εντοπισιμικές. Η υψηλή ακρίβεια με χαμηλή ανάκληση συνήθως σημαίνει ότι το σύστημα βρήκε μερικά καλά μέλη αλλά όχι αρκετά από αυτά. Μια μεγάλη πτώση από μαλακό σε σκληρό σημαίνει ότι έκανε μερική πρόοδο αλλά σπάνια ολοκλήρωσε κάθε κλάδο που απαιτείται για πλήρεις πιστώσεις. Το δέντρο βαθμολογίας μπορεί να εντοπίσει την απώλεια στην ανακάλυψη, τον εμπλουτισμό, τον χειρισμό ταυτότητας, την πιστοποίηση σελίδας ή την εξαγωγή αποδεικτικών στοιχείων.

Ο αγωγός βαθμολόγησης. Το Solve κανονικοποιεί την έξοδο κάθε συστήματος· το fetch ανακτά κάθε παρατεθείσα σελίδα και επιχειρεί ξανά χαμένες ανακτήσεις σε πρόγραμμα περιήγησης· ο judge επιλύει ταυτότητες και αξιολογεί κάθε αρχείο· και το score συγκεντρώνει τις ετυμηγορίες σε ακρίβεια, ανάκληση και F1 επιπέδου εργασίας.

Τι βρήκαμε

Συγκρίναμε έξι συστήματα παραγωγής: φιλοξενούμενες εργασίες και API αναζήτησης, γενικά API web-agent, ένα προϊόν εις βάθος έρευνας και το προγραμματικό μας σύστημα ενορχήστρωσης αναζήτησης, Search as Code (SaC). Κάθε ένα προγραμματίστηκε σε όλες τις 500 εργασίες κάτω από μια καρφι Sωμένη διαμόρφωση, και στη συνέχεια πέρασε από τον ίδιο αγωγό ανάκτησης, κρίσης, επίλυσης ταυτότητας και βαθμολόγησης.

Το Perplexity Search as Code προηγείται με 0,363 soft F1 και 0,133 hard F1. Η Anthropic είναι δεύτερη με 0,249 και 0,072· κάθε άλλο σύστημα φτάνει το ανώτερο σε 0,121 soft F1 και 0,035 hard F1. Κανένα σύστημα δεν κυριαρχεί τόσο στην ποιότητα όσο και στην αποδοτικότητα. Το Perplexity βρίσκεται στη μέση του εύρους κόστους στα 5,20 $ ανά εργασία, με διάμεσο χρόνο επίλυσης 14,9 λεπτών και 3,82 εκατομμύρια αναφερόμενα tokens ανά εργασία. Η OpenAI και η Exa είναι ταχύτερες και φθηνότερες αλλά βαθμολογούνται πολύ χαμηλότερα. Η Anthropic πλησιάζει περισσότερο στην ποιότητα, αλλά χρησιμοποιεί σημαντικά περισσότερο χρόνο, χρήμα και tokens.

Soft και hard precision και recall ως προς το κόστος, τη διάμεση καθυστέρηση και την αναφερόμενη χρήση token στο WANDR.
Μαλακή και σκληρή ακρίβεια και ανάκληση (επάνω), και μαλακό και σκληρό F1 (κάτω), έναντι κόστους, διάμεσης λανθάνουσας κατάστασης επίλυσης και αναφερόμενης χρήσης token. Το υψηλότερα και πιο αριστερά είναι καλύτερο. Η Exa και η Parallel απουσιάζουν από τις προβολές token επειδή δεν εκθέτουν μετρήσεις token.

Αξιολογήσαμε επίσης κάθε διαθέσιμη ρύθμιση προσπάθειας στο ίδιο υποσύνολο 45 εργασιών. Περισσότερη προσπάθεια βελτιώνει το Perplexity, το Gemini και την Exa σε κάθε βήμα· το Perplexity φτάνει τα 0,447 soft F1 και 0,224 hard F1 στο xhigh. Ωστόσο, η υψηλότερη προσπάθεια δεν είναι ομοιόμορφα καλύτερη: το OpenAI κορυφώνεται στο high, και το hard F1 της Parallel υποχωρεί ελαφρώς μεταξύ ultra2x και ultra4x. Το κόστος εκτείνεται σε περισσότερες από τέσσερις τάξεις μεγέθους, από 0,03 $ ανά εργασία για το Exa low έως 324,83 $ για το Gemini max.

Soft F1 ως προς το κόστος, τη διάμεση καθυστέρηση και την αναφερόμενη χρήση token σε ρυθμίσεις προσπάθειας στο υποσύνολο WANDR των 45 εργασιών.
Soft F1 (επάνω) και hard F1 (κάτω) σε όλες τις διαθέσιμες ρυθμίσεις προσπάθειας στο ταιριασμένο υποσύνολο 45 εργασιών. Τα πιο σκούρα μονοπάτια δηλώνουν υψηλότερη προσπάθεια.

Τέσσερα ευρήματα ξεχωρίζουν.

Η μερική πρόοδος είναι συνηθισμένη· η πλήρης κάλυψη όχι. Η μαλακή ανάκληση είναι χαμηλότερη από τη μαλακή ακρίβεια για κάθε σύστημα, πράγμα που σημαίνει ότι η απόδοση πέφτει μόλις ο πλήρης ζητούμενος όγκος εισέλθει στον παρονομαστή. Το Perplexity διατηρεί 0,357 ανάκληση από 0,389 ακρίβεια, το μικρότερο χάσμα· η Anthropic πέφτει από 0,354 σε 0,222. Η μετατροπή από μαλακό σε σκληρό είναι ακόμη πιο σκληρή. Το Perplexity πέφτει από 0,363 soft F1 σε 0,133 hard F1, και η Anthropic από 0,249 σε 0,072. Η καλύτερη σκληρή ακρίβεια είναι 0,150 και η καλύτερη σκληρή ανάκληση είναι 0,134: ακόμη και ο ηγέτης κερδίζει πλήρεις πιστώσεις για περίπου ένα στα επτά μέλη που υποβάλλει και ένα στα επτά μέλη που ζητά η εργασία.

Η κλίμακα επιδεινώνει το πρόβλημα. Από τον μικρότερο έως τον μεγαλύτερο κάδο όγκου-στόχου, η σκληρή ακρίβεια του Perplexity πέφτει από 0,235 σε 0,096 και η σκληρή ανάκλησή του από 0,219 σε 0,079. Η Anthropic πέφτει από 0,205 σε 0,113 και από 0,127 σε 0,042· το OpenAI πέφτει από 0,109 σε 0,034 και από 0,102 σε 0,016. Η ανάκληση συνήθως πέφτει ταχύτερα από την ακρίβεια: ένα σύστημα μπορεί να διατηρήσει μια μικρή ομάδα πλήρων μελών ενώ καλύπτει όλο και μικρότερο μέρος του ζητούμενου συνόλου.

Οι βαθύτερες ιεραρχίες είναι ακόμη πιο σκληρές. Πηγαίνοντας από κανένα ενδιάμεσο κλειδί σε τρία ή περισσότερα, η σκληρή ακρίβεια του Perplexity πέφτει από 0,392 σε 0,019 και η σκληρή ανάκληση από 0,378 σε 0,017· η Anthropic πέφτει από 0,311 σε 0,049 και από 0,229 σε 0,022· το OpenAI πέφτει από 0,136 σε 0,012 και από 0,120 σε 0,011. Κάθε προστιθέμενος κλάδος δημιουργεί ένα άλλο σημείο όπου ένα μέλος μπορεί να χάσει τη σκληρή βαθμολογία «όλα ή τίποτα». Το κόστος και η λανθάνουσα κατάσταση δεν ακολουθούν ένα κοινό μονοτονικό μοτίβο.

Σκληρή ακρίβεια, σκληρή ανάκληση, διάμεση λανθάνουσα κατάσταση επίλυσης και μέσο κόστος σε όλο τον όγκο-στόχο αρχείων (επάνω) και ενδιάμεσο βάθος ιεραρχίας (κάτω). Κάθε γραμμή αντιπροσωπεύει μία σταθερή διαμόρφωση κύριας εκτέλεσης. Οι γραμμές συνδέουν τα αθροίσματα κάδων εργασιών για αναγνωσιμότητα και δεν συνεπάγονται αιτιώδη επίδραση της κλίμακας ή της δομής.

Ακόμη και πριν κριθεί η ποιότητα, η ανακάλυψη είναι το πρώτο δομικό σημείο συμφόρησης. Κοιτάζοντας μόνο ακατέργαστες μετρήσεις πριν την κατάρρευση, η μέση ολοκλήρωση ανακάλυψης ανώτατου επιπέδου κυμαίνεται από 0,611 έως 0,951. Ο υπό όρους εμπλουτισμός είναι ισχυρότερος στο 0,767-0,967, και η ολοκλήρωση τερματικής θέσης αποδεικτικών στοιχείων φτάνει το 0,979-0,994 μόλις υπάρξουν ένα μέλος και η διαδρομή εμπλουτισμού του. Το Perplexity ηγείται στην ανακάλυψη στο 0,951 και στον εμπλουτισμό στο 0,967, αλλά το OpenAI είναι ελαφρώς υψηλότερα στις τερματικές θέσεις αποδεικτικών στοιχείων στο 0,994 έναντι 0,991. Η κατάρρευση διπλοτύπων αντιστοιχεί μόνο σε 0,017-0,205 ποσοστιαίες μονάδες απώλειας μέτρησης και στις έξι πλήρεις εκτελέσεις, οπότε η υποπαράδοση, και όχι η συγχώνευση ταυτότητας, είναι η κύρια συνολική εξήγηση. Οι μεγαλύτερες ακατέργαστες δομικές απώλειες συμβαίνουν πριν επισυναφθεί το τελικό URL.

Μέση ακατέργαστη δομική ολοκλήρωση επιπέδου εργασίας από τα δέντρα επαλήθευσης. Η ανακάλυψη είναι το κορυφαίο κλειδί, ο εμπλουτισμός καλύπτει ενδιάμεσα κλειδιά και τα αποδεικτικά στοιχεία είναι το τερματικό κλειδί. Οι τιμές χρησιμοποιούν παρεχόμενες μετρήσεις πριν την κατάρρευση, επομένως το σχήμα απομονώνει το πού λείπει ο υποβληθείς όγκος πριν κριθεί η ποιότητα των αρχείων.

Η εύρεση μιας χρηστικής σελίδας είναι συνήθως εύκολη· η εύρεση πλήρων αποδεικτικών στοιχείων είναι δύσκολη. Για πέντε συστήματα, μόνο το 3,2%-8,9% των υποβληθέντων σελίδων είναι μη χρηστικές· το OpenAI είναι η εξαίρεση με 23,1%. Τα άκυρα ή λάθος τύπου αρχεία είναι επίσης σχετικά ασυνήθη στο 4,2%-17,4%. Οι κυρίαρχες απώλειες έρχονται στη συνέχεια: το 33,6%-68,3% των υποβληθέντων σελίδων αποτυγχάνει σε τουλάχιστον μία ουσιαστική απαίτηση εργασίας, και το 57,5%-86,6% των υποβληθέντων αποσπασμάτων αποτυγχάνει να υποστηρίξει οτιδήποτε ισχυρίζεται το αρχείο. Τα ποσοστά του Perplexity είναι 41,4% και 57,5%. Το soft F1 του πέφτει από 0,531 κάτω από τον έλεγχο αποκλειστικά ανάκτησης, ο οποίος ρωτά μόνο αν η σελίδα πληροί κάθε ουσιαστική απαίτηση, σε 0,363 κάτω από την πλήρη ετυμηγορία, η οποία απαιτεί επίσης τους καθολικούς ελέγχους, την ειδική για την εργασία εγκυρότητα και την πλήρη υποστήριξη αποσπασμάτων. Το hard F1 πέφτει παρόμοια από 0,245 σε 0,133. Το δύσκολο κομμάτι δεν είναι απλώς η επίτευξη μιας εύλογης σελίδας· είναι η μετατροπή αυτής της σελίδας σε επαρκή αποδεικτικά στοιχεία για ολόκληρο τον ισχυρισμό.

Μετρημένες ανιχνεύσεις αστοχίας σε επίπεδο αρχείου από διαθέσιμες λεπτομέρειες επαληθευτή, σε τοις εκατό· χαμηλότερα είναι καλύτερα. Οι αστοχίες στις απαιτήσεις σελίδας και αποσπάσματος είναι ουσιαστικά πιο κοινές από τις αστοχίες μη χρηστικής σελίδας ή άκυρου αρχείου. Η Parallel διαθέτει διαγνωστικές λεπτομέρειες για 350 εργασίες, ενώ οι άλλες σειρές καλύπτουν 490-500 εργασίες.

Το Search as Code ταιριάζει καλά σε αυτό το σχήμα εργασίας. Ένα μοντέλο μπορεί να εκφράσει τη λογική ανάκτησης, φιλτραρίσματος, διασποράς, απόδοσης, ενώσεων, αποδπλοποίησης και διακοπής ως πρόγραμμα, ενώ ο ντετερμινιστικός υπολογισμός χειρίζεται επαναλαμβανόμενες λειτουργίες εκτός του πλαισίου του μοντέλου. Αυτό το προφίλ είναι συνεπές με την ισχυρότερη διατήρηση εύρους και κατασκευή αποσπασμάτων του Perplexity, αν και δεν ηγείται σε κάθε στρώμα: η Anthropic έχει το χαμηλότερο ποσοστό αστοχίας απαίτησης σελίδας.

Τι ακολουθεί

Το WANDR παρέχει περισσότερα από μια απλή βαθμολογία πίνακα κατάταξης. Η κοινή δομή εργασίας του και ο ημι-αυτοματοποιημένος αγωγός υποστηρίζουν ποικίλη, υψηλού όγκου παραγωγή εργασιών, ενώ οι ετυμηγορίες ανά αρχείο και οι βαθμολογίες επιπέδου ιεραρχίας δείχνουν πού αποτυγχάνει μια εκτέλεση: ανακάλυψη, εμπλουτισμός, χειρισμός ταυτότητας, σημασιολογική πιστοποίηση ή κατασκευή αποδεικτικών στοιχείων. Οι κυκλοφορημένες εργασίες, ο επαληθευτής και τα δομικά διαγνωστικά παρέχουν μια βάση για τη βελτίωση περιεκτικών συστημάτων αναζήτησης και τη δοκιμή του αν αυτά τα κέρδη διατηρούνται σε κλίμακα.

Η ίδια δομή μπορεί επίσης να κάνει το WANDR χρήσιμο για ενισχυτική μάθηση. Αντί να βασίζεται σε μια μοναδική αραιή τερματική ανταμοιβή, ένας εκπαιδευτής μπορεί να χρησιμοποιήσει κρίσεις επιπέδου αρχείου και κλάδου, να εκχωρήσει μερικές πιστώσεις για την πρόοδο ανακάλυψης και εμπλουτισμού, και να χτίσει ένα πρόγραμμα σπουδών αυξάνοντας τους απαιτούμενους αριθμούς με την πάροδο του χρόνου. Ο αγωγός μπορεί να παράγει απομονωμένες αδελφές εργασίες σε τομείς, σχήματα ιεραρχίας, κανόνες αποδεικτικών στοιχείων και ρυθμίσεις εύρους-βάθους χωρίς να απαριθμεί χρυσές απαντήσεις. Αυτό δημιουργεί ένα μονοπάτι για την εκπαίδευση πρακτόρων όχι μόνο να βρίσκουν σωστά γεγονότα, αλλά και να σχεδιάζουν για κάλυψη, να εντοπίζουν λείποντες κλάδους και να αναρρώνουν πριν σταματήσουν.

Οι εργασίες σημείου αναφοράς, το εργαλείο αξιολόγησης και η πλήρης τεχνική έκθεση είναι διαθέσιμα στο GitHub.

Παραπομπή

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}