Q2D-Web: Αξιολόγηση συστημάτων ανάκτησης πρώτου σταδίου σε κλίμακα

Σήμερα, παρουσιάζουμε το Q2D-Web (Query2Doc-Web), ένα ιδιωτικό benchmark και δημόσιο πίνακα κατάταξης για την αξιολόγηση της ανάκτησης σε συστήματα agentic RAG. Το Q2D-Web επεκτείνει το αρχικό μας benchmark Q2D σε ένα corpus μεγάλης κλίμακας, ένα μεγαλύτερο σύνολο ερωτημάτων και βαθύτερους σχολιασμούς κρίσεων.

Το Q2D-Web είναι κατασκευασμένο για να αξιολογεί μοντέλα ενσωμάτωσης σε αναζήτηση ιστού μεγάλης κλίμακας. Αποτελείται από 190 εκατομμύρια έγγραφα ιστού και 69.721 ερωτήματα που έχουν επαναδιατυπωθεί από πράκτορες σε δέκα γλώσσες, τα οποία συλλέχθηκαν σε διάστημα εννέα μηνών από την κίνηση αναζήτησης παραγωγής χωρίς PII.

Σε αυτήν την κλίμακα, το σήμα συνάφειας σε επίπεδο ερωτήματος-εγγράφου είναι αναπόφευκτα αραιοκατοικημένο. Αντί να αντιμετωπίζουμε μία πηγή ως απόλυτη αλήθεια, παρέχουμε τρία σύνολα κρίσεων συνάφειας, τα οποία προέρχονται από παραπομπές πρακτόρων, κατατάξεις ιστού παραγωγής και πρόσθετες κρίσεις LLM για ζεύγη που δεν είχαν κριθεί προηγουμένως. Οι πολλαπλές πηγές περιορίζουν τη μεροληψία από οποιονδήποτε μεμονωμένο αγωγό ετικετών, ενώ ο βαθύτερος σχολιασμός μειώνει τα ψευδώς αρνητικά.

Ο πίνακας κατάταξής μας αναφέρει αποτελέσματα για μοντέλα ανάκτησης που έχουν κυκλοφορήσει δημόσια, αξιολογημένα απεμθείας έναντι του benchmark χρησιμοποιώντας έναν συνεπή αγωγό ευρετηρίασης, ανάκτησης και βαθμολόγησης. Μια αξιολόγηση μπορεί να υποβληθεί μέσω της φόρμας αιτήματος μας.

Η πρόκληση της ρεαλιστικής αξιολόγησης ανάκτησης

Για κάθε ερώτημα, ένα σύστημα ανάκτησης κλίμακας παραγωγής αναζητά σε ένα corpus δισεκατομμυρίων ιστοσελίδων και επιστρέφει χιλιάδες έγγραφα υποψηφίους. Αυτοί οι υποψήφιοι καθορίζουν ποιες πηγές μπορούν να δουν τα συστήματα καθδικής ροής, διαμορφώνοντας άμεσα τα αποδεικτικά στοιχεία που είναι διαθέσιμα στον πράκτορα.

Η ρεαλιστική αξιολόγηση αυτού του πρώτου σταδίου απαιτεί επομένως benchmarks που κλιμακώνονται σε τρεις διαστάσεις: τον αριθμό των εγγράφων στο corpus, τον αριθμό των κρινόμενων ερωτημάτων και τον αριθμό των κρίσεων συνάφειας ανά ερώτημα.

Τα μεγαλύτερα corpora μπορούν να κάνουν ένα benchmark πιο διακριτικό εισάγοντας σκληρά αρνητικά — έγγραφα που είναι σημασιολογικά παρόμοια με ένα ερώτημα αλλά δεν παρέχουν τις ζητούμενες πληροφορίες. Τα συστήματα ανάκτησης πρέπει να διαχωρίζουν αυτές τις πιθανές αντιστοιχίες από τα σχετικά έγγραφα. Η συρρίκνωση του corpus διατηρώντας παράλληλα γνωστά σχετικά έγγραφα μπορεί να αφαιρέσει αυτά τα παραπλανητικά στοιχεία και να διογκώσει την ανάκληση, όπως δείχνουν τα παρακάτω πειράματα υποδειγματοληψίας μας.

Τα περισσότερα κρινόμενα ερωτήματα καθιστούν τις εκτιμήσεις απόδοσης πιο αξιόπιστες. Με ένα μικρό σύνολο ερωτημάτων, τα αποτελέσματα του benchmark εξαρτώνται σε μεγάλο βαθμό από ποια ερωτήματα επιλέχθηκαν με δειγματοληψία, καθιστώντας δυσκολότερη την ακριβή εκτίμηση της απόδοσης κάθε μοντέλου και τη σαφή διάκριση μεταξύ των μοντέλων.

Οι βαθύτερες κρίσεις μειώνουν τα ψευδώς αρνητικά στην αξιολόγηση. Με αραιές ετικέτες, ένα σύστημα ανάκτησης μπορεί να εμφανίσει σχετικά έγγραφα που δεν έχουν κριθεί και επομένως μετρώνται εσφαλμένα ως μη σχετικά. Αυτό καθιστά την αξιολόγηση λιγότερο αξιόπιστη. Το MS MARCO είναι το κύριο ανοιχτό σύνολο δεδομένων μεγάλης κλίμακας στην ανάκτησης πληροφοριών και διαμόρφωσε την ανάπτυξη νευρωνικών μοντέλων ανάκτησης. Εκεί, το 70% των χειροκίνητα επιθεωρημένων κορυφαίων ανακτημένων αλλά χωρίς ετικέτα αποσπασμάτων ήταν στην πραγματικότητα σχετικά.

Τα υπάρχοντα benchmarks τείνουν να κλιμακώνονται μόνο σε μία ή δύο από αυτές τις διαστάσεις: οι συλλογές σε κλίμακα ιστού συχνά έχουν σχετικά λίγα αξιολογημένα ερωτήματα, ενώ τα benchmarks με πολλά ερωτήματα γενικά χρησιμοποιούν πολύ μικρότερα corpora και αραιές ετικέτες. Επιπλέον, τα περισσότερα benchmarks χρησιμοποιούν ερωτήματα γραμμένα από ανθρώπους, ενώ τα agentic RAG συστήματα πραγματοποιούν αναζήτηση με ερωτήματα που έχουν αναδιατυπωθεί από agent και μπορεί να διαφέρουν ως προς τη διατύπωση, τη δομή και την ειδικότητα.

Το Q2D-Web κλιμακώνεται και στις τρεις διαστάσεις. Περιέχει 190 εκατομμύρια έγγραφα ιστού, 69.721 ερωτήματα που έχουν επαναδιατυπωθεί από πράκτορες και κατά μέσο όρο 99,6 θετικές κρίσεις συνάφειας ανά ερώτημα στο συνδυασμένο σύνολο κρίσεών του. Η πλησιέστερη δημόσια σύγκριση είναι το MS MARCO Web Search, η έκδοση κλίμακας ιστού του MS MARCO. Διαθέτει 100,9 εκατομμύρια έγγραφα, 9.374 ερωτήματα δοκιμής και μία θετική ετικέτα που προέρχεται από κλικ ανά ερώτημα.

Πώς δημιουργήσαμε το Q2D-Web

Μεγέθυνση

Ερωτήματα

Το Q2D-Web βασίζεται σε 23.000 αναζητήσεις παραγωγής χωρίς PII σε δέκα γλώσσες και δεκάδες τομείς που συλλέχθηκαν σε μια περίοδο εννέα μηνών.

Μια αναζήτηση αποτελείται από όλες τις κλήσεις εργαλείων αναζήτησης στον ιστό που πραγματοποιεί ένας πράκτορας σε απάντηση σε ένα μήνυμα χρήστη. Κάθε κλήση εργαλείου περιέχει ένα ή περισσότερα ερωτήματα. Κάθε ερώτημα επαναδιατυπώνεται από το αίτημα του χρήστη, την προηγούμενη συνομιλία και, όπου εφαρμόζεται, από έγγραφα που ανακτήθηκαν νωρίτερα στην ίδια αναζήτηση. Κάθε αναζήτηση παραγωγής περιέχει ένα κύριο ερώτημα, το οποίο επαναδιατυπώνει την ανάγκη πληροφοριών του χρήστη, και μηδέν ή περισσότερα ερωτήματα υποστήριξης, τα οποία εξετάζουν εναλλακτικές διατυπώσεις, πληροφορίες υποβάθρου ή σχετικές οντότητες. Παρόλο που απευθύνονται στο ίδιο ευρύτερο αίτημα, ενδέχεται να απαιτούν διαφορετικά έγγραφα, επομένως το Q2D-Web αξιολογεί κάθε ερώτημα ανεξάρτητα με τις δικές του κρίσεις συνάφειας.

Μεγέθυνση

Μεγέθυνση

Εφαρμόζουμε αυστηρό φιλτράρισμα απορρήτου για όλα τα περιλαμβανόμενα ερωτήματα. Τα ερωτήματα πρέπει να προέρχονται από χρήστες που επέτρεψαν τη χρήση των δεδομένων τους, και ο εντοπισμός PII χρησιμοποιώντας το perplexity-ai/pplx-pii-masking εξαιρεί ερωτήματα που περιέχουν προσωπικές πληροφορίες. Αφαιρούμε επίσης ακριβή αντίγραφα, πολύ σύντομα ερωτήματα και ερωτήματα που περιέχουν τελεστές αναζήτησης όπως site: ή φράσεις σε εισαγωγικά.

Το benchmark καλύπτει δέκα γλώσσες. Τα αγγλικά αντιστοιχούν στο 65,8% των ερωτημάτων, ακολουθούμενα από ισπανικά, ρωσικά, γερμανικά, γαλλικά, πορτογαλικά, ιταλικά, κορεατικά, ιαπωνικά και κινέζικα. Η κατανομή των ερωτημάτων καλύπτει επίσης ένα ευρύ μείγμα domains, συμπεριλαμβανομένων των καταναλωτικών αγαθών, του προγραμματισμού, του δικαίου, της υγείας, των επιχειρήσεων, της επιστήμης, της εκπαίδευσης, της τεχνολογίας, των οικονομικών, των ταξιδιών, της ψυχαγωγίας, της πολιτικής, των τοπικών πληροφοριών και των ειδήσεων.

Corpus

Για κάθε ερώτημα, ανακτούμε τα κορυφαία 5.000 έγγραφα με ένα σύστημα ανάκτησης παραγωγής και λαμβάνουμε την ένωση αυτών των συνόλων αποτελεσμάτων. Στη συνέχεια, αφαιρούμε τα διπλότυπα από το corpus χρησιμοποιώντας MinHash–LSH, ομαδοποιώντας έγγραφα των οποίων τα σύνολα token 5-gram έχουν ομοιότητα Jaccard τουλάχιστον 0,975.

Η συλλογή δεν αποτελεί σκόπιμα ένα τυχαίο δείγμα ιστού. Κάθε έγγραφος θεωρήθηκε πιθανό αποτέλεσμα για τουλάχιστον ένα ερώτημα αξιολόγησης. Αυτό δημιουργεί ένα πυκνό σύνολο δύσκολων παραπλανητικών στοιχείων: σελίδες που ταιριάζουν με το θέμα ή τη γλώσσα ενός ερωτήματος αλλά ενδέχεται να χάνουν μια απαιτούμενη ημερομηνία, οντότητα, έκδοση, ποσότητα ή πτυχή.

Μεγέθυνση

Κρίσεις

Οι ετικέτες συνάφειας είναι ελλιπείς από τη φύση τους σε μεγάλη κλίμακα. Η επισήμανση κάθε πιθανού ζεύγους ερωτήματος-εγγράφου είναι ανέφικτη και κάθε πηγή κρίσεων φέρει διαφορετική μεροληψία.

Το Q2D-Web χρησιμοποιεί τρία σύνολα συνάφειας αντί να αντιμετωπίζει μία πηγή ως απόλυτη αλήθεια, προκειμένου να αυξήσει το βάθος σχολιασμού χωρίς να υποφέρει από μία μοναδική μεροληψία.

Το Citation χαρακτηρίζει ένα έγγραφο ως σχετικό όταν ένας πράκτορας το ανέφερε σε μια απάντηση. Αυτό είναι το πλησιέστερο σήμα στη χρήση καθδικής ροής: ο πράκτορας επέλεξε το έγγραφο ως αποδεικτικό στοιχείο για έναν ισχυρισμό. Αλλά η παραπομπή είναι υψηλής ακρίβειας και χαμηλής ανάκλησης εκ κατασκευής. Μόλις ένας πράκτορας έχει επαρκή υποστήριξη, έχει ελάχιστο λόγο να παραπέμψει σε κάθε άλλη σχετική σελίδα.

Το Web Ranking αποτελείται από έως και 50 έγγραφα ανά ερώτημα (43,1 κατά μέσο όρο), τα οποία εντοπίζονται από ένα εσωτερικό σύστημα ανάκτησης που χρησιμοποιεί BM25 και πυκνή ανάκτητη στο πρώτο στάδιο, ακολουθούμενο από επανακατάταξη cross-encoder. Αυτό συλλαμβάνει έγγραφα που είναι χρήσιμα αλλά δεν παραπέμπονται.

Το Combined + LLM-Judged λαμβάνει την ένωση των Citation και Web Ranking, στη συνέχεια προσθέτει κρίσεις LLM για υποψηφίους που δεν είχαν κριθεί προηγουμένως, με στόχο τη μείωση του αριθμού των ψευδώς αρνητικών. Συγκεντρώνουμε αποτελέσματα από τα BM25, ColBERTv2 και επτά πυκνά συστήματα ανάκτησης που κυκλοφόρησαν πριν από την 1η Ιανουαρίου 2025, συγχωνεύουμε τις κατατάξεις τους χρησιμοποιώντας reciprocal rank fusion (RRF), επιλέγουμε τα 500 κορυφαία μη κρινόμενα έγγραφα και εφαρμόζουμε έναν αυστηρό δυαδικό κριτή συνάφειας χρησιμοποιώντας το DeepSeek-V4-Flash.

Τα τρία σύνολα μας επιτρέπουν να εξετάσουμε αν οι επιδόσεις των μοντέλων εξαρτώνται από τον τρόπο ορισμού της συνάφειας. Επίσης, μειώνουν την εξάρτηση από ένα ενιαίο σύστημα ετικετών, το οποίο θα μπορούσε διαφορετικά να ευνοήσει εργαλεία ανάκτησης παρόμοια με το σύστημα που χρησιμοποιήθηκε για τη δημιουργία των ετικετών.

Μεγέθυνση

Υποδειγματοληψία: αποδοτική αξιολόγηση σε μεγάλη κλίμακα

Η αξιολόγηση πλήρους corpus είναι δαπανηρή και αργή. Μια μεμονωμένη αξιολόγηση στο Q2D-Web με το pplx-embed-v1-4b απαιτεί 4.608 GPU-hours H200, ενώ ακόμη και ένα μικρό μοντέλο όπως το EmbeddingGemma-300M απαιτεί σχεδόν 200 GPU-hours H200.

Για να διατηρηθεί η αξιολόγηση πρακτική, κατασκευάζουμε μια έκδοση του corpus με υποδειγματοληψία.

Πραγματοποιήσαμε μια εκτενή μελέτη ablation σε στρατηγικές δειγματοληψίας για να δημιουργήσουμε ένα μικρότερο υπο-corpus που αντικατοπτρίζει τη συμπεριφορά του πλήρους corpus. Κάθε στρατηγική διατηρεί όλα τα θετικά αξιολογημένα έγγραφα και διαφέρει μόνο στον τρόπο επιλογής των μη αξιολογημένων distractors. Τα distractors που έχουν σημασία είναι εκείνα που ένας retriever είναι πιθανό να κατατάξει πάνω από ένα σχετικό έγγραφο, επειδή αυτά αλλάζουν τη βαθμολογία ενός μοντέλου και τη θέση του στην κατάταξη.

Συγκρίναμε την ομοιόμορφη τυχαία δειγματοληψία, τη συγκέντρωση (pooling) σε σταθερό βάθος σε όλους τους ανακτητές κατασκευής, και το RRF ανά ερώτημα σε διαφορετικά βάθη. Η δειγματοληψία βάσει RRF χρησιμοποιεί μόνο 31,7% των εγγράφων στο πλήρες σώμα κειμένων (corpus). Διατηρεί την κατάταξη μοντέλων πλήρους σώματος υπό τις κρίσεις Combined, παραμένοντας κοντά στις απόλυτες βαθμολογίες, αυξάνοντας το μέσο Recall@1000 κατά 5,2 μονάδες έναντι 12,8 μονάδων για την τυχαία δειγματοληψία στο ίδιο μέγεθος.

Μεγέθυνση

Αυτό μειώνει το κόστος αξιολόγησης σε περίπου το ένα τρίτο του κόστους ολόκληρου του corpus. Χρησιμοποιώντας το υπο-corpus που βασίζεται στο RRF, το pplx-embed-v1-4b απαιτεί περίπου 1.500 H200 GPU-hours και το EmbeddingGemma-300M απαιτεί κάτω από 70.

Κάθε υποβολή αξιολογείται πρώτα στην εκδοχή του δειγματοληπτημένου υπο-corpus. Οι υποβολές χωρίζονται σε δύο ομάδες με βάση το συνολικό πλήθος παραμέτρων: έως 1B και πάνω από 1B. Ένα μοντέλο που φτάνει στο top ten της ομάδας του στο δειγματοληπτημένο υπο-corpus αξιολογείται στη συνέχεια στο πλήρες corpus. Τα μοντέλα που κατατάσσονται εκτός του top 10 στην ομάδα τους θα δημοσιευτούν μόνο στο leaderboard του δειγματοληπτημένου υπο-corpus.

Αποτελέσματα αξιολόγησης

Σε όλα τα αξιολογημένα μοντέλα, το Q2D-Web παρέχει μια συνεπή εικόνα της απόδοσης ανάκτησης σε κλίμακα ιστού στα 3 διαφορετικά σύνολα συνάφειας. Ο πίνακας κατάταξης καθιστά αυτές τις συμπληρωματικές απόψεις διαθέσιμες δίπλα-δίπλα, επιτρέποντας στους χρήστες να επιθεωρούν πώς αποδίδουν τα μοντέλα κάτω από στενότερες ετικέτες που βασίζονται σε παραπομπές και ευρύτερες κρίσεις συνάφειας.

Εστιάζουμε στο Recall@1000 ως κύρια μέτρησή μας, επειδή ένα σύστημα ανάκτησης πρώτου σταδίου χρειάζεται απλώς να τοποθετήσει σχετικά έγγραφα στην ομάδα υποψηφίων, ενώ η επακόλουθη επανακατάταξη καθορίζει την τελική τους σειρά.

Μεγέθυνση

Πίνακας 1. Recall@1000 και nDCG@10 πλήρους σώματος για δεκατρείς ανακτητές σε σύνολα συνάφειας Citation, Web Ranking και Combined. Οι υψηλότερες βαθμολογίες είναι καλύτερες.

Το pplx-embed-v1-4b έχει το υψηλότερο Recall@1000 και στα τρία σύνολα αξιολόγησης: Citation (85,03), Web Ranking (65,73) και Combined (70,00). Στο Combined Recall@100 και nDCG@10, το Nemotron-3-Embed-8B (30,32 και 45,65) σημειώνει υψηλότερη βαθμολογία από το pplx-embed-v1-4b (30,17 και 44,12).

Εντός μιας οικογένειας, τα μεγαλύτερα μοντέλα σημειώνουν υψηλότερη βαθμολογία στο Combined Recall@1000. Το Qwen3-Embedding αυξάνεται από 58,68 (0,6B) σε 65,32 (8B), το Nemotron-3-Embed από 62,44 (1B) σε 69,33 (8B), και το pplx-embed-v1 από 67,91 (0,6B) σε 70,00 (4B).

Τα μοντέλα Perplexity αξιολογούνται χρησιμοποιώντας το ίδιο pipeline όπως όλα τα άλλα υποβληθέντα μοντέλα. Ωστόσο, επειδή το Q2D-Web προέρχεται από την παραγωγική κίνηση του Perplexity, αυτά τα μοντέλα ενδέχεται να επωφεληθούν από ένα πλεονέκτημα εντός κατανομής. Παρόλο που τα ερωτήματα αξιολόγησης και το corpus του benchmark εξαιρέθηκαν από την εκπαίδευση του μοντέλου, τα αποτελέσματα θα πρέπει να ερμηνεύονται έχοντας υπόψη αυτό το πιθανό πλεονέκτημα.

Πώς να υποβάλετε στον πίνακα κατάταξης

Για να ζητήσετε μια αξιολόγηση, υποβάλετε ένα δημόσια διαθέσιμο μοντέλο Hugging Face μέσω της φόρμας αιτήματος αξιολόγησης μας.

Ακολουθούμε την κάρτα μοντέλου στο υποβληθέν αποθετήριο για ρυθμίσεις συμπερασμού ειδικές για το μοντέλο, συμπεριλαμβανομένων συνιστώμενων οδηγιών ή προθέματος ερωτημάτων και εγγράφων, pooling, κανονικοποίησης και συνάρτησης ομοιότητας. Όλα τα ερωτήματα και τα έγγραφα περικόπτονται σε 512 tokens με το δικό του tokenizer του μοντέλου, συμπεριλαμβανομένων οδηγιών, προθεμάτων και ειδικών tokens, οπότε ένα μεγαλύτερο υποστηριζόμενο πλαίσιο δεν προσφέρει κανένα πλεονέκτημα. Βεβαιωθείτε ότι η κάρτα μοντέλου παρέχει πλήρεις, σαφείς οδηγίες για την αναπαραγωγή της προβλεπόμενης ρύθμισης ανάκτησης.

Τα επιλέξιμα μοντέλα πρέπει να φορτώνονται μέσω τυπικών API transformers ή sentence-transformers. Τα μοντέλα που δεν εκτελούνται με trust_remote_code=False απαιτούν χειροκίνητη εξέταση του προσαρμοσμένου κώδικα και του υποβάλλλοντος πριν από την αξιολόγηση, η οποία διαρκεί σημαντικά περισσότερο. Τα ιδιωτικά ή προστατευμένα αποθετήρια δεν είναι επιλέξιμα.

Διαβάστε την τεχνική αναφορά μας για να μάθετε περισσότερα σχετικά με τη μεθοδολογία και τα ευρήματα.

Παραπομπή

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}