Πλαισιακή ενσωμάτωση πέρα από το χρυσό πέρασμα

Εισαγωγή

Οι πλαισιακές ενσωματώσεις συλλαμβάνουν τη σημασία κάθε περάσματος ή τμήματος στο πλαίσιο ολόκληρου του εγγράφου. Η εκπαίδευση και η αξιολόγησή τους συνήθως προϋποθέτουν ένα μοναδικό σχετικό τμήμα ανά ερώτημα, γνωστό ως «χρυσό πέρασμα». Ωστόσο, ένα χρυσό πέρασμα συχνά δεν αρκεί στην πράξη. Ενδέχεται να περιέχει την απάντηση αλλά να στερείται του πλαισίου υποστήριξης που απαιτείται για την κατανόηση ή την επαλήθευσή της, καθιστώντας την ασαφή μεμονωμένα.

Παρουσιάζουμε το pplx-embed-v2-context-9b-preview, το νέο μας μοντέλο πλαισιακής ενσωμάτωσης. Το μοντέλο εκπαιδεύεται με μια νέα προσέγγιση που χρησιμοποιεί το μοντέλο συμπίεσης πλαισίου της Perplexity ως δάσκαλο. Αθροίζουμε τις προβλέψεις του σε επίπεδο διακριτικού σε βαθμολογίες συνάφειας σε επίπεδο τμήματος, διδάσκοντας στο μοντέλο ενσωμάτωσης να ανακτά τόσο τμήματα απάντησης όσο και πλαίσιο υποστήριξης αντί για ένα μοναδικό χρυσό τμήμα. Το μοντέλο παράγει μία ενσωμάτωση ανά τμήμα χωρίς πρόσθετο κόστος εξαγωγής συμπερασμάτων (inference) και υποστηρίζει ενσωματώσεις 1024 διαστάσεων και int8.

Επιτυγχάνει κορυφαία αποτελέσματα (state-of-the-art) στο context-bench, ένα νέο benchmark για πλαισιακή ανάκτηση που δημιουργήθηκε και διατηρείται ιδιωτικά από το turbopuffer, και στο ConTEB, ένα ευρέως χρησιμοποιούμενο δημόσιο benchmark. Το μοντέλο μας αναπτύχθηκε ανεξάρτητα από το context-bench και αξιολογήθηκε ως τυφλή υποβολή.

Το Context-bench αποτελείται από 2.099 ερωτήματα σε 38.894 μακροσκελή έγγραφα σε 21 τομείς και αξιολογεί τρεις δυνατότητες των πλαισιακών ενσωματώσεων: αποσαφήνιση εγγράφων μεταξύ σχεδόν διπλότυπων εγγράφων, ανάκτηση χρυσών τμημάτων των οποίων το νόημα εξαρτάται από απομακρυσμένο πλαίσιο, και ανάκληση των αποδεικτικών στοιχείων υποστήριξης που απαιτούνται για την επαλήθευση μιας απάντησης.

Μια προεπισκόπηση του μοντέλου είναι δημόσια διαθέσιμη στο Hugging Face. Το benchmark διατηρείται ιδιωτικά από το turbopuffer για να μειωθεί ο κίνδυνος μόλυνσης της εκπαίδευσης και να διατηρηθεί η αξία του για τη μέτρηση της προόδου. Για να ζητήσετε αξιολόγηση, επικοινωνήστε με το turbopuffer στη διεύθυνση contextbench@turbopuffer.com.

Μεγέθυνση

Γιατί το πλαίσιο έχει σημασία για την ανάκτηση

Τα συστήματα ανάκτησης συνήθως διαιρούν τα μακροσκελή έγγραφα σε μικρότερα τμήματα που μπορούν να ευρετηριαστούν και να αναζητηθούν ανεξάρτητα. Η τμηματοποίηση είναι βολική στην πράξη, αλλά αφαιρεί το πλαίσιο στο οποίο εμφανίστηκε αρχικά κάθε τμήμα, δημιουργώντας μια συμβιβαστική λύση (trade-off) μεταξύ της λεπτομέρειας της συμπίεσης πληροφοριών και του πλαισίου που χρησιμοποιείται κατά την κωδικοποίηση. Ένα τμήμα μπορεί να αναφέρεται σε μια οντότητα που εισήχθη νωρίτερα, να κληρονομεί τη σημασία του από μια επικεφαλίδα ενότητας ή να βασίζεται σε ορισμούς που βρίσκονται αλλού στο έγγραφο. Μόλις εξαχθεί, ενδέχεται να μην περιέχει πλέον αρκετές πληροφορίες για να ταιριάξει αξιόπιστα με ένα ερώτημα. Η κωδικοποίηση ολόκληρου του εγγράφου ως ενιαίου διανύσματος δεν επιλύει αυτό το πρόβλημα, καθώς μια ενιαία συγκεντρωτική αναπαράσταση δεν μπορεί να αποτυπώσει πιστά κάθε πτυχή ενός μακροσκελούς εγγράφου.

Τα συμφραστικά μοντέλα ενσωμάτωσης αντιμετωπίζουν αυτόν τον περιορισμό αναπαριστώντας κάθε τμήμα στο πλαίσιο του περιβάλλοντός του, πιο συχνά μέσω late chunking: το έγγραφο κωδικοποιείται σε μία μόνο διέλευση και οι αναπαραστάσεις των τμημάτων συγκεντρώνονται εκ των υστέρων, έτσι ώστε κάθε διάνυσμα τμήματος να υπολογίζεται έχοντας ολόκληρο το έγγραφο υπόψη. Προηγούμενη εργασία, όπως το ConTEB και το δικό μας pplx-embed-context-v1, έχει δείξει ότι οι συμφραστικοποιημένες αναπαραστάσεις τμημάτων βελτιώνουν σημαντικά την ανάκτηση σε σχέση με τα ανεξάρτητα κωδικοποιημένα τμήματα, ιδιαίτερα σε μεγάλα έγγραφα.

Τα όρια της εποπτείας χρυσού τμήματος

Η εκπαίδευση συμφραστικών μοντέλων ενσωμάτωσης απαιτεί επίβλεψη που προσδιορίζει ποια μέρη ενός εγγράφου είναι σχετικά με ένα δεδομένο ερώτημα. Μια συνηθισμένη προσέγγιση είναι οι επισημειώσεις gold-chunk: για κάθε ερώτημα, ένας επισημειωτής, συνήθως ένα μεγάλο γλωσσικό μοντέλο (LLM), εντοπίζει το τμήμα του εγγράφου που το απαντά.

Η εκπαίδευση συνήθως συνδυάζει δύο αντιθετικές απώλειες (contrastive losses): μια απώλεια αντίθεσης σε επίπεδο εγγράφου που αντιπαραβάλλει το χρυσό τμήμα με τμήματα από άλλα έγγραφα, και μια απώλεια αντίθεσης σε επίπεδο τμήματος που το αντιπαραβάλλει με τα υπόλοιπα τμήματα στο ίδιο έγγραφο.

Αυτή η προσέγγιση έχει λίγους περιορισμούς:

1. Μόνο ένα τμήμα είναι σχετικό. Αντιμετωπίζει κάθε άλλο τμήμα στο έγγραφο ως αρνητικό, συμπεριλαμβανομένων εκείνων με χρήσιμες πληροφορίες υποστήριξης. Η εποπτεία σε επίπεδο εγγράφου λειτουργεί στο άλλο άκρο. Προσδιορίζει το έγγραφο ως σχετικό χωρίς να διευκρινίζει ποια τμήματα εντός αυτού έχουν σημασία. Στην πράξη, η συνάφεια συχνά βρίσκεται μεταξύ αυτών των άκρων. Το τμήμα που φέρει την απάντηση μπορεί να εξαρτάται από μερικά τμήματα υποστήριξης που εισάγουν μια οντότητα, επιλύουν μια αναφορά ή παρέχουν ένα συμπληρωματικό γεγονός, ενώ το υπόλοιπο έγγραφο είναι άσχετο. Συνεπώς, το μοντέλο πρέπει να μάθει το σωστό επίπεδο επιλεκτικότητας: ευρύτερο από ένα ενιαίο χρυσό τμήμα, αλλά πιο εστιασμένο από το έγγραφο στο σύνολό του.
2. Αδρής μορφής εποπτεία (Coarse supervision). Επειδή κάθε σχολιασμός εντοπίζει ένα ενιαίο χρυσό τμήμα αντί να αποτυπώνει βαθμούς συνάφειας σε ολόκληρο το έγγραφο, παρέχει περιορισμένα σήματα εκπαίδευσης για την ποσότητα υπολογιστικής ισχύος που δαπανήθηκε για την παραγωγή του.
3. Δαπανηρή κλιμάκωση. Κάθε ζεύγος εκπαίδευσης απαιτεί από ένα LLM να διαβάσει το έγγραφο και να επιλέξει το σχετικό τμήμα, οπότε το κόστος σχολιασμού αυξάνεται γραμμικά με το μέγεθος του συνόλου δεδομένων εκπαίδευσης και περιορίζει το πόσο πολλά και πόσο διαφορετικά μπορούν να είναι τα δεδομένα εκπαίδευσης.
4. Ευαισθησία στα όρια τμημάτων. Οι ετικέτες συνδέονται επίσης με τα όρια τμημάτων που χρησιμοποιούνται κατά τον σχολιασμό. Μια ετικέτα χρυσού που αποδίδεται σε ένα παράθυρο σταθερού μεγέθους διακριτικών δεν διευκρινίζει ποιες μικρότερες προτάσεις ή μεγαλύτερες παράγραφοι είναι σχετικές. Επομένως, η αλλαγή της στρατηγικής τμηματοποίησης ή η εκπαίδευση σε πολλαπλές τμηματοποιήσεις για τη βελτίωση της ευρωστίας στον τρόπο διαίρεσης των εγγράφων κατά τη στιγμή δημιουργίας ευρετηρίου, ενδέχεται να απαιτεί εκ νέου σχολιασμό του σώματος κειμένου.

Μια νέα προσέγγιση στη πλαισιακή μάθηση

Αντιμετωπίζουμε τους περιορισμούς της εποπτείας χρυσού τμήματος αποστάζοντας κρίσεις συνάφειας από ένα μοντέλο συμπίεσης πλαισίου με επίγνωση ερωτήματος. Αυτό το μοντέλο λειτουργεί ως δάσκαλος (teacher): διαβάζει το ερώτημα και το έγγραφο από κοινού και εκχωρεί σε κάθε διακριτικό του εγγράφου μια βαθμολογία συνάφειας. Οι προβλέψεις του προσφέρουν διάφορα πλεονεκτήματα για την εκπαίδευση πλαισιακών ενσωματώσεων:

1. Ευέλικτα όρια τμημάτων. Οι βαθμολογίες συνάφειας σε επίπεδο διακριτικού μπορούν να αθροιστούν σε οποιαδήποτε επιλεγμένα όρια τμημάτων, επιτρέποντας στις ίδιες προβλέψεις δασκάλου να εποπτεύουν διαφορετική τμηματοποίηση χωρίς εκ νέου σχολιασμό.
2. Συνεχής συνάφεια. Σε αντίθεση με τις δυαδικές ετικέτες χρυσού τμήματος, ο δάσκαλος παρέχει συνεχείς βαθμολογίες που αποτυπώνουν βαθμούς συνάφειας οι οποίοι διαχωρίζουν φυσικά τα τμήματα που περιέχουν απαντήσεις, το πλαίσιο υποστήριξης και το άσχετο περιεχόμενο.
3. Χαμηλότερο κόστος σχολιασμού. Ο δάσκαλος είναι συμπαγής και εξειδικευμένος στη βαθμολογία συνάφειας, καθιστώντας τον πολύ φθηνότερο στην εποπτεία σε κλίμακα σε σύγκριση με ένα LLM γενικού σκοπού.

Εκπαιδεύουμε το μοντέλο μας με ένα σταθμισμένο άθροισμα μιας απώλειας αντίθεσης σε επίπεδο εγγράφου και μιας απώλειας απόσταξης σε επίπεδο τμήματος σε παρτίδες ζευγών ερωτήματος-εγγράφου. Για κάθε ερώτημα, το συζευγμένο έγγραφο χρησιμεύει ως θετικό, ενώ τα υπόλοιπα έγγραφα στην ίδια παρτίδα χρησιμεύουν ως αρνητικά.

Για κάθε παρτίδα, επιλέγουμε τυχαία μια στρατηγική τμηματοποίησης, διαιρούμε τα έγγραφα αναλόγως και εισάγουμε διακριτικά διαχωρισμού μεταξύ των τμημάτων. Στη συνέχεια, επεξεργαζόμαστε κάθε έγγραφο σε ένα ενιαίο πέρασμα προς τα εμπρός (forward pass) και υπολογίζουμε τον μέσο όρο (mean-pool) των αναπαραστάσεων των διακριτικών εντός κάθε τμήματος για να λάβουμε πλαισιακές ενσωματώσεις τμημάτων. Τα ερωτήματα κωδικοποιούνται ξεχωριστά, με υπολογισμό μέσου όρου πάνω από τις αναπαραστάσεις των διακριτικών τους. Τέλος, υπολογίζουμε την ομοιότητα συνημιτόνου (cosine similarity) μεταξύ κάθε ενσωμάτωσης ερωτήματος και κάθε ενσωμάτωσης τμήματος στην παρτίδα.

Συνάρτηση απώλειας

Απώλεια αντίθεσης σε επίπεδο εγγράφου

Ενώ το μοντέλο ενσωμάτωσης μας παράγει μόνο ομοιότητες σε επίπεδο τμήματος, μπορούμε φυσικά να συναγάγουμε ομοιότητες σε επίπεδο εγγράφου από αυτές. Θεωρούμε ότι ένα έγγραφο d είναι τόσο σχετικό με ένα ερώτημα q όσο και το πιο σχετικό τμήμα του. Αυτός ο κανόνας βαθμολογίας είναι εμπνευσμένος από τη λειτουργία MaxSim του ColBERT, η οποία εφαρμόζεται εδώ σε τμήματα αντί για διακριτικά.

Συγκεκριμένα, δεδομένου ενός ερωτήματος q με ενσωμάτωση q και ενός εγγράφου d ως διατεταγμένης λίστας τμημάτων c με ενσωματώσεις c, ορίζουμε την ομοιότητα σε επίπεδο εγγράφου ως:

Δεδομένων αυτών των ομοιοτήτων σε επίπεδο εγγράφου, μπορούμε να διατυπώσουμε έναν στόχο InfoNCE σε επίπεδο εγγράφου επί των αρνητικών εντός παρτίδας.

Για ένα ερώτημα q, έστω d⁺ το σχετικό του έγγραφο και 𝒟 τα έγγραφα στην παρτίδα. Η απώλεια αντίθεσης έχει ως εξής, παραλείποντας τις θερμοκρασίες για λόγους αναγνωσιμότητας:

Απώλεια απόσταξης σε επίπεδο τμήματος

Η απώλεια αντίθεσης διδάσκει στο μοντέλο ποιο έγγραφο είναι σχετικό με ένα ερώτημα. Η απώλεια απόσταξης του διδάσκει πού βρίσκεται η συνάφεια εντός αυτού του εγγράφου, κάτι που είναι απαραίτητο για ένα πλαισιακό μοντέλο.

Κατά τη διάρκεια της εκπαίδευσης, περνάμε κάθε θετικό ζεύγος ερωτήματος-εγγράφου στο μοντέλο συμπίεσης πλαισίου μας, το οποίο εκχωρεί μια βαθμολογία συνάφειας σε κάθε διακριτικό στο έγγραφο. Όπως και με τη βαθμολογία σε επίπεδο εγγράφου, συναγάγουμε τη συνάφεια κάθε τμήματος από τα πιο σχετικά περιεχόμενά του. Για να μειώσουμε την ευαισθησία στα ακραία διακριτικά (outlier tokens), συμπεριλαμβανομένων εκείνων στα όρια των τμημάτων, ορίζουμε τη συνάφεια σε επίπεδο τμήματος ως τον μέσο όρο των κορυφαίων n βαθμολογιών διακριτικών εντός του τμήματος.

Για κάθε ερώτημα, εφαρμόζουμε ένα softmax κλιμακούμενο με θερμοκρασία στις βαθμολογίες συνάφειας σε επίπεδο τμήματος του δασκάλου εντός του θετικού εγγράφου για να λάβουμε μια κατανομή-στόχο. Τα τμήματα στα άλλα έγγραφα της παρτίδας λαμβάνουν μηδενική πιθανότητα-στόχο. Εκπαιδεύουμε το μοντέλο ενσωμάτωσης να ταιριάζει σε αυτόν τον στόχο ελαχιστοποιώντας την απόκλιση KL προς τα εμπρός (forward KL divergence) μεταξύ του στόχου και της προβλεπόμενης κατανομής του σε όλα τα τμήματα της παρτίδας:

Εδώ, οι υπερεκθέτες T και S υποδεικνύουν τον δάσκαλο και τον μαθητή, και rⱼ είναι η βαθμολογία συνάφειας του δασκάλου για το τμήμα cⱼ στο θετικό έγγραφο d⁺. Η κατανομή-στόχος του δασκάλου εκχωρεί μηδενική πιθανότητα στα τμήματα σε όλα τα άλλα έγγραφα της παρτίδας.

Σε αντίθεση με μια μοναδική ετικέτα χρυσού τμήματος, αυτός ο στόχος αποτυπώνει βαθμούς συνάφειας. Τα τμήματα υποστήριξης λαμβάνουν βάρος σύμφωνα με τις βαθμολογίες του δασκάλου αντί να αντιμετωπίζονται ως αρνητικά, διδάσκοντας στο μοντέλο να ανακτά τόσο το πλαίσιο υποστήριξης όσο και την απάντηση.

Συνδυασμένη απώλεια

Ο συνδυασμένος εκπαιδευτικός μας στόχος είναι ένα σταθμισμένο άθροισμα της απώλειας αντίθεσης σε επίπεδο εγγράφου και της απώλειας απόσταξης σε επίπεδο τμήματος. Υπολογίζουμε τον μέσο όρο αυτής της σταθμισμένης απώλειας σε ολόκληρη την παρτίδα των ζευγών ερωτήματος–εγγράφου.

Το Σχήμα 2 εικονογραφεί την εκπαιδευτική μας προσέγγιση. Ο συμπιεστής πλαισίου χρησιμεύει ως δάσκαλος μόνο κατά τη διάρκεια της εκπαίδευσης. Κατά τον χρόνο εξαγωγής συμπερασμάτων, το μοντέλο ενσωμάτωσης παράγει μία πλαισιακή ενσωμάτωση ανά τμήμα, χωρίς επιπλέον στάδιο συμπίεσης ή ανακατάταξης (reranking). Η προσέγγιση βελτιώνει τον τρόπο με τον οποίο μαθαίνονται οι πλαισιακές ενσωματώσεις χωρίς να αυξάνεται η αποθήκευση του δείκτη ή να προστίθεται λανθάνουσα κατάσταση (latency) του μοντέλου-δασκάλου κατά τον χρόνο ανάκτησης.

Μεγέθυνση

Δεδομένα εκπαίδευσης

Τα δεδομένα εκπαίδευσης αποτελούνται από περίπου 430 δημόσια και εσωτερικά σύνολα δεδομένων ερωτημάτων–εγγράφων που καλύπτουν πάνω από 50 γλώσσες.

Συνθέτουμε εσωτερικά σύνολα δεδομένων ζευγών από δεδομένα παραγωγής φιλτραρισμένα για PII και μέσω σύνθεσης σχετικών ερωτημάτων πάνω σε μεγάλα έγγραφα. Για κάθε forward pass, επιλέγουμε ένα σύνολο δεδομένων και δειγματοληπτούμε ολόκληρο ένα batch από αυτό για να αυξήσουμε τη δυσκολία των in-batch negatives και να αποφύγουμε τη μάθηση συντομεύσεων. Κανένα από τα σύνολα δεδομένων εκπαίδευσής μας δεν περιέχει σχολιασμό σε επίπεδο chunk: όλη η επίβλεψη εντός εγγράφου προέρχεται από το μοντέλο συμπίεσης και δεν χρησιμοποιούνται δεδομένα ConTEB για εκπαίδευση. Επιπλέον, δεν ήταν διαθέσιμα δεδομένα context-bench κατά την ανάπτυξη του μοντέλου.

Ρύθμιση εκπαίδευσης

Το μοντέλο ξεκινά από ένα εσωτερικό μοντέλο ανάκτησης ColBERT 9B παραμέτρων και παράγει ενσωματώσεις 2048 διαστάσεων μέσω ενός στρώματος γραμμικής προβολής. Σημαίνουμε τα όρια των τμημάτων με ένα εκπαιδευμένο διακριτικό <|chunk_sep|> και σχηματίζουμε κάθε ενσωμάτωση τμήματος υπολογίζοντας τον μέσο όρο των ενσωματώσεων των διακριτικών του. Τα ερωτήματα κωδικοποιούνται από το ίδιο μοντέλο, με τις ενσωματώσεις των διακριτικών τους να λαμβάνουν μέσο όρο σε ένα ενιαίο διάνυσμα.

Χρησιμοποιούμε εκπαίδευση Matryoshka για να υποστηρίξουμε ενσωματώσεις 1024 και 2048 διαστάσεων, καθώς και εκπαίδευση με επίγνωση κβάντωσης (quantization-aware) για την υποστήριξη εγγενών ενσωματώσεων int8. Κατά τη διάρκεια της εκπαίδευσης, αυξάνουμε σταδιακά τον ρυθμό μάθησης, τον κρατάμε σταθερό και στη συνέχεια τον μειώνουμε.

Το κυκλοφορημένο μοντέλο είναι μια σούπα μοντέλων (model soup) που υπολογίζει τον μέσο όρο των βαρών διαφόρων σημείων ελέγχου (checkpoints) από την ίδια εκπαιδευτική εκτέλεση.

Ένα νέο benchmark για ανάκτηση σε επίπεδο τμήματος

Τα δημόσια benchmarks πλαισιακής ανάκτησης (contextual-retrieval) όπως το ConTEB μοιράζονται την υπόθεση πίσω από την εποπτεία χρυσού τμήματος (gold-chunk supervision): κάθε ερώτημα έχει ένα μοναδικό σχετικό τμήμα και ένα μοντέλο ανταμείβεται μόνο για την κατάταξη αυτού του τμήματος στην πρώτη θέση. Κληρονομούν επίσης τους περιορισμούς του.

Πρώτον, το ConTEB δοκιμάζει την ανάκτηση σε εργασίες όπου ένα τμήμα είναι ασαφές χωρίς το περιβάλλον πλαίσιο του. Σε αυτές τις εργασίες, τα πλαισιακά μοντέλα ξεπέρασαν τα μοντέλα που κωδικοποιούν κάθε τμήμα ανεξάρτητα. Ωστόσο, δεν εξετάζει αν ένα μοντέλο αναδεικνύει επίσης τα άλλα μέρη του εγγράφου που κάνουν το τμήμα κατανοητό.

Δεύτερον, δεν ελέγχει συστηματικά εάν είναι δυνατή η εύρεση του σωστού εγγράφου όταν σχεδόν πανομοιότυπα έγγραφα στο ίδιο σώμα κειμένου διαφέρουν μόνο στο πλαίσιο που περιβάλλει μια κατά τα άλλα πανομοιότυπη πρόταση.

Και οι δύο δυνατότητες έχουν σημασία όταν ένας πράκτορας αναζήτησης ή ένας χρήστης πρέπει να κατανοήσει και να επαληθεύσει μια απάντηση από μερικές ανακτημένες προτάσεις και όχι από ολόκληρο το έγγραφο. Ως εκ τούτου, κατασκευάσαμε το context-bench, ένα ελεγχόμενο benchmark για ανάκτηση σε μεγάλα έγγραφα, σχεδιασμένο να διαχωρίζει τη χρήση του πλαισίου εγγράφου από τη γενική ποιότητα ανάκτησης. Ελέγχει εάν οι πλαισιακές ενσωματώσεις χρησιμοποιούν πληροφορίες από αλλού σε ένα έγγραφο για να υποστηρίξουν τρεις δυνατότητες:

1. Αποσαφήνιση εγγράφου: Προσδιορισμός του σωστού εγγράφου ανάμεσα σε σχεδόν πανομοιότυπες εναλλακτικές.
2. Ανάκτηση απάντησης: Ανάκτηση τμημάτων που περιέχουν την απάντηση, των οποίων η νόημα εξαρτάται από λεπτομέρειες αλλού στο έγγραφο.
3. Ανάκτηση αποδεικτικών στοιχείων: Ανάκτηση τμημάτων υποστήριξης που διευκρινίζουν ή τεκμηριώνουν την απάντηση.

Το Context-bench περιέχει 2.099 ερωτήματα και 38.894 έγγραφα. Χρησιμοποιούνται τμήματα μεγέθους πρότασης, με αποτέλεσμα συνολικά 2.458.072 τμήματα. Τα ερωτήματα καλύπτουν 21 τομείς, συμπεριλαμβανομένων εταιρικών καταθέσεων, κλινικής έρευνας, ταξιδιών, ψυχαγωγίας, εκπαίδευσης, κυβέρνησης, νομικών συμβάσεων και τεκμηρίωσης λογισμικού.

Κάθε ερώτημα έχει σχεδιαστεί για να δοκιμάσει μία από τις δώδεκα δυνατότητες πλαισίου. Τα κύρια έγγραφα-στόχοι είναι σκόπιμα μακροσκελή: 1.061 από τα 1.197 διακριτά κύρια έγγραφα-στόχους έχουν τουλάχιστον 200 προτάσεις, με διάμεσο μήκος περίπου 6.100 διακριτικών (tokens). Κάθε ερώτημα έχει ακριβώς μία σωστή απάντηση στο σώμα κειμένου. Όπου το ίδιο γεγονός αναφέρεται περισσότερες από μία φορές σε ένα χρυσό έγγραφο, για παράδειγμα σε μια πρόταση περίληψης και σε μια γραμμή πίνακα, οποιαδήποτε από αυτές τις προτάσεις γίνεται αποδεκτή ως απάντηση.

Μια διαδρομή απάντησης είναι ένας έγκυρος συνδυασμός ενός τμήματος απάντησης και των αποδεικτικών στοιχείων υποστήριξης που απαιτούνται για την ερμηνεία ή την επαλήθευσή του. Στα 2.099 ερωτήματα, η διαδρομή απάντησης του κύριου εγγράφου-στόχου έχει μία ομάδα αποδεικτικών στοιχείων για 964 ερωτήματα, δύο για 735, τρεις ή περισσότερες για 332 και καμία για 68. Εναλλακτικές έγκυρες διαδρομές απάντησης ενδέχεται να απαιτούν διαφορετικές ομάδες αποδεικτικών στοιχείων.

Πίνακας 1: Στατιστικά στοιχεία του benchmark.

Πίνακας 2: Δώδεκα συμφραστικές δυνατότητες που δοκιμάστηκαν με το context-bench, με ενδεικτικά παραδείγματα.

Έγγραφα και ερωτήματα

Τα ερωτήματα, τα έγγραφα και οι δυνατότητες που δοκιμάζονται είναι εμπνευσμένα από συνομιλίες με τους πελάτες του turbopuffer.

Για να δώσουμε ένα παράδειγμα, σκεφτείτε τις ανάγκες αναζήτησης μιας εταιρείας διαχείρισης ακινήτων. Αυτές οι εταιρείες διαθέτουν εκατοντάδες, μερικές φορές χιλιάδες συμβάσεις μίσθωσης που διαφέρουν μόνο στα ονόματα των ενοικιαστών, τις ημερομηνίες και μερικές άλλες βασικές λεπτομέρειες. Ένα σύνηθες ερώτημα για αυτό το σύνολο δεδομένων θα μπορούσε να είναι «πότε λήγει η μίσθωση της 5 Park Avenue και ποιο είναι το τρέχον ενοίκιο;». Οι συμβάσεις μίσθωσης μπορεί επίσης να είναι μακροσκελείς και τα κρίσιμα στοιχεία αποσαφήνισης που θα επιβεβαίωναν ότι έχετε ανακτήσει το σωστό έγγραφο (όπως η ημερομηνία, η διεύθυνση, το όνομα του ενοικιαστή κ.λπ.) συχνά απέχουν πολύ από την κύρια πρόταση-απάντηση που περιέχει το ποσό της μηνιαίας πληρωμής μίσθωσης. Στην πράξη, πανομοιότυπες προτάσεις όπως «Το μηνιαίο ενοίκιο είναι $X,XXX.» μπορούν να εμφανιστούν σε πολλά έγγραφα στο σώμα κειμένου.

Ένα καλό μοντέλο πλαισιακής ενσωμάτωσης θα πρέπει να χρησιμοποιεί πλαίσιο από ολόκληρο το έγγραφο για να εντοπίσει το σωστό έγγραφο και να ανακτήσει τόσο την απάντηση όσο και τις προτάσεις υποστήριξής της. Αυτό επιτρέπει σε έναν χρήστη ή πράκτορα αναζήτησης να επαληθεύσει γρήγορα την απάντηση και να επιβεβαιώσει ότι προέρχεται από το σωστό έγγραφο.

Ετικέτες απάντησης και αποδεικτικών στοιχείων

Για κάθε ερώτημα, επισημαίνουμε τις προτάσεις «απάντησης» και «αποδεικτικών στοιχείων» στο έγγραφο-στόχο. Ένα μοντέλο περνάει το τεστ «επάρκειας αναγνώστη» μας εάν ανακτήσει μια πρόταση απάντησης μαζί με τουλάχιστον μία πρόταση από κάθε ομάδα αποδεικτικών στοιχείων. Μαζί, αυτές οι προτάσεις παρέχουν επαρκές πλαίσιο ώστε ένας αναγνώστης να επαληθεύσει την απάντηση με αποδεικτικά στοιχεία υποστήριξης.

Όταν τα μοντέλα πλαισιακής ενσωμάτωσης το κάνουν αυτό με επιτυχία, μπορούν να μειώσουν δραματικά τον αριθμό των διακριτικών που πρέπει να εξετάσουν οι πράκτορες αναζήτησης, καθώς και να κάνουν πολύ πιο εύκολο για ένα άτομο να επιβεβαιώσει γρήγορα ότι έχει εντοπίσει τη σωστή απάντηση στο αρχικό του ερώτημα χωρίς να χρειάζεται να διαβάσει ολόκληρο το έγγραφο.

Κάθε ομάδα αποδεικτικών στοιχείων πρέπει να ανακτηθεί, αλλά οποιαδήποτε από τις εναλλακτικές μιας ομάδας είναι αρκετή για την ανάκτησή της. Είναι σύνηθες να βλέπει κανείς το ίδιο γεγονός να δηλώνεται σε πολλά σημεία σε αυτά τα μακροσκελή έγγραφα. Η ανάκτηση έστω και μιας πρότασης από κάθε ομάδα αποδεικτικών στοιχείων πληροί τα κριτήρια επάρκειας αναγνώστη και ως εκ τούτου θα γίνει αποδεκτή ως τέλεια ανάκληση αποδεικτικών στοιχείων.

Μετρικές

Κάθε έγγραφο χωρίζεται σε τμήματα (προτάσεις) και τα ίδια όρια χρησιμοποιούνται για όλα τα μοντέλα. Δοκιμάζονται δύο συνθήκες για μη πλαισιακά μοντέλα ενσωμάτωσης: η μία όπου κάθε πρόταση ενσωματώνεται ανεξάρτητα και η άλλη όπου ολόκληρο το έγγραφο ενσωματώνεται ως ενιαίο τμήμα.

Χρησιμοποιούμε τη συνθήκη σε επίπεδο πρότασης για να μετρήσουμε την ανάκληση απαντήσεων και την ανάκληση αποδεικτικών στοιχείων. Ελέγχει εάν ένα μη πλαισιακό μοντέλο μπορεί να εντοπίσει τη σωστή απάντηση και τα αποδεικτικά στοιχεία υποστήριξης όταν κάθε πρόταση ενσωματώνεται χωρίς πρόσβαση στο γύρω έγγραφο. Αυτό είναι σκόπιμα απαιτητικό. Σε πολλά ερωτήματα, η πρόταση-απάντηση από μόνη της στερείται των λεπτομερειών που απαιτούνται για να διακριθεί από παρόμοιες προτάσεις αλλού στο σώμα κειμένου.

Χρησιμοποιούμε τη συνθήκη σε επίπεδο εγγράφου ως σημείο αναφοράς (baseline) ανάκλησης εγγράφων. Ελέγχει εάν οι λεπτόκοκκες ενσωματώσεις προτάσεων παρέχουν επαρκές όφελος ανάκτησης ώστε να δικαιολογήσουν το επιπλέον κόστος αποθήκευσης σε σχέση με την αποθήκευση ενός διανύσματος ανά έγγραφο. Ένας δείκτης σε επίπεδο πρότασης δημιουργεί σημαντικά περισσότερα διανύσματα από έναν δείκτη σε επίπεδο εγγράφου, επομένως θα πρέπει να ξεπερνά το σημείο αναφοράς του ενός διανύσματος ανά έγγραφο για να δικαιολογήσει αυτό το κόστος.

Όλες οι αξιολογήσεις χρησιμοποιούν εξαντλητικές κατατάξεις έναντι και των 2.458.072 τμημάτων. Επομένως, οι διαφορές μεταξύ των μοντέλων αντικατοπτρίζουν τις αναπαραστάσεις και όχι τη διαμόρφωση του δείκτη. Εστιάζουμε σε τρεις βασικές μετρικές:

Το Document@K ορίζεται ως:

όπου $d^{*}$ είναι το έγγραφο με την υψηλότερη κατάταξη στο $D_q$.

Το Answer@K ορίζεται ως:

όπου $C_K(q)$ είναι τα κορυφαία $K$ τμήματα σε ολόκληρο το σώμα κειμένου και $A_{q}$ είναι το σύνολο των αποδεκτών τμημάτων απάντησης.

Η Evidence Recall@K μετράται εντός του $d^{*}$ ως εξής: Κατάταξη των προτάσεων του $d^{*}$ ανάλογα με την ομοιότητα, αφαίρεση της πρότασης απάντησης με την υψηλότερη κατάταξη και ορισμός του $R_K(q)$ ως τα κορυφαία $K$ που απομένουν. Για τις ομάδες αποδεικτικών στοιχείων $G_q=\{g_1,\ldots,g_m\}$, η ομάδα $g_j$ ανακτάται εάν κάποια εναλλακτική $E\in g_j$ ικανοποιεί το $E\subseteq R_K(q)$, και

Το Document@K ρωτά εάν η πλαισιοποίηση επιτρέπει στο σωστό έγγραφο να ξεπεράσει τα συγγενικά έγγραφα και τους περισπασμούς που μοιράζονται το λεξιλόγιό του.

Το Answer@K ρωτά εάν η ίδια η πρόταση-απάντηση κατατάσσεται μεταξύ των κορυφαίων τμημάτων.

Η Evidence Recall@K ρωτά πόσο μέρος του πλαισίου υποστήριξης ανακτάται μεταξύ των κορυφαίων Κ τμημάτων του σωστού εγγράφου, αφού εξαιρεθεί το τμήμα απάντησης με την υψηλότερη κατάταξη. Η αφαίρεση της απάντησης αποτρέπει το Evidence Recall από το να μετρήσει διπλά αυτό που το Answer@K μετράει ήδη, και αφήνει όλες τις θέσεις $K$ για το πλαίσιο υποστήριξης. Το να απαιτείται το χρυσό έγγραφο να βρίσκεται στα 10 κορυφαία ανακτημένα έγγραφα σημαίνει ότι κανένα μοντέλο δεν λαμβάνει πιστώσεις αποδεικτικών στοιχείων για ένα έγγραφο που δεν θα είχε αναδείξει. Αναφέρουμε επίσης το All-Evidence@K, το κλάσμα των ερωτημάτων με κάθε ομάδα ανακτημένη.

Συνολικά, αυτές οι μετρικές αναλύουν τις προκλήσεις που αντιμετωπίζουν τα μοντέλα ενσωμάτωσης βάσει πλαισίου (contextual-embedding): την εύρεση του σωστού εγγράφου, την εύρεση της σωστής απάντησης και την ανάκτηση του ελάχιστου πλαισίου που αποδεικνύει γιατί η απάντηση είναι σωστή.

Το Σχήμα 3 εικονογραφεί τις μετρικές με το παράδειγμα διαχείρισης ακινήτων.

Μεγέθυνση

Αποτελέσματα αξιολόγησης

Αξιολογούμε το μοντέλο μας σε σύγκριση με πλαισιακά και μη πλαισιακά μοντέλα ενσωμάτωσης σε τέσσερα μέτωπα.

Τα πλαισιακά μας σημεία αναφοράς (baselines) είναι τα pplx-embed-context-v1-4B και voyage-context-4. Τα μη πλαισιακά μας σημεία αναφοράς είναι τα voyage-4-large και Nemotron-3-Embed-8B-BF16 της NVIDIA, τα οποία κωδικοποιούν τα τμήματα ανεξάρτητα. Το σύνολο των σημείων αναφοράς ποικίλλει ανάλογα με το πείραμα, όπως υποδεικνύεται σε κάθε σχήμα.

Ξεκινάμε με το context-bench, το οποίο δοκιμάζει άμεσα τις δυνατότητες που υποκινούν αυτό το έργο, και στη συνέχεια αναφέρουμε τα αποτελέσματα στο ConTEB, το τυπικό δημόσιο benchmark για πλαισιακές ενσωματώσεις. Για να ελέγξουμε ότι αυτά τα κέρδη δεν έρχονται εις βάρος της γενικής ποιότητας ανάκτησης, αξιολογούμε επίσης benchmarks ανάκτησης εγγράφων και τμημάτων συγκεκριμένου τομέα που κατασκευάσαμε από δημόσια σύνολα δεδομένων. Τέλος, εξετάζουμε δύο πρακτικές ιδιότητες για την ανάπτυξη: την ποιότητα ανάκτησης έναντι του κόστους αποθήκευσης ανά διάνυσμα, και την ευαισθησία στο μέγεθος τμήματος που χρησιμοποιείται κατά τη χρονική στιγμή δημιουργίας ευρετηρίου. Όλες οι αξιολογήσεις κωδικοποιούν έγγραφα έως 32.768 διακριτικών σε ένα ενιαίο πέρασμα.

Context-bench

Όπως φαίνεται στο Σχήμα 1 στην εισαγωγή, η προεπισκόπησή μας προηγείται στο Answer@K και στο Evidence Recall@K σε κάθε αναφερόμενο όριο (cutoff), καθώς και στο All-Evidence@10. Στο K = 10, επιτυγχάνει ανάκληση απαντήσεων 45,5%, ανάκληση αποδεικτικών στοιχείων 40,6% και ανάκληση όλων των αποδεικτικών στοιχείων 31,1%. Προηγείται επίσης στο Document@1 και στο Document@10, φτάνοντας το 15,2% και 61,6% αντίστοιχα. Στο K = 10, η προεπισκόπησή μας ξεπερνά το voyage-context-4 κατά 14,4 ποσοστιαίες μονάδες στην ανάκληση απαντήσεων και 5,0 μονάδες στην ανάκληση αποδεικτικών στοιχείων.

ConTEB

Το μοντέλο preview μας επιτυγχάνει το υψηλότερο μέσο nDCG@10 μεταξύ των μοντέλων που εμφανίζονται στο ConTEB στο Σχήμα 4. Δεν προηγείται σε κάθε εργασία: το pplx-context-v1-4B σημειώνει υψηλότερη επίδοση στο NarrativeQA, ενώ το Nemotron-3-8B σημειώνει την υψηλότερη επίδοση στο COVID-QA. Όπως επεσήμαναν και οι κύριοι συγγραφείς στην εργασία ConTEB, το COVID-QA περιλαμβάνει κυρίως ζευγαρώσεις ερωτήματος-τμήματος που είναι πολύ εξαγωγικές και μπορούν να ικανοποιηθούν με απλή επιφανειακή λεξική αντιστοίχιση σε τεχνικούς ιατρικούς όρους. Ως αποτέλεσμα, η κατανόηση του πλαισίου είναι λιγότερο χρήσιμη για αυτήν την εργασία και τα μη συμφραστικά μοντέλα συνήθως υπερτερούν των συμφραστικών.

Μεγέθυνση

Γενική ποιότητα ανάκτησης ανά τομέα

Πέρα από τα benchmarks που έχουν σχεδιαστεί για πλαισιακές ενσωματώσεις, αξιολογούμε την απόδοση του μοντέλου μας ανά τομέα.

Η σουίτα ερωτήματος προς τμήμα (Q2C) χρησιμοποιεί εργασίες MTEB όπως το LegalBench και το FinanceBench μαζί με πρόσθετες εργασίες ανάκτησης που επιμεληθήκαμε από δημόσια σύνολα δεδομένων. Εντός κάθε σχετικού εγγράφου, ένα τμήμα χαρακτηρίζεται ως σχετικό εάν περιέχει το ακριβές διάστημα απάντησης όταν η εργασία παρέχει ένα, και διαφορετικά μέσω ενός LLM που κρίνει τη συνάφειά του με το ερώτημα. Η σουίτα ερωτήματος προς έγγραφο (Q2D) χρησιμοποιεί τις ίδιες εργασίες και βαθμολογεί εάν ανακτάται το σχετικό έγγραφο.

Το μοντέλο μας επιτυγχάνει την υψηλότερη μέση βαθμολογία στην ανάκτηση τμημάτων στο Σχήμα 5 και προηγείται στους νομικούς, τεχνικούς και υγειονομικούς τομείς. Δεν προηγείται σε κάθε τομέα: το voyage-context-4 σκοράρει υψηλότερα στη χρηματοδότηση και την πολυγλωσσική ανάκτηση, και το Nemotron-3-8B σκοράρει υψηλότερα στην ανάκτηση συνομιλιών. Στην ανάκτηση εγγράφων στο Σχήμα 6, το μοντέλο μας σκοράρει ελαφρώς κάτω από το voyage-context-4 κατά μέσο όρο, ενώ προηγείται στον τεχνικό τομέα. Το σημείο αναφοράς pplx-context-v1-4B σκοράρει χαμηλότερα κατά μέσο όρο και στις δύο σουίτες, κάτι που συνάδει με το γεγονός ότι εκπαιδεύτηκε μόνο στο σύνολο δεδομένων εκπαίδευσης του ConTEB, δείχνοντας ότι η εποπτεία που συνδέεται με τα χρυσά τμήματα ενός benchmark μεταφέρεται ελάχιστα σε άλλους τομείς.

Μεγέθυνση

Μεγέθυνση

Ποιότητα ανάκτησης και κόστος αποθήκευσης

Un μοντέλο πλαισιακής ενσωμάτωσης παράγει ένα διάνυσμα ανά τμήμα, επομένως ένας δείκτης που κατασκευάζεται με το μοντέλο μας περιέχει ακριβώς τόσα διανύσματα όσα και ένας συμβατικός δείκτης σε επίπεδο τμήματος με την ίδια στρατηγική τμηματοποίησης. Η πλαισιοποίηση αλλάζει το τι κωδικοποιεί κάθε διάνυσμα, όχι πόσα διανύσματα αποθηκεύονται. Ως εκ τούτου, το αποτύπωμα αποθήκευσης διέπεται από το μέγεθος κάθε διανύσματος. Το μοντέλο προσφέρει δύο τρόπους για να το μειώσετε: την περικοπή της ενσωμάτωσης από 2048 σε 1024 διαστάσεις και την κβάντωσή της σε int8.

Το Σχήμα 7 δείχνει μια ευνοϊκή ισορροπία μεταξύ ποιότητας ανάκτησης και αποθήκευσης διανυσμάτων. Στις 1024 διαστάσεις, οι int8 ενσωματώσεις μας χρησιμοποιούν 1 KB ανά διάνυσμα ενώ ξεπερνούν ελαφρώς τη βαθμολογία ανάκτησης τμημάτων του voyage-context-4 στις 2048 διαστάσεις σε float32, η οποία χρησιμοποιεί 8 KB ανά διάνυσμα. Η αύξηση του μεγέθους ενσωμάτωσης στις 2048 διαστάσεις αυξάνει περαιτέρω την ποιότητα ανάκτησης στα 2 KB ανά διάνυσμα. Αυτά τα στοιχεία αποθήκευσης αφορούν μόνο τα διανύσματα, και όχι την υπόλοιπη δομή του δείκτη.

Μεγέθυνση

Ευαισθησία μεγέθους τμήματος

Το Σχήμα 8 δείχνει μόνο μια μέτρια αλλαγή στην ποιότητα ανάκτησης καθώς το μέγεθος του τμήματος αυξάνεται από 64 σε 512 διακριτικά: η μέση βαθμολογία πέφτει από 81,0% σε 79,9%, μια μείωση 1,1 ποσοστιαίων μονάδων. Αυτό υποδηλώνει ότι το μοντέλο παραμένει αποτελεσματικό στα δοκιμασμένα μεγέθη τμημάτων, δίνοντας ευελιξία στους αγωγούς δημιουργίας ευρετηρίου ως προς τον τρόπο διαίρεσης των εγγράφων.

Μεγέθυνση

Κυκλοφορία

Το turbopuffer διατηρεί το πλήρες σώμα κειμένου, τα ερωτήματα και τις ετικέτες του context-bench ιδιωτικά και αναφέρει τα αποτελέσματα για τα υποβληθέντα μοντέλα. Ένα δημόσιο benchmark αυτού του είδους προσκαλεί άμεση εκπαίδευση στα ερωτήματα και τα έγγραφά του, κάτι που θα το κορεμούσε σταδιακά και θα μείωνε την αξία του για την παρακολούθηση της προόδου με την πάροδο του χρόνου. Αν θέλετε να αξιολογηθεί το μοντέλο σας στο benchmark, επικοινωνήστε με το turbopuffer στη διεύθυνση contextbench@turbopuffer.com.

Μια προεπισκόπηση του μοντέλου μας είναι διαθέσιμη στο Hugging Face, και όλα τα αποτελέσματα σε αυτήν την ανάρτηση αναφέρονται για αυτήν την προεπισκόπηση. Εργαζόμαστε για να καταστήσουμε το μοντέλο διαθέσιμο μέσω του Perplexity API, καθώς και για την περαιτέρω βελτίωση της ανάκτησης σε μακροσκελή έγγραφα σε συνεργασία με το turbopuffer.

Παραπομπή

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}