Ενσωματώσεις πολλαπλών τροπικοτήτων πέρα από ένα μόνο διάνυσμα

Μια νέα οικογένεια μοντέλων όψιμης αλληλεπίδρασης για ανάκτηση κειμένου και εικόνων, με κοινό χώρο ενσωμάτωσης σε όλα τα μεγέθη μοντέλων.

ΣυγγραφείςPerplexity Research

Από την κυκλοφορία του pplx-embed-v1 τον Φεβρουάριο, εργαζόμαστε πάνω σε μια νέα γενιά μοντέλων ενσωμάτωσης. Την περασμένη εβδομάδα, παρουσιάσαμε το νέο μας contextual embedding model, pplx-embed-v2-context. Σήμερα, επεκτείνουμε τη σειρά με το pplx-embed-v2-late, μια συλλογή μοντέλων όψιμης αλληλεπίδρασης. Μαζί με ισχυρότερες δυνατότητες ανάκτησης, τα μοντέλα είναι τα πρώτα που συνδυάζουν τρία βασικά χαρακτηριστικά:

  • Αναπαραστάσεις πολλαπλών διανυσμάτων. Αντί να συμπιέζουν κάθε είσοδο σε ένα μόνο διάνυσμα, αυτά τα μοντέλα διατηρούν διανύσματα σε επίπεδο token για πιο λεπτομερείς συγκρίσεις ερωτήματος-εγγράφου. Αυτό επιτρέπει σε διαφορετικά τμήματα ενός ερωτήματος να ταιριάζουν με διαφορετικά τμήματα ενός εγγράφου, διατηρώντας λεπτομέρειες που είναι ιδιαίτερα πολύτιμες για πολυτροπική ανάκτηση.
  • Υποστήριξη τόσο για κειμενικές όσο και για οπτικές τροπικότητες. Πέρα από τις δυνατότητες ανάκτησης κειμένου σε κείμενο των προηγούμενων μοντέλων μας, αυτά τα νέα μοντέλα χειρίζονται ανάκτηση κειμένου σε εικόνα, επιτρέποντάς τους να αναζητούν απευθείας αποδομένες σελίδες PDF χωρίς να απαιτείται OCR ή αναλυμένο κείμενο.
  • Ένας κοινός χώρος ενσωμάτωσης. Κυκλοφορούμε δύο μεγέθη μοντέλων, 0,6B και 9B, για να υποστηρίξουμε διαφορετικές απαιτήσεις ποιότητας, καθυστέρησης και υπολογισμού. Καθένα μπορεί να χρησιμοποιηθεί ανεξάρτητα, αλλά ο κοινός χώρος ενσωμάτωσης επιτρέπει επίσης στο μικρότερο μοντέλο να κάνει ερωτήματα σε ένα ευρετήριο που δημιουργήθηκε με το μεγαλύτερο μοντέλο, συνδυάζοντας ενσωματώσεις εγγράφων υψηλότερης ποιότητας με φθηνή, γρήγορη εκτέλεση συμπερασμού κατά τον χρόνο ερωτήματος.

Αυτά τα νέα μοντέλα επιτυγχάνουν κορυφαία αποτελέσματα σε μια σειρά από benchmarks ανάκτησης εικόνας και κειμένου, καθώς και σε εργασίες απάντησης ερωτήσεων με πράκτορες. Αξίζει να σημειωθεί ότι στο ViDoRe (V3), ένα από τα κορυφαία benchmarks ανάκτησης οπτικών εγγράφων, το μοντέλο μας των 0,6B φτάνει τις επιδόσεις μοντέλων με πενταπλάσιο αριθμό ενεργών παραμέτρων. Και τα δύο μοντέλα είναι δημόσια διαθέσιμα στο Hugging Face. Η τεχνική αναφορά μας παρέχει περισσότερες λεπτομέρειες για τη μεθοδολογία και τα αποτελέσματα της αξιολόγησης.

Από τα μονοδιανυσματικά στην όψιμη αλληλεπίδραση

Τα συστήματα ανάκτησης πρέπει να βρουν ισορροπία ανάμεσα στην αποδοτικότητα και το βάθος αλληλεπίδρασης μεταξύ ερωτημάτων και εγγράφων. Τα πυκνά μοντέλα ενσωμάτωσης κωδικοποιούν κάθε ερώτημα και κάθε έγγραφο ανεξάρτητα, επιτρέποντάς τους να συγκριθούν με ένα φτηνό εσωτερικό γινόμενο. Αυτό καθιστά πρακτική την αναζήτηση κατά προσέγγιση πλησιέστερου γείτονα (ANN) σε δισεκατομμύρια έγγραφα. Στο άλλο άκρο, οι cross-encoders επεξεργάζονται το ερώτημα και το έγγραφο μαζί, επιτρέποντας πλουσιότερη αλληλεπίδραση αλλά απαιτώντας ξεχωριστή forward pass για κάθε υποψήφιο. Η εφαρμογή αυτού του υπολογισμού σε μεγάλο corpus εγγράφων για κάθε αναζήτηση είναι απαγορευτικά ακριβή, οπότε οι cross-encoders συνήθως προορίζονται για reranking ενός μικρού συνόλου ανακτημένων υποψηφίων.

Περιορισμοί των πυκνών ενσωματώσεων

Η αναπαράσταση ολόκληρου εγγράφου με ένα διάνυσμα σταθερού μεγέθους δημιουργεί ένα στενό σημείο πληροφορίας. Καθώς τα έγγραφα μεγαλώνουν και καλύπτουν περισσότερα θέματα, το μοντέλο πρέπει να συμπιέσει περισσότερο περιεχόμενο στο ίδιο διάνυσμα, καθιστώντας δυσκολότερη τη διατήρηση όλων όσων είναι σχετικά με ένα ερώτημα. Το chunking μπορεί να μειώσει αυτή την πίεση, αλλά κατακερματίζει το έγγραφο και μπορεί να διαχωρίσει πληροφορίες που βγάζουν νόημα μόνο μαζί, ένα ζήτημα που αντιμετωπίζουμε επίσης με το contextual embedding model μας. Αυτό το στενό σημείο επιδεινώνεται σε πολυτροπικά περιβάλλοντα, όπου η πυκνότητα πληροφορίας των εικόνων απαιτεί ακόμη μεγαλύτερη συμπίεση.

Η μονοδιανυσματική πυκνή ανάκτηση μειώνει επίσης κάθε σύγκριση σε εσωτερικό γινόμενο ανάμεσα σε δύο διανύσματα, περιορίζοντας την εκφραστικότητα της συνάρτησης βαθμολόγησης. Για μια σταθερή διάσταση ενσωμάτωσης και ένα αρκετά μεγάλο corpus, ορισμένα μοτίβα βαθμολογιών σε ζεύγη ερωτήματος-εγγράφου είναι αδύνατο να παραχθούν, ανεξάρτητα από την εκπαίδευση. Το benchmark LIMIT μετατρέπει αυτή τη θεωρητική ανησυχία σε συγκεκριμένο stress test για μονοδιανυσματική ανάκτηση.

Ανάκτηση όψιμης αλληλεπίδρασης

Τα μοντέλα όψιμης αλληλεπίδρασης καταλαμβάνουν τον χώρο ανάμεσα στα φθηνότερα πυκνά μοντέλα ενσωμάτωσης και στα πιο εκφραστικά cross-encoders. Όπως τα πυκνά μοντέλα, κωδικοποιούν τα έγγραφα ανεξάρτητα από το ερώτημα, επιτρέποντας οι αναπαραστάσεις εγγράφων να υπολογίζονται offline. Ωστόσο, αντί να μειώνουν κάθε είσοδο σε ένα μόνο διάνυσμα, διατηρούν πολλαπλά διανύσματα και χρησιμοποιούν πλουσιότερη συνάρτηση βαθμολόγησης κατά τη σύγκριση ενός ερωτήματος με ένα έγγραφο.

Τα μοντέλα μας pplx-embed-v2-late χρησιμοποιούν αρχιτεκτονική τύπου ColBERT, αποδίδοντας ενσωματώσεις 128 διαστάσεων για κάθε token στην είσοδο. Βαθμολογούμε ζεύγη ερωτήματος-εγγράφου χρησιμοποιώντας MaxSim· για κάθε token του ερωτήματος, το μοντέλο επιλέγει το token του εγγράφου με το υψηλότερο σκορ και αθροίζει τις μέγιστες ομοιότητες ανά token για να παραγάγει το τελικό σκορ. Αυτό επιτρέπει σε διαφορετικά μέρη ενός ερωτήματος να ταιριάζουν με διαφορετικά μέρη ενός εγγράφου, με ισχυρότερες αντιστοιχίσεις token να συμβάλλουν περισσότερο στο σκορ.

Ένα παράδειγμα βαθμολόγησης MaxSim: Κάθε token του ερωτήματος επιλέγει το token του εγγράφου με το υψηλότερο σκορ, οι μέγιστες ομοιότητες σε επίπεδο token αθροίζονται σε ένα σκορ ομοιότητας σε επίπεδο ερωτήματος-εγγράφου.

Αυτή η επιπλέον εκφραστικότητα συνοδεύεται από υψηλότερο κόστος αποθήκευσης και βαθμολόγησης υποψηφίων. Η πυκνή ανάκτηση αποθηκεύει ένα διάνυσμα ανά έγγραφο και βαθμολογεί έναν υποψήφιο με ένα εσωτερικό γινόμενο· η όψιμη αλληλεπίδραση αποθηκεύει διανύσματα για τα tokens του εγγράφου και αξιολογεί πολλές ομοιότητες token προς token. Το κόστος αυξάνεται με το μήκος του εγγράφου, οπότε η όψιμη αλληλεπίδραση απαιτεί διαφορετικό συμβιβασμό ευρετηρίασης και εξυπηρέτησης από την ανάκτηση ANN ενός διανύσματος. Σε αντάλλαγμα, παρέχει πλουσιότερη ανάκτηση πρώτου σταδίου για corpora όπου η ποιότητα έχει μεγάλη σημασία και μπορεί επίσης να λειτουργήσει ως μεταγενέστερο στάδιο σε μεγαλύτερο pipeline ανάκτησης σε κλίμακα ιστού.

Ένα μοντέλο, πολλαπλές τροπικότητες

Αυτή η βελτιωμένη βάθος αλληλεπίδρασης έχει αποδειχθεί πολύ χρήσιμη για διάφορες εργασίες, συμπεριλαμβανομένης της ανάκτησης μεγάλου πλαισίου, agentic και εκτός πεδίου. Αυτή η διαφορά είναι ιδιαίτερα εμφανής στην πολυτροπική ανάκτηση, όπως δείχνει το μεγάλο προβάδισμα των μοντέλων ColPali στον πίνακα κατάταξης ViDoRe(V3).

Τα corpora του πραγματικού κόσμου δεν αποτελούνται μόνο από καθαρό κείμενο. Φτάνουν ως PDF, παρουσιάσεις διαφανειών, στιγμιότυπα οθόνης, σαρωμένες σελίδες, γραφήματα και πίνακες. Ο συμβατικός αγωγός αναλύει αυτά τα έγγραφα, εφαρμόζει OCR ή captioning και αναζητά το παραγόμενο κείμενο, κάτι που είναι δαπανηρό και επιρρεπές σε απώλειες: μπορεί να εισαγάγει σφάλματα OCR και απορρίπτει τη διάταξη, τη δομή πινάκων, τα σχήματα και τις χωρικές σχέσεις. Η οπτική αναζήτηση εγγράφων παρακάμπτει αυτό το βήμα, προβάλλοντας την αποδομένη σελίδα απευθείας στον χώρο αναπαράστασης, όπου μπορούν να την αναζητήσουν κειμενικά ερωτήματα.

Η νέα οικογένεια μοντέλων μας βασίζεται στην ισχυρή απόδοση των multi-vector μοντέλων για πολυτροπική αναζήτηση και προωθεί το μέτωπο Pareto για μικρά μοντέλα στο πιο ευρέως χρησιμοποιούμενο benchmark αναζήτησης εγγράφων, το ViDoRe(V3). Παρότι αναμένουμε ότι οι αποδόσεις εγγράφων θα αποτελούν τη συνηθέστερη μορφή οπτικής εισόδου, τα μοντέλα μας υποστηρίζουν επίσης σημασιολογική αναζήτηση εικόνων σε φυσικές εικόνες, όπως φωτογραφίες τοπίων.

Εκπαίδευση μιας οικογένειας διαλειτουργικών μοντέλων

Η αναζήτηση είναι θεμελιωδώς ασύμμετρη: η ευρετηρίαση και η κωδικοποίηση ερωτημάτων έχουν διαφορετικούς λειτουργικούς περιορισμούς. Η ευρετηρίαση εκτελείται offline και μπορεί να παραλληλιστεί, οπότε το υπολογιστικό της κόστος αποσβένεται σε πολλές μελλοντικές αναζητήσεις. Η κωδικοποίηση ερωτημάτων εκτελείται online για κάθε αίτημα, γεγονός που την καθιστά ευαίσθητη στην καθυστέρηση και μερικές φορές υπόκειται σε περιορισμούς εξυπηρέτησης ή συσκευών edge. Η οικογένεια των μοντέλων μας αξιοποιεί αυτή την ασυμμετρία, προσφέροντας μεγέθη προσαρμοσμένα σε κάθε πλευρά του pipeline ανάκτησης.

Εκπαιδεύουμε έναν δάσκαλο 18B αντιθετικά και στη συνέχεια τον αποστάζουμε ξεχωριστά σε μαθητές 9B και 0,6B. Αντί να εκπαιδεύουμε κάθε μαθητή μόνο ώστε να αναπαράγει την κατανομή κατάταξης του δασκάλου, χρησιμοποιούμε αποσταγματοποίηση αναπαράστασης τύπου LEAF: για κάθε token εισόδου, ευθυγραμμίζουμε την έξοδο ενσωμάτωσης του μαθητή με εκείνη του δασκάλου. Παρότι η αποσταγματοποίηση στον χώρο αναπαράστασης έχει χρησιμοποιηθεί προηγουμένως για πυκνά μοντέλα ενός διανύσματος, την επεκτείνουμε στην όψιμη αλληλεπίδραση, όπου ο στόχος ευθυγράμμισης είναι ένα διάνυσμα για κάθε token που διατηρείται.

Ως αποτέλεσμα, και τα δύο checkpoints που κυκλοφορούν μοιράζονται τον ίδιο πολυδιανυσματικό χώρο ενσωμάτωσης. Αυτό επιτρέπει ανάκτηση μεταξύ μοντέλων, καθιστώντας δυνατές επιπλέον επιλογές ανάπτυξης.

  • Μέγιστη ποιότητα: κωδικοποιήστε έγγραφα και ερωτήματα με το μοντέλο 9B.
  • Μέγιστη αποδοτικότητα: κωδικοποιήστε έγγραφα και ερωτήματα με το μοντέλο 0,6B για 100% τοπική εκτέλεση του μοντέλου
  • Ανάκτηση χαμηλής καθυστέρησης: δημιουργήστε το ευρετήριο του corpus με το μοντέλο 9B και στη συνέχεια κωδικοποιήστε ζωντανά ερωτήματα με το μοντέλο 0,6B για να αξιοποιήσετε τον υπολογισμό κατά τον χρόνο ευρετηρίασης, διατηρώντας παράλληλα τη γρήγορη εκτέλεση των ερωτημάτων.
  • Ανάκτηση τοπικού–cloud: κωδικοποιήστε ιδιωτικά τοπικά έγγραφα ή ζωντανά ερωτήματα με το μοντέλο 0.6B στη συσκευή και συγκρίνετε ή συγχωνεύστε αυτές τις αναπαραστάσεις με αποτελέσματα από ένα ευρετήριο 9B που φιλοξενείται στο cloud.

Για ρυθμίσεις ευαίσθητες στην καθυστέρηση, σχεδιάσαμε το μοντέλο 0,6B ως ελαφρύ κωδικοποιητή ερωτημάτων που μπορεί επίσης να εκτελείται σε συσκευές edge. Ξεκινώντας από το Qwen3.5-0.8B, περικόψαμε τον text tower 24 επιπέδων σε 12 επίπεδα, μειώνοντας αυτόν τον tower από 498M σε 240M μη ενσωματωμένες παραμέτρους. Το αποτέλεσμα έχει συνολικά 594M παραμέτρους, αλλά το ονομαστικό του μέγεθος υπερεκτιμά το κόστος εξυπηρέτησης: 100M χρησιμοποιούνται για κωδικοποίηση εικόνας και 254M βρίσκονται στον πίνακα ενσωμάτωσης token, ο οποίος έχει μικρή επίδραση στον χρόνο εκτέλεσης. Μόνο περίπου 240M παράμετροι είναι ενεργές για κωδικοποίηση κειμένου και 340M για κωδικοποίηση εικόνας, δίνοντας στο μοντέλο το κόστος εξυπηρέτησης ενός ουσιαστικά μικρότερου μοντέλου, διατηρώντας παράλληλα συμβατότητα με το ευρετήριο 9B.

Εφαρμόσαμε την ίδια διαδικασία για να κατασκευάσουμε τον δάσκαλο 18B μας από ένα backbone 27B, κάτι που έκανε τον δάσκαλο αισθητά φθηνότερο στην απόσταξη χωρίς να αποδυναμώσει το σήμα που παρέχει.

Πολύγλωσσα, πολυτροπικά, αμόλυντα δεδομένα εκπαίδευσης

Εκπαιδεύουμε και τα δύο μοντέλα σε ένα σύνολο δεδομένων 186 εκατομμυρίων ζευγών ερωτήματος-εγγράφου, προερχόμενων από 594 σύνολα δεδομένων σε 46 γλώσσες. Από αυτά τα ζεύγη, το 88,3% είναι κείμενο σε κείμενο, το 8,3% κείμενο σε εικόνα και το 3,4% κείμενο σε οπτικό έγγραφο. Αντί να κάνουμε δειγματοληψία αναλογικά με το μέγεθος του συνόλου δεδομένων, αποδίδουμε σε κάθε σύνολο δεδομένων ένα βάρος δειγματοληψίας, το οποίο οδηγεί σε ένα πιο ισορροπημένο μίγμα εκπαίδευσης με 56,5%, 30,9% και 12,6% αντίστοιχα.

Κατά τη δημιουργία των δεδομένων εκπαίδευσής μας, αποκλείουμε οποιαδήποτε σύνολα δεδομένων σχετίζονται με benchmarks στα οποία αξιολογούμαστε, ώστε να αποτυπώσουμε πιστά τα αποτελέσματά μας χωρίς να φουσκώνουμε τα σκορ των benchmark. Αυτή η απόφαση συνοδεύεται από το συμβιβασμό ότι ορισμένα από τα σύνολα δεδομένων που επιλέξαμε να αποκλείσουμε περιέχουν δεδομένα υψηλής ποιότητας που θα μπορούσαν να βελτιώσουν την απόδοση του μοντέλου μας σε εργασίες πέρα από το benchmark από το οποίο προήλθαν. Τελικά, επιλέξαμε να δεχτούμε αυτό το κόστος: οι αξιόπιστοι αριθμοί είναι πιο χρήσιμοι για εμάς κατά την ανάπτυξη και για τους χρήστες κατά τη σύγκριση μοντέλων.

Αξιολόγηση

Αξιολογούμε και τα δύο μοντέλα σε ανάκτηση κειμένου, ανάκτηση οπτικών εγγράφων, ανάκτηση μικτών εικόνων και ανάκτηση μέσω πράκτορα. Και τα δύο μοντέλα υπερτερούν των αξιολογημένων baselines στο Q2D-Web και το BrowseComp+, και επιτυγχάνουν ισχυρά αποτελέσματα σε ανάκτηση οπτικών εγγράφων και MADQA.

Ανάκτηση κειμένου

Αξιολογούμε την ανάκτηση κειμένου σε κείμενο σε τρία benchmarks:

  • Benchmarks ειδικού τομέα: Μια συλλογή 72 εργασιών τύπου MTEB, 55 σε πέντε τομείς (οικονομικά, νομικά, υγεία, συνομιλία, τεχνολογία), συν 17 ετερογενείς πολύγλωσσες εργασίες. Η συλλογή περιλαμβάνει εργασίες όπως FinQA, AILACasedocs και XLSum. Κανένα από αυτά τα σύνολα δεδομένων δεν εμφανίζεται στα δεδομένα εκπαίδευσής μας, όπως περιγράφεται παραπάνω.
  • Q2D-Web: το benchmark ανάκτησής μας σε κλίμακα ιστού με περίπου 70.000 ερωτήματα αναζήτησης αναδιατυπωμένα από πράκτορα, προερχόμενα από παραγωγική κίνηση αναζήτησης, πάνω σε ένα corpus 190M εγγράφων ιστού. Αυτό το benchmark μετρά την απόδοση ανάκτησης σε περιβάλλον πολύ πιο κοντά στην πραγματική ανάκτηση ιστού από άλλα διαθέσιμα benchmarks ανάκτησης, λόγω των ερωτημάτων που μοιάζουν με παραγωγικά και του corpus μεγάλης κλίμακας.
  • ViDoRe(V3) Markdown: το ViDoRe(V3) είναι συνήθως εργασία ανάκτησης κειμένου σε οπτικό έγγραφο, αλλά μπορεί επίσης να αξιολογηθεί ως κειμενική εργασία χρησιμοποιώντας μια έκδοση του corpus που έχει αναλυθεί σε Markdown, επιτρέποντάς μας να αξιολογήσουμε την ανάκτηση εγγράφων πλούσιων σε πληροφορία τόσο σε οπτική όσο και σε κειμενική τροπικότητα.

Μετράμε την απόδοση χρησιμοποιώντας nDCG@10, εκτός από το Q2D-Web, όπου αναφέρουμε Recall@1000 λόγω της εστίασης του benchmark σε ένα σενάριο πρώτου σταδίου για web retrieval. Σε όλες τις αξιολογήσεις μας, συγκρίνουμε με κορυφαία στην αγορά μοντέλα ενσωμάτωσης σε διαφορετικές κατηγορίες μεγέθους. Για text retrieval, τα nemotron-embed-8b, gemini-embedding-2, voyage-large-4 και qwen3-embed-8b αντιπροσωπεύουν τους ισχυρότερους και πιο ευρέως χρησιμοποιούμενους dense ανταγωνιστές, ενώ τα voyage-4-nano και qwen3-embed-0.6b λειτουργούν ως dense baselines κάτω από το ένα δισεκατομμύριο παραμέτρων. Συγκρίνουμε επίσης με τα πρόσφατα κυκλοφορημένα μοντέλα όψιμης αλληλεπίδρασης topk-embed-v1 της TopK στα benchmarks για τα οποία η TopK έχει δημοσιεύσει αποτελέσματα. Τα σκορ ViDoRe(V3) λαμβάνονται από τα model cards τους στις 128 διαστάσεις, ταιριάζοντας με το πλάτος των token embeddings μας· το σκορ του Q2D-Web λαμβάνεται από τον πίνακα κατάταξής μας.

Στα benchmarks ειδικού τομέα, τα μοντέλα 9B και 0,6B μας έχουν μέσο όρο 81,3% και 78,0% αντίστοιχα. Το μοντέλο 9B μας επιτυγχάνει την υψηλότερη βαθμολογία από όλα τα μοντέλα που αξιολογήσαμε, ξεπερνώντας το αμέσως επόμενο καλύτερο μοντέλο κατά 1,6 ποσοστιαίες μονάδες. Το μοντέλο 0,6B μας είναι ανταγωνιστικό με τα άλλα μοντέλα υψηλής βαθμολογίας, υστερώντας μόλις κατά 0,3 ποσοστιαίες μονάδες από το gemini-embedding-2. Σημαντικό είναι ότι, αφού δεν εκπαιδεύσαμε πάνω σε κανένα από τα δεδομένα αυτών των benchmark tasks, τα benchmarks ειδικού τομέα δείχνουν ότι τα μοντέλα ενσωμάτωσής μας μπορούν να γενικεύουν σε νέους τομείς.

Απόδοση text retrieval ειδικού τομέα, με μέτρηση nDCG@10. Ο μέσος όρος σταθμίζει ισότιμα τους έξι τομείς και οι παρενθέσεις δείχνουν τον αριθμό των εργασιών σε κάθε ομάδα.

Η σχετική ισχύς του μοντέλου 0,6B μας είναι ακόμη μεγαλύτερη στην εργασία ViDoRe(V3) Markdown· το σκορ του 61,2% ξεπερνά όλα τα άλλα μοντέλα εκτός από το μοντέλο 9B μας, το οποίο σημείωσε 64,7%. Το αμέσως καλύτερο εξωτερικό μοντέλο σημείωσε 60,6%, και το αμέσως καλύτερο sub-1B μοντέλο, topk-embed-v1-0.8b, υστερεί κατά 4,3 ποσοστιαίες μονάδες από το μοντέλο 0,6B μας.

Text retrieval στο δημόσιο υποσύνολο του ViDoRe v3 μετά τη μετατροπή των εικόνων σελίδων σε Markdown με OCR. Το μοντέλο 0,6B μας κατατάσσεται δεύτερο μόνο πίσω από το μοντέλο 9B μας κατά μέσο όρο nDCG@10.

Στο Q2D-Web, η συνάφεια προκύπτει από τρία σύνολα κρίσεων: έγγραφα που επικαλέστηκε ο πράκτορας (Citation), έγγραφα που κατατάχθηκαν από το παραγωγικό μας σύστημα ανάκτησης (Web) και την ένωση και των δύο, εμπλουτισμένη με LLM κρίσεις για μη επισημασμένα έγγραφα (Combined). Και τα δύο μοντέλα pplx-embed-v2-late προηγούνται όλων των baselines και στα τρία σύνολα κρίσεων. Εστιάζουμε στις συνδυασμένες κρίσεις, καθώς τα σύνολα Citation και Web προκύπτουν από ό,τι ήδη ανέδειξαν τα δικά μας συστήματα και επομένως ευνοούν μοντέλα που κατατάσσονται όπως αυτά· οι LLM κρίσεις που προστέθηκαν στο Combined καλύπτουν έγγραφα που δεν ανέκτησε κανένα από τα δύο συστήματα. Σε αυτό το σύνολο, και τα δύο μοντέλα μας, 9B και 0,6B, ξεπερνούν όλους τους ανταγωνιστές, φτάνοντας σε σκορ 74,8% και 73,6% αντίστοιχα, έναντι του προηγούμενου καλύτερου σκορ 69,3%.

Web-scale text retrieval στο Q2D-Web, με μέτρηση Recall@1000 υπό τις κρίσεις συνάφειας Citation, Web και Combined. Και τα δύο μοντέλα υπερτερούν των αξιολογημένων baselines και στα τρία σύνολα κρίσεων.

Οπτική ανάκτηση

Το κύριο σημείο αναφοράς μας για οπτική ανάκτηση είναι το τυπικό δημόσιο υποσύνολο του ViDoRe(V3), όπου το corpus αποτελείται από αποδοσμένες εικόνες σελίδων και όχι από τη μετατροπή σε Markdown. Συγκρίνουμε με δύο κορυφαία πυκνά μοντέλα οράσης-γλώσσας, qwen3-vl-embed-8b και gemini-embedding-2, καθώς και με τα μοντέλα όψιμης αλληλεπίδρασης topk-embed-v1. Επιπλέον, τα μοντέλα EVIE της Tencent και τα μοντέλα Nemotron ColEmbed V2 της NVIDIA αποτελούν multi-vector baselines μόνο για όραση, εκπαιδευμένα ειδικά για εργασίες ανάκτησης εικόνων.

Και τα δύο μοντέλα μας επιτυγχάνουν επιδόσεις αιχμής για μοντέλα όρασης-γλώσσας. Το μοντέλο 9B μας πετυχαίνει 65,2% κατά μέσο όρο, υπολειπόμενο μόνο του EVIE. Το μοντέλο 0,6B μας πετυχαίνει σκορ 62,3%, ξεπερνώντας το topk-embed-v1-2b και υπολειπόμενο μόνο των πολύ μεγαλύτερων EVIE και nemotron-colembed-v2-8b μεταξύ των εξωτερικών baselines.

Οπτική ανάκτηση εγγράφων στο δημόσιο υποσύνολο του ViDoRe v3, με μέτρηση nDCG@10. Και τα δύο μοντέλα της Perplexity προηγούνται των αξιολογημένων baselines όρασης-γλώσσας· τα μόνο-όρασης μοντέλα παρουσιάζονται ξεχωριστά.

Το μοντέλο 0,6B μας είναι ιδιαίτερα ανταγωνιστικό σε σχέση με το μέγεθος του μοντέλου. Βρίσκεται μπροστά από όλα τα συγκρίσιμου μεγέθους μοντέλα και απέχει μόλις 1,2 ποσοστιαίες μονάδες από το nemotron-colembed-v2-8b, ενώ ενεργοποιεί μόνο 340M παραμέτρους για είσοδους εικόνας. Τα μοντέλα μας παράγουν ενσωματώσεις 128 διαστάσεων ανά token, σε σύγκριση με 2.048 για το EVIE-4.5B και 4.096 για τα EVIE-8B και nemotron-colembed-v2-8b. Αυτή η διαφορά στο κόστος αποθήκευσης μπορεί να επηρεάσει δραστικά τα σενάρια στα οποία αυτά τα μοντέλα είναι πρακτικά χρησιμοποιήσιμα.

Ποιότητα ανάκτησης εικόνων του ViDoRe v3 σε σχέση με τις ενεργές παραμέτρους του μοντέλου σε λογαριθμική κλίμακα. Οι γραμμές συνδέουν το μέτωπο Pareto μέσα σε κάθε πάνελ: μοντέλα που δεν υπερτερούνται από μοντέλο ίδιου μεγέθους ή μικρότερο.

Αξιολογούμε επίσης την οπτική ανάκτηση στο MIRACL-Vision, ένα benchmark του οποίου το corpus αποτελείται από στιγμιότυπα οθόνης άρθρων της Wikipedia, και στο PPLX-Q2I, ένα εσωτερικό benchmark που καλύπτει τόσο οπτικά έγγραφα όσο και φυσικές εικόνες. Το PPLX-Q2I βασίζεται στα logs παραγωγικής αναζήτησης εικόνων της Perplexity και έχει σχεδιαστεί ώστε να αποτυπώνει την ποικιλία των περιπτώσεων χρήσης αναζήτησης εικόνων. Χρησιμοποιούμε δείγμα 10.000 ερωτημάτων, στρωματοποιημένο ανά γλώσσα και τομέα, έναντι corpus 100.000 εικόνων· τα σχετικά έγγραφα κάθε ερωτήματος είναι οι εικόνες που του παρασχέθηκαν. Δεν αξιολογήσαμε τα EVIE-8B ή Nemotron ColEmbed στο PPLX-Q2I, καθώς η ευρετηρίαση ενός corpus τέτοιου μεγέθους στις προεπιλεγμένες διαστάσεις εξόδου τους (2.560 για Nemotron ColEmbed 4B και 4.096 για Nemotron ColEmbed 8B και EVIE-8B) ήταν μη πρακτική.

Παρόμοια με την απόδοσή του στο ViDoRe(V3), το μοντέλο 0,6B μας είναι ανταγωνιστικό με πολύ μεγαλύτερα μοντέλα, υστερώντας μόλις 1 ποσοστιαία μονάδα από το qwen3-vl-embed-8b στο MIRACL-Vision. Το μοντέλο 9B μας υπερτερεί όλων των άλλων μοντέλων εκτός από το gemini-embedding-2.

Στο PPLX-Q2I, και τα δύο μοντέλα μας ξεπερνούν το qwen3-vl-embedding-8b με διαφορά άνω των 9 ποσοστιαίων μονάδων, και το μοντέλο 9B μας υπολείπεται του gemini-embedding-2 μόλις κατά 2 ποσοστιαίες μονάδες. Τα αποτελέσματά μας παραμένουν ανταγωνιστικά σε corpora που περιέχουν φυσικές εικόνες καθώς και οπτικά έγγραφα, οπότε οι αναπαραστάσεις πολλαπλών διανυσμάτων που αποδίδουν στο ViDoRe(V3) δεν έρχονται εις βάρος της γενικής αναζήτησης εικόνων.

Ανάκτηση εικόνων στο MIRACL-Vision και στο PPLX-Q2I, με μέτρηση nDCG@10. Τα μοντέλα Nemotron ColEmbed δεν αξιολογήθηκαν στο PPLX-Q2I επειδή η ευρετηρίαση του corpus στις προεπιλεγμένες διαστάσεις εξόδου τους ήταν μη πρακτική.

Ανάκτηση μεταξύ μοντέλων

Τα αποτελέσματα στις προηγούμενες ενότητες αξιολογούν κάθε μοντέλο απέναντι σε ένα corpus το οποίο ενσωμάτωσε το ίδιο. Ο κοινός χώρος ενσωμάτωσης σημαίνει ότι αυτό δεν αποτελεί απαίτηση: ένα corpus ευρετηριασμένο από το μοντέλο 9B μπορεί να αναζητηθεί με ερωτήματα ενσωματωμένα από το μοντέλο 0,6B. Αυτή είναι η διαμόρφωση που αναμένουμε να χρησιμοποιούν οι περισσότερες παραγωγικές αναπτύξεις, καθώς η δημιουργία ευρετηρίου είναι εφάπαξ κόστος που αποσβένεται στη διάρκεια ζωής του corpus, ενώ η ενσωμάτωση ερωτημάτων εκτελείται στο χρονικά κρίσιμο μονοπάτι καθυστέρησης κάθε αιτήματος.

Μια ανάπτυξη που δεν μπορεί να εκτελέσει το μοντέλο 9B κατά τον χρόνο ερωτήματος διαφορετικά θα ευρετηρίαζε και με το μοντέλο 0,6B, οπότε η συμμετρική διαμόρφωση 0,6B είναι το σχετικό σημείο σύγκρισης. Αξιολογούμε έναντι των 72 benchmarks ειδικού τομέα που χρησιμοποιήθηκαν παραπάνω και στην ανάκτηση εικόνων ViDoRe v3. Τα ερωτήματα ενσωματώνονται με το pplx-embed-v2-late-0.6b, και μεταβάλλουμε μόνο το τι ενσωμάτωσε το corpus.

Η ευρετηρίαση με το μοντέλο 9B αποτελεί αυστηρή βελτίωση. Στα benchmarks ειδικού τομέα, η ασύμμετρη διαμόρφωση έχει κατά μέσο όρο κέρδος 1,6 ποσοστιαίας μονάδας. Στην ανάκτηση εικόνων ViDoRe v3, σημειώνει 63,5%, από 62,3% με το μοντέλο 0,6B και στις δύο πλευρές, δηλαδή κέρδος 1,2 ποσοστιαίας μονάδας. Το κόστος κωδικοποίησης ερωτημάτων παραμένει αμετάβλητο μεταξύ της συμμετρικής διαμόρφωσης 0,6B και της ασύμμετρης, αφού το ίδιο μοντέλο 0,6B κωδικοποιεί το ερώτημα και στις δύο· το πρόσθετο κόστος κωδικοποίησης εγγράφων επιβαρύνει τον χρόνο ευρετηρίασης.

Η εκτέλεση του μοντέλου 9B και στις δύο πλευρές παραμένει ακόμη καλύτερη, με μέσο όρο 81,3% στα benchmarks ειδικού τομέα. Η ασύμμετρη διαμόρφωση επομένως ανακτά περίπου τη μισή διαφορά ποιότητας μεταξύ των δύο μοντέλων στο κείμενο, χωρίς επιπλέον κόστος κωδικοποίησης ερωτημάτων. Η επιλογή διαμόρφωσης εξαρτάται από το αν το μοντέλο 9B είναι οικονομικά εφικτό κατά τον χρόνο ερωτήματος· όπου δεν είναι, η ασύμμετρη ρύθμιση αποτυπώνει ένα σημαντικό μέρος του οφέλους του.

Η ενσωμάτωση του ευρετηρίου με το μοντέλο 9B και των ερωτημάτων με το μοντέλο 0,6B βελτιώνει την ανάκτηση σε σχέση με τη χρήση του μοντέλου 0,6B και για τα δύο. Οι βαθμολογίες είναι nDCG@10· ο μέσος όρος των έξι τομέων εξαιρεί τα αποτελέσματα ViDoRe v3 που αναφέρονται ξεχωριστά.

Ανάκτηση μέσω πράκτορα

Η ανάκτηση μέσω πράκτορα είναι ένα ακόμη περιβάλλον όπου οι multi-vector ενσωματώσεις είναι ιδιαίτερα ισχυρές. Στο BrowseComp+, ένα LLM (GPT-OSS-120B στην περίπτωσή μας) χρησιμοποιεί το μοντέλο ενσωμάτωσης για να αναζητήσει σε ένα corpus πληροφορίες σχετικές με ένα σύνθετο ερώτημα χρήστη, και ένα δεύτερο LLM κρίνει αν η απάντηση που προκύπτει ταιριάζει με το ground truth. Το μοντέλο 9B μας πετυχαίνει ακρίβεια 64,0%, ξεπερνώντας το αμέσως καλύτερο μοντέλο ColBERT κατά 4,9 ποσοστιαίες μονάδες και το αμέσως καλύτερο πυκνό μοντέλο κατά 8,7 ποσοστιαίες μονάδες, ενώ εκτελεί λιγότερες αναζητήσεις από κάθε άλλο μοντέλο εκτός από το μοντέλο 0,6B μας. Το μοντέλο 0,6B μας προηγείται επίσης από κάθε μοντέλο εκτός της οικογένειάς μας.

Ακρίβεια απάντησης και recall ανάκτησης του BrowseComp+ σε σχέση με τον μέσο αριθμό αναζητήσεων για έναν πράκτορα GPT-OSS-120B (υψηλή προσπάθεια). Υψηλότερες βαθμολογίες και λιγότερες αναζητήσεις υποδηλώνουν καλύτερη ποιότητα και αποδοτικότητα.

Το MADQA δοκιμάζει agentic ερωταπαντήσεις πάνω σε 800 ετερογενή πραγματικά PDF που καλύπτουν περισσότερες από 18.000 σελίδες, με 500 ερωτήσεις γραμμένες από ανθρώπους που δεν μπορούν να απαντηθούν από γενική γνώση. Ένας πράκτορας (Gemini 3.5 Flash στην περίπτωσή μας) αναζητά στη συλλογή με το retriever υπό δοκιμή και βαθμολογείται ως προς την ακρίβεια απάντησης και το page F1 έναντι των σχολιασμένων σελίδων αποδεικτικών στοιχείων. Το μοντέλο 9B μας θέτει νέο state of the art μεταξύ των retrievers με ακρίβεια 92,4%, 3,5 ποσοστιαίες μονάδες μπροστά από τον ίδιο πράκτορα που χρησιμοποιεί το retriever της Mixedbread· το μοντέλο 0,6B μας φτάνει το 90,1%. Σημειώνουμε επίσης ότι το retriever μας πετυχαίνει ανταγωνιστικά αποτελέσματα απέναντι στο Mixedbread Agentic Search, το οποίο χρησιμοποιεί έναν υποπράκτορα αναζήτησης στο σύστημα αναζήτησής τους που σχεδιάζει και εκτελεί πολλές αναζητήσεις ανά κλήση από τον κύριο πράκτορα (93,4%, εντός του διαστήματος εμπιστοσύνης μας).

Ακρίβεια απάντησης και page-level F1 στο MADQA. Σε συνδυασμό με το Gemini 3.5 Flash, τα μοντέλα 9B και 0,6B μας επιτυγχάνουν ακρίβεια 92,4% και 90,1% αντίστοιχα, σε σύγκριση με 88,9% για το Mixedbread retriever και 93,4% για το Mixedbread Agentic Search.

Ξεκινώντας

Και τα δύο μοντέλα μας, 0,6B και 9B, είναι διαθέσιμα στο Hugging Face και είναι έτοιμα προς χρήση εξαρχής με το sentence-transformers >= 6.0.0 και το transformers >= 5.4.0. Περισσότερες τεχνικές λεπτομέρειες και πλήρη αποτελέσματα αξιολόγησης θα δημοσιευθούν σε τεχνική αναφορά αργότερα φέτος.

Αυτή τη στιγμή εκπαιδεύουμε την επόμενη γενιά των μοντέλων μας πυκνών ενσωματώσεων (dense embeddings) και θα διαθέσουμε σταδιακά υποστήριξη για ενσωματώσεις καθυστερημένης αλληλεπίδρασης (late interaction), πυκνές ενσωματώσεις και ενσωματώσεις με βάση τα συμφραζόμενα στην Perplexity API Platform.

Παραπομπή

BibTeX
@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}