Embeddings multimodals més enllà d’un vector únic

Des que vam llançar pplx-embed-v1 al febrer, hem estat treballant en una nova generació de models d’embedding. La setmana passada vam presentar el nostre nou model d’embedding contextual, pplx-embed-v2-context. Avui ampliem la família amb pplx-embed-v2-late, una col·lecció de models d’interacció tardana. A més de capacitats de recuperació més potents, els models són els primers a combinar tres característiques bàsiques:

• Representacions multivector. En lloc de comprimir cada entrada en un únic vector, aquests models conserven vectors a nivell de testimoni per a comparacions més fines entre consulta i document. Això permet que diferents parts d’una consulta facin joc amb diferents parts d’un document, preservant detalls que són especialment valuosos per a la recuperació multimodal.
• Compatibilitat amb les modalitats de text i imatge. A més de les capacitats de recuperació text a text dels nostres models anteriors, aquests nous models gestionen la recuperació de text a imatge, cosa que els permet cercar directament pàgines PDF renderitzades sense requerir OCR ni text analitzat.
• Un espai d’embedding compartit. Estem llançant dues mides de model, 0,6B i 9B, per donar suport a diferents requisits de qualitat, latència i computació. Cadascun es pot fer servir de manera independent, però l’espai d’embedding compartit també permet que el model més petit consulti un índex creat amb el model més gran, combinant embeddings de document de més qualitat amb una inferència de consulta barata i ràpida.

Aquests nous models obtenen resultats capdavanters en diversos bancs de proves de recuperació visual i textual, així com en tasques agèntiques de resposta a preguntes. Cal destacar que, a ViDoRe (V3), un dels principals bancs de proves de recuperació de documents visuals, el nostre model de 0.6B iguala models amb cinc vegades més paràmetres actius. Tots dos models estan disponibles públicament a Hugging Face. El nostre informe tècnic ofereix més detalls sobre la metodologia i els resultats de l'avaluació.

De vectors únics a la interacció tardana

Els sistemes de recuperació han de trobar un equilibri entre eficiència i profunditat d’interacció entre consultes i documents. Els models densos d’embedding codifiquen cada consulta i cada document de manera independent, cosa que permet comparar-los amb un producte intern barat. Això fa viable la cerca aproximada de veïns més propers (ANN) sobre milers de milions de documents. A l’altre extrem, els cross-encoders processen la consulta i el document conjuntament, cosa que permet una interacció més rica però requereix una passada endavant separada per a cada candidat. Aplicar aquest càlcul a través d’un corpus gran de documents per a cada cerca és prohibitívament car, de manera que els cross-encoders se solen reservar per al rerànquing d’un petit conjunt de candidats recuperats.

Limitacions dels embeddings densos

Representar un document sencer amb un únic vector de mida fixa crea un coll d’ampolla d’informació. A mesura que els documents es fan més llargs i cobreixen més temes, el model ha de comprimir més contingut dins del mateix vector, cosa que dificulta conservar-ho tot allò rellevant per a una consulta. La fragmentació en trossos pot reduir aquesta pressió, però fragmenta el document i pot separar informació que només té sentit conjunta, un problema que també abordem amb el nostre model d’embedding contextual. Aquest coll d’ampolla s’agreuja en entorns multimodals, on la densitat d’informació de les imatges requereix encara més compressió.

La recuperació densa amb un sol vector també redueix cada comparació a un producte intern entre dos vectors, cosa que limita l’expressivitat de la funció de puntuació. Per a una dimensió d’embedding fixa i un corpus prou gran, alguns patrons de puntuacions entre parelles consulta-document són impossibles de produir, independentment de l’entrenament. El benchmark LIMIT converteix aquesta preocupació teòrica en una prova d’estrès concreta per a la recuperació amb un sol vector.

Recuperació amb interacció tardana

Els models d’interacció tardana ocupen l’espai entre els models densos d’embedding, més barats, i els cross-encoders, més expressius. Igual que els models densos, codifiquen els documents independentment de la consulta, cosa que permet calcular les representacions dels documents fora de línia. Tanmateix, en lloc de reduir cada entrada a un únic vector, conserven múltiples vectors i fan servir una funció de puntuació més rica quan comparen una consulta amb un document.

Els nostres models pplx-embed-v2-late fan servir una arquitectura d’estil ColBERT, i generen embeddings de 128 dimensions per a cada testimoni de l’entrada. Puntuem les parelles consulta-document amb MaxSim; per a cada testimoni de consulta, el model selecciona el testimoni de document amb la puntuació més alta i suma les similituds màximes per testimoni per produir la puntuació final. Això permet que diferents parts d’una consulta facin joc amb diferents parts d’un document, i que les coincidències de testimonis més fortes contribueixin més a la puntuació.

Amplia

Aquesta expressivitat addicional comporta costos més alts d’emmagatzematge i de puntuació de candidats. La recuperació densa emmagatzema un vector per document i puntua un candidat amb un sol producte intern; la interacció tardana emmagatzema vectors per als testimonis del document i avalua moltes similituds testimoni a testimoni. El cost creix amb la longitud del document, de manera que la interacció tardana requereix un compromís diferent d’indexació i servei que la recuperació ANN amb un sol vector. A canvi, proporciona una recuperació de primera fase més rica per a corpus sensibles a la qualitat i també pot servir com a etapa posterior dins d’un pipeline de recuperació més gran a escala web.

Un model, múltiples modalitats

S’ha demostrat que aquesta profunditat d’interacció millorada és molt útil per a diverses tasques, incloses la recuperació de context llarg, agentica i fora de domini. Aquesta diferència és especialment evident en la recuperació multimodal, com mostra el gran avantatge dels models ColPali al rànquing de ViDoRe(V3).

Els corpus del món real no estan compostos només de text net. Arriben com a PDF, presentacions, captures de pantalla, pàgines escanejades, gràfics i taules. El pipeline convencional analitza aquests documents, aplica OCR o captioning, i cerca el text resultant, cosa que és costosa i amb pèrdues: pot introduir errors d’OCR i descarta el disseny, l’estructura de les taules, les figures i les relacions espacials. La cerca visual de documents s’estalvia aquest pas i projecta la pàgina renderitzada directament a l’espai de representació, on les consultes de text la poden cercar.

La nostra nova família de models es basa en el bon rendiment dels models multivector per a la cerca multimodal i avança la frontera de Pareto per als models petits en el benchmark de cerca de documents més utilitzat, ViDoRe(V3). Tot i que esperem que les renderitzacions de documents siguin la forma més habitual d’entrada visual, els nostres models també admeten la cerca semàntica d’imatges sobre imatges naturals, com ara fotografies de paisatges.

Entrenament d’una família de models interoperables

La cerca és fonamentalment asimètrica: l’indexació i la codificació de consultes tenen restriccions operatives diferents. La indexació s’executa fora de línia i es pot paral·lelitzar, de manera que el seu cost computacional s’amortitza entre moltes cerques futures. La codificació de consultes s’executa en línia per a cada sol·licitud, cosa que la fa sensible a la latència i, de vegades, subjecta a limitacions de servei o de dispositiu perifèric. La nostra família de models aprofita aquesta asimetria i ofereix mides adaptades a cada costat del pipeline de recuperació.

Entrenem un professor de 18B de manera contrastiva i després el destil·lem per separat en estudiants de 9B i 0,6B. En lloc d’entrenar cada estudiant només perquè reprodueixi la distribució de rànquing del professor, fem servir una destil·lació de representacions a l’estil LEAF: per a cada testimoni d’entrada, alineem l’embedding de sortida de l’estudiant amb el del professor. Tot i que la destil·lació en l’espai de representacions ja s’ha utilitzat abans per a models densos d’un sol vector, nosaltres l’estenem a la interacció tardana, on l’objectiu d’alineació és un vector per a cada testimoni conservat.

Com a resultat, tots dos checkpoints alliberats comparteixen el mateix espai d’embedding multivector. Això permet la recuperació entre models i fa possibles opcions addicionals de desplegament.

• Màxima qualitat: codifiqueu documents i consultes amb el model de 9B.
• Màxima eficiència: codifiqueu documents i consultes amb el model de 0,6B per a inferència local al 100%
• Recuperació de baixa latència: creeu l’índex del corpus amb el model de 9B i després codifiqueu les consultes en directe amb el model de 0,6B per aprofitar el còmput en temps d’indexació mentre es manté la rapidesa de consulta.
• Recuperació local-núvol: codifiqueu documents privats locals o consultes en directe amb el model de 0,6B al dispositiu i compareu o fusioneu aquestes representacions amb els resultats d’un índex de 9B allotjat al núvol.

Per a entorns sensibles a la latència, hem dissenyat el model de 0,6B com un codificador de consultes lleuger que també es pot executar en dispositius perifèrics. Partint de Qwen3.5-0.8B, podem la seva torre de text de 24 capes a 12 capes, reduint aquesta torre de 498 M a 240 M de paràmetres no relacionats amb l’embedding. El model resultant té 594 M de paràmetres en total, però la seva mida nominal sobreestima el cost de servei: 100 M s’utilitzen per a la codificació d’imatges, i 254 M es troben a la taula d’embeddings de tokens, que té poc efecte en el temps d’execució. Només uns 240 M de paràmetres estan actius per a la codificació de text i 340 M per a la codificació d’imatges, cosa que dóna al model el cost de servei d’un model substancialment més petit mentre manté la compatibilitat amb l’índex de 9B.

Vam aplicar el mateix procés per construir el nostre professor de 18B a partir d’una base de 27B, cosa que va fer que el professor fos considerablement més barat de destil·lar sense debilitar el senyal que proporciona.

Dades d’entrenament multilingües, multimodals i no contaminades

Entrenem tots dos models amb un conjunt de dades de 186 milions de parelles consulta-document extretes de 594 conjunts de dades en 46 idiomes. D’aquestes parelles, el 88,3% són de text a text, el 8,3% són de text a imatge i el 3,4% són de text a document visual. En lloc de mostrejar en proporció a la mida del conjunt de dades, assignem a cada conjunt de dades un pes de mostreig, cosa que dona una mescla d’entrenament més equilibrada del 56,5%, 30,9% i 12,6%, respectivament.

Quan construïm les dades d’entrenament, excloem qualsevol conjunt de dades associat amb benchmarks sobre els quals avaluem per representar fidelment els nostres resultats sense inflar les puntuacions dels benchmarks. Aquesta decisió implica el compromís que alguns dels conjunts de dades que hem decidit excloure contenen dades d’alta qualitat que podrien millorar el rendiment del nostre model en tasques més enllà del benchmark d’on provenien. En última instància, vam decidir assumir aquest cost: els números fiables ens són més útils durant el desenvolupament, i als usuaris a l’hora de comparar models.

Avaluació

Avaluem tots dos models en recuperació de text, de documents visuals, d’imatges mixtes i agentica. Tots dos models superen les línies de base avaluades a Q2D-Web i BrowseComp+, i aconsegueixen resultats sòlids en recuperació de documents visuals i MADQA.

Recuperació de text

Avaluem la recuperació de text a text en tres benchmarks:

• Benchmarks específics de domini: Una col·lecció de 72 tasques d’estil MTEB, 55 de les quals en cinc dominis (finances, legal, salut, conversa, tecnologia), més 17 tasques multilingües diverses. La col·lecció inclou tasques com FinQA, AILACasedocs i XLSum. Cap d’aquests conjunts de dades apareix en les nostres dades d’entrenament, tal com s’ha descrit més amunt.
• Q2D-Web: el nostre benchmark de recuperació a escala web d’uns 70.000 consultes de cerca reformulades per un Agent, extretes del trànsit de cerca en producció, sobre un corpus de 190 M de documents web. Aquest benchmark mesura el rendiment de recuperació en un entorn molt més proper a la recuperació web del món real que altres benchmarks de recuperació disponibles, gràcies a les seves consultes semblants a les de producció i al corpus a gran escala.
• ViDoRe(V3) Markdown: ViDoRe(V3) acostuma a ser una tasca de recuperació de text a document visual, però també es pot avaluar com a tasca de text mitjançant una versió del corpus analitzada a Markdown, cosa que ens permet avaluar la recuperació de documents amb molta informació tant en modalitat d’imatge com de text.

Mesurem el rendiment amb nDCG@10, excepte a Q2D-Web, on informem de Recall@1000 a causa de l’enfocament del benchmark en un escenari de recuperació web de primera fase. Al llarg de les nostres avaluacions, comparem amb models d’embedding líders del sector en diferents classes de mida. Per a la recuperació de text, nemotron-embed-8b, gemini-embedding-2, voyage-large-4 i qwen3-embed-8b representen els competidors densos més potents i més utilitzats, mentre que voyage-4-nano i qwen3-embed-0.6b serveixen com a línies de base denses amb menys d’un miler de milions de paràmetres. A més, comparem amb els models d’interacció tardana topk-embed-v1 de TopK, llançats recentment, en els benchmarks per als quals TopK ha publicat resultats. Les puntuacions de ViDoRe(V3) s’han pres de les seves model cards a 128 dimensions, coincidint amb l’amplada dels nostres embeddings de testimoni; la puntuació de Q2D-Web s’ha pres del nostre rànquing.

En els benchmarks específics de domini, els nostres models de 9B i 0,6B obtenen una mitjana del 81,3% i del 78,0%, respectivament. El nostre model de 9B aconsegueix la puntuació més alta de tots els models que hem avaluat, superant el segon millor model per 1,6 pp. El nostre model de 0,6B és competitiu amb la resta de models amb millor puntuació, i queda només 0,3 pp per darrere de gemini-embedding-2. És important destacar que, com que no vam entrenar amb cap de les dades d’aquestes tasques de benchmark, els benchmarks específics de domini demostren que els nostres models d’embedding es poden generalitzar a nous dominis.

Amplia

La força relativa del nostre model de 0,6B és encara més gran a la tasca ViDoRe(V3) Markdown; la seva puntuació del 61,2% supera la resta de models excepte el nostre model de 9B, que va obtenir un 64,7%. El següent millor model extern va obtenir un 60,6%, i el següent millor model de menys d’1B, topk-embed-v1-0.8b, queda 4,3 pp per darrere del nostre model de 0,6B.

Amplia

A Q2D-Web, la rellevància prové de tres conjunts de judicis: documents que l’Agent va citar (Citation), documents ordenats pel nostre sistema de recuperació en producció (Web) i la unió de tots dos ampliada amb judicis d’LLM sobre documents sense etiquetar (Combined). Tots dos models pplx-embed-v2-late encapçalen totes les línies de base en els tres conjunts de judicis. Ens centrem en els judicis combinats, ja que els conjunts Citation i Web es deriven del que els nostres propis sistemes ja havien mostrat i, per tant, afavoreixen els models que ordenen com ho fan ells; els judicis d’LLM afegits a Combined cobreixen documents que cap dels dos sistemes no va recuperar. En aquest conjunt, tant el nostre model de 9B com el de 0,6B superen tots els competidors, amb puntuacions de 74,8% i 73,6%, respectivament, enfront de la millor puntuació anterior del 69,3%.

Amplia

Recuperació visual

El nostre principal benchmark de recuperació visual és el subconjunt públic estàndard de ViDoRe (V3), on el corpus consisteix en imatges de pàgines renderitzades i no en la conversió a Markdown. El comparem amb dos dels principals models densos de visió i llenguatge, qwen3-vl-embed-8b i gemini-embedding-2, i amb els models d’interacció tardana topk-embed-v1. A més, els models EVIE de Tencent i els models Nemotron ColEmbed V2 de NVIDIA són línies de base multivector “només de visió” entrenades específicament per a tasques de recuperació d’imatges.

Tots dos models aconsegueixen un rendiment d’última generació per a models de visió i llenguatge. El nostre model de 9B obté un 65,2% de mitjana, i només queda per darrere de EVIE. El nostre model de 0,6B aconsegueix una puntuació del 62,3%, per davant de topk-embed-v1-2b i només per darrere dels molt més grans EVIE i nemotron-colembed-v2-8b entre les línies de base externes.

Amplia

El nostre model de 0,6B és especialment competitiu en el context de la mida del model. Va per davant de tots els models de mida comparable i es troba a 1,2 pp de nemotron-colembed-v2-8b mentre activa només 340 M de paràmetres per a les entrades d’imatge. Els nostres models produeixen embeddings de 128 dimensions per testimoni, en comparació amb els 2.048 de EVIE-4.5B i els 4.096 de EVIE-8B i nemotron-colembed-v2-8b. Aquesta diferència en els costos d’emmagatzematge pot afectar dràsticament els escenaris en què aquests models són pràctics d’utilitzar.

Amplia

També avaluem la recuperació visual a MIRACL-Vision, un benchmark el corpus del qual consisteix en captures de pantalla d’articles de wikipedia, i PPLX-Q2I, un benchmark intern que cobreix tant documents visuals com imatges naturals. PPLX-Q2I es construeix a partir dels registres de cerca d’imatges en producció de Perplexity i està dissenyat per reflectir la diversitat dels casos d’ús de cerca d’imatges. Fem servir una mostra de 10.000 consultes, estratificada per idioma i domini, sobre un corpus de 100.000 imatges; els documents rellevants de cada consulta són les imatges que se li van servir. No vam avaluar EVIE-8B ni Nemotron ColEmbed a PPLX-Q2I, ja que indexar un corpus d’aquesta mida amb les seves dimensionalitats de sortida per defecte (2.560 per a Nemotron ColEmbed 4B i 4.096 per a Nemotron ColEmbed 8B i EVIE-8B) era impracticable.

De manera similar al seu rendiment a ViDoRe(V3), el nostre model de 0,6B és competitiu amb models molt més grans, i només queda 1 pp per darrere de qwen3-vl-embed-8b a MIRACL-Vision. El nostre model de 9B supera la resta de models excepte gemini-embedding-2.

A PPLX-Q2I, tots dos models superen qwen3-vl-embedding-8b per més de 9 pp, i el nostre model de 9B queda només 2 pp per darrere de gemini-embedding-2. Els nostres resultats es mantenen competitius en corpus que contenen imatges naturals així com documents visuals, de manera que les representacions multivector que donen bons resultats a ViDoRe(V3) no es fan a costa de la cerca general d’imatges.

Amplia

Recuperació entre models

Els resultats de les seccions anteriors avaluen cada model davant d’un corpus que ell mateix ha embedit. L’espai d’embeddings compartit fa que això no sigui un requisit: un corpus indexat pel model de 9B es pot cercar amb consultes embegudes pel model de 0,6B. Aquesta és la configuració que esperem que facin servir la majoria de desplegaments en producció, ja que la indexació és un cost d’un sol cop que s’amortitza al llarg de la vida del corpus, mentre que l’embedding de consultes s’executa en la ruta crítica de latència de cada sol·licitud.

Un desplegament que no pugui executar el model de 9B en temps de consulta, altrament també indexaria amb el model de 0,6B, de manera que aquesta configuració simètrica de 0,6B és el punt de comparació rellevant. Avaluem contra els 72 benchmarks específics de domini utilitzats més amunt i en la recuperació d’imatges de ViDoRe v3. Les consultes s’embedeixen amb pplx-embed-v2-late-0.6b, i només variem què és el que ha embedit el corpus.

Indexar amb el model de 9B és una millora estricta. En els benchmarks específics de domini, la configuració asimètrica assoleix de mitjana un guany de 1,6 pp. En la recuperació d’imatges de ViDoRe v3, obté un 63,5%, davant del 62,3% amb el model de 0,6B en tots dos costats, un guany d’1,2 punts percentuals. El cost de codificació de consultes no canvia entre les configuracions simètrica de 0,6B i asimètrica, ja que el mateix model de 0,6B codifica la consulta en tots dos casos; el cost addicional de codificació de documents es paga en el moment de la indexació.

Executar el model de 9B als dos costats continua sent encara millor, amb una mitjana del 81,3% en els benchmarks específics de domini. Per tant, la configuració asimètrica recupera aproximadament la meitat de la diferència de qualitat entre els dos models en text, sense cap cost addicional de codificació de consultes. La configuració que cal triar depèn de si el model de 9B és assequible en temps de consulta; quan no ho és, la configuració asimètrica capta una part substancial del seu benefici.

Amplia

Recuperació agentica

La recuperació agentica és un altre entorn en què els embeddings multivector són particularment potents. A BrowseComp+, un LLM (GPT-OSS-120B en el nostre cas) fa servir el model d’embedding per cercar en un corpus informació rellevant per a una consulta d’usuari complexa, i un segon LLM jutja si la resposta resultant coincideix amb la resposta de referència. El nostre model de 9B aconsegueix una exactitud del 64,0%, superant el següent millor model ColBERT per 4,9 pp i el següent millor model dens per 8,7 pp, mentre emet menys cerques que qualsevol altre model excepte el nostre de 0,6B. El model de 0,6B també supera tots els models fora de la nostra família.

Amplia

MADQA prova la resposta a preguntes agentica sobre 800 PDF reals heterogenis que sumen més de 18.000 pàgines, amb 500 preguntes redactades per humans que no es poden respondre amb coneixement general. Un Agent (Gemini 3.5 Flash en el nostre cas) cerca a la col·lecció amb el recuperador sota prova i es puntua per la precisió de la resposta i per l’F1 de pàgina en relació amb les pàgines d’evidència anotades. El nostre model de 9B estableix un nou estat de l’art entre els recuperadors amb una precisió del 92,4%, 3,5 pp per davant del mateix Agent fent servir el recuperador de Mixedbread; el nostre model de 0,6B arriba al 90,1%. També observem que el nostre recuperador aconsegueix resultats competitius contra Mixedbread Agentic Search, que fa servir un subagent de cerca en el seu sistema de cerca que planifica i executa diverses cerques per crida des de l’Agent principal (93,4%, dins del nostre interval de confiança).

Amplia

Començar

Tant el nostre model de 0,6B com el de 9B estan disponibles a Hugging Face i són compatibles de sèrie amb sentence-transformers >= 6.0.0 i transformers >= 5.4.0. Publicarem més endavant aquest mateix any més detalls tècnics i els resultats complets de l’avaluació en un informe tècnic.

Actualment estem entrenant la pròxima generació dels nostres models d'embeddings densos i, de manera progressiva, incorporarem la compatibilitat amb embeddings d'interacció tardana, densos i contextuals a la Perplexity API Platform.

Citació

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}