Incrustacións multimodais máis alá dun único vector

Desde o lanzamento de pplx-embed-v1 en febreiro, estivemos traballando nunha nova xeración de modelos de incrustación. A semana pasada presentamos o noso novo modelo de incrustación contextual, pplx-embed-v2-context. Hoxe estamos ampliando a familia con pplx-embed-v2-late, unha colección de modelos de interacción tardía. Ademais de capacidades de recuperación máis potentes, estes modelos son os primeiros en combinar tres características fundamentais:

• Representacións multi-vector. En vez de comprimir cada entrada nun único vector, estes modelos conservan vectores a nivel de token para comparacións máis granulares entre consulta e documento. Isto permite que distintas partes dunha consulta coincidan con distintas partes dun documento, preservando detalles especialmente valiosos para a recuperación multimodal.
• Compatibilidade con modalidades de texto e imaxe. Ademais das capacidades de recuperación texto a texto dos nosos modelos anteriores, estes novos modelos manexan recuperación texto a imaxe, o que lles permite buscar directamente páxinas PDF renderizadas sen necesidade de OCR nin de texto analizado.
• Un espazo de incrustación compartido. Estamos lanzando dous tamaños de modelo, 0,6B e 9B, para dar soporte a distintos requisitos de calidade, latencia e cómputo. Cada un pode usarse de forma independente, pero o espazo de incrustación compartido tamén permite que o modelo máis pequeno consulte un índice creado co modelo maior, combinando incrustacións de documentos de maior calidade cunha inferencia barata e rápida no momento da consulta.

Estes novos modelos acadan resultados punteiros nunha serie de probas de referencia de recuperación de imaxe e texto, así como en tarefas agénticas de resposta a preguntas. En particular, en ViDoRe (V3), unha das principais probas de referencia de recuperación de documentos visuais, o noso modelo de 0,6B iguala o rendemento de modelos con cinco veces máis parámetros activos. Ambos os modelos están dispoñibles publicamente en Hugging Face. O noso informe técnico ofrece máis detalles sobre a metodoloxía e os resultados da avaliación.

De vectores únicos á interacción tardía

Os sistemas de recuperación deben atopar un equilibrio entre a eficiencia e a profundidade da interacción entre consultas e documentos. Os modelos de incrustación densos codifican cada consulta e cada documento de forma independente, o que permite comparalos cun produto interno barato. Isto fai práctica a busca aproximada de veciños máis próximos (ANN) sobre miles de millóns de documentos. No outro extremo, os cross-encoders procesan a consulta e o documento xuntos, o que permite unha interacción máis rica pero require unha pasada de avance separada para cada candidato. Aplicar este cálculo a un gran corpus de documentos para cada busca é prohibitivamente caro, polo que os cross-encoders adoitan reservarse para o reordenamento dun pequeno conxunto de candidatos recuperados.

Limitacións das incrustacións densas

Representar un documento enteiro cun único vector de tamaño fixo crea un colo de botella de información. A medida que os documentos medran e cobren máis temas, o modelo debe comprimir máis contido no mesmo vector, o que dificulta preservar todo o relevante para unha consulta. O segmentado en fragmentos pode reducir esta presión, pero fragmenta o documento e pode separar información que só ten sentido xunta, un problema que tamén abordamos co noso modelo de incrustación contextual. Este colo de botella agrávase en contextos multimodais, onde a densidade de información das imaxes require aínda máis compresión.

A recuperación densa cun único vector tamén reduce cada comparación a un produto interno entre dous vectores, limitando a expresividade da función de puntuación. Para unha dimensión de incrustación fixa e un corpus suficientemente grande, algúns patróns de puntuación entre pares consulta-documento son imposibles de producir, independentemente do adestramento. O benchmark LIMIT converte esta preocupación teórica nunha proba de resistencia concreta para a recuperación cun único vector.

Recuperación con interacción tardía

Os modelos de interacción tardía ocupan o espazo entre os modelos de incrustación densos, máis baratos, e os cross-encoders, máis expresivos. Igual que os modelos densos, codifican os documentos de forma independente da consulta, o que permite calcular as representacións dos documentos fóra de liña. Porén, en vez de reducir cada entrada a un único vector, conservan varios vectores e usan unha función de puntuación máis rica ao comparar unha consulta cun documento.

Os nosos modelos pplx-embed-v2-late empregan unha arquitectura ao estilo ColBERT, xerando incrustacións de 128 dimensións para cada token da entrada. Puntuamos os pares consulta-documento mediante MaxSim; para cada token da consulta, o modelo selecciona o token do documento coa puntuación máis alta e suma as similitudes máximas por token para producir a puntuación final. Isto permite que distintas partes dunha consulta coincidan con distintas partes dun documento, contribuíndo máis á puntuación as coincidencias de tokens máis fortes.

Ampliar

Esta expresividade adicional implica maiores custos de almacenamento e de puntuación de candidatos. A recuperación densa almacena un vector por documento e puntúa un candidato cun único produto interno; a interacción tardía almacena vectores para os tokens do documento e avalía moitas similitudes token a token. O custo medra coa lonxitude do documento, polo que a interacción tardía require unha compensación distinta entre indexación e servizo ca a recuperación ANN cun só vector. A cambio, ofrece unha recuperación inicial máis rica para corpus sensibles á calidade e tamén pode servir como unha etapa posterior nunha canalización de recuperación web a grande escala máis ampla.

Un modelo, múltiples modalidades

Demostrouse que esta profundidade mellorada da interacción é moi útil para varias tarefas, incluídas a recuperación de longo contexto, a recuperación axéntica e a recuperación fóra de dominio. Esta diferenza é especialmente evidente na recuperación multimodal, como amosa a ampla vantaxe dos modelos ColPali na clasificación de ViDoRe(V3).

Os corpus do mundo real non están compostos só por texto limpo. Chegan como PDF, presentacións, capturas de pantalla, páxinas escaneadas, gráficos e táboas. A canle convencional analiza estes documentos, aplica OCR ou xeración de descricións, e busca no texto resultante, o que é caro e con perdas: pode introducir erros de OCR e elimina o deseño, a estrutura das táboas, as figuras e as relacións espaciais. A busca visual de documentos omite ese paso, proxectando a páxina renderizada directamente no espazo de representación onde as consultas textuais poden buscala.

A nosa nova familia de modelos constrúese sobre o bo rendemento dos modelos multi-vector para a busca multimodal e fai avanzar a fronte de Pareto para os modelos pequenos no benchmark de busca de documentos máis usado, ViDoRe(V3). Aínda que agardamos que as renderizacións de documentos sexan a forma máis habitual de entrada visual, os nosos modelos tamén admiten busca semántica de imaxes naturais, como fotografías de paisaxes.

Adestramento dunha familia de modelos interoperables

A busca é fundamentalmente asimétrica: a indexación e a codificación de consultas teñen diferentes restricións operativas. A indexación execútase fóra de liña e pódese paralelizar, polo que o seu custo de cómputo se amortiza ao longo de moitas buscas futuras. A codificación de consultas execútase en liña para cada solicitude, o que a fai sensible á latencia e ás veces suxeita a límites de servizo ou de dispositivos periféricos. A nosa familia de modelos aproveita esta asimetría, ofrecendo tamaños adaptados a cada lado da canle de recuperación.

Adestramos un profesor de 18B de forma contrastiva e despois destilámolo por separado en estudantes de 9B e 0,6B. En vez de adestrar cada estudante só para reproducir a distribución de ranking do profesor, usamos destilación de representación ao estilo LEAF: para cada token de entrada, aliñamos a incrustación de saída do estudante coa do profesor. Aínda que a destilación no espazo de representación xa se usara previamente para modelos densos dun único vector, estendémola á interacción tardía, onde o obxectivo de aliñamento é un vector por cada token conservado.

Como resultado, ambos os checkpoints publicados comparten o mesmo espazo de incrustación multi-vector. Isto permite a recuperación entre modelos, facendo posibles opcións adicionais de implantación.

• Calidade máxima: codifica documentos e consultas co modelo de 9B.
• Máxima eficiencia: codifica documentos e consultas co modelo de 0,6B para inferencia 100% local
• Recuperación de baixa latencia: constrúe o índice do corpus co modelo de 9B e despois codifica as consultas en directo co modelo de 0,6B para aproveitar o cómputo no momento de indexación mantendo rápida a consulta.
• Recuperación local-na nube: codifica documentos locais privados ou consultas en directo co modelo de 0,6B no dispositivo, e compara ou combina esas representacións con resultados dun índice de 9B aloxado na nube.

Para contextos sensibles á latencia, deseñamos o modelo de 0,6B como un codificador de consultas lixeiro que tamén pode executarse en dispositivos periféricos. Partindo de Qwen3.5-0.8B, podámola torre de texto de 24 capas ata 12 capas, reducindo esa torre de 498 millóns a 240 millóns de parámetros non relacionados coa incrustación. O modelo resultante ten 594 millóns de parámetros en total, pero o seu tamaño nominal sobrestima o custo de servizo: 100 millóns úsanse para a codificación de imaxes e 254 millóns están na táboa de incrustacións de tokens, o que ten pouco efecto no tempo de execución. Só arredor de 240 millóns de parámetros están activos para a codificación de texto e 340 millóns para a codificación de imaxes, dando ao modelo o custo de servizo dun modelo substancialmente máis pequeno mentres mantén a compatibilidade co índice de 9B.

Aplicamos o mesmo proceso para construír o noso profesor de 18B a partir dun backbone de 27B, o que fixo o profesor considerablemente máis barato de destilar sen debilitar o sinal que proporciona.

Datos de adestramento multilingües, multimodais e non contaminados

Adestramos ambos os modelos nun conxunto de datos de 186 millóns de pares consulta-documento extraídos de 594 conxuntos de datos en 46 linguas. Destes pares, o 88,3% son texto a texto, o 8,3% son texto a imaxe e o 3,4% son pares texto a documento visual. En vez de facer a mostraxe en proporción ao tamaño do conxunto de datos, asignamos a cada conxunto unha ponderación de mostraxe, o que produce unha mestura de adestramento máis equilibrada do 56,5%, 30,9% e 12,6%, respectivamente.

Ao construír os nosos datos de adestramento, excluímos calquera conxunto de datos asociado con benchmarks sobre os que avaliamos para representar fielmente os nosos resultados sen inflar as puntuacións dos benchmarks. Esta decisión implica o compromiso de que algúns dos conxuntos de datos que escollemos excluír conteñen datos de alta calidade que poderían mellorar o rendemento do noso modelo noutras tarefas distintas do benchmark do que proceden. En última instancia, escollemos aceptar ese custo: unhas cifras fiables son máis útiles para nós durante o desenvolvemento, e para os usuarios ao comparar modelos.

Avaliación

Avaliamos ambos os modelos en recuperación de texto, de documentos visuais, de imaxes mixtas e axéntica. Ambos superan os baselines avaliados en Q2D-Web e BrowseComp+, e acadan bos resultados na recuperación de documentos visuais e MADQA.

Recuperación de texto

Avaliamos a recuperación texto a texto en tres benchmarks:

• Benchmarks específicos de dominio: Unha colección de 72 tarefas ao estilo MTEB, 55 en cinco dominios (finanzas, xurídico, saúde, conversa, tecnoloxía), máis 17 tarefas multilingües misceláneas. A colección inclúe tarefas como FinQA, AILACasedocs e XLSum. Ningún destes conxuntos de datos aparece nos nosos datos de adestramento, como se describe arriba.
• Q2D-Web: o noso benchmark de recuperación a escala web duns 70.000 consultas de busca reformuladas por axentes, extraídas de tráfico de busca en produción, sobre un corpus de 190 millóns de documentos web. Este benchmark mide o rendemento da recuperación nun contexto moito máis próximo á recuperación web do mundo real ca outros benchmarks de recuperación dispoñibles, debido ás súas consultas semellantes ás de produción e ao seu corpus a grande escala.
• ViDoRe(V3) Markdown: ViDoRe(V3) adoita ser unha tarefa de recuperación texto a documento visual, pero tamén pode avaliase como tarefa de texto usando unha versión do corpus que foi analizada a Markdown, o que nos permite avaliar a recuperación de documentos con alta información tanto en modalidade de imaxe como de texto.

Medimos o rendemento usando nDCG@10, agás en Q2D-Web, onde informamos de Recall@1000 debido ao foco do benchmark nun escenario web de primeira etapa de recuperación. Ao longo das nosas avaliacións, comparamos con modelos de incrustación líderes da industria en distintas clases de tamaño. Para a recuperación de texto, nemotron-embed-8b, gemini-embedding-2, voyage-large-4 e qwen3-embed-8b representan os competidores densos máis fortes e máis usados, mentres que voyage-4-nano e qwen3-embed-0.6b serven como baselines densos de menos de mil millóns de parámetros. Ademais comparamos cos modelos de interacción tardía topk-embed-v1, lanzados recentemente por TopK, nos benchmarks para os que TopK publicou resultados. As puntuacións de ViDoRe(V3) tómanse das súas fichas de modelo a 128 dimensións, coincidindo coa anchura das nosas incrustacións de token; a puntuación de Q2D-Web tómase da nosa táboa de clasificación.

Nos benchmarks específicos de dominio, os nosos modelos de 9B e 0,6B acadan unha media do 81,3% e do 78,0%, respectivamente. O noso modelo de 9B logra a puntuación máis alta de todos os modelos que avaliamos, superando o seguinte mellor modelo en 1,6 pp. O noso modelo de 0,6B é competitivo cos outros modelos coa puntuación máis alta, situándose só 0,3 pp por detrás de gemini-embedding-2. Importa salientar que, como non adestramos con ningún dos datos destas tarefas de benchmark, os benchmarks específicos de dominio demostran que os nosos modelos de incrustación poden xeneralizar a novos dominios.

Ampliar

A forza relativa do noso modelo de 0,6B é aínda maior na tarefa ViDoRe(V3) Markdown; a súa puntuación do 61,2% supera todos os outros modelos agás o noso modelo de 9B, que acadou un 64,7%. O seguinte mellor modelo externo puntuou un 60,6%, e o seguinte mellor modelo de menos de 1B, topk-embed-v1-0.8b, quedou 4,3 pp por detrás do noso modelo de 0,6B.

Ampliar

En Q2D-Web, a relevancia procede de tres conxuntos de xuízos: documentos que o axente citou (Citation), documentos clasificados polo noso sistema de recuperación de produción (Web), e a unión de ambos ampliada con xuízos dun LLM sobre documentos sen etiquetar (Combined). Ambos os modelos pplx-embed-v2-late lideran todos os baselines nos tres conxuntos de xuízos. Centrámonos nos xuízos combinados, xa que os conxuntos Citation e Web derivan do que os nosos propios sistemas xa fixeran aparecer, e polo tanto favorecen os modelos que ordenan como eles; os xuízos do LLM engadidos en Combined cobren documentos que ningún dos sistemas recuperou. Nese conxunto, tanto os nosos modelos de 9B como os de 0,6B superan todos os competidores, acadando puntuacións do 74,8% e do 73,6%, respectivamente, fronte á mellor puntuación anterior do 69,3%.

Ampliar

Recuperación visual

O noso principal benchmark de recuperación visual é o subconxunto público estándar de ViDoRe (V3), onde o corpus está formado por imaxes de páxinas renderizadas en vez da conversión a Markdown. Comparamos con dous modelos líderes densos de visión-linguaxe, qwen3-vl-embed-8b e gemini-embedding-2, e cos modelos de interacción tardía topk-embed-v1. Ademais, os modelos EVIE de Tencent e os modelos Nemotron ColEmbed V2 de NVIDIA son baselines multi-vector “só visión” adestrados especificamente para tarefas de recuperación de imaxes.

Ambos os nosos modelos acadaron un rendemento de vangarda para modelos de visión-linguaxe. O noso modelo de 9B consegue unha puntuación media do 65,2%, só por detrás de EVIE. O noso modelo de 0,6B acada unha puntuación do 62,3%, por diante de topk-embed-v1-2b e só por detrás dos moito maiores EVIE e nemotron-colembed-v2-8b entre os baselines externos.

Ampliar

O noso modelo de 0,6B é especialmente competitivo no contexto do tamaño do modelo. Vai por diante de todos os modelos de tamaño comparable e está a 1,2 pp de nemotron-colembed-v2-8b mentres activa só 340 millóns de parámetros para entradas de imaxe. Os nosos modelos producen incrustacións de 128 dimensións por token, en comparación con 2.048 para EVIE-4.5B e 4.096 para EVIE-8B e nemotron-colembed-v2-8b. Esta diferenza nos custos de almacenamento pode afectar drasticamente os escenarios nos que estes modelos son prácticos de usar.

Ampliar

Tamén avaliamos a recuperación visual en MIRACL-Vision, un benchmark cuxo corpus consiste en capturas de pantalla de artigos de wikipedia, e PPLX-Q2I, un benchmark interno que abrangue tanto documentos visuais como imaxes naturais. PPLX-Q2I constrúese a partir dos rexistros de busca de imaxes en produción de Perplexity e está deseñado para reflectir a diversidade de casos de uso da busca de imaxes. Usamos unha mostra de 10.000 consultas, estratificada por lingua e dominio, fronte a un corpus de 100.000 imaxes; os documentos relevantes de cada consulta son as imaxes que se lle serviron. Non avaliamos EVIE-8B nin Nemotron ColEmbed en PPLX-Q2I, xa que indexar un corpus deste tamaño nas súas dimensionalidades de saída predeterminadas (2.560 para Nemotron ColEmbed 4B e 4.096 para Nemotron ColEmbed 8B e EVIE-8B) era impracticable.

De xeito semellante ao seu rendemento en ViDoRe(V3), o noso modelo de 0,6B é competitivo con modelos moito máis grandes, quedando só 1 pp por detrás de qwen3-vl-embed-8b en MIRACL-Vision. O noso modelo de 9B supera todos os demais modelos agás gemini-embedding-2.

En PPLX-Q2I, ambos os nosos modelos superan qwen3-vl-embedding-8b por unha marxe de máis de 9 pp, e o noso modelo de 9B queda detrás de gemini-embedding-2 por só 2 pp. Os nosos resultados seguen sendo competitivos en corpus que conteñen tanto imaxes naturais como documentos visuais, polo que as representacións multi-vector que dan bo resultado en ViDoRe(V3) non implican un custo para a busca xeral de imaxes.

Ampliar

Recuperación entre modelos

Os resultados das seccións anteriores avalían cada modelo fronte a un corpus que el mesmo incorporou. O espazo de incrustación compartido fai que isto non sexa un requisito: un corpus indexado polo modelo de 9B pode buscarse con consultas incrustadas polo modelo de 0,6B. Esta é a configuración que agardamos que use a maioría das implantacións en produción, xa que a indexación é un custo dun só uso amortizado ao longo da vida útil do corpus mentres que a incrustación da consulta corre no camiño crítico da latencia de cada solicitude.

Unha implantación que non poida executar o modelo de 9B no momento da consulta, doutro xeito tamén indexaría co modelo de 0,6B, de xeito que esa configuración simétrica de 0,6B é o punto de comparación relevante. Avaliamos fronte aos 72 benchmarks específicos de dominio usados arriba e en recuperación de imaxes de ViDoRe v3. As consultas incorpóranse con pplx-embed-v2-late-0.6b, e variamos só o que incorporou o corpus.

Indexar co modelo de 9B é unha mellora estrita. Nos benchmarks específicos de dominio, a configuración asimétrica logra de media unha ganancia de 1,6 pp. Na recuperación de imaxes de ViDoRe v3, acada un 63,5%, fronte ao 62,3% usando o modelo de 0,6B en ambos lados, unha ganancia de 1,2 puntos porcentuais. O custo de codificación de consultas é o mesmo entre as configuracións simétrica de 0,6B e asimétrica, xa que o mesmo modelo de 0,6B codifica a consulta en ambas; o custo adicional de codificación de documentos incúrrrese no momento da indexación.

Executar o modelo de 9B en ambos os lados segue sendo aínda mellor, cunha media do 81,3% nos benchmarks específicos de dominio. A configuración asimétrica recupera, polo tanto, aproximadamente a metade da diferenza de calidade entre os dous modelos en texto, sen custo adicional de codificación de consultas. A elección da configuración depende de se o modelo de 9B é asumible no momento da consulta; cando non o é, a configuración asimétrica captura unha parte substancial do seu beneficio.

Ampliar

Recuperación axéntica

A recuperación axéntica é outro contexto no que as incrustacións multi-vector son especialmente fortes. En BrowseComp+, un LLM (GPT-OSS-120B no noso caso) usa o modelo de incrustación para buscar nun corpus información relevante para unha consulta complexa do usuario, e un segundo LLM xulga se a resposta resultante coincide coa verdade fundamental. O noso modelo de 9B acada un 64,0% de exactitude, superando o seguinte mellor modelo ColBERT en 4,9 pp e o seguinte mellor modelo denso en 8,7 pp, á vez que realiza menos buscas ca calquera outro modelo agás o noso de 0,6B. O modelo de 0,6B tamén vai por diante de todos os modelos fóra da nosa familia.

Ampliar

MADQA proba preguntas e respostas axénticas sobre 800 PDF reais heteroxéneos que abranguen máis de 18.000 páxinas, con 500 preguntas redactadas por humanos que non poden responderse con coñecemento xeral. Un axente (Gemini 3.5 Flash no noso caso) busca na colección co recuperador sometido a proba e puntúase pola exactitude da resposta e polo F1 por páxina fronte ás páxinas de evidencia anotadas. O noso modelo de 9B establece un novo estado da arte entre os recuperadores cunha exactitude do 92,4%, 3,5 pp por diante do mesmo axente usando o recuperador de Mixedbread; o noso modelo de 0,6B acada o 90,1%. Tamén observamos que o noso recuperador consegue resultados competitivos fronte a Mixedbread Agentic Search, que usa un subaxente de busca no seu sistema de busca que planifica e executa varias buscas por chamada desde o axente principal (93,4%, dentro do noso intervalo de confianza).

Ampliar

Primeiros pasos

Tanto os nosos modelos de 0,6B como de 9B están dispoñibles en Hugging Face e son compatibles de serie con sentence-transformers >= 6.0.0 e transformers >= 5.4.0. Na segunda metade deste ano publicaranse nun informe técnico máis detalles técnicos e os resultados completos da avaliación.

Actualmente estamos a adestrar a próxima xeración dos nosos modelos de embeddings densos e iremos incorporando progresivamente a compatibilidade con embeddings de interacción tardía, densos e contextuais na Perplexity API Platform.

Cita

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}