Incrustaciones multimodales más allá de un solo vector

Desde que lanzamos pplx-embed-v1 en febrero, hemos estado trabajando en una nueva generación de modelos de incrustación. La semana pasada, presentamos nuestro nuevo modelo de incrustación contextual, pplx-embed-v2-context. Hoy ampliamos la familia con pplx-embed-v2-late, una colección de modelos de interacción tardía. Junto con capacidades de recuperación más potentes, estos modelos son los primeros en combinar tres características principales:

• Representaciones multivectoriales. En lugar de comprimir cada entrada en un único vector, estos modelos conservan vectores a nivel de token para comparaciones más granulares entre consultas y documentos. Esto permite que distintas partes de una consulta coincidan con distintas partes de un documento, preservando detalles especialmente valiosos para la recuperación multimodal.
• Compatibilidad con las modalidades de texto e imagen. Además de las capacidades de recuperación texto a texto de nuestros modelos anteriores, estos nuevos modelos manejan la recuperación texto a imagen, lo que les permite buscar directamente páginas de PDF renderizadas sin requerir OCR ni texto analizado.
• Un espacio de incrustación compartido. Estamos lanzando dos tamaños de modelo, 0.6B y 9B, para dar soporte a distintos requisitos de calidad, latencia y cómputo. Cada uno puede usarse de forma independiente, pero el espacio de incrustación compartido también permite que el modelo más pequeño consulte un índice creado con el modelo más grande, combinando incrustaciones de documentos de mayor calidad con una inferencia barata y rápida en tiempo de consulta.

Estos nuevos modelos obtienen resultados de vanguardia en diversas pruebas de referencia de recuperación visual y de texto, así como en tareas agénticas de respuesta a preguntas. Cabe destacar que, en ViDoRe (V3), una de las principales pruebas de referencia de recuperación visual de documentos, nuestro modelo de 0,6B iguala a modelos con cinco veces más parámetros activos. Ambos modelos están disponibles públicamente en Hugging Face. Nuestro informe técnico ofrece más detalles sobre la metodología y los resultados de la evaluación.

De vectores únicos a interacción tardía

Los sistemas de recuperación deben encontrar un equilibrio entre eficiencia y profundidad de interacción entre consultas y documentos. Los modelos de incrustación densos codifican cada consulta y documento de forma independiente, lo que permite compararlos mediante un producto interno barato. Esto hace viable la búsqueda aproximada del vecino más cercano (ANN) sobre miles de millones de documentos. En el otro extremo, los codificadores cruzados procesan la consulta y el documento conjuntamente, lo que permite una interacción más rica pero requiere una pasada hacia delante separada para cada candidato. Aplicar este cómputo a un gran corpus de documentos en cada búsqueda es prohibitivamente costoso, por lo que los codificadores cruzados suelen reservarse para volver a ordenar un pequeño conjunto de candidatos recuperados.

Limitaciones de las incrustaciones densas

Representar un documento completo con un único vector de tamaño fijo crea un cuello de botella de información. A medida que los documentos se alargan y cubren más temas, el modelo debe comprimir más contenido en el mismo vector, lo que dificulta preservar todo lo relevante para una consulta. La fragmentación en trozos puede reducir esta presión, pero fragmenta el documento y puede separar información que solo tiene sentido en conjunto, un problema que también abordamos con nuestro modelo de incrustación contextual. Este cuello de botella se agrava en entornos multimodales, donde la densidad de información de las imágenes exige aún más compresión.

La recuperación densa de un solo vector también reduce cada comparación a un producto interno entre dos vectores, lo que limita la expresividad de la función de puntuación. Para una dimensión de incrustación fija y un corpus lo suficientemente grande, algunos patrones de puntuaciones entre pares consulta-documento son imposibles de producir, independientemente del entrenamiento. La referencia LIMIT convierte esta preocupación teórica en una prueba de estrés concreta para la recuperación de un solo vector.

Recuperación de interacción tardía

Los modelos de interacción tardía ocupan el espacio entre los modelos de incrustación densos, más baratos, y los codificadores cruzados, más expresivos. Al igual que los modelos densos, codifican documentos de manera independiente de la consulta, lo que permite calcular las representaciones de los documentos sin conexión. Sin embargo, en lugar de reducir cada entrada a un único vector, conservan múltiples vectores y usan una función de puntuación más rica al comparar una consulta con un documento.

Nuestros modelos pplx-embed-v2-late usan una arquitectura estilo ColBERT y generan incrustaciones de 128 dimensiones para cada token de la entrada. Puntuamos los pares consulta-documento con MaxSim; para cada token de la consulta, el modelo selecciona el token de documento con la mayor puntuación y suma las similitudes máximas por token para producir la puntuación final. Esto permite que distintas partes de una consulta coincidan con distintas partes de un documento, y las coincidencias de tokens más fuertes contribuyen más a la puntuación.

Ampliar

Esta expresividad adicional conlleva mayores costos de almacenamiento y de puntuación de candidatos. La recuperación densa almacena un vector por documento y puntúa un candidato con un solo producto interno; la interacción tardía almacena vectores para los tokens del documento y evalúa muchas similitudes token a token. El costo crece con la longitud del documento, por lo que la interacción tardía requiere una compensación distinta entre indexación y servicio que la recuperación ANN de un solo vector. A cambio, ofrece una recuperación de primera etapa más rica para corpus sensibles a la calidad y también puede servir como una etapa posterior en una canalización de recuperación web a gran escala.

Un modelo, múltiples modalidades

Se ha demostrado que esta mayor profundidad de interacción es muy útil para diversas tareas, incluidas la recuperación de largo contexto, agéntica y fuera de dominio. Esta diferencia es especialmente evidente en la recuperación multimodal, como muestra la gran ventaja de los modelos ColPali en la clasificación de ViDoRe(V3).

Los corpus del mundo real no están compuestos solo de texto limpio. Llegan como PDF, presentaciones, capturas de pantalla, páginas escaneadas, gráficos y tablas. El flujo convencional analiza estos documentos, aplica OCR o generación de descripciones, y busca sobre el texto resultante, lo cual es costoso y con pérdida de información: puede introducir errores de OCR y descarta el diseño, la estructura de tablas, las figuras y las relaciones espaciales. La búsqueda visual de documentos omite ese paso, proyectando la página renderizada directamente al espacio de representación donde las consultas textuales pueden buscarla.

Nuestra nueva familia de modelos se basa en el sólido rendimiento de los modelos multivectoriales para la búsqueda multimodal y amplía la frontera de Pareto para modelos pequeños en la referencia de búsqueda de documentos más utilizada, ViDoRe(V3). Aunque esperamos que las representaciones de documentos sean la forma más común de entrada visual, nuestros modelos también admiten la búsqueda semántica de imágenes naturales, como fotografías de paisajes.

Entrenamiento de una familia de modelos interoperables

La búsqueda es fundamentalmente asimétrica: la indexación y la codificación de consultas tienen distintas restricciones operativas. La indexación se ejecuta fuera de línea y puede paralelizarse, por lo que su costo de cómputo se amortiza entre muchas búsquedas futuras. La codificación de consultas se ejecuta en línea para cada solicitud, lo que la hace sensible a la latencia y, en ocasiones, sujeta a límites de servicio o de dispositivos periféricos. Nuestra familia de modelos aprovecha esta asimetría y ofrece tamaños adaptados a cada lado de la canalización de recuperación.

Entrenamos primero de forma contrastiva un profesor de 18B y luego lo destilamos por separado en estudiantes de 9B y 0.6B. En lugar de entrenar a cada estudiante solo para reproducir la distribución de ordenación del profesor, utilizamos destilación de representación al estilo LEAF: para cada token de entrada, alineamos la incrustación de salida del estudiante con la del profesor. Aunque la destilación en el espacio de representación ya se había utilizado antes para modelos densos de un solo vector, la extendemos a la interacción tardía, donde el objetivo de alineación es un vector para cada token conservado.

Como resultado, ambos puntos de control publicados comparten el mismo espacio de incrustación multivectorial. Esto permite la recuperación entre modelos y hace posibles opciones adicionales de implementación.

• Máxima calidad: codifique documentos y consultas con el modelo de 9B.
• Máxima eficiencia: codifique documentos y consultas con el modelo de 0.6B para una inferencia 100% local
• Recuperación de baja latencia: construya el índice del corpus con el modelo de 9B y luego codifique las consultas en vivo con el modelo de 0.6B para aprovechar el cómputo en tiempo de indexación sin dejar de mantener rápida la consulta.
• Recuperación local-en-la-nube: codifique documentos locales privados o consultas en vivo con el modelo de 0.6B en el dispositivo, y compare o fusione esas representaciones con resultados de un índice de 9B alojado en la nube.

Para entornos sensibles a la latencia, diseñamos el modelo de 0.6B como un codificador de consultas ligero que también puede ejecutarse en dispositivos periféricos. Partiendo de Qwen3.5-0.8B, podamos su torre de texto de 24 capas a 12, reduciendo esa torre de 498M a 240M parámetros no de incrustación. El modelo resultante tiene 594M parámetros en total, pero su tamaño nominal sobrestima el costo de servicio: 100M se usan para la codificación de imágenes y 254M residen en la tabla de incrustación de tokens, que tiene poco efecto en tiempo de ejecución. Solo alrededor de 240M parámetros están activos para la codificación de texto y 340M para la codificación de imágenes, lo que le da al modelo el costo de servicio de un modelo sustancialmente más pequeño, a la vez que mantiene la compatibilidad con el índice de 9B.

Aplicamos el mismo proceso para construir nuestro profesor de 18B a partir de una base de 27B, lo que hizo que el profesor fuera considerablemente más barato de destilar sin debilitar la señal que proporciona.

Datos de entrenamiento multilingües, multimodales y no contaminados

Entrenamos ambos modelos con un conjunto de datos de 186 millones de pares consulta-documento extraídos de 594 conjuntos de datos en 46 idiomas. De esos pares, el 88.3% son de texto a texto, el 8.3% de texto a imagen y el 3.4% de texto a documento visual. En lugar de muestrear en proporción al tamaño del conjunto de datos, asignamos a cada conjunto un peso de muestreo, lo que da como resultado una mezcla de entrenamiento más equilibrada del 56.5%, 30.9% y 12.6%, respectivamente.

Al construir nuestros datos de entrenamiento, excluimos cualquier conjunto de datos asociado con benchmarks sobre los que evaluamos para representar fielmente nuestros resultados sin inflar las puntuaciones de benchmarks. Esta decisión conlleva la compensación de que algunos de los conjuntos de datos que elegimos excluir contienen datos de alta calidad que podrían mejorar el rendimiento de nuestro modelo en tareas distintas de los benchmarks de los que proceden. En última instancia, decidimos aceptar ese costo: los números fiables nos resultan más útiles durante el desarrollo, y a los usuarios al comparar modelos.

Evaluación

Evaluamos ambos modelos en recuperación de texto, documentos visuales, imágenes mixtas y recuperación agéntica. Ambos modelos superan a los sistemas de referencia evaluados en Q2D-Web y BrowseComp+, y logran resultados sólidos en recuperación de documentos visuales y MADQA.

Recuperación de texto

Evaluamos la recuperación de texto a texto en tres benchmarks:

• Pruebas de referencia específicas de dominio: Una colección de 72 tareas al estilo MTEB, 55 en cinco dominios (finanzas, legal, salud, conversación, tecnología), más 17 tareas multilingües misceláneas. La colección incluye tareas como FinQA, AILACasedocs y XLSum. Ninguno de estos conjuntos de datos aparece en nuestros datos de entrenamiento, como se describió anteriormente.
• Q2D-Web: nuestro benchmark de recuperación a escala web de unas 70,000 consultas de búsqueda reformuladas por agentes, extraídas del tráfico de búsqueda en producción, sobre un corpus de 190M de documentos web. Este benchmark mide el rendimiento de recuperación en un entorno mucho más cercano a la recuperación web del mundo real que otros benchmarks de recuperación disponibles, debido a sus consultas similares a las de producción y su corpus a gran escala.
• ViDoRe(V3) Markdown: ViDoRe(V3) suele ser una tarea de recuperación de texto a documento visual, pero también puede evaluarse como una tarea de texto utilizando una versión del corpus que ha sido analizada a Markdown, lo que nos permite evaluar la recuperación de documentos ricos en información tanto en modalidad de imagen como de texto.

Medimos el rendimiento usando nDCG@10, excepto en Q2D-Web, donde informamos Recall@1000 debido al enfoque de la referencia en un escenario de recuperación web de primera etapa. A lo largo de nuestras evaluaciones, comparamos con modelos de incrustación líderes de la industria en distintas clases de tamaño. Para la recuperación de texto, nemotron-embed-8b, gemini-embedding-2, voyage-large-4 y qwen3-embed-8b representan a los competidores densos más potentes y ampliamente usados, mientras que voyage-4-nano y qwen3-embed-0.6b sirven como referencias densas de menos de mil millones de parámetros. Además, comparamos con los modelos de interacción tardía topk-embed-v1 de TopK, recién lanzados, en las referencias para las que TopK ha publicado resultados. Las puntuaciones de ViDoRe(V3) se toman de sus model cards a 128 dimensiones, en consonancia con el ancho de nuestras incrustaciones de tokens; la puntuación de Q2D-Web se toma de nuestra clasificación.

En las referencias específicas de dominio, nuestros modelos de 9B y 0.6B obtienen promedios del 81.3% y 78.0%, respectivamente. Nuestro modelo de 9B logra la puntuación más alta de todos los modelos que evaluamos, superando al siguiente mejor modelo por 1.6 pp. Nuestro modelo de 0.6B es competitivo con los otros modelos mejor puntuados, quedando solo 0.3 pp por detrás de gemini-embedding-2. De forma importante, dado que no entrenamos con ninguno de los datos de estas tareas de referencia, las referencias específicas de dominio demuestran que nuestros modelos de incrustación pueden generalizar a nuevos dominios.

Ampliar

La fuerza relativa de nuestro modelo de 0.6B es aún mayor en la tarea ViDoRe(V3) Markdown; su puntuación de 61.2% supera a todos los demás modelos salvo a nuestro modelo de 9B, que obtuvo 64.7%. El siguiente mejor modelo externo obtuvo 60.6%, y el siguiente mejor modelo de menos de 1B, topk-embed-v1-0.8b, quedó 4.3 pp por detrás de nuestro modelo de 0.6B.

Ampliar

En Q2D-Web, la relevancia proviene de tres conjuntos de juicios: documentos que el agente citó (Citación), documentos clasificados por nuestro sistema de recuperación en producción (Web) y la unión de ambos, ampliada con juicios de LLM sobre documentos sin etiquetar (Combinado). Ambos modelos pplx-embed-v2-late lideran frente a todas las referencias en los tres conjuntos de juicios. Nos centramos en los juicios combinados, ya que los conjuntos de Citación y Web se derivan de lo que nuestros propios sistemas ya mostraron y, por tanto, favorecen a los modelos que clasifican igual; los juicios de LLM añadidos en Combinado cubren documentos que ninguno de los dos sistemas recuperó. En ese conjunto, tanto nuestro modelo de 9B como el de 0.6B superan a todos los competidores, con puntuaciones de 74.8% y 73.6%, respectivamente, frente a la mejor puntuación anterior de 69.3%.

Ampliar

Recuperación visual

Nuestro principal punto de referencia de recuperación visual es el subconjunto público estándar de ViDoRe(V3), donde el corpus consiste en imágenes de páginas renderizadas en lugar de la conversión a Markdown. Comparamos con dos de los principales modelos multimodales densos de visión y lenguaje, qwen3-vl-embed-8b y gemini-embedding-2, y con los modelos de interacción tardía topk-embed-v1. Además, los modelos EVIE de Tencent y los modelos Nemotron ColEmbed V2 de NVIDIA son referencias multivectoriales "solo visión" entrenadas específicamente para tareas de recuperación de imágenes.

Ambos modelos alcanzan un rendimiento de vanguardia entre los modelos de visión y lenguaje. Nuestro modelo de 9B obtiene una puntuación media del 65.2%, superado solo por EVIE. Nuestro modelo de 0.6B alcanza una puntuación del 62.3%, por delante de topk-embed-v1-2b y solo por detrás de los mucho más grandes EVIE y nemotron-colembed-v2-8b entre las referencias externas.

Ampliar

Nuestro modelo de 0.6B es especialmente competitivo en el contexto del tamaño del modelo. Está por delante de todos los modelos de tamaño comparable y a 1.2 pp de nemotron-colembed-v2-8b, activando solo 340M de parámetros para entradas de imagen. Nuestros modelos producen incrustaciones de 128 dimensiones por token, frente a 2,048 para EVIE-4.5B y 4,096 para EVIE-8B y nemotron-colembed-v2-8b. Esta diferencia en los costos de almacenamiento puede afectar drásticamente los escenarios en los que estos modelos son prácticos de usar.

Ampliar

También evaluamos la recuperación visual en MIRACL-Vision, una referencia cuyo corpus consiste en capturas de pantalla de artículos de Wikipedia, y PPLX-Q2I, una referencia interna que cubre tanto documentos visuales como imágenes naturales. PPLX-Q2I se construye a partir de los registros de búsqueda de imágenes de producción de Perplexity y está diseñada para reflejar la diversidad de casos de uso de búsqueda de imágenes. Usamos una muestra de 10,000 consultas, estratificada por idioma y dominio, frente a un corpus de 100,000 imágenes; los documentos relevantes de cada consulta son las imágenes que se le sirvieron. No evaluamos EVIE-8B ni Nemotron ColEmbed en PPLX-Q2I, ya que indexar un corpus de este tamaño con sus dimensionalidades de salida predeterminadas (2,560 para Nemotron ColEmbed 4B y 4,096 para Nemotron ColEmbed 8B y EVIE-8B) era poco práctico.

De forma similar a su rendimiento en ViDoRe(V3), nuestro modelo de 0.6B es competitivo con modelos mucho más grandes y queda solo 1 pp por detrás de qwen3-vl-embed-8b en MIRACL-Vision. Nuestro modelo de 9B supera a todos los demás modelos excepto a gemini-embedding-2.

En PPLX-Q2I, ambos modelos superan a qwen3-vl-embedding-8b por más de 9 pp, y nuestro modelo de 9B queda solo 2 pp por detrás de gemini-embedding-2. Nuestros resultados siguen siendo competitivos en corpus que contienen imágenes naturales además de documentos visuales, por lo que las representaciones multivectoriales que rinden bien en ViDoRe(V3) no implican un coste para la búsqueda general de imágenes.

Ampliar

Recuperación entre modelos

Los resultados de las secciones anteriores evalúan cada modelo frente a un corpus que el propio modelo indexó. El espacio de incrustación compartido hace que esto no sea un requisito: un corpus indexado por el modelo de 9B puede buscarse con consultas incrustadas por el modelo de 0.6B. Esta es la configuración que esperamos que usen la mayoría de las implementaciones en producción, ya que la indexación es un costo único amortizado durante la vida útil del corpus, mientras que la incrustación de consultas se ejecuta en la ruta crítica de latencia de cada solicitud.

Una implementación que no puede ejecutar el modelo de 9B en tiempo de consulta de otro modo también indexaría con el modelo de 0.6B, por lo que esa configuración simétrica de 0.6B es el punto de comparación pertinente. Evaluamos frente a las 72 referencias específicas de dominio usadas arriba y en la recuperación de imágenes de ViDoRe v3. Las consultas se incrustan con pplx-embed-v2-late-0.6b, y solo variamos qué modelo incrusta el corpus.

Indexar con el modelo de 9B supone una mejora neta. En las referencias específicas de dominio, la configuración asimétrica obtiene en promedio una ganancia de 1.6 pp. En la recuperación de imágenes de ViDoRe v3, alcanza un 63.5%, frente al 62.3% con el modelo de 0.6B en ambos lados, una ganancia de 1.2 puntos porcentuales. El costo de codificación de consultas no cambia entre las configuraciones simétrica de 0.6B y asimétrica, ya que en ambas la consulta la codifica el mismo modelo de 0.6B; el costo adicional de codificación de documentos se incurre en el momento de la indexación.

Ejecutar el modelo de 9B en ambos lados sigue siendo mejor, con un promedio del 81.3% en las referencias específicas de dominio. Por tanto, la configuración asimétrica recupera aproximadamente la mitad de la diferencia de calidad entre los dos modelos en texto, sin costo adicional de codificación de consultas. La configuración a elegir depende de si el modelo de 9B es asequible en tiempo de consulta; cuando no lo es, la configuración asimétrica captura una parte sustancial de su beneficio.

Ampliar

Recuperación agéntica

La recuperación agéntica es otro escenario en el que las incrustaciones multivectoriales son especialmente fuertes. En BrowseComp+, un LLM (GPT-OSS-120B en nuestro caso) usa el modelo de incrustación para buscar en un corpus información relevante para una consulta compleja del usuario, y un segundo LLM juzga si la respuesta resultante coincide con la verdad de referencia. Nuestro modelo de 9B alcanza una precisión del 64.0%, superando al siguiente mejor modelo ColBERT por 4.9 pp y al siguiente mejor modelo denso por 8.7 pp, al tiempo que realiza menos búsquedas que cualquier otro modelo excepto nuestro 0.6B. El modelo de 0.6B también supera a todos los modelos fuera de nuestra familia.

Ampliar

MADQA pone a prueba preguntas y respuestas agénticas sobre 800 PDF heterogéneos del mundo real que abarcan más de 18,000 páginas, con 500 preguntas redactadas por personas que no pueden responderse a partir de conocimiento general. Un agente (Gemini 3.5 Flash en nuestro caso) busca en la colección con el recuperador en prueba y se puntúa tanto por la precisión de la respuesta como por el F1 de página frente a las páginas de evidencia anotadas. Nuestro modelo de 9B establece un nuevo estado del arte entre los recuperadores con una precisión del 92.4%, 3.5 pp por delante del mismo agente usando el recuperador de Mixedbread; nuestro modelo de 0.6B alcanza el 90.1%. También observamos que nuestro recuperador logra resultados competitivos frente a Mixedbread Agentic Search, que utiliza un subagente de búsqueda en su sistema de búsqueda que planifica y ejecuta varias búsquedas por llamada desde el agente principal (93.4%, dentro de nuestro intervalo de confianza).

Ampliar

Primeros pasos

Tanto nuestros modelos de 0.6B como de 9B están disponibles en Hugging Face y son compatibles de inmediato con sentence-transformers >= 6.0.0 y transformers >= 5.4.0. Se publicarán más detalles técnicos y los resultados completos de evaluación en un informe técnico a finales de este año.

Actualmente estamos entrenando la próxima generación de nuestros modelos de embeddings densos e iremos incorporando de forma progresiva la compatibilidad con embeddings de interacción tardía, densos y contextuales en Perplexity API Platform.

Cita

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}