Embeddings multimodales más allá de un solo vector

Desde que lanzamos pplx-embed-v1 en febrero, hemos estado trabajando en una nueva generación de modelos de embeddings. La semana pasada, presentamos nuestro nuevo modelo de embedding contextual, pplx-embed-v2-context. Hoy ampliamos la familia con pplx-embed-v2-late, una colección de modelos de interacción tardía. Además de capacidades de recuperación más sólidas, estos modelos son los primeros en combinar tres características centrales:

• Representaciones multivector. En lugar de comprimir cada entrada en un solo vector, estos modelos conservan vectores a nivel de token para comparaciones más detalladas entre consulta y documento. Esto permite que distintas partes de una consulta coincidan con distintas partes de un documento, preservando detalles que son especialmente valiosos para la recuperación multimodal.
• Compatibilidad con modalidades de texto e imagen. Además de las capacidades de recuperación texto a texto de nuestros modelos anteriores, estos nuevos modelos manejan recuperación de texto a imagen, lo que les permite buscar directamente páginas PDF renderizadas sin requerir OCR ni texto analizado.
• Un espacio de embeddings compartido. Lanzamos dos tamaños de modelo, 0.6B y 9B, para admitir distintos requisitos de calidad, latencia y cómputo. Cada uno puede usarse de forma independiente, pero el espacio de embeddings compartido también permite que el modelo más pequeño consulte un índice creado con el modelo más grande, combinando embeddings de documentos de mayor calidad con inferencia barata y rápida en tiempo de consulta.

Estos nuevos modelos logran resultados de vanguardia en diversos benchmarks de recuperación visual y de texto, así como en tareas agénticas de preguntas y respuestas. En particular, en ViDoRe (V3), uno de los principales benchmarks de recuperación de documentos visuales, nuestro modelo de 0.6B iguala a modelos con cinco veces más parámetros activos. Ambos modelos están disponibles públicamente en Hugging Face. Nuestro informe técnico ofrece más detalles sobre la metodología y los resultados de la evaluación.

De vectores únicos a interacción tardía

Los sistemas de recuperación deben encontrar un equilibrio entre la eficiencia y la profundidad de interacción entre consultas y documentos. Los modelos de embeddings densos codifican cada consulta y cada documento de forma independiente, lo que permite compararlos con un producto interno económico. Esto hace que la búsqueda aproximada de vecinos más cercanos (ANN) sobre miles de millones de documentos sea práctica. En el otro extremo, los cross-encoders procesan la consulta y el documento juntos, lo que permite una interacción más rica, pero requiere un pase hacia adelante separado para cada candidato. Aplicar este cómputo sobre un gran corpus de documentos para cada búsqueda es prohibitivamente costoso, por lo que los cross-encoders suelen reservarse para reordenar un pequeño conjunto de candidatos recuperados.

Limitaciones de los embeddings densos

Representar un documento completo con un solo vector de tamaño fijo crea un cuello de botella de información. A medida que los documentos se vuelven más largos y abarcan más temas, el modelo debe comprimir más contenido en el mismo vector, lo que dificulta conservar todo lo relevante para una consulta. El troceado puede reducir esta presión, pero fragmenta el documento y puede separar información que solo tiene sentido junta, un problema que también abordamos con nuestro modelo de embedding contextual. Este cuello de botella empeora en contextos multimodales, donde la densidad de información de las imágenes requiere una compresión aún mayor.

La recuperación densa de un solo vector también reduce cada comparación a un producto interno entre dos vectores, lo que limita la expresividad de la función de puntuación. Para una dimensión de embedding fija y un corpus lo suficientemente grande, algunos patrones de puntuaciones entre pares consulta-documento son imposibles de producir, sin importar el entrenamiento. El benchmark LIMIT convierte esta preocupación teórica en una prueba de esfuerzo concreta para la recuperación de un solo vector.

Recuperación de interacción tardía

Los modelos de interacción tardía ocupan el espacio entre los modelos de embeddings densos, más baratos, y los cross-encoders, más expresivos. Al igual que los modelos densos, codifican documentos independientemente de la consulta, lo que permite calcular las representaciones de los documentos sin conexión. Sin embargo, en lugar de reducir cada entrada a un solo vector, conservan varios vectores y usan una función de puntuación más rica al comparar una consulta con un documento.

Nuestros modelos pplx-embed-v2-late usan una arquitectura al estilo ColBERT, y generan embeddings de 128 dimensiones para cada token de la entrada. Calificamos los pares consulta-documento usando MaxSim; para cada token de consulta, el modelo selecciona el token de documento con la puntuación más alta y suma las similitudes máximas por token para producir la puntuación final. Esto permite que distintas partes de una consulta coincidan con distintas partes de un documento, y que las coincidencias de tokens más fuertes contribuyan más a la puntuación.

Ampliar

Esta mayor expresividad implica costos más altos de almacenamiento y de puntuación de candidatos. La recuperación densa almacena un vector por documento y califica un candidato con un solo producto interno; la interacción tardía almacena vectores para los tokens del documento y evalúa muchas similitudes token a token. El costo crece con la longitud del documento, por lo que la interacción tardía requiere una estrategia distinta de compensación entre indexación y servicio que la recuperación ANN de un solo vector. A cambio, ofrece una recuperación inicial más rica para corpus sensibles a la calidad y también puede servir como una etapa posterior en una canalización de recuperación web a gran escala.

Un modelo, múltiples modalidades

Se ha demostrado que esta mejor profundidad de interacción es muy útil para diversas tareas, incluida la recuperación de contexto largo, agéntica y fuera de dominio. Esta diferencia es particularmente evidente en la recuperación multimodal, como lo muestra la amplia ventaja de los modelos ColPali en la tabla de posiciones de ViDoRe(V3).

Los corpus del mundo real no están compuestos solo de texto limpio. Llegan como PDFs, presentaciones, capturas de pantalla, páginas escaneadas, gráficos y tablas. La canalización convencional analiza estos documentos, aplica OCR o subtitulado, y busca en el texto resultante, lo cual es costoso y con pérdidas: puede introducir errores de OCR y descarta el diseño, la estructura de tablas, las figuras y las relaciones espaciales. La búsqueda visual de documentos omite ese paso y proyecta la página renderizada directamente al espacio de representación, donde las consultas textuales pueden buscarla.

Nuestra nueva familia de modelos se basa en el sólido rendimiento de los modelos multivector para la búsqueda multimodal y avanza la frontera de Pareto para modelos pequeños en el benchmark de búsqueda de documentos más utilizado, ViDoRe(V3). Aunque esperamos que las representaciones de documentos sean la forma más común de entrada visual, nuestros modelos también admiten la búsqueda semántica de imágenes naturales, como fotografías de paisajes.

Entrenamiento de una familia de modelos interoperables

La búsqueda es fundamentalmente asimétrica: la indexación y la codificación de consultas tienen distintas restricciones operativas. La indexación se ejecuta sin conexión y puede paralelizarse, por lo que su costo de cómputo se amortiza en muchas búsquedas futuras. La codificación de consultas se ejecuta en línea para cada solicitud, lo que la hace sensible a la latencia y, en ocasiones, sujeta a límites de servicio o de dispositivos de borde. Nuestra familia de modelos aprovecha esta asimetría y ofrece tamaños adaptados a cada lado de la canalización de recuperación.

Entrenamos de forma contrastiva un profesor de 18B y luego lo destilamos por separado en estudiantes de 9B y 0.6B. En lugar de entrenar a cada estudiante solo para reproducir la distribución de ranking del profesor, usamos la destilación de representación al estilo LEAF: para cada token de entrada, alineamos la representación de salida del estudiante con la del profesor. Aunque la destilación en el espacio de representación se había usado antes para modelos densos de un solo vector, aquí la extendemos a la interacción tardía, donde el objetivo de alineación es un vector para cada token conservado.

Como resultado, ambos puntos de control publicados comparten el mismo espacio de embeddings multivector. Esto permite la recuperación entre modelos y hace posibles opciones adicionales de despliegue.

• Máxima calidad: codifica documentos y consultas con el modelo de 9B.
• Máxima eficiencia: codifica documentos y consultas con el modelo de 0.6B para inferencia 100% local
• Recuperación de baja latencia: construye el índice del corpus con el modelo de 9B y luego codifica las consultas en vivo con el modelo de 0.6B para aprovechar el cómputo en tiempo de indexación sin perder velocidad en la consulta.
• Recuperación local–nube: codifica documentos locales privados o consultas en vivo con el modelo de 0.6B en el dispositivo, y compara o combina esas representaciones con resultados de un índice de 9B alojado en la nube.

Para entornos sensibles a la latencia, diseñamos el modelo de 0.6B como un codificador de consultas ligero que también puede ejecutarse en dispositivos de borde. Partiendo de Qwen3.5-0.8B, podamos su torre de texto de 24 capas a 12 capas, reduciendo esa torre de 498M a 240M de parámetros no relacionados con embeddings. El modelo resultante tiene 594M parámetros en total, pero su tamaño nominal exagera el costo de servicio: 100M se usan para codificación de imágenes y 254M están en la tabla de embeddings de tokens, que tiene poco efecto en el tiempo de ejecución. Solo alrededor de 240M parámetros están activos para la codificación de texto y 340M para la codificación de imágenes, lo que le da al modelo el costo de servicio de un modelo considerablemente más pequeño, a la vez que mantiene la compatibilidad con el índice de 9B.

Aplicamos el mismo proceso para construir nuestro profesor de 18B a partir de un backbone de 27B, lo que hizo que la destilación del profesor fuera considerablemente más barata sin debilitar la señal que proporciona.

Datos de entrenamiento multilingües, multimodales y no contaminados

Entrenamos ambos modelos con un conjunto de datos de 186 millones de pares consulta-documento tomados de 594 conjuntos de datos en 46 idiomas. De esos pares, 88.3% son texto a texto, 8.3% son texto a imagen y 3.4% son pares texto a documento visual. En lugar de muestrear en proporción al tamaño del conjunto de datos, asignamos a cada conjunto un peso de muestreo, lo que produce una mezcla de entrenamiento más equilibrada de 56.5%, 30.9% y 12.6%, respectivamente.

Al construir nuestros datos de entrenamiento, excluimos cualquier conjunto de datos asociado con benchmarks en los que evaluamos, para representar fielmente nuestros resultados sin inflar las puntuaciones de los benchmarks. Esta decisión implica el compromiso de que algunos de los conjuntos de datos que elegimos excluir contienen datos de alta calidad que podrían mejorar el rendimiento de nuestro modelo en tareas distintas del benchmark del que provienen. En última instancia, decidimos aceptar ese costo: los números confiables nos resultan más útiles durante el desarrollo y también a los usuarios cuando comparan modelos.

Evaluación

Evaluamos ambos modelos en recuperación de texto, de documentos visuales, de imágenes mixtas y agéntica. Ambos modelos superan a las bases de referencia evaluadas en Q2D-Web y BrowseComp+, y logran resultados sólidos en recuperación de documentos visuales y MADQA.

Recuperación de texto

Evaluamos la recuperación de texto a texto en tres benchmarks:

• Benchmarks específicos de dominio: Una colección de 72 tareas al estilo MTEB, 55 en cinco dominios (finanzas, legal, salud, conversación y tecnología), más 17 tareas multilingües misceláneas. La colección incluye tareas como FinQA, AILACasedocs y XLSum. Ninguno de estos conjuntos de datos aparece en nuestros datos de entrenamiento, como se describe arriba.
• Q2D-Web:: nuestro benchmark de recuperación a escala web de unos 70,000 queries de búsqueda reformuladas por agentes, tomadas del tráfico de búsqueda en producción, sobre un corpus de 190M de documentos web. Este benchmark mide el rendimiento de recuperación en un contexto mucho más cercano a la recuperación web del mundo real que otros benchmarks de recuperación disponibles, debido a sus consultas de tipo producción y a su corpus a gran escala.
• ViDoRe(V3) Markdown: ViDoRe(V3) suele ser una tarea de recuperación de texto a documento visual, pero también puede evaluarse como una tarea de texto usando una versión del corpus que ha sido analizada a Markdown, lo que nos permite evaluar la recuperación de documentos ricos en información tanto en la modalidad de imagen como en la de texto.

Medimos el rendimiento usando nDCG@10, excepto en Q2D-Web, donde reportamos Recall@1000 debido al enfoque del benchmark en un escenario de recuperación web de primera etapa. A lo largo de nuestras evaluaciones, comparamos con modelos de embeddings líderes en la industria en distintas clases de tamaño. Para recuperación de texto, nemotron-embed-8b, gemini-embedding-2, voyage-large-4 y qwen3-embed-8b representan a los competidores densos más sólidos y más utilizados, mientras que voyage-4-nano y qwen3-embed-0.6b sirven como bases de referencia densas de menos de mil millones de parámetros. Además comparamos con los modelos de interacción tardía topk-embed-v1 de TopK, recién lanzados, en los benchmarks para los que TopK ha publicado resultados. Las puntuaciones de ViDoRe(V3) se toman de sus model cards a 128 dimensiones, coincidiendo con el ancho de nuestros embeddings de token; la puntuación de Q2D-Web se toma de nuestra tabla de posiciones.

En los benchmarks específicos de dominio, nuestros modelos de 9B y 0.6B promedian 81.3% y 78.0%, respectivamente. Nuestro modelo de 9B logra la puntuación más alta de todos los modelos que evaluamos, superando al siguiente mejor modelo por 1.6 pp. Nuestro modelo de 0.6B es competitivo con los otros modelos con mejor puntuación, y queda solo 0.3 pp por detrás de gemini-embedding-2. Es importante destacar que, como no entrenamos con ninguno de los datos de estas tareas de benchmark, los benchmarks específicos de dominio demuestran que nuestros modelos de embeddings pueden generalizar a nuevos dominios.

Ampliar

La fortaleza relativa de nuestro modelo de 0.6B es aún mayor en la tarea ViDoRe(V3) Markdown; su puntuación de 61.2% supera a todos los demás modelos excepto a nuestro modelo de 9B, que obtuvo 64.7%. El siguiente mejor modelo externo obtuvo 60.6%, y el siguiente mejor modelo de menos de 1B, topk-embed-v1-0.8b, quedó 4.3 pp detrás de nuestro modelo de 0.6B.

Ampliar

En Q2D-Web, la relevancia proviene de tres conjuntos de juicios: los documentos que el agente citó (Citation), los documentos clasificados por nuestro sistema de recuperación en producción (Web) y la unión de ambos extendida con juicios de LLM sobre documentos sin etiquetar (Combined). Ambos modelos pplx-embed-v2-late lideran frente a todas las bases de referencia en los tres conjuntos de juicios. Nos enfocamos en los juicios combinados, ya que los conjuntos Citation y Web se derivan de lo que nuestros propios sistemas ya mostraron y, por tanto, favorecen a los modelos que clasifican como ellos; los juicios de LLM agregados en Combined cubren documentos que ninguno de los dos sistemas recuperó. En ese conjunto, nuestros modelos de 9B y 0.6B superan a todos los competidores, con puntuaciones de 74.8% y 73.6%, respectivamente, frente a la mejor puntuación anterior de 69.3%.

Ampliar

Recuperación visual

Nuestro principal benchmark visual de recuperación es el subconjunto público estándar de ViDoRe(V3), donde el corpus consiste en imágenes de páginas renderizadas, en lugar de la conversión a Markdown. Lo comparamos con dos de los principales modelos densos de visión y lenguaje, qwen3-vl-embed-8b y gemini-embedding-2, y con los modelos de interacción tardía topk-embed-v1. Además, los modelos EVIE de Tencent y los modelos Nemotron ColEmbed V2 de NVIDIA son bases de referencia multivector “solo visión” entrenadas específicamente para tareas de recuperación de imágenes.

Ambos modelos logran un rendimiento de vanguardia para modelos de visión y lenguaje. Nuestro modelo de 9B obtiene 65.2% en promedio, superado solo por EVIE. Nuestro modelo de 0.6B logra una puntuación de 62.3%, por encima de topk-embed-v1-2b y superado solo por los mucho más grandes EVIE y nemotron-colembed-v2-8b entre las bases de referencia externas.

Ampliar

Nuestro modelo de 0.6B es particularmente competitivo en el contexto del tamaño del modelo. Está por delante de todos los modelos de tamaño comparable y dentro de 1.2 pp de nemotron-colembed-v2-8b, mientras activa solo 340M de parámetros para entradas de imagen. Nuestros modelos producen embeddings de 128 dimensiones por token, en comparación con 2,048 para EVIE-4.5B y 4,096 para EVIE-8B y nemotron-colembed-v2-8b. Esta diferencia en los costos de almacenamiento puede afectar drásticamente los escenarios en los que estos modelos son prácticos de usar.

Ampliar

También evaluamos la recuperación visual en MIRACL-Vision, un benchmark cuyo corpus consiste en capturas de pantalla de artículos de Wikipedia, y PPLX-Q2I, un benchmark interno que abarca tanto documentos visuales como imágenes naturales. PPLX-Q2I se construye a partir de los registros de búsqueda de imágenes en producción de Perplexity y está diseñado para reflejar la diversidad de los casos de uso de búsqueda de imágenes. Usamos una muestra de 10,000 consultas, estratificada por idioma y dominio, sobre un corpus de 100,000 imágenes; los documentos relevantes de cada consulta son las imágenes que se le mostraron. No evaluamos EVIE-8B ni Nemotron ColEmbed en PPLX-Q2I, ya que indexar un corpus de este tamaño con sus dimensionalidades de salida predeterminadas (2,560 para Nemotron ColEmbed 4B y 4,096 para Nemotron ColEmbed 8B y EVIE-8B) era impráctico.

Al igual que en su rendimiento en ViDoRe(V3), nuestro modelo de 0.6B es competitivo frente a modelos mucho más grandes, y queda solo 1 pp detrás de qwen3-vl-embed-8b en MIRACL-Vision. Nuestro modelo de 9B supera a todos los demás modelos excepto a gemini-embedding-2.

En PPLX-Q2I, ambos modelos superan a qwen3-vl-embedding-8b por más de 9 pp, y nuestro modelo de 9B queda detrás de gemini-embedding-2 por solo 2 pp. Nuestros resultados se mantienen competitivos en corpus que contienen imágenes naturales además de documentos visuales, por lo que las representaciones multivector que rinden frutos en ViDoRe(V3) no implican un costo para la búsqueda general de imágenes.

Ampliar

Recuperación entre modelos

Los resultados de las secciones anteriores evalúan cada modelo frente a un corpus que él mismo representó mediante embeddings. El espacio de embeddings compartido significa que esto no es un requisito: un corpus indexado por el modelo de 9B puede buscarse con consultas representadas mediante embeddings por el modelo de 0.6B. Esta es la configuración que esperamos que usen la mayoría de los despliegues en producción, ya que la indexación es un costo único que se amortiza a lo largo de la vida útil del corpus, mientras que la generación de embeddings para consultas se ejecuta en la ruta crítica de latencia de cada solicitud.

Un despliegue que no puede ejecutar el modelo de 9B en tiempo de consulta, de otro modo también indexaría con el modelo de 0.6B, por lo que esa configuración simétrica de 0.6B es el punto de comparación relevante. Evaluamos contra los 72 benchmarks específicos de dominio usados arriba y en la recuperación de imágenes de ViDoRe v3. Las consultas se representan mediante embeddings generados con pplx-embed-v2-late-0.6b, y solo variamos qué modelo generó los embeddings del corpus.

Indexar con el modelo de 9B es una mejora estricta. En los benchmarks específicos de dominio, la configuración asimétrica promedia una ganancia de 1.6 pp. En la recuperación de imágenes de ViDoRe v3, obtiene 63.5%, frente a 62.3% con el modelo de 0.6B en ambos lados, una ganancia de 1.2 puntos porcentuales. El costo de codificación de consultas no cambia entre las configuraciones simétrica de 0.6B y asimétrica, ya que el mismo modelo de 0.6B codifica la consulta en ambos casos; el costo adicional de codificación de documentos se incurre en el momento de la indexación.

Ejecutar el modelo de 9B en ambos lados sigue siendo mejor, con un promedio de 81.3% en los benchmarks específicos de dominio. Por lo tanto, la configuración asimétrica recupera aproximadamente la mitad de la diferencia de calidad entre los dos modelos en texto, sin costo adicional de codificación de consultas. La configuración que se elija depende de si el modelo de 9B es asequible en tiempo de consulta; donde no lo es, la configuración asimétrica captura una parte sustancial de su beneficio.

Ampliar

Recuperación agéntica

La recuperación agéntica es otro contexto en el que los embeddings multivector son particularmente sólidos. En BrowseComp+, un LLM (GPT-OSS-120B en nuestro caso) usa el modelo de embeddings para buscar en un corpus información relevante para una consulta compleja del usuario, y un segundo LLM juzga si la respuesta resultante coincide con la verdad de referencia. Nuestro modelo de 9B logra 64.0% de precisión, superando al siguiente mejor modelo ColBERT por 4.9 pp y al siguiente mejor modelo denso por 8.7 pp, mientras emite menos búsquedas que cualquier otro modelo excepto nuestro 0.6B. El modelo de 0.6B también está por delante de todos los modelos fuera de nuestra familia.

Ampliar

MADQA pone a prueba preguntas y respuestas agénticas sobre 800 PDFs heterogéneos del mundo real que abarcan más de 18,000 páginas, con 500 preguntas escritas por humanos que no pueden responderse con conocimiento general. Un agente (Gemini 3.5 Flash en nuestro caso) busca en la colección con el recuperador en evaluación y se califica en precisión de respuesta y en F1 por página frente a las páginas de evidencia anotadas. Nuestro modelo de 9B establece un nuevo estado del arte entre los recuperadores con 92.4% de precisión, 3.5 pp por delante del mismo agente usando el recuperador de Mixedbread; nuestro modelo de 0.6B alcanza 90.1%. También observamos que nuestro recuperador logra resultados competitivos frente a Mixedbread Agentic Search, que usa un subagente de búsqueda en su sistema de búsqueda que planea y ejecuta varias búsquedas por llamada del agente principal (93.4%, dentro de nuestro intervalo de confianza).

Ampliar

Cómo empezar

Nuestros modelos de 0.6B y 9B están disponibles en Hugging Face y son compatibles de inmediato con sentence-transformers >= 6.0.0 y transformers >= 5.4.0. Más adelante este año se publicarán en un informe técnico más detalles técnicos y los resultados completos de la evaluación.

Actualmente estamos entrenando la próxima generación de nuestros modelos de embeddings densos e incorporaremos de forma progresiva la compatibilidad con embeddings de interacción tardía, densos y contextuales en la Perplexity API Platform.

Cita

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}