pplx-embed: Modelos de incrustación de última generación para recuperación a escala web

Hoy lanzamos pplx-embed-v1 y pplx-embed-context-v1, dos modelos de incrustación de texto de última generación diseñados para la recuperación a escala web en el mundo real.

AutoresPerplexity Research

Hoy lanzamos pplx-embed-v1 y pplx-embed-context-v1, dos modelos de incrustación de texto de última generación diseñados para la recuperación a escala web en el mundo real. pplx-embed-v1 está optimizado para la recuperación de texto denso estándar, mientras que pplx-embed-context-v1 incrusta pasajes teniendo en cuenta el contexto circundante a nivel de documento.

Tanto pplx-embed-v1 como pplx-embed-context-v1 están disponibles en escalas de 0.6B y 4B parámetros. Los modelos de 0.6B están orientados a la generación de incrustaciones ligera y de baja latencia, mientras que los modelos de 4B maximizan la calidad de recuperación. En nuestras evaluaciones, la familia pplx-embed encabeza una serie de pruebas de referencia públicas, incluidas MTEB(Multilingual, v2), BERGEN, ToolRet y ConTEB. Además, pplx-embed-v1 ofrece resultados sobresalientes en nuestras pruebas de referencia internas a escala web: PPLXQuery2Query y PPLXQuery2Doc.

Los modelos producen incrustaciones INT8 y binarias, reduciendo los requisitos de almacenamiento en 4x y 32x, respectivamente, en comparación con FP32. Esta compacidad hace que el almacenamiento y la recuperación de incrustaciones a escala web sean mucho más prácticos.

Modelo

Dimensiones

Contexto

MRL

Cuantización

Instrucción

Agrupamiento

pplx-embed-v1-0.6B

1024

32K

Sí

INT8/BINARY

No

Media

pplx-embed-v1-4B

2560

32K

Sí

INT8/BINARY

No

Media

pplx-embed-context-v1-0.6B

1024

32K

Sí

INT8/BINARY

No

Media

pplx-embed-context-v1-4B

2560

32K

Sí

INT8/BINARY

No

Media

dimensiones del modelo pplx-embed, longitud de contexto, cuantización y configuración de pooling.

Consulta nuestro informe técnico, los modelos en Hugging Face y la documentación de la API.

Motivación

Las incrustaciones de texto denso asignan consultas y documentos a un espacio semántico compartido donde la recuperación se reduce a una búsqueda aproximada de vecinos más cercanos. A la escala de Perplexity, las incrustaciones son la primera etapa de nuestro flujo de recuperación, determinando qué documentos de miles de millones de páginas web son considerados por los clasificadores y modelos de lenguaje posteriores.

La mayoría de los principales modelos de incrustación actuales se basan en LLM exclusivos de decodificador con enmascaramiento de atención causal, donde cada token solo puede prestar atención a los tokens precedentes. Para la recuperación, esta es una limitación fundamental: comprender un pasaje a menudo requiere contexto bidireccional. Abordamos esto mediante el preentrenamiento continuo basado en difusión, que convierte un LLM causal en un codificador bidireccional. La atención bidireccional completa permite agrupar la media de todas las representaciones de tokens y admite fragmentación tardía para incrustaciones contextuales, donde la incrustación de cada fragmento está informada por el documento completo en el que aparece.

A escala web, almacenar incrustaciones en FP32 es prohibitivamente costoso. En lugar de aplicar la cuantización como un paso de compresión posterior, nuestros modelos utilizan un entrenamiento consciente de la cuantización para producir incrustaciones INT8 de forma nativa, reduciendo el almacenamiento en 4x sin comprometer el rendimiento. La cuantización binaria reduce el almacenamiento en 32x con una pérdida mínima de calidad, particularmente a la escala de 4B.

Muchos modelos de incrustación modernos requieren prefijos de instrucción antepuestos a cada entrada. Aunque esto puede producir pequeñas mejoras en las pruebas de referencia, en la práctica añade fricción: las instrucciones no coincidentes entre la indexación y el tiempo de consulta degradan silenciosamente la recuperación, y seleccionar el mensaje correcto para cada caso de uso se convierte en otra tarea más a realizar correctamente. Nuestros modelos no requieren instrucciones, lo que simplifica la integración.

Entrenamiento

pplx-embed-v1 y pplx-embed-context-v1 se entrenan mediante un flujo de múltiples etapas que da forma progresivamente a las representaciones de texto para la recuperación.

La canalización de entrenamiento curricular de múltiples etapas. Combinamos cuatro paradigmas de entrenamiento distintos de forma ramificada, seguidos de una etapa de fusión y selección.

Preentrenamiento de difusión continuo

Partimos de modelos base Qwen3 preentrenados (0.6B y 4B) y los convertimos de decodificadores causales en codificadores bidireccionales desactivando la máscara de atención causal y entrenando con un objetivo de desintegración por difusión. A diferencia de los modelos autorregresivos que predicen tokens de izquierda a derecha, el entrenamiento por difusión obliga al modelo a reconstruir tokens enmascarados aleatoriamente utilizando el contexto bidireccional completo alrededor de cada posición enmascarada. Esto significa que cuando comienza el ajuste fino contrastivo, las representaciones ya codifican semántica bidireccional, proporcionando una base más sólida para la recuperación que un punto de partida causal. Preentrenamos con aproximadamente 250 mil millones de tokens de texto multilingüe que abarcan 30 idiomas. En las ablaciones, los troncos preentrenados por difusión logran una pérdida de entrenamiento contrastivo sustancialmente menor que sus homólogos causales, lo que se traduce en una mejora de aproximadamente 1 punto porcentual en las tareas de recuperación.

Entrenamiento contrastivo

Tras el preentrenamiento, realizamos tres etapas de aprendizaje contrastivo. El entrenamiento por pares establece la alineación semántica fundamental entre consultas y documentos utilizando una pérdida InfoNCE con negativos dentro del lote. Con tamaños de lote grandes, algunos negativos dentro del lote son en realidad casi duplicados del positivo, por lo que aplicamos una máscara basada en similitud para evitar que estos falsos negativos corrompan la señal de entrenamiento. El entrenamiento se realiza en fases —solo en inglés, luego interlingüe y finalmente totalmente multilingüe— construyendo la capacidad gradualmente en lugar de todo a la vez. El entrenamiento contextual enseña al modelo la semántica a nivel de fragmento con respecto al contexto a nivel de documento, utilizando una pérdida dual que combina el contraste en secuencia y dentro del lote tanto a nivel de fragmento como de documento; esta etapa produce pplx-embed-context-v1. Finalmente, el entrenamiento de tripletes con negativos duros extraídos refina los límites entre documentos similares pero no relevantes. El pplx-embed-v1 final se obtiene fusionando los puntos de control contextuales y de tripletes mediante interpolación lineal esférica (SLERP).

Cuantización nativa

A lo largo de todas las etapas contrastivas, las incrustaciones se cuantizan a INT8 tanto durante el entrenamiento como durante la inferencia. Aplicamos una operación de agrupación de media basada en tanh seguida de redondeo, y utilizamos la estimación de gradiente directo para retropropagar a través del paso de cuantización no diferenciable. Esto garantiza que el modelo aprenda representaciones optimizadas para una precisión reducida desde el principio, en lugar de sufrir degradación por la compresión posterior. Para la cuantización binaria, los modelos de 4B son notablemente más robustos que los de 0.6B: su mayor dimensión de incrustación (2560 frente a 1024) conserva más información después de la binarización, limitando la caída del rendimiento a menos de 1.6 puntos porcentuales en comparación con los 2-4 puntos de la escala más pequeña.

Pruebas de referencia públicas

Rendimiento de recuperación en MTEB (multilingüe, v2). Se muestran los modelos pplx-embed con variantes de precisión INT8 y BINARY. Nuestro modelo INT8 de 4B logra una calidad de recuperación competitiva y almacena 4 veces más páginas por GB que las alternativas FP32. La variante binaria almacena 32 veces más páginas por GB con solo una caída de 1.5 puntos en el rendimiento.

En la prueba de referencia de recuperación MTEB(Multilingual, v2), pplx-embed-v1-4B (INT8) logra un nDCG@10 promedio de 69.66%, igualando a Qwen3-Embedding-4B (69.60%) y superando a gemini-embedding-001 (67.71%), al tiempo que requiere sustancialmente menos almacenamiento por incrustación. Nuestro modelo de 0.6B supera a su homólogo Qwen3 a la misma escala de parámetros.

Rendimiento de recuperación contextual en la prueba de referencia ConTEB. Izquierda: modelos contextualizados. Derecha: modelos no contextualizados. pplx-embed-context-v1-4B (INT8) alcanza la puntuación más alta con 81.96, seguido de voyage-context-3 (79.45) y pplx-embed-context-v1-0.6B (INT8) con 76.53.

Para la recuperación contextual, pplx-embed-context-v1-4B establece un nuevo estándar de última generación en la prueba de referencia ConTEB con un nDCG@10 promedio de 81.96%, superando a voyage-context-3 (79.45%) y a Anthropic Contextual (72.4%). Al entrenar representaciones a nivel de fragmento que incorporan semántica a nivel de documento, nuestros modelos recuperan el pasaje correcto incluso cuando su significado depende del contexto circundante.

También evaluamos nuestros modelos en RAG de extremo a extremo utilizando la prueba de referencia BERGEN, donde los pasajes recuperados se alimentan a un modelo de lenguaje para generar respuestas. pplx-embed-v1-4B supera a Qwen3-Embedding-4B en cuatro de las cinco tareas de respuesta a preguntas evaluadas. Cabe destacar que pplx-embed-v1-0.6B supera al Qwen3-Embedding-4B, que es más grande, en tres de las cinco tareas, lo que demuestra que nuestro modelo más pequeño puede igualar o superar a un competidor en una escala de parámetros significativamente mayor en entornos RAG prácticos. Para más detalles sobre esta evaluación, remitimos al informe técnico.

Recuperación a escala en el mundo real

Las pruebas de referencia públicas son útiles, pero no capturan por completo los desafíos de recuperación a escala web: consultas de cola larga, documentos con ruido y cambios de distribución que caracterizan a los entornos de producción. Para medir lo que importa en la práctica, construimos dos pruebas de referencia internas con hasta 115K consultas del mundo real evaluadas contra más de 30 millones de documentos agrupados de más de 1 mil millones de páginas web. PPLXQuery2Query evalúa si un modelo de incrustación puede identificar consultas semánticamente equivalentes a partir del tráfico de búsqueda real; PPLXQuery2Doc mide la recuperación de documentos de un corpus de 30 millones de páginas.

En PPLXQuery2Query (corpus de 2.4M), pplx-embed-v1-4B logra un 73.5% de Recall@10, superando a Qwen3-Embedding-4B (67.9%) por 5.6 puntos porcentuales. Nuestro modelo de 0.6B logra un 71.1% de Recall@10, superando sustancialmente a BGE-M3 (61.8%) y Qwen3-Embedding-0.6B (55.1%).

Puntos de referencia de recuperación multilingües PPLXQuery2Query (corpus de 2.4M) y PPLXQuery2Doc (corpus de 30M). pplx-embed-v1-4B (INT8) y pplx-embed-v1-0.6B (INT8) lideran ambos puntos de referencia, lo que demuestra un fuerte recall a escala para la recuperación de primera etapa.

En la tarea multilingüe PPLXQuery2Doc (corpus de 30M), pplx-embed-v1-4B logra un 91.7% de Recall@1000, en comparación con el 88.6% de Qwen3-Embedding-4B. Un alto nivel de recuperación en profundidades de recuperación grandes es fundamental para los modelos de incrustación que sirven como recuperadores de primera etapa en flujos de clasificación de múltiples etapas, donde maximizar el número de candidatos relevantes pasados a los reordenadores posteriores afecta directamente la calidad del resultado final.

Primeros pasos

Todos los modelos están disponibles en Hugging Face (bajo Licencia MIT) y a través de la API de Perplexity. Admitimos inferencia a través de Transformers, SentenceTransformers, Text Embeddings Inference y ONNX. Para obtener todos los detalles sobre cada opción, consulte la colección de modelos en Hugging Face.

Para obtener detalles técnicos completos y resultados de evaluación completos, consulte nuestro informe técnico.

Citación

BibTeX
@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://www.perplexity.ai/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}