pplx-embed : Modèles de plongement de pointe pour la recherche Web

Nous lançons aujourd'hui pplx-embed-v1 et pplx-embed-context-v1, deux modèles de plongement de texte de pointe conçus pour la recherche à l'échelle du Web en conditions réelles.

AuteursPerplexity Research

Aujourd'hui, nous lançons pplx-embed-v1 et pplx-embed-context-v1, deux modèles de plongement de texte de pointe conçus pour la recherche à l'échelle du Web dans des conditions réelles. pplx-embed-v1 est optimisé pour la recherche dense standard, tandis que pplx-embed-context-v1 intègre les passages en tenant compte du contexte au niveau du document.

Les modèles pplx-embed-v1 et pplx-embed-context-v1 sont disponibles avec des échelles de paramètres de 0,6B et 4B. Les modèles 0,6B ciblent la génération de plongements légère et à faible latence, tandis que les modèles 4B maximisent la qualité de recherche. Dans nos évaluations, la famille pplx-embed domine une gamme de benchmarks publics, notamment MTEB(Multilingual, v2), BERGEN, ToolRet et ConTEB. De plus, pplx-embed-v1 offre des résultats de premier ordre sur nos benchmarks internes à l'échelle du Web : PPLXQuery2Query, PPLXQuery2Doc.

Les modèles produisent des plongements INT8 et binaires, réduisant les besoins de stockage par 4x et 32x, respectivement, par rapport au FP32. Cette compacité rend le stockage et la recherche de plongements à l'échelle du Web beaucoup plus pratiques.

Modèle

Dimensions

Contexte

MRL

Quantification

Instruction

Pooling

pplx-embed-v1-0.6B

1024

32K

Oui

INT8/BINAIRE

Non

Moyenne

pplx-embed-v1-4B

2560

32K

Oui

INT8/BINAIRE

Non

Moyenne

pplx-embed-context-v1-0.6B

1024

32K

Oui

INT8/BINAIRE

Non

Moyenne

pplx-embed-context-v1-4B

2560

32K

Oui

INT8/BINAIRE

Non

Moyenne

dimensions du modèle pplx-embed, longueur du contexte, quantification et configuration de pooling.

Consultez notre rapport technique, les modèles Hugging Face et la documentation de l'API.

Motivation

Les plongements de texte denses mappent les requêtes et les documents dans un espace sémantique partagé où la recherche se réduit à une recherche de voisinage approximatif. À l'échelle de Perplexity, les plongements constituent la première étape de notre pipeline de recherche, déterminant quels documents parmi des milliards de pages Web seront pris en compte par les classeurs et les modèles de langage en aval.

La plupart des principaux modèles de plongement actuels sont basés sur des LLM à décodeur seul avec un masquage d'attention causale, où chaque jeton ne peut prêter attention qu'aux jetons précédents. Pour la recherche, il s'agit d'une limitation fondamentale : comprendre un passage nécessite souvent un contexte bidirectionnel. Nous résolvons ce problème grâce à un pré-entraînement continu basé sur la diffusion, qui convertit un LLM causal en un encodeur bidirectionnel. L'attention bidirectionnelle complète permet une mise en commun moyenne sur toutes les représentations de jetons et prend en charge le découpage tardif pour les plongements contextuels, où le plongement de chaque morceau est informé par le document complet dans lequel il apparaît.

À l'échelle du Web, le stockage des plongements en FP32 est extrêmement coûteux. Plutôt que d'appliquer la quantification comme étape de compression post-hoc, nos modèles utilisent un entraînement conscient de la quantification pour produire des plongements INT8 nativement, réduisant le stockage par 4 sans compromis sur les performances. La quantification binaire réduit le stockage par 32 avec une perte de qualité minimale, en particulier à l'échelle 4B.

De nombreux modèles de plongement modernes nécessitent des préfixes d'instruction ajoutés à chaque entrée. Bien que cela puisse apporter de légères améliorations sur les benchmarks, en pratique, cela ajoute des frictions : des instructions non concordantes entre l'indexation et le moment de la requête dégradent silencieusement la recherche, et la sélection du bon prompt pour chaque cas d'utilisation devient un élément supplémentaire à maîtriser. Nos modèles ne nécessitent aucune instruction, ce qui rend l'intégration directe.

Entraînement

pplx-embed-v1 et pplx-embed-context-v1 sont entraînés via un pipeline à plusieurs étapes qui façonne progressivement les représentations textuelles pour la recherche.

Le pipeline d’entraînement du curriculum en plusieurs étapes. Nous combinons quatre paradigmes d’entraînement distincts de manière ramifiée, suivis d’une étape de fusion et de sélection.

Pré-entraînement continu par diffusion

Nous commençons à partir de modèles de base Qwen3 pré-entraînés (0,6B et 4B) et les convertissons de décodeurs causaux en encodeurs bidirectionnels en désactivant le masque d'attention causale et en nous entraînant avec un objectif de débruitage par diffusion. Contrairement aux modèles autorégressifs qui prédisent les jetons de gauche à droite, l'entraînement par diffusion force le modèle à reconstruire des jetons masqués aléatoirement en utilisant le contexte bidirectionnel complet autour de chaque position masquée. Cela signifie qu'au moment où le réglage fin contrastif commence, les représentations encodent déjà la sémantique bidirectionnelle, fournissant une base plus solide pour la recherche qu'un point de départ causal. Nous pré-entraînons sur environ 250 milliards de jetons de texte multilingue couvrant 30 langues. Dans les ablations, les backbones pré-entraînés par diffusion atteignent une perte d'entraînement contrastive sensiblement inférieure à leurs homologues causaux, ce qui se traduit par une amélioration d'environ 1 point de pourcentage sur les tâches de recherche.

Entraînement contrastif

Après le pré-entraînement, nous effectuons trois étapes d'apprentissage contrastif. L' entraînement par paires établit un alignement sémantique fondamental entre les requêtes et les documents en utilisant une perte InfoNCE avec des négatifs intra-batch. Avec de grandes tailles de batch, certains négatifs intra-batch sont en fait des quasi-doublons du positif, nous appliquons donc un masque basé sur la similitude pour empêcher ces faux négatifs de corrompre le signal d'entraînement. L'entraînement se déroule par phases (anglais uniquement, puis translinguistique, puis entièrement multilingue), renforçant progressivement les capacités plutôt que tout à la fois. L' entraînement contextuel enseigne ensuite au modèle la sémantique au niveau du morceau par rapport au contexte au niveau du document, en utilisant une double perte qui combine le contraste en séquence et intra-batch aux niveaux du morceau et du document ; cette étape produit pplx-embed-context-v1. Enfin, l' entraînement par triplets avec des négatifs difficiles minés affine les limites entre des documents similaires mais non pertinents. Le pplx-embed-v1 final est obtenu en fusionnant les points de contrôle contextuels et triplets via une interpolation linéaire sphérique (SLERP).

Quantification native

Tout au long de toutes les étapes contrastives, les plongements sont quantifiés en INT8 pendant l'entraînement et l'inférence. Nous appliquons une opération de pooling moyen basée sur tanh suivie d'un arrondi, et utilisons une estimation de gradient directe pour rétropropager à travers l'étape de quantification non différentiable. Cela garantit que le modèle apprend des représentations optimisées pour une précision réduite dès le départ, plutôt que de subir une dégradation due à une compression post-hoc. Pour la quantification binaire, les modèles 4B sont nettement plus robustes que les 0,6B : leur dimension de plongement plus grande (2560 contre 1024) préserve plus d'informations après binarisation, limitant la baisse de performance à moins de 1,6 point de pourcentage, contre 2 à 4 points à l'échelle plus petite.

Benchmarks publics

Performance de récupération sur MTEB (multilingue, v2). Modèles pplx-embed présentés avec des variantes de précision INT8 et BINARY. Notre modèle INT8 4B atteint une qualité de récupération compétitive tout en stockant 4 fois plus de pages par Go que les alternatives FP32. La variante binaire stocke 32 fois plus de pages par Go avec seulement une baisse de performance de 1,5 point.

Sur le benchmark de recherche MTEB (Multilingual, v2), pplx-embed-v1-4B (INT8) atteint un nDCG@10 moyen de 69,66%, égalant Qwen3-Embedding-4B (69,60%) et dépassant gemini-embedding-001 (67,71%), tout en nécessitant nettement moins de stockage par plongement. Notre modèle 0,6B surpasse son homologue Qwen3 à la même échelle de paramètres.

Performance de recherche contextuelle sur le benchmark ConTEB. Gauche : modèles contextualisés. Droite : modèles non contextualisés. pplx-embed-context-v1-4B (INT8) obtient le score le plus élevé de 81,96, suivi par voyage-context-3 (79,45) et pplx-embed-context-v1-0.6B (INT8) à 76,53.

Pour la recherche contextuelle, pplx-embed-context-v1-4B établit un nouvel état de l'art sur le benchmark ConTEB avec un nDCG@10 moyen de 81,96%, surpassant voyage-context-3 (79,45%) et Anthropic Contextual (72,4%). En entraînant des représentations au niveau du morceau qui intègrent la sémantique au niveau du document, nos modèles récupèrent le bon passage même lorsque sa signification dépend du contexte environnant.

Nous évaluons également nos modèles dans un RAG de bout en bout en utilisant le benchmark BERGEN, où les passages récupérés sont transmis à un modèle de langage pour générer des réponses. pplx-embed-v1-4B surpasse Qwen3-Embedding-4B sur quatre des cinq tâches de question-réponse évaluées. Notamment, pplx-embed-v1-0.6B surpasse le Qwen3-Embedding-4B plus grand sur trois des cinq tâches, démontrant que notre modèle plus petit peut égaler ou dépasser un concurrent à une échelle de paramètres nettement plus grande dans des paramètres RAG pratiques. Pour plus de détails sur cette évaluation, nous renvoyons au rapport technique.

Recherche en conditions réelles à grande échelle

Les benchmarks publics sont utiles, mais ils ne capturent pas entièrement les défis de recherche à l'échelle du Web : les requêtes à longue traîne, les documents bruyants et les décalages de distribution qui caractérisent les environnements de production. Pour mesurer ce qui compte en pratique, nous avons construit deux benchmarks internes avec jusqu'à 115 000 requêtes réelles évaluées par rapport à plus de 30 millions de documents regroupés à partir de plus d'un milliard de pages Web. PPLXQuery2Query évalue si un modèle de plongement peut identifier des requêtes sémantiquement équivalentes à partir du trafic de recherche réel ; PPLXQuery2Doc mesure la recherche de documents à partir d'un corpus de 30 millions de pages.

Sur PPLXQuery2Query (corpus de 2,4M), pplx-embed-v1-4B atteint 73,5% Recall@10, dépassant Qwen3-Embedding-4B (67,9%) de 5,6 points de pourcentage. Notre modèle 0,6B atteint 71,1% Recall@10, surpassant sensiblement BGE-M3 (61,8%) et Qwen3-Embedding-0.6B (55,1%).

Benchmarks de récupération multilingues PPLXQuery2Query (corpus de 2,4 M) et PPLXQuery2Doc (corpus de 30 M). pplx-embed-v1-4B (INT8) et pplx-embed-v1-0.6B (INT8) arrivent en tête des deux benchmarks, démontrant un fort rappel à grande échelle pour la récupération en première étape.

Sur la tâche multilingue PPLXQuery2Doc (corpus 30M), pplx-embed-v1-4B atteint 91,7% Recall@1000, contre 88,6% pour Qwen3-Embedding-4B. Un rappel élevé à des profondeurs de recherche importantes est essentiel pour les modèles de plongement servant de récupérateurs de première étape dans les pipelines de classement à plusieurs étapes, où la maximisation du nombre de candidats pertinents transmis aux rerankers en aval a un impact direct sur la qualité finale des résultats.

Pour commencer

Tous les modèles sont disponibles sur Hugging Face (sous licence MIT) et via l' API Perplexity. Nous prenons en charge l'inférence via Transformers, SentenceTransformers, Text Embeddings Inference et ONNX. Pour tous les détails sur chaque option, consultez la collection de modèles Hugging Face.

Pour des détails techniques complets et des résultats d'évaluation exhaustifs, veuillez vous référer à notre rapport technique.

Citation

BibTeX
@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://www.perplexity.ai/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}