pplx-embed: Models d'incrustació d'última generació per a la recuperació a escala web

Avui llancem pplx-embed-v1 i pplx-embed-context-v1, dos models d'incrustació de text d'última generació creats per a la recuperació del món real a escala web.

AutorsPerplexity Research

Avui llancem pplx-embed-v1 i pplx-embed-context-v1, dos models d'incrustació de text d'última generació creats per a la recuperació del món real a escala web. pplx-embed-v1 està optimitzat per a la recuperació de text dens estàndard, mentre que pplx-embed-context-v1 incrusta passatges tenint en compte el context circumdant a nivell de document.

Tant pplx-embed-v1 com pplx-embed-context-v1 estan disponibles en escales de 0,6B i 4B paràmetres. Els models de 0,6B s'orienten a la generació d'incrustacions lleugeres i de baixa latència, mentre que els models de 4B maximitzen la qualitat de recuperació. En les nostres avaluacions, la família pplx-embed lidera diversos punts de referència públics, com ara MTEB(Multilingual, v2), BERGEN, ToolRet i ConTEB. A més, pplx-embed-v1 ofereix resultats de primera categoria en les nostres proves de referència internes a escala web: PPLXQuery2Query, PPLXQuery2Doc.

Els models produeixen incrustacions INT8 i binàries, reduint els requisits d'emmagatzematge en 4x i 32x, respectivament, en comparació amb FP32. Aquesta compacitat fa que l'emmagatzematge i la recuperació d'incrustacions a escala web siguin significativament més pràctics.

Model

Dimensions

Context

MRL

Quantificació

Instrucció

Agrupació

pplx-embed-v1-0.6B

1024

32K

Sí

INT8/BINARY

No

Mitjana

pplx-embed-v1-4B

2560

32K

Sí

INT8/BINARY

No

Mitjana

pplx-embed-context-v1-0.6B

1024

32K

Sí

INT8/BINARY

No

Mitjana

pplx-embed-context-v1-4B

2560

32K

Sí

INT8/BINARY

No

Mitjana

dimensions del model pplx-embed, longitud del context, quantització i configuració de pooling.

Consulteu el nostre informe tècnic, els models de Hugging Face i la documentació de l'API.

Motivació

Les incrustacions de text dens mapegen consultes i documents en un espai semàntic compartit on la recuperació es redueix a la cerca del veí més proper aproximat. A l'escala de Perplexity, les incrustacions són la primera etapa de la nostra canonada de recuperació, determinant quins documents de milers de milions de pàgines web són considerats pels classificadors posteriors i els models de llenguatge.

La majoria dels models d'incrustació líders actualment es basen en LLM només de descodificador amb enmascarament d'atenció causal, on cada token només pot prestar atenció als tokens anteriors. Per a la recuperació, aquesta és una limitació fonamental: entendre un passatge sovint requereix un context bidireccional. Abordem això mitjançant un preentrenament continu basat en difusió, que converteix un LLM causal en un codificador bidireccional. L'atenció bidireccional completa permet l'agrupació de mitjana sobre totes les representacions de tokens i admet el trencament tardanat per a incrustacions contextuals, on la incrustació de cada fragment s'informa pel document complet en què apareix.

A escala web, emmagatzemar incrustacions en FP32 és prohibitiument car. En lloc d'aplicar la quantificació com a pas de compressió post-hoc, els nostres models utilitzen un entrenament conscient de la quantificació per produir incrustacions INT8 de manera nativa, reduint l'emmagatzematge en 4x sense comprometre el rendiment. La quantificació binària redueix l'emmagatzematge en 32x amb una pèrdua de qualitat mínima, particularment a l'escala de 4B.

Molts models d'incrustació moderns requereixen prefixos d'instrucció anteposats a cada entrada. Tot i que això pot proporcionar petits guanys en les proves de referència, a la pràctica afegeix fricció: les instruccions no coincidents entre la indexació i el moment de la consulta degradeixen silenciosament la recuperació, i seleccionar el missatge adequat per a cada cas d'ús esdevé una altra cosa a encertar. Els nostres models no requereixen cap instrucció, fent que la integració sigui directa.

Entrenament

pplx-embed-v1 i pplx-embed-context-v1 s'entrenen mitjançant una canonada de múltiples etapes que dóna forma progressivament a les representacions de text per a la recuperació.

El procés d’entrenament curricular multietapa. Combinen quatre paradigmes d’entrenament diferents de manera ramificada, seguit d’una etapa de fusió i selecció.

Preentrenament de difusió continu

Comencem a partir de models base Qwen3 preentrenats (0,6B i 4B) i els convertim de descodificadors causals a codificadors bidireccionals deshabilitant la màscara d'atenció causal i entrenant amb un objectiu de desambientació de difusió. A diferència dels models autoregressius que prediuen tokens d'esquerra a dreta, l'entrenament de difusió obliga el model a reconstruir tokens enmascarats a l'atzar utilitzant el context bidireccional complet al voltant de cada posició enmascarada. Això significa que quan comença l'afinament contrastiu, les representacions ja codifiquen la semàntica bidireccional, proporcionant una base més sòlida per a la recuperació que un punt de partida causal. Preentrenem amb aproximadament 250 milions de tokens de text multilingüe que abasten 30 idiomes. En les ablacions, els dorsals preentrenats per difusió aconsegueixen una pèrdua d'entrenament contrastiva substancialment menor que els seus homòlegs causals, traduint-se en aproximadament una millora de 1 punt percentual en les tasques de recuperació.

Entrenament contrastiu

Després del preentrenament, fem tres etapes d’aprenentatge contrastiu. L’entrenament per parelles estableix una alineació semàntica fonamental entre consultes i documents utilitzant una pèrdua InfoNCE amb negatius dins del lot. Amb mides de lot grans, alguns negatius dins del lot en realitat són quasi duplicats del positiu, així que apliquem una màscara basada en la similitud per evitar que aquests falsos negatius corrompin el senyal d’entrenament. L’entrenament avança per fases —només anglès, després multilingüe transversal, i finalment plenament multilingüe—, construint capacitat gradualment en lloc de fer-ho tot alhora. L’entrenament contextual ensenya després al model la semàntica a nivell de fragment pel que fa al context a nivell de document, fent servir una doble pèrdua que combina contrast dins de la seqüència i dins del lot tant a nivell de fragment com de document —aquesta etapa produeix pplx-embed-context-v1. Finalment, l’entrenament de triplets amb negatius durs minats refina els límits entre documents similars però no rellevants. El pplx-embed-v1 final s’obté fusionant els punts de control contextual i de triplets mitjançant interpolació lineal esfèrica (SLERP).

Quantificació nativa

Durant totes les etapes contrastives, les incrustacions es quantifiquen a INT8 tant durant l'entrenament com durant la inferència. Apliquem una operació d'agrupació de mitjana basada en tanh seguida d'arrodoniment, i utilitzem l'estimació de gradient directe per propagar cap enrere a través del pas de quantificació no diferenciable. Això garanteix que el model aprengui representacions optimitzades per a una precisió reduïda des del principi, en lloc de patir degradació per la compressió post-hoc. Per a la quantificació binària, els models de 4B són notablement més robusts que els de 0,6B: la seva dimensió d'incrustació més gran (2560 enfront de 1024) preserva més informació després de la binarització, limitant la caiguda del rendiment a menys de l'1,6 punts percentuals en comparació amb els 2-4 punts a l'escala més petita.

Punts de referència públics

Rendiment de recuperació a MTEB (multilingüe, v2). Models pplx-embed mostrats amb variants de precisió INT8 i BINARY. El nostre model INT8 de 4B aconsegueix una qualitat de recuperació competitiva mentre emmagatzema 4 vegades més pàgines per GB que les alternatives FP32. La variant binària emmagatzema 32 vegades més pàgines per GB amb una caiguda del rendiment de només 1,5 punts.

En la prova de referència de recuperació MTEB(Multilingual, v2), pplx-embed-v1-4B(INT8) aconsegueix un nDCG@10 mitjà del 69,66%, igualant Qwen3-Embedding-4B (69,60%) i superant gemini-embedding-001 (67,71%), alhora que requereix substancialment menys emmagatzematge per incrustació. El nostre model de 0,6B supera el seu homòleg Qwen3 a la mateixa escala de paràmetres.

Rendiment de recuperació contextual a la prova de referència ConTEB. Esquerra: models contextualitzats. Dreta: models no contextualitzats. pplx-embed-context-v1-4B (INT8) aconsegueix la puntuació més alta de 81,96, seguit de voyage-context-3 (79,45) i pplx-embed-context-v1-0.6B (INT8) a 76,53.

Per a la recuperació contextual, pplx-embed-context-v1-4B estableix un nou estat de l'art a la prova de referència ConTEB amb un nDCG@10 mitjà del 81,96%, superant voyage-context-3 (79,45%) i Anthropic Contextual (72,4%). Mitjançant l'entrenament de representacions a nivell de fragment que incorporen semàntica a nivell de document, els nostres models recuperen el passatge adequat fins i tot quan el seu significat depèn del context circumdant.

També avaluem els nostres models en RAG d'extrem a extrem utilitzant la prova de referència BERGEN, on els passatges recuperats s'alimenten a un model de llenguatge per generar respostes. pplx-embed-v1-4B supera Qwen3-Embedding-4B en quatre de les cinc tasques de resposta a preguntes avaluades. Cal destacar que pplx-embed-v1-0.6B supera el Qwen3-Embedding-4B més gran en tres de les cinc tasques, demostrant que el nostre model més petit pot igualar o superar un competidor a una escala de paràmetres significativament més gran en entorns RAG pràctics. Per a més detalls sobre aquesta avaluació, remetrem a l'informe tècnic.

Recuperació del món real a escala

Les proves de referència públiques són útils, però no capturen completament els reptes de recuperació a escala web: consultes de cua llarga, documents amb soroll i desplaçaments de distribució que caracteritzen els entorns de producció. Per mesurar allò que importa a la pràctica, hem construït dos punts de referència interns amb fins a 115.000 consultes del món real avaluades contra més de 30 milions de documents agrupats de més de mil milions de pàgines web. PPLXQuery2Query avalua si un model d'incrustació pot identificar consultes semànticament equivalents del trànsit de cerca real; PPLXQuery2Doc mesura la recuperació de documents d'un corpus de 30M de pàgines.

A PPLXQuery2Query (corpus de 2,4M), pplx-embed-v1-4B aconsegueix un Recall@10 del 73,5%, superant Qwen3-Embedding-4B (67,9%) en 5,6 punts percentuals. El nostre model de 0,6B aconsegueix un Recall@10 del 71,1%, superant substancialment BGE-M3 (61,8%) i Qwen3-Embedding-0.6B (55,1%).

Punts de referència de recuperació multilingües PPLXQuery2Query (corpus de 2,4 M) i PPLXQuery2Doc (corpus de 30 M). pplx-embed-v1-4B (INT8) i pplx-embed-v1-0.6B (INT8) lideren tots dos punts de referència, demostrant un fort record a escala per a la recuperació de primera etapa.

A la tasca multilingüe PPLXQuery2Doc (corpus de 30M), pplx-embed-v1-4B aconsegueix un Recall@1000 del 91,7%, en comparació amb el 88,6% de Qwen3-Embedding-4B. Una alta recuperació a grans profunditats de recuperació és crítica per als models d'incrustació que serveixen com a recuperadors de primera etapa en canonades de classificació de múltiples etapes, on maximitzar el nombre de candidats rellevants passats als reclassificadors posteriors impacta directament en la qualitat del resultat final.

Començar

Tots els models estan disponibles a Hugging Face (sota llicència MIT) i mitjançant l'API de Perplexity. Donem suport a la inferència a través de Transformers, SentenceTransformers, Text Embeddings Inference i ONNX. Per a tots els detalls sobre cada opció, consulteu la col·lecció de models de Hugging Face.

Per a detalls tècnics complets i resultats d'avaluació complets, consulteu el nostre informe tècnic.

Citació

BibTeX
@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://www.perplexity.ai/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}