pplx-embed: Banebrytende innbyggingsmodeller for gjenfinning i nettskala

I dag lanserer vi pplx-embed-v1 og pplx-embed-context-v1, to banebrytende tekstinnbyggingsmodeller bygget for virkelig gjenfinning i nettskala.

ForfatterePerplexity Research

I dag lanserer vi pplx-embed-v1 og pplx-embed-context-v1, to banebrytende tekstinnbyggingsmodeller bygget for virkelig gjenfinning i nettskala. pplx-embed-v1 er optimalisert for standard tetthetsbasert tekstgjenfinning, mens pplx-embed-context-v1 bygger inn avsnitt med hensyn til den omkringliggende dokumentnivåkonteksten.

Både pplx-embed-v1 og pplx-embed-context-v1 er tilgjengelige i 0,6B- og 4B-parameterskalaer. 0,6B-modellene retter seg mot lettvekts og lavlatens generering av innbygginger, mens 4B-modellene maksimerer gjenfinningskvaliteten. I våre evalueringer leder pplx-embed-familien en rekke offentlige referansemålinger, inkludert MTEB(Multilingual, v2), BERGEN, ToolRet og ConTEB. Videre leverer pplx-embed-v1 klassens beste resultater på våre interne referansemålinger i nettskala: PPLXQuery2Query, PPLXQuery2Doc.

Modellene produserer INT8- og binære innbygginger, noe som reduserer lagringskravene med henholdsvis 4x og 32x sammenlignet med FP32. Denne kompaktheten gjør lagring og gjenfinning av innbygginger i nettskala betydelig mer praktisk.

Modell

Dimensjoner

Kontekst

MRL

Kvantisering

Instruksjon

Samling

pplx-embed-v1-0.6B

1024

32K

Ja

INT8/BINARY

Nei

Gjennomsnitt

pplx-embed-v1-4B

2560

32K

Ja

INT8/BINARY

Nei

Gjennomsnitt

pplx-embed-context-v1-0.6B

1024

32K

Ja

INT8/BINARY

Nei

Gjennomsnitt

pplx-embed-context-v1-4B

2560

32K

Ja

INT8/BINARY

Nei

Gjennomsnitt

pplx-embed modellstørrelser, kontekstavstand, kvantisering og pooling-konfigurasjon.

Sjekk ut vår tekniske rapport, Hugging Face-modeller og API-dokumentasjon.

Motivasjon

Tetthetsbaserte tekstinnbygginger tilordner forespørsler og dokumenter til et delt semantisk rom der gjenfinning reduseres til tilnærmet nærmeste nabo-søk. I Perplexitys skala er innbygginger det første trinnet i vår gjenfinningspipeline, som avgjør hvilke dokumenter fra milliarder av nettsider som vurderes av nedstrøms rangere og språkmodeller.

De fleste ledende innbyggingsmodellene i dag er bygget på dekoder-eneste LLM-er med kausal oppmerksomhetsmaskering, der hver token bare kan forholde seg til foregående token. For gjenfinning er dette en grunnleggende begrensning: å forstå et avsnitt krever ofte toveis kontekst. Vi løser dette gjennom diffusjonsbasert videre forhåndstrening, som konverterer en kausal LLM til en toveis koder. Full toveis oppmerksomhet muliggjør gjennomsnittssamling over alle tokenrepresentasjoner og støtter sen chunking for kontekstuelle innbygginger, der hvert avsnitts innbygging informeres av hele dokumentet det vises i.

I nettskala er det uforholdsmessig dyrt å lagre innbygginger i FP32. I stedet for å bruke kvantisering som et etterfølgende komprimeringstrinn, bruker modellene våre kvantiseringsbevisst trening for å produsere INT8-innbygginger innfødt, noe som reduserer lagringen med 4x uten ytelsestap. Binær kvantisering reduserer lagringen med 32x med minimalt kvalitetstap, spesielt i 4B-skalaen.

Mange moderne innbyggingsmodeller krever instruksjonspresikser lagt til før hver inndata. Selv om dette kan gi små gevinster på referansemålinger, skaper det friksjon i praksis: feilmatchede instruksjoner mellom indeksering og forespørselstidspunkt forringer gjenfinningen i det stille, og det å velge riktig ledetekst for hvert brukstilfelle blir enda en ting man må få til. Modellene våre krever ingen instruksjoner, noe som gjør integrasjonen enkel.

Trening

pplx-embed-v1 og pplx-embed-context-v1 trenes gjennom en flertrinns pipeline som gradvis former tekstrepresentasjoner for gjenfinning.

Den flertrinns opplæringspipeline for curriculum learning. Vi kombinerer fire ulike opplæringsparadigmer på en forgrenet måte, etterfulgt av et trinn for sammenslåing og seleksjon.

Videre diffusjonsforhåndstrening

Vi starter fra forhåndstrente Qwen3-basismodeller (0,6B og 4B) og konverterer dem fra kausale dekodere til toveiskodere ved å deaktivere den kausale oppmerksomhetsmasken og trene med et diffusjonsdenoising-mål. I motsetning til autoregressive modeller som forutsier tokens fra venstre til høyre, tvinger diffusjonstrening modellen til å rekonstruere tilfeldig maskerte tokens ved hjelp av hele toveis konteksten rundt hver maskerte posisjon. Dette betyr at når kontrastiv finjustering begynner, koder representasjonene allerede toveis semantikk, noe som gir et sterkere grunnlag for gjenfinning enn et kausalt utgangspunkt. Vi forhåndstrener på omtrent 250 milliarder tokens med flerspråklig tekst som spenner over 30 språk. I ablasjoner oppnår diffusjonsforhåndstrente ryggrader vesentlig lavere kontrastiv treningstap enn sine kausale motparter, noe som tilsvarer en forbedring på omtrent 1 prosentpoeng på gjenfinningsoppgaver.

Kontrastiv trening

Etter forhåndstrening utfører vi tre trinn med kontrastiv læring. Par-trening etablerer grunnleggende semantisk tilpasning mellom forespørsler og dokumenter ved hjelp av et InfoNCE-tap med negative i-gruppe-elementer. Med store gruppestørrelser er noen negative i-gruppe-elementer faktisk nesten-duplikater av den positive, så vi bruker en likhetsbasert maske for å forhindre at disse falske negative elementene korrumperer treningssignalet. Treningen foregår i faser – bare engelsk, deretter tverrspråklig og deretter fullt flerspråklig – og bygger opp kapasitet gradvis i stedet for alt på en gang. Kontekstuell trening lærer deretter modellen avsnittsnivå-semantikk med hensyn til dokumentnivåkontekst, ved hjelp av et dobbelt tap som kombinerer i-sekvens- og i-gruppe-kontrast på både avsnitts- og dokumentnivå – dette trinnet produserer pplx-embed-context-v1. Til slutt foredler trippel-trening med utvunne harde negative elementer grensene mellom lignende, men ikke-relevante dokumenter. Den endelige pplx-embed-v1 oppnås ved å slå sammen de kontekstuelle og triple sjekkpunktene via sfærisk lineær interpolasjon (SLERP).

Innebygd kvantisering

Gjennom alle kontrastive trinn kvantiseres innbygginger til INT8 under både trening og slutning. Vi bruker en tanh-basert gjennomsnittssamlingsoperasjon etterfulgt av avrunding, og bruker rett-gjennom-gradientestimering for å tilbakepropagere gjennom det ikke-differensierbare kvantiseringstrinnet. Dette sikrer at modellen lærer representasjoner som er optimalisert for redusert presisjon fra starten av, i stedet for å lide av forringelse fra etterfølgende komprimering. For binær kvantisering er 4B-modellene mer robuste enn 0,6B: deres større innbyggingsdimensjon (2560 vs. 1024) bevarer mer informasjon etter binarisering, noe som begrenser ytelsesfallet til under 1,6 prosentpoeng sammenlignet med 2–4 poeng i den mindre skalaen.

Offentlige referansemålinger

Henteytelse på MTEB (flerspråklig, v2). pplx-embed-modeller vist med INT8- og BINARY-presisjonsvarianter. Vår 4B INT8-modell oppnår konkurransedyktig hentekvalitet, samtidig som den lagrer 4 ganger flere sider per GB enn FP32-alternativer. Den binære varianten lagrer 32 ganger flere sider per GB med bare et ytelsestap på 1,5 poeng.

På gjenfinningsreferansemålingen MTEB(Multilingual, v2) oppnår pplx-embed-v1-4B (INT8) en gjennomsnittlig nDCG@10 på 69,66 %, noe som matcher Qwen3-Embedding-4B (69,60 %) og overgår gemini-embedding-001 (67,71 %), samtidig som den krever vesentlig mindre lagring per innbygging. Vår 0,6B-modell utkonkurrerer sin Qwen3-motpart på samme parameterskala.

Kontekstuell gjenfinningsytelse på ConTEB-referansemåling. Venstre: kontekstualiserte modeller. Høyre: ikke-kontekstualiserte modeller. pplx-embed-context-v1-4B (INT8) oppnår den høyeste skåren på 81,96, etterfulgt av voyage-context-3 (79,45) og pplx-embed-context-v1-0.6B (INT8) på 76,53.

For kontekstuell gjenfinning setter pplx-embed-context-v1-4B en ny standard på ConTEB-referansemålingen med en gjennomsnittlig nDCG@10 på 81,96 %, og utkonkurrerer voyage-context-3 (79,45 %) og Anthropic Contextual (72,4 %). Ved å trene avsnittsnivå-representasjoner som inkorporerer dokumentnivå-semantikk, henter modellene våre ut riktig avsnitt selv når betydningen avhenger av omkringliggende kontekst.

Vi evaluerer også modellene våre i ende-til-ende RAG ved hjelp av BERGEN-referansemålingen, der hentede avsnitt mates til en språkmodell for å generere svar. pplx-embed-v1-4B utkonkurrerer Qwen3-Embedding-4B på fire av de fem evaluerte spørsmål-og-svar-oppgavene. Det er verdt å merke seg at pplx-embed-v1-0.6B utkonkurrerer den større Qwen3-Embedding-4B på tre av de fem oppgavene, noe som viser at den mindre modellen vår kan matche eller overgå en konkurrent på en vesentlig større parameterskala i praktiske RAG-innstillinger. For mer informasjon om denne evalueringen henviser vi til den tekniske rapporten.

Gjenfinning i den virkelige verden i skala

Offentlige referansemålinger er nyttige, men de fanger ikke fullt ut opp gjenfinningsutfordringer i nettskala: langhale-forespørsler, støyende dokumenter og distribusjonsskifter som kjemper ut produksjonsmiljøer. For å måle det som betyr noe i praksis, bygget vi to interne referansemålinger med opptil 115 000 virkelige forespørsler evaluert mot mer enn 30 millioner dokumenter samlet inn fra over 1 milliard nettsider. PPLXQuery2Query evaluerer om en innbyggingsmodell kan identifisere semantisk ekvivalente forespørsler fra faktisk søketrafikk; PPLXQuery2Doc måler dokumentgjenfinning fra et korpus på 30 millioner sider.

På PPLXQuery2Query (korpus på 2,4M) oppnår pplx-embed-v1-4B 73,5 % Recall@10, og overgår Qwen3-Embedding-4B (67,9 %) med 5,6 prosentpoeng. Vår 0,6B-modell oppnår 71,1 % Recall@10, og utkonkurrerer vesentlig BGE-M3 (61,8 %) og Qwen3-Embedding-0.6B (55,1 %).

Flerspråklige PPLXQuery2Query (2,4M-korpus) og PPLXQuery2Doc (30M-korpus) hentebenchmarker. pplx-embed-v1-4B (INT8) og pplx-embed-v1-0.6B (INT8) leder begge benchmarkene, noe som demonstrerer sterk gjenfinning i stor skala for første trinns henting.

På den flerspråklige PPLXQuery2Doc-oppgaven (korpus på 30M) oppnår pplx-embed-v1-4B 91,7 % Recall@1000, sammenlignet med 88,6 % for Qwen3-Embedding-4B. Høy gjenkalling ved store gjenfinningsdyp er avgjørende for innbyggingsmodeller som fungerer som førstetrinnssøkere i flertrinns rangeringspiper, der maksimering av antall relevante kandidater som sendes til nedstrøms rangere, direkte påvirker den endelige resultatkvaliteten.

Kom i gang

Alle modeller er tilgjengelige på Hugging Face (under MIT-lisens) og gjennom Perplexity API. Vi støtter slutning via Transformers, SentenceTransformers, Text Embeddings Inference og ONNX. For fullstendige detaljer om hvert alternativ, se Hugging Face-modellsamlingen.

For omstendelige tekniske detaljer og fullstendige evalueringsresultater, se vår tekniske rapport.

Sitat

BibTeX
@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://www.perplexity.ai/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}