pplx-embed: Špičkové modely pro vektorovou reprezentaci pro web

Dnes vydáváme pplx-embed-v1 a pplx-embed-context-v1, dva špičkové modely pro vektorovou reprezentaci textu vytvořené pro reálné vyhledávání ve webovém měřítku.

AutořiPerplexity Research

Dnes vydáváme modely pplx-embed-v1 a pplx-embed-context-v1, dva špičkové modely pro vektorovou reprezentaci textu vytvořené pro reálné vyhledávání ve webovém měřítku. pplx-embed-v1 je optimalizován pro standardní husté vyhledávání textu, zatímco pplx-embed-context-v1 vytváří vektory pasáží s ohledem na okolní kontext na úrovni dokumentu.

Modely pplx-embed-v1 i pplx-embed-context-v1 jsou k dispozici ve velikostech 0,6B a 4B parametrů. Modely s 0,6B parametry cílí na lehké generování vektorů s nízkou latencí, zatímco modely se 4B parametry maximalizují kvalitu vyhledávání. V našich hodnoceních rodina modelů pplx-embed vede v řadě veřejných benchmarků včetně MTEB(Multilingual, v2), BERGEN, ToolRet a ConTEB. pplx-embed-v1 navíc přináší špičkové výsledky v našich interních benchmarcích pro webové měřítko: PPLXQuery2Query a PPLXQuery2Doc.

Modely vytvářejí INT8 a binární embeddingy, čímž ve srovnání s FP32 snižují požadavky na úložiště o 4× a 32×. Tato kompaktnost výrazně usnadňuje ukládání a vyhledávání embeddingů v měřítku webu.

Model

Rozměry

Kontext

MRL

Kvantování

Instrukce

Slučování (Pooling)

pplx-embed-v1-0.6B

1024

32K

Ano

INT8/BINARY

Ne

Průměr

pplx-embed-v1-4B

2560

32K

Ano

INT8/BINARY

Ne

Průměr

pplx-embed-context-v1-0.6B

1024

32K

Ano

INT8/BINARY

Ne

Průměr

pplx-embed-context-v1-4B

2560

32K

Ano

INT8/BINARY

Ne

Průměr

Rozměry modelu pplx-embed, délka kontextu, kvantizace a konfigurace poolingu.

Prohlédněte si naši technickou zprávu, modely na Hugging Face a dokumentaci k API.

Motivace

Husté textové vektory mapují dotazy a dokumenty do sdíleného sémantického prostoru, kde se vyhledávání redukuje na vyhledávání přibližně nejbližších sousedů. V měřítku Perplexity tvoří vektory první fázi naší vyhledávací pipeliny a určují, které dokumenty z miliard webových stránek budou zvažovány následnými rankery a jazykovými modely.

Většina dnešních předních modelů pro vektorovou reprezentaci je postavena na LLM pouze s dekodérem a kauzálním maskováním pozornosti, kde každý token může brát v úvahu pouze předchozí tokeny. Pro vyhledávání je to zásadní omezení: porozumění pasáži často vyžaduje obousměrný kontext. To řešíme pomocí kontinuálního předtrénování založeného na difuzi, které převádí kauzální LLM na obousměrný encoder. Úplná obousměrná pozornost umožňuje průměrování přes všechny reprezentace tokenů a podporuje pozdní chunking pro kontextové vektory, kde je vektor každého chunků ovlivněn celým dokumentem, ve kterém se nachází.

Ve webovém měřítku je ukládání vektorů ve formátu FP32 neúměrně drahé. Namísto použití kvantování jako dodatečného kompresního kroku využívají naše modely trénování s ohledem na kvantování k nativnímu vytváření INT8 vektorů, čímž se 4x sníží nároky na úložiště bez kompromisů ve výkonu. Binární kvantování snižuje nároky na úložiště 32x s minimální ztrátou kvality, zejména v měřítku 4B.

Mnoho moderních modelů pro vektorovou reprezentaci vyžaduje instrukční prefixy přidané před každý vstup. Ačkoli to může přinést malé zlepšení v benchmarcích, v praxi to přináší komplikace: nesoulad instrukcí mezi indexováním a dobou dotazu tiše zhoršuje vyhledávání a výběr správného promptu pro každý případ použití se stává dalším úkolem, který je třeba zvládnout. Naše modely nevyžadují žádné instrukce, díky čemuž je integrace přímočará.

Trénování

Modely pplx-embed-v1 a pplx-embed-context-v1 jsou trénovány prostřednictvím vícestupňové pipeliny, která postupně formuje reprezentace textu pro vyhledávání.

Vícefázový výukový trénovací pipeline. Kombinujeme čtyři odlišné trénovací paradigmata větveným způsobem, následované fází sloučení a výběru.

Kontinuální předtrénování difuzí

Začínáme u předtrénovaných základních modelů Qwen3 (0.6B a 4B) a převádíme je z kauzálních dekodérů na obousměrné encodery deaktivací masky kauzální pozornosti a trénováním s difuzním odšumovacím cílem. Na rozdíl od autoregresivních modelů, které předpovídají tokeny zleva doprava, difuzní trénování nutí model rekonstruovat náhodně maskované tokeny pomocí plného obousměrného kontextu kolem každé maskované pozice. To znamená, že v době, kdy začíná kontrastní jemné doladění, reprezentace již kódovaly obousměrnou sémantiku, což poskytuje pevnější základ pro vyhledávání než kauzální výchozí bod. Předtrénujeme na přibližně 250 miliardách tokenů multilingválního textu ve 30 jazycích. V ablačních studiích dosahují difuzně předtrénované páteřní sítě podstatně nižší ztráty při kontrastním trénování než jejich kauzální protějšky, což se promítá do zhruba 1procentního zlepšení úloh vyhledávání.

Kontrastní trénování

Po předtrénování provádíme tři fáze kontrastního učení. Trénování párů vytváří základní sémantické zarovnání mezi dotazy a dokumenty pomocí InfoNCE ztráty s negativy v rámci dávky (in-batch). S velkými velikostmi dávek jsou některá negativa v dávce ve skutečnosti téměř duplikáty pozitivu, proto aplikujeme masku založenou na podobnosti, abychom zabránili těmto falešným negativům v poškození trénovacího signálu. Trénování probíhá ve fázích – pouze v angličtině, poté mezijazykově a nakonec plně multilingválně – a buduje schopnosti postupně, nikoli najednou. Kontextové trénování poté učí model sémantiku na úrovni chunků s ohledem na kontext na úrovni dokumentu, a to pomocí duální ztráty, která kombinuje kontrast v rámci sekvence a v rámci dávky na úrovni chunků i dokumentů – tato fáze vytváří pplx-embed-context-v1. Nakonec trénování trojic s vytěženými tvrdými negativy zpřesňuje hranice mezi podobnými, ale nerelevantními dokumenty. Konečný model pplx-embed-v1 se získá sloučením kontextových a trojicových kontrolních bodů pomocí sférové lineární interpolace (SLERP).

Nativní kvantování

Během všech kontrastních fází jsou vektory kvantovány do INT8 jak během trénování, tak při inferenci. Aplikujeme operaci průměrování na základě tanh následovanou zaokrouhlením a používáme odhad gradientu přímým průchodem (straight-through) pro zpětnou propagaci přes nediferencovatelný krok kvantování. To zajišťuje, že se model od začátku učí reprezentace optimalizované pro sníženou přesnost, namísto utrpění degradace z dodatečné komprese. Pro binární kvantování jsou modely 4B výrazně robustnější než 0.6B: jejich větší dimenze vektorů (2560 vs. 1024) zachovává více informací po binarizaci, čímž se pokles výkonu omezuje na méně než 1,6 procentního bodu ve srovnání s 2–4 body u menšího měřítka.

Veřejné benchmarky

Výkonnost vyhledávání na MTEB (mnohojazyčné, v2). Modely pplx-embed zobrazené ve variantách přesnosti INT8 a BINARY. Náš model 4B INT8 dosahuje konkurenceschopné kvality vyhledávání a zároveň ukládá 4× více stránek na GB než alternativy FP32. Binární varianta ukládá 32× více stránek na GB jen s poklesem výkonu o 1,5 bodu.

V benchmarku vyhledávání MTEB(Multilingual, v2) dosahuje model pplx-embed-v1-4B (INT8) průměrného nDCG@10 69,66 %, čímž se vyrovná Qwen3-Embedding-4B (69,60 %) a překonává gemini-embedding-001 (67,71 %), přičemž vyžaduje podstatně menší úložiště na vektor. Náš 0.6B model překonává svůj protějšek Qwen3 při stejné velikosti parametrů.

Výkon kontextového vyhledávání v benchmarku ConTEB. Vlevo: kontextualizované modely. Vpravo: nekontextualizované modely. pplx-embed-context-v1-4B (INT8) dosahuje nejvyššího skóre 81,96, následovaný voyage-context-3 (79,45) a pplx-embed-context-v1-0.6B (INT8) se 76,53.

Pro kontextové vyhledávání nastavuje pplx-embed-context-v1-4B nový standard v benchmarku ConTEB s průměrným nDCG@10 81,96 %, čímž překonává voyage-context-3 (79,45 %) a Anthropic Contextual (72,4 %). Trénováním reprezentací na úrovni chunků, které zahrnují sémantiku na úrovni dokumentu, naše modely vyhledají správnou pasáž i tehdy, když její význam závisí na okolním kontextu.

Naše modely hodnotíme také v end-to-end RAG pomocí benchmarku BERGEN, kde jsou vyhledané pasáže předány jazykovému modelu ke generování odpovědí. pplx-embed-v1-4B překonává Qwen3-Embedding-4B ve čtyřech z pěti hodnocených úloh zodpovídání otázek. Je zajímavé, že pplx-embed-v1-0.6B překonává větší Qwen3-Embedding-4B ve třech z pěti úloh, což ukazuje, že náš menší model se může vyrovnat konkurentovi s výrazně větší velikostí parametrů nebo jej překonat v praktických nastaveních RAG. Další podrobnosti o tomto hodnocení najdete v technické zprávě.

Reálné vyhledávání ve velkém měřítku

Veřejné benchmarky jsou užitečné, ale plně neodrážejí výzvy vyhledávání ve webovém měřítku: dotazy s dlouhým ocasem (long-tail), šumové dokumenty a posuny v rozdělení, které charakterizují produkční prostředí. Abychom změřili to, na čem v praxi záleží, vytvořili jsme dva interní benchmarky s až 115 tisíci reálnými dotazy hodnocenými proti více než 30 milionům dokumentů sdružených z více než 1 miliardy webových stránek. PPLXQuery2Query vyhodnocuje, zda model pro vektorovou reprezentaci dokáže identifikovat sémanticky ekvivalentní dotazy z reálného vyhledávacího provozu; PPLXQuery2Doc měří vyhledávání dokumentů z korpusu o velikosti 30 milionů stránek.

V PPLXQuery2Query (korpus 2,4M) dosahuje pplx-embed-v1-4B 73,5% Recall@10, čímž překonává Qwen3-Embedding-4B (67,9 %) o 5,6 procentního bodu. Náš 0.6B model dosahuje 71,1% Recall@10, čímž podstatně překonává BGE-M3 (61,8 %) a Qwen3-Embedding-0.6B (55,1 %).

Mnohojazyčné benchmarky vyhledávání PPLXQuery2Query (korpus 2,4 mil.) a PPLXQuery2Doc (korpus 30 mil.). pplx-embed-v1-4B (INT8) a pplx-embed-v1-0.6B (INT8) vedou v obou benchmarcích a dokazují silnou míru recall ve velkém měřítku pro vyhledávání v první fázi.

V multilingvální úloze PPLXQuery2Doc (korpus 30M) dosahuje pplx-embed-v1-4B 91,7% Recall@1000 ve srovnání s 88,6 % u Qwen3-Embedding-4B. Vysoká vybavenost (recall) při velkých hloubkách vyhledávání je kritická pro modely vektorové reprezentace sloužící jako vyhledávače první fáze ve vícestupňových rankingových pipelinách, kde maximalizace počtu relevantních kandidátů předaných následným přerankerům přímo ovlivňuje kvalitu konečného výsledku.

Začínáme

Všechny modely jsou k dispozici na Hugging Face (pod licencí MIT) a prostřednictvím Perplexity API. Podporujeme inferenci přes Transformers, SentenceTransformers, Text Embeddings Inference a ONNX. Úplné podrobnosti o každé možnosti najdete v kolekci modelů na Hugging Face.

Úplné technické podrobnosti a kompletní výsledky hodnocení naleznete v naší technické zprávě.

Citace

BibTeX
@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://www.perplexity.ai/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}