pplx-embed: Modernste Embedding-Modelle für Web-Retrieval
Heute veröffentlichen wir pplx-embed-v1 und pplx-embed-context-v1, zwei hochmoderne Text-Embedding-Modelle für webbasiertes Retrieval.
Heute veröffentlichen wir pplx-embed-v1 und pplx-embed-context-v1, zwei hochmoderne Text-Embedding-Modelle, die für die webbasierte Retrieval-Leistung in der Praxis entwickelt wurden. pplx-embed-v1 ist für das standardmäßige dichte Text-Retrieval optimiert, während pplx-embed-context-v1 Textpassagen unter Berücksichtigung des umgebenden dokumentspezifischen Kontextes einbettet.
Sowohl pplx-embed-v1 als auch pplx-embed-context-v1 sind in Skalierungen von 0,6B und 4B Parametern verfügbar. Die 0,6B-Modelle zielen auf eine leichtgewichtige Embedding-Generierung mit geringer Latenz ab, während die 4B-Modelle die Retrieval-Qualität maximieren. In unseren Evaluierungen führt die pplx-embed-Familie eine Reihe öffentlicher Benchmarks an, darunter MTEB(Multilingual, v2), BERGEN, ToolRet und ConTEB. Darüber hinaus liefert pplx-embed-v1 branchenführende Ergebnisse bei unseren internen webbasierten Benchmarks: PPLXQuery2Query, PPLXQuery2Doc.
Die Modelle erzeugen INT8- und binäre Embeddings, wodurch der Speicherbedarf im Vergleich zu FP32 um den Faktor 4x beziehungsweise 32x reduziert wird. Diese Kompaktheit macht die Speicherung und das Retrieval von Embeddings im Webmaßstab erheblich praktikabler.
Modell | Dimensionen | Kontext | MRL | Quantisierung | Instruktion | Pooling |
pplx-embed-v1-0.6B | 1024 | 32K | Ja | INT8/BINÄR | Nein | Mittelwert |
pplx-embed-v1-4B | 2560 | 32K | Ja | INT8/BINÄR | Nein | Mittelwert |
pplx-embed-context-v1-0.6B | 1024 | 32K | Ja | INT8/BINÄR | Nein | Mittelwert |
pplx-embed-context-v1-4B | 2560 | 32K | Ja | INT8/BINÄR | Nein | Mittelwert |
pplx-embed Modellabmessungen, Kontextlänge, Quantisierung und Pooling-Konfiguration.
Lesen Sie unseren technischen Bericht, die Hugging Face-Modelle und die API-Dokumentation.
Motivation
Dichte Text-Embeddings bilden Anfragen und Dokumente in einem gemeinsamen semantischen Raum ab, in dem sich das Retrieval auf eine Suche nach den annähernd nächsten Nachbarn reduziert. Im Maßstab von Perplexity sind Embeddings die erste Stufe unserer Retrieval-Pipeline und bestimmen, welche Dokumente aus Milliarden von Webseiten von nachgelagerten Rangfolgemodellen und Sprachmodellen berücksichtigt werden.
Die meisten führenden Embedding-Modelle basieren heute auf Decoder-only LLMs mit kausaler Aufmerksamkeitsmaskierung, bei denen jedes Token nur auf vorangegangene Token achten kann. Für das Retrieval stellt dies eine fundamentale Einschränkung dar: Das Verständnis einer Passage erfordert oft einen bidirektionalen Kontext. Wir beheben dies durch diffusionsbasiertes fortgesetztes Vortraining, das ein kausales LLM in einen bidirektionalen Encoder umwandelt. Die vollständige bidirektionale Aufmerksamkeit ermöglicht ein Mean-Pooling über alle Token-Repräsentationen und unterstützt das Late-Chunking für kontextuelle Embeddings, wobei das Embedding jedes Chunks durch das vollständige Dokument, in dem es erscheint, informiert wird.
Im Webmaßstab ist die Speicherung von Embeddings in FP32 unerschwinglich teuer. Anstatt Quantisierung als nachträglichen Kompressionsschritt anzuwenden, nutzen unsere Modelle quantisierungsbewusstes Training, um INT8-Embeddings nativ zu erzeugen, was den Speicherbedarf ohne Leistungsverlust um den Faktor 4 reduziert. Binäre Quantisierung reduziert den Speicherbedarf um den Faktor 32 bei minimalem Qualitätsverlust, insbesondere bei der 4B-Skalierung.
Viele moderne Embedding-Modelle erfordern, dass jeder Eingabe Instruktionspräfixe vorangestellt werden. Während dies bei Benchmarks zu kleinen Verbesserungen führen kann, bedeutet es in der Praxis eine zusätzliche Belastung: Nicht übereinstimmende Instruktionen zwischen Indexierungs- und Abfragezeit verschlechtern das Retrieval unbemerkt, und die Auswahl der richtigen Eingabeaufforderung für jeden Anwendungsfall wird zu einer weiteren Aufgabe. Unsere Modelle erfordern keine Instruktionen, was die Integration unkompliziert macht.
Training
pplx-embed-v1 und pplx-embed-context-v1 werden durch eine mehrstufige Pipeline trainiert, die die Textrepräsentationen für das Retrieval schrittweise formt.
Fortgesetztes Diffusions-Vortraining
Wir beginnen mit vortrainierten Qwen3-Basis-Modellen (0,6B und 4B) und konvertieren diese von kausalen Decodern in bidirektionale Encoder, indem wir die kausale Aufmerksamkeitsmaske deaktivieren und mit einem Diffusions-Denoising-Ziel trainieren. Im Gegensatz zu autoregressiven Modellen, die Token von links nach rechts vorhersagen, zwingt das Diffusionstraining das Modell dazu, zufällig maskierte Token unter Verwendung des vollständigen bidirektionalen Kontextes um jede maskierte Position herum zu rekonstruieren. Dies bedeutet, dass die Repräsentationen bereits bei Beginn des kontrastiven Fein-Tunings bidirektionale Semantik kodieren, was eine stärkere Grundlage für das Retrieval bietet als ein kausaler Ausgangspunkt. Wir trainieren auf etwa 250 Milliarden Token multilingualen Textes in 30 Sprachen vor. In Ablationen erreichen diffusions-vortrainierte Backbones einen wesentlich niedrigeren kontrastiven Trainingsverlust als ihre kausalen Gegenstücke, was sich in einer Verbesserung um etwa 1 Prozentpunkt bei Retrieval-Aufgaben niederschlägt.
Kontrastives Training
Im Anschluss an das Vortraining führen wir drei Phasen des kontrastiven Lernens durch. Paartraining etabliert eine grundlegende semantische Ausrichtung zwischen Anfragen und Dokumenten unter Verwendung eines InfoNCE-Verlusts mit In-Batch-Negativen. Bei großen Batch-Größen sind einige In-Batch-Negative tatsächlich nahezu Duplikate der positiven, daher wenden wir eine auf Ähnlichkeit basierende Maske an, um zu verhindern, dass diese falschen Negativen das Trainingssignal verfälschen. Das Training erfolgt in Phasen – nur Englisch, dann sprachübergreifend, dann vollständig multilingual – und baut die Kapazität schrittweise auf, anstatt alles auf einmal zu erledigen. Kontextuelles Training vermittelt dem Modell dann die Chunk-Ebene-Semantik in Bezug auf den Dokumenten-Kontext unter Verwendung eines dualen Verlusts, der In-Sequence- und In-Batch-Kontrast sowohl auf Chunk- als auch auf Dokumentenebene kombiniert – diese Stufe erzeugt pplx-embed-context-v1. Schließlich verfeinert Triplett-Training mit schwer abgrenzbaren negativen Beispielen die Grenzen zwischen ähnlichen, aber nicht relevanten Dokumenten. Das endgültige pplx-embed-v1 wird durch das Zusammenführen der kontextuellen und Triplett-Checkpoints mittels sphärischer linearer Interpolation (SLERP) gewonnen.
Native Quantisierung
Während aller kontrastiven Phasen werden die Embeddings sowohl beim Training als auch bei der Inferenz auf INT8 quantisiert. Wir wenden eine auf Tanh basierende Mean-Pooling-Operation an, gefolgt von einer Rundung, und verwenden Straight-Through-Gradientenschätzung, um durch den nicht-differenzierbaren Quantisierungsschritt zurück zu propagieren. Dies stellt sicher, dass das Modell von Anfang an Repräsentationen lernt, die für reduzierte Präzision optimiert sind, anstatt unter einer Verschlechterung durch nachträgliche Kompression zu leiden. Bei der binären Quantisierung sind die 4B-Modelle deutlich robuster als die 0,6B-Modelle: Ihre größere Embedding-Dimension (2560 gegenüber 1024) bewahrt nach der Binarisierung mehr Informationen, was den Leistungsabfall auf unter 1,6 Prozentpunkte gegenüber 2–4 Punkten bei kleinerer Skalierung begrenzt.
Öffentliche Benchmarks
Beim MTEB(Multilingual, v2) Retrieval-Benchmark erreicht pplx-embed-v1-4B(INT8) einen durchschnittlichen nDCG@10 von 69,66%, was Qwen3-Embedding-4B (69,60%) entspricht und gemini-embedding-001 (67,71%) übertrifft, während es wesentlich weniger Speicher pro Embedding erfordert. Unser 0,6B-Modell übertrifft sein Qwen3-Gegenstück bei gleicher Parameterskalierung.
Kontextuelle Retrieval-Leistung beim ConTEB-Benchmark. Links: kontextualisierte Modelle. Rechts: nicht-kontextualisierte Modelle. pplx-embed-context-v1-4B (INT8) erreicht die höchste Punktzahl von 81,96, gefolgt von voyage-context-3 (79,45) und pplx-embed-context-v1-0.6B (INT8) bei 76,53.
Für das kontextuelle Retrieval setzt pplx-embed-context-v1-4B mit einem durchschnittlichen nDCG@10 von 81,96% einen neuen Standard im ConTEB-Benchmark und übertrifft damit voyage-context-3 (79,45%) und Anthropic Contextual (72,4%). Durch das Training von Repräsentationen auf Chunk-Ebene, die Dokument-Semantik einbeziehen, rufen unsere Modelle die richtige Passage ab, selbst wenn deren Bedeutung vom umgebenden Kontext abhängt.
Wir evaluieren unsere Modelle auch in End-to-End RAG unter Verwendung des BERGEN-Benchmarks, bei dem die abgerufenen Passagen einem Sprachmodell zur Beantwortung zugeführt werden. pplx-embed-v1-4B übertrifft Qwen3-Embedding-4B bei vier der fünf evaluierten Frage-Antwort-Aufgaben. Bemerkenswerterweise übertrifft pplx-embed-v1-0.6B das größere Qwen3-Embedding-4B bei drei der fünf Aufgaben, was demonstriert, dass unser kleineres Modell in praktischen RAG-Umgebungen einen Konkurrenten bei wesentlich größerer Parameterskalierung erreichen oder übertreffen kann. Für weitere Details zu dieser Evaluierung verweisen wir auf den technischen Bericht.
Retrieval in der Praxis
Öffentliche Benchmarks sind nützlich, erfassen jedoch nicht vollständig die Herausforderungen des webbasierten Retrievals: Long-Tail-Anfragen, verrauschte Dokumente und Verteilungsverschiebungen, die Produktionsumgebungen charakterisieren. Um das zu messen, was in der Praxis zählt, haben wir zwei interne Benchmarks mit bis zu 115.000 realen Anfragen erstellt, die gegen mehr als 30 Millionen Dokumente evaluiert wurden, die aus über 1 Milliarde Webseiten stammen. PPLXQuery2Query bewertet, ob ein Embedding-Modell semantisch äquivalente Anfragen aus echtem Suchverkehr identifizieren kann; PPLXQuery2Doc misst das Dokument-Retrieval aus einem 30M-Seiten-Korpus.
Bei PPLXQuery2Query (2,4M-Korpus) erreicht pplx-embed-v1-4B einen Recall@10 von 73,5% und übertrifft damit Qwen3-Embedding-4B (67,9%) um 5,6 Prozentpunkte. Unser 0,6B-Modell erreicht einen Recall@10 von 71,1% und übertrifft damit BGE-M3 (61,8%) und Qwen3-Embedding-0.6B (55,1%) deutlich.
Bei der multilingualen PPLXQuery2Doc-Aufgabe (30M-Korpus) erreicht pplx-embed-v1-4B einen Recall@1000 von 91,7%, verglichen mit 88,6% für Qwen3-Embedding-4B. Ein hoher Recall bei großen Retrieval-Tiefen ist für Embedding-Modelle kritisch, die als Erst-Retrieval-Stufe in mehrstufigen Ranking-Pipelines dienen, wobei die Maximierung der Anzahl relevanter Kandidaten, die an nachgelagerte Reranker weitergegeben werden, die Qualität des Endergebnisses direkt beeinflusst.
Erste Schritte
Alle Modelle sind auf Hugging Face (unter MIT-Lizenz) und über die Perplexity API verfügbar. Wir unterstützen Inferenz über Transformers, SentenceTransformers, Text Embeddings Inference und ONNX. Vollständige Details zu jeder Option finden Sie in der Hugging Face-Modellsammlung.
Für umfassende technische Details und vollständige Evaluierungsergebnisse lesen Sie unseren technischen Bericht.
Zitat
@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
date = {2026-02-26},
url = {https://www.perplexity.ai/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}