pplx-embed: Усъвършенствани модели за вграждания за уеб мащаб
Днес пускаме pplx-embed-v1 и pplx-embed-context-v1 – два усъвършенствани модела за текстови вграждания, създадени за извличане в реални условия и в уеб мащаб.
Днес пускаме pplx-embed-v1 и pplx-embed-context-v1 – два усъвършенствани модела за текстови вграждания, създадени за извличане в реални условия и в уеб мащаб. pplx-embed-v1 е оптимизиран за стандартно плътно извличане на текст, докато pplx-embed-context-v1 вгражда откъси спрямо заобикалящия контекст на ниво документ.
И pplx-embed-v1, и pplx-embed-context-v1 са налични във варианти с 0,6B и 4B параметъра. Моделите с 0,6B са насочени към леки и бързи генерирания на вграждания с ниска латентност, докато моделите с 4B максимизират качеството на извличане. В нашите оценки семейството pplx-embed води в редица публични бенчмаркове, включително MTEB(Multilingual, v2), BERGEN, ToolRet и ConTEB. Освен това pplx-embed-v1 постига най-добрите в класа си резултати в нашите вътрешни бенчмаркове в уеб мащаб: PPLXQuery2Query, PPLXQuery2Doc.
Моделите генерират INT8 и бинарни вграждания, намаляващи изискванията за съхранение съответно с 4 пъти и 32 пъти в сравнение с FP32. Тази компактност прави съхранението и извличането на вграждания в уеб мащаб значително по-практични.
Модел | Размерности | Контекст | MRL | Квантуване | Инструкция | Обединяване (Pooling) |
pplx-embed-v1-0.6B | 1024 | 32K | Да | INT8/BINARY | Не | Средно |
pplx-embed-v1-4B | 2560 | 32K | Да | INT8/BINARY | Не | Средно |
pplx-embed-context-v1-0.6B | 1024 | 32K | Да | INT8/BINARY | Не | Средно |
pplx-embed-context-v1-4B | 2560 | 32K | Да | INT8/BINARY | Не | Средно |
Размери на моделите pplx-embed, дължина на контекста, квантуване и конфигурация на pooling.
Разгледайте нашия технически отчет, модели в Hugging Face и API документация.
Мотивация
Плътните текстови вграждания картографират заявки и документи в общо семантично пространство, където извличането се свежда до търсене на приблизително най-близки съседи (approximate nearest neighbor search). В мащаба на Perplexity вгражданията са първият етап от нашата тръбопроводна система за извличане, определяйки кои документи от милиарди уеб страници ще бъдат разгледани от следващите рангъри и езикови модели.
Повечето водещи модели за вграждания днес са изградени върху LLM модели само с декодер с маскиране на причинно-следственото внимание (causal attention masking), където всеки токен може да обръща внимание само на предходните токени. За извличането това е фундаментално ограничение: разбирането на един откъс често изисква двупосочен контекст. Ние разрешаваме това чрез продължително предварително обучение, базирано на дифузия, което преобразува причинно-следствен LLM в двупосочен кодер. Пълното двупосочно внимание дава възможност за средно обединяване (mean pooling) върху всички представления на токени и поддържа късно сегментиране (late chunking) за контекстуални вграждания, където вграждането на всеки откъс се формира от пълния документ, в който се появява.
В уеб мащаб съхранението на вграждания в FP32 е прекалено скъпо. Вместо да прилагаме квантуване като стъпка за постхок компресия, нашите модели използват обучение, съобразено с квантуването, за да произвеждат естествено INT8 вграждания, намалявайки съхранението с 4 пъти без компромис с производителността. Бинарното квантуване намалява съхранението с 32 пъти с минимална загуба на качество, особено при мащаба от 4B.
Много съвременни модели за вграждания изискват префикси с инструкции, добавени в началото на всяко въвеждане. Въпреки че това може да доведе до леки подобрения в бенчмарковете, на практика то добавя затруднения: несъответстващите инструкции между индексирането и момента на заявката незабележимо влошават извличането, а изборът на правилния подтик (prompt) за всеки случай на употреба се превръща в поредното нещо, което трябва да бъде уцелено правилно. Нашите модели не изискват никакви инструкции, което прави интеграцията лесна.
Обучение
pplx-embed-v1 и pplx-embed-context-v1 са обучени чрез многоетапен конвейер, който прогресивно оформя текстовите представления за извличане.
Продължително предварително обучение с дифузия
Започваме от предварително обучени базови модели Qwen3 (0.6B и 4B) и ги преобразуваме от причинно-следствени декодери в двупосочни кодери, като деактивираме маската за причинно-следствено внимание и ги обучаваме с цел дифузионно деноизиране. За разлика от авторегресивните модели, които предсказват токени отляво надясно, дифузионното обучение принуждава модела да реконструира случайно маскирани токени, използвайки пълния двупосочен контекст около всяка маскирана позиция. Това означава, че до момента, в който започне контрастното фино настройване, представленията вече кодират двупосочна семантика, осигурявайки по-здрава основа за извличане от причинно-следствената отправна точка. Ние правим предварително обучение върху приблизително 250 милиарда токена многоезичен текст, обхващащ 30 езика. При алабационните тестове дифузионно предварително обучените основи постигат съществено по-ниски загуби при контрастно обучение в сравнение с техните причинно-следствени аналози, което се превръща в приблизително 1 процентен пункт подобрение на задачите за извличане.
Контрастно обучение
След предварителното обучение изпълняваме три етапа на контрастно обучение. Обучението с двойки (Pair training) установява основополагащо семантично съответствие между заявки и документи, като използва InfoNCE функция на загуба с негативи в рамките на партидата (in-batch negatives). При големи размери на партидите някои от тези негативи всъщност са близки дубликати на позитивния пример, затова прилагаме маска, базирана на сходство, за да предотвратим замърсяването на обучителния сигнал от тези фалшиви негативи. Обучението протича на фази – само на английски език, след това многоезично и накрая напълно многоезично – като изгражда възможностите постепенно, вместо наведнъж. Контекстуалното обучение след това учи модела на семантика на ниво откъс по отношение на контекста на ниво документ, като използва двойна функция на загуба, която съчетава контраст в рамките на последователността и в рамките на партидата както на ниво откъс, така и на ниво документ – този етап произвежда pplx-embed-context-v1. И накрая, обучението с тройки (triplet training) с извлечени трудни негативи усъвършенства границите между сходни, но нерелевантни документи. Крайният pplx-embed-v1 се получава чрез сливане на контролните точки (checkpoints) от контекстуалното обучение и обучението с тройки чрез сферична линейна интерполация (SLERP).
Естествено квантуване
През всички етапи на контрастно обучение вгражданите данни се квантуват до INT8 както по време на обучението, така и по време на инференс. Прилагаме операция за средно обединяване, базирана на тангенс (tanh-based mean pooling), последвана от закръгляване, и използваме оценка на градиента с право преминаване (straight-through gradient estimation), за да разпространим назад през недиференцируемата стъпка на квантуване. Това гарантира, че моделът научава представления, оптимизирани за намалена прецизност още от самото начало, вместо да страда от влошаване вследствие на постхок компресия. За бинарното квантуване моделите с 4B са забележимо по-устойчиви от тези с 0,6B: тяхното по-голямо измерение на вграждане (2560 спрямо 1024) запазва повече информация след бинарното кодиране, ограничавайки спада в производителността до под 1,6 процентни пункта в сравнение с 2–4 пункта при по-малкия мащаб.
Публични бенчмаркове
В бенчмарка за извличане MTEB(Multilingual, v2) pplx-embed-v1-4B(INT8) постига среден nDCG@10 от 69,66%, съвпадайки с Qwen3-Embedding-4B (69,60%) и надминавайки gemini-embedding-001 (67,71%), като същевременно изисква съществено по-малко място за съхранение на вграждане. Нашият модел с 0,6B надминава своя аналог от Qwen3 при същия мащаб на параметрите.
Производителност на контекстуално извличане в бенчмарка ConTEB. Вляво: контекстуализирани модели. Вдясно: неконтекстуализирани модели. pplx-embed-context-v1-4B (INT8) постига най-висок резултат от 81,96, следван от voyage-context-3 (79,45) и pplx-embed-context-v1-0.6B (INT8) с 76,53.
За контекстуално извличане pplx-embed-context-v1-4B задава ново съвременно ниво (state of the art) в бенчмарка ConTEB със среден nDCG@10 от 81,96%, надминавайки voyage-context-3 (79.45%) и Anthropic Contextual (72,4%). Чрез обучение на представления на ниво откъс, които включват семантика на ниво документ, нашите модели извличат правилния откъс дори когато неговият смисъл зависи от заобикалящия контекст.
Ние също така оценяваме нашите модели при краен RAG (Retrieval-Augmented Generation) чрез бенчмарка BERGEN, където извлечените откъси се подават към езиков модел за генериране на отговори. pplx-embed-v1-4B надминава Qwen3-Embedding-4B в четири от петте оценени задачи за отговаряне на въпроси. Забележително е, че pplx-embed-v1-0.6B надминава по-големия Qwen3-Embedding-4B в три от петте задачи, което демонстрира, че нашият по-малък модел може да се сравни с или да надмине конкурент с чувствително по-голям мащаб на параметрите в практични RAG среди. За повече подробности относно тази оценка насочваме към техническия отчет.
Извличане в реални условия в голям мащаб
Публичните бенчмаркове са полезни, но те не улавят напълно предизвикателствата пред извличането в уеб мащаб: заявки с дълга опашка (long-tail queries), зашумени документи и промени в разпределението, които характеризират производствените среди. За да измерим това, което има значение на практика, изградихме два вътрешни бенчмарка с до 115 хиляди заявки от реалния свят, оценени спрямо над 30 милиона документа, събрани от над 1 милиард уеб страници. PPLXQuery2Query оценява дали моделът за вграждания може да идентифицира семантично еквивалентни заявки от реален трафик на търсене; PPLXQuery2Doc измерва извличането на документи от корпус с 30 милиона страници.
В PPLXQuery2Query (корпус от 2,4M) pplx-embed-v1-4B постига 73,5% Recall@10, надминавайки Qwen3-Embedding-4B (67,9%) с 5,6 процентни пункта. Нашият модел с 0,6B постига 71,1% Recall@10, надминавайки съществено BGE-M3 (61,8%) и Qwen3-Embedding-0.6B (55,1%).
В многоезичната задача PPLXQuery2Doc (корпус от 30M) pplx-embed-v1-4B постига 91,7% Recall@1000 в сравнение с 88,6% за Qwen3-Embedding-4B. Високият Recall при големи дълбочини на извличане е от критично значение за моделите за вграждания, служещи като извличащи устройства на първия етап в многоетапни конвейери за класиране, където максимизирането на броя релевантни кандидати, подадени към следващите прерангъри, пряко влияе върху качеството на крайния резултат.
Първи стъпки
Всички модели са налични в Hugging Face (под лиценз MIT) и чрез Perplexity API. Поддържаме инференс чрез Transformers, SentenceTransformers, Text Embeddings Inference и ONNX. За пълни подробности относно всяка опция вижте колекцията от модели в Hugging Face.
За изчерпателни технически подробности и пълни резултати от оценките вижте нашия технически отчет.
Цитиране
@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
date = {2026-02-26},
url = {https://www.perplexity.ai/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}