Мултимодални embeddings отвъд единичния вектор

Откакто пуснахме pplx-embed-v1 през февруари, работим върху ново поколение embedding модели. Миналата седмица представихме нашия нов контекстен embedding модел, pplx-embed-v2-context. Днес разширяваме семейството с pplx-embed-v2-late, колекция от модели с късно взаимодействие. Наред с по-силните възможности за извличане, моделите са първите, които комбинират три основни характеристики:

• Много-векторни представяния. Вместо да компресират всеки вход в един-единствен вектор, тези модели запазват вектори на ниво токен за по-финозърнести сравнения между заявка и документ. Това позволява различни части на заявка да съвпадат с различни части на документ, запазвайки детайл, който е особено ценен за мултимодално извличане.
• Поддръжка както за текстови, така и за визуални модалности. В допълнение към текст-към-текст възможностите за извличане на предишните ни модели, тези нови модели обработват и текст-към-изображение извличане, позволявайки им директно да търсят рендерирани PDF страници, без да е необходимо OCR или парсиран текст.
• Споделено embedding пространство. Пускаме два размера на модела, 0,6B и 9B, за да поддържаме различни изисквания за качество, латентност и изчисления. Всеки може да се използва самостоятелно, но споделеното embedding пространство също така позволява на по-малкия модел да прави заявки към индекс, създаден с по-големия модел, комбинирайки по-качествени документни embeddings с евтино и бързо инфериране при време на заявката.

Тези нови модели постигат най-добрите към момента резултати в редица бенчмаркове за извличане на визуална и текстова информация, както и в задачи за агентно отговаряне на въпроси. Особено показателно е, че в ViDoRe (V3), водещ бенчмарк за извличане на визуални документи, нашият модел с 0,6 млрд. параметъра се изравнява с модели с пет пъти повече активни параметри. И двата модела са публично достъпни в Hugging Face. В нашия технически доклад ще намерите повече подробности за методологията и резултатите от оценката.

От единични вектори към късно взаимодействие

Системите за извличане трябва да намерят баланс между ефективността и дълбочината на взаимодействието между заявки и документи. Плътните embedding модели кодират всяка заявка и всеки документ независимо, което позволява те да бъдат сравнявани с евтин скаларен произведение. Това прави практично приблизителното търсене на най-близки съседи (ANN) в милиарди документи. В другия край cross-encoder моделите обработват заявката и документа заедно, което позволява по-богато взаимодействие, но изисква отделно forward преминаване за всеки кандидат. Прилагането на това изчисление върху голям корпус от документи за всяко търсене е непосилно скъпо, така че cross-encoder моделите обикновено се запазват за пренареждане на малък набор от извлечени кандидати.

Ограничения на плътните embeddings

Представянето на цял документ с един вектор с фиксиран размер създава информационно тесно място. С нарастването на документите и обхващането на повече теми моделът трябва да компресира повече съдържание в същия вектор, което затруднява запазването на всичко релевантно за заявка. Разбиването на части може да намали този натиск, но фрагментира документа и може да раздели информация, която има смисъл само заедно, проблем, който също решаваме с нашия контекстен embedding модел. Това тясно място се влошава в мултимодални среди, където информационната плътност на изображенията изисква още по-голяма компресия.

Търсенето с плътни единични вектори също свежда всяко сравнение до скаларно произведение между два вектора, ограничавайки изразителността на функцията за оценяване. При фиксирано embedding измерение и достатъчно голям корпус, някои модели на оценки по двойки заявка-документ са невъзможни за постигане, независимо от обучението. Бенчмаркът LIMIT превръща тази теоретична грижа в конкретен стрес тест за търсене с единичен вектор.

Извличане с късно взаимодействие

Моделите с късно взаимодействие заемат пространството между по-евтините плътни embedding модели и по-изразителните cross-encoder модели. Подобно на плътните модели, те кодират документите независимо от заявката, което позволява представянията на документите да бъдат изчислявани офлайн. Но вместо да свеждат всеки вход до един вектор, те запазват множество вектори и използват по-богата функция за оценяване при сравняване на заявка с документ.

Нашите модели pplx-embed-v2-late използват ColBERT-подобна архитектура, извеждайки 128-измерни embeddings за всеки токен във входа. Оценяваме двойките заявка-документ с MaxSim; за всеки токен на заявката моделът избира токена на документа с най-висока оценка и сумира максималните сходства по токени, за да получи крайния резултат. Това позволява различни части на заявка да съвпадат с различни части на документ, като по-силните съвпадения между токени допринасят повече за резултата.

Уголеми

Тази допълнителна изразителност идва с по-високи разходи за съхранение и оценяване на кандидатите. Плътното извличане съхранява по един вектор на документ и оценява кандидат с едно скаларно произведение; късното взаимодействие съхранява вектори за токените на документа и изчислява много сходства между токени. Разходът расте с дължината на документа, така че късното взаимодействие изисква различен компромис при индексирането и обслужването от ANN извличането с един вектор. В замяна то предоставя по-богато първично извличане за корпуси, чувствителни към качеството, и може също да служи като по-късен етап в по-голям pipeline за извличане в уеб мащаб.

Един модел, множество модалности

Показано е, че тази подобрена дълбочина на взаимодействие е много полезна за различни задачи, включително извличане с дълъг контекст, агентно и извличане извън домейна. Тази разлика е особено очевидна в мултимодалното извличане, както показва голямото предимство на моделите ColPali в класацията на ViDoRe(V3).

Реалните корпуси не са съставени само от чист текст. Те идват като PDF-и, слайд презентации, скрийншоти, сканирани страници, диаграми и таблици. Конвенционалният pipeline парсира тези документи, прилага OCR или captioning и търси в получилия се текст, което е скъпо и загубно: може да въведе OCR грешки и да изхвърли оформлението, структурата на таблиците, фигурите и пространствените взаимоотношения. Визуалното търсене на документи прескача тази стъпка, като проектира рендерираната страница директно в представителното пространство, където текстови заявки могат да я търсят.

Новото ни семейство модели стъпва върху силната производителност на multi-vector моделите за мултимодално търсене и изтласква напред Pareto фронта за малки модели в най-широко използвания бенчмарк за търсене на документи, ViDoRe(V3). Макар да очакваме рендерите на документи да са най-честата форма на визуален вход, нашите модели поддържат и семантично търсене на изображения върху естествени изображения, като например пейзажни фотографии.

Обучение на семейство взаимнооперативни модели

Търсенето е фундаментално асиметрично: индексирането и кодирането на заявките имат различни оперативни ограничения. Индексирането се изпълнява офлайн и може да се паралелизира, така че изчислителната му цена се амортизира върху много бъдещи търсения. Кодирането на заявките се изпълнява онлайн за всяка заявка, което го прави чувствително към латентност и понякога подложено на ограничения на обслужването или edge устройството. Нашето семейство модели използва тази асиметрия, предлагайки размери, съобразени с всяка страна на retrieval pipeline-а.

Обучаваме 18B teacher контрастивно, след което го дистилираме отделно в 9B и 0,6B студенти. Вместо да обучаваме всеки студент само да възпроизвежда разпределението на ранжиране на учителя, използваме дистилация на представяния в стил LEAF: за всеки входен токен изравняваме изходния embedding на студента с този на учителя. Макар че дистилацията в пространството на представянията преди е била използвана за плътни модели с един вектор, ние я разширяваме към късно взаимодействие, където целта за изравняване е вектор за всеки запазен токен.

В резултат и двата публикувани checkpoint-а споделят едно и също много-векторно embedding пространство. Това позволява извличане между модели, което прави възможни допълнителни опции за внедряване.

• Максимално качество: кодирайте документи и заявки с 9B модела.
• Максимална ефективност: кодирайте документи и заявки с 0,6B модела за 100% локално инфериране
• Извличане с ниска латентност: изградете индекса на корпуса с 9B модела, след което кодирайте живите заявки с 0,6B модела, за да използвате изчисленията по време на индексиране, като същевременно запазите бързо търсене.
• Локално–облачено извличане: кодирайте частни локални документи или живи заявки с 0,6B модела на устройството и сравнявайте или обединявайте тези представяния с резултати от 9B индекс, хостван в облака.

За настройки, чувствителни към латентност, проектирахме 0,6B модела като лек кодер на заявки, който може да работи и на edge устройства. Изхождайки от Qwen3.5-0.8B, подрязахме неговия 24-слоен текстов стек до 12 слоя, намалявайки този стек от 498M до 240M параметъра без embeddings. Получилият се модел има общо 594M параметъра, но номиналният му размер надценява цената на обслужване: 100M се използват за кодиране на изображения, а 254M са в таблицата за token embeddings, което има малък ефект върху изпълнението. Само около 240M параметъра са активни за текстово кодиране и 340M за кодиране на изображения, което дава на модела цената на обслужване на значително по-малък модел, като същевременно запазва съвместимостта с 9B индекса.

Приложихме същия процес, за да построим нашия 18B teacher от 27B backbone, което направи teacher-а значително по-евтин за дистилиране, без да отслабва сигнала, който предоставя.

Многоезични, мултимодални, неконтаминирани данни за обучение

Обучаваме двата модела върху набор от 186 милиона двойки заявка-документ, извлечени от 594 набора данни на 46 езика. От тези двойки 88,3% са текст-към-текст, 8,3% са текст-към-изображение и 3,4% са текст-към-визуален-документ. Вместо да семплираме пропорционално на размера на набора данни, присвояваме на всеки набор тегло за семплиране, което дава по-балансирана обучаваща смес от съответно 56,5%, 30,9% и 12,6%.

При създаването на нашите данни за обучение изключваме всички набори данни, свързани с бенчмаркове, върху които оценяваме, за да представим вярно резултатите си, без да надуваме бенчмарк оценките. Това решение идва с компромиса, че някои от наборите данни, които избрахме да изключим, съдържат висококачествени данни, които биха могли да подобрят производителността на нашия модел по задачи, различни от бенчмарка, от който произхождат. В крайна сметка решихме да приемем тази цена: надеждните числа са по-полезни за нас по време на разработката и за потребителите при сравняване на модели.

Оценка

Оценяваме и двата модела върху текстово, визуално-документно, смесено-изображенско и агентно извличане. И двата модела превъзхождат оценените базови линии на Q2D-Web и BrowseComp+, и постигат силни резултати при визуално-документно извличане и MADQA.

Текстово извличане

Оценяваме текст-към-текст извличане върху три бенчмарка:

• Домейн-специфични бенчмаркове: Колекция от 72 задачи в стил MTEB, 55 в пет домейна (финанси, право, здраве, разговор, технологии), плюс 17 разнородни многоезични задачи. Колекцията включва задачи като FinQA, AILACasedocs и XLSum. Нито един от тези набори данни не присъства в нашите данни за обучение, както е описано по-горе.
• Q2D-Web: нашият бенчмарк за уеб-мащабно извличане с около 70 000 агентно преформулирани търсещи заявки, извлечени от продукционен трафик на търсене, върху корпус от 190M уеб документа. Този бенчмарк измерва производителността на извличане в среда, много по-близка до реалното уеб извличане от другите налични бенчмаркове за извличане, заради продукционно-подобните заявки и мащабния корпус.
• ViDoRe(V3) Markdown: ViDoRe(V3) обикновено е задача за текст-към-визуално-документно извличане, но може да бъде оценяван и като текстова задача, използвайки версия на корпуса, която е била парсирана в Markdown, което ни позволява да оценяваме извличане на богата на информация документация както във визуален, така и в текстов модалитет.

Измерваме производителността с nDCG@10, с изключение на Q2D-Web, където отчитаме Recall@1000 поради фокуса на бенчмарка върху сценарий за първичен етап на уеб извличане. През всички наши оценки сравняваме с водещи в индустрията embedding модели от различни размерни класове. За текстово извличане nemotron-embed-8b, gemini-embedding-2, voyage-large-4 и qwen3-embed-8b представляват най-силните и най-широко използвани плътни конкуренти, докато voyage-4-nano и qwen3-embed-0.6b служат като плътни базови линии под милиард параметъра. Допълнително сравняваме с наскоро пуснатите late-interaction модели topk-embed-v1 на TopK за бенчмарковете, за които TopK е публикувал резултати. Резултатите за ViDoRe(V3) са взети от техните model cards при 128 измерения, което съвпада с ширината на нашите token embeddings; резултатът за Q2D-Web е взет от нашата класация.

В домейн-специфичните бенчмаркове нашите 9B и 0,6B модели постигат средно съответно 81,3% и 78,0%. Нашият 9B модел постига най-високия резултат от всички модели, които оценихме, побеждавайки следващия най-добър модел с 1,6 пр. п. Нашият 0,6B модел е конкурентен на другите най-високо оценени модели, изоставайки само с 0,3 пр. п. от gemini-embedding-2. Важно е, че тъй като не сме обучавали върху нито едни от данните за тези бенчмарк задачи, домейн-специфичните бенчмаркове показват, че нашите embedding модели могат да генерализират към нови домейни.

Уголеми

Относителната сила на нашия 0,6B модел е още по-голяма при задачата ViDoRe(V3) Markdown; неговият резултат от 61,2% побеждава всички други модели с изключение на нашия 9B модел, който е постигнал 64,7%. Следващият най-добър външен модел е постигнал 60,6%, а следващият най-добър модел под 1B, topk-embed-v1-0.8b, изостава с 4,3 пр. п. от нашия 0,6B модел.

Уголеми

В Q2D-Web релевантността идва от три набора от оценки: документи, които агентът е цитирал (Citation), документи, класирани от нашата продукционна система за извличане (Web), и обединението на двете, разширено с LLM оценки на неетикетирани документи (Combined). И двата модела pplx-embed-v2-late водят спрямо всички базови линии и в трите набора от оценки. Фокусираме се върху комбинираните оценки, тъй като наборите Citation и Web са извлечени от това, което вече са показали нашите собствени системи, и затова облагодетелстват модели, които подреждат резултатите по същия начин; добавените в Combined LLM оценки обхващат документи, които нито една система не е извлякла. В този набор и нашият 9B, и нашият 0,6B модел побеждават всички конкуренти, достигайки резултати съответно 74,8% и 73,6%, срещу предишния най-добър резултат от 69,3%.

Уголеми

Визуално извличане

Нашият основен бенчмарк за визуално извличане е стандартното публично подмножество на ViDoRe(V3), където корпусът се състои от рендерирани изображения на страници, а не от Markdown конверсията. Сравняваме с два водещи плътни мултимодални модела, qwen3-vl-embed-8b и gemini-embedding-2, както и с моделите с късно взаимодействие topk-embed-v1. Освен това моделите EVIE на Tencent и Nemotron ColEmbed V2 на NVIDIA са multi-vector базови линии само за визия, обучени специално за задачи за извличане на изображения.

И двата ни модела постигат най-съвременна производителност за мултимодални модели. Нашият 9B модел отбелязва средно 65,2%, отстъпвайки само на EVIE. Нашият 0,6B модел постига резултат 62,3%, пред topk-embed-v1-2b и отстъпвайки само на значително по-големите EVIE и nemotron-colembed-v2-8b сред външните базови линии.

Уголеми

Нашият 0,6B модел е особено конкурентен от гледна точка на размера на модела. Той изпреварва всички сравними по размер модели и е в рамките на 1,2 пр. п. от nemotron-colembed-v2-8b, като активира само 340M параметъра за изображения. Нашите модели произвеждат 128-измерни embeddings на токен, в сравнение с 2,048 за EVIE-4.5B и 4,096 за EVIE-8B и nemotron-colembed-v2-8b. Тази разлика в разходите за съхранение може драстично да повлияе на сценариите, в които тези модели са практични за използване.

Уголеми

Оценяваме също визуално извличане върху MIRACL-Vision, бенчмарк, чийто корпус се състои от скрийншоти на статии в Wikipedia, и PPLX-Q2I, вътрешен бенчмарк, обхващащ както визуални документи, така и естествени изображения. PPLX-Q2I е изграден от продукционните логове за търсене на изображения на Perplexity и е проектиран да отразява разнообразието от случаи на употреба на търсенето на изображения. Използваме извадка от 10 000 заявки, стратифицирана по език и домейн, срещу корпус от 100 000 изображения; релевантните документи за всяка заявка са изображенията, показани за нея. Не оценихме EVIE-8B или Nemotron ColEmbed върху PPLX-Q2I, тъй като индексирането на корпус с такъв размер при техните подразбиращи се изходни размерности (2 560 за Nemotron ColEmbed 4B и 4 096 за Nemotron ColEmbed 8B и EVIE-8B) беше непрактично.

Подобно на представянето си във ViDoRe(V3), нашият 0,6B модел е конкурентен на значително по-големи модели, изоставайки само с 1 пр. п. от qwen3-vl-embed-8b в MIRACL-Vision. Нашият 9B модел превъзхожда всички други модели, с изключение на gemini-embedding-2.

В PPLX-Q2I и двата ни модела побеждават qwen3-vl-embedding-8b с преднина от над 9 пр. п., а нашият 9B модел изостава от gemini-embedding-2 само с 2 пр. п. Резултатите ни остават конкурентни върху корпуси, които съдържат както естествени изображения, така и визуални документи, така че много-векторните представяния, които се отплащат във ViDoRe(V3), не идват за сметка на общото търсене на изображения.

Уголеми

Извличане между модели

Резултатите в предходните раздели оценяват всеки модел спрямо корпус, който той сам е вградил. Споделеното embedding пространство означава, че това не е изискване: корпус, индексиран с 9B модела, може да се търси с заявки, вградени от 0,6B модела. Това е конфигурацията, която очакваме да използват повечето продукционни внедрявания, тъй като индексирането е еднократен разход, амортизиран през целия живот на корпуса, докато вграждането на заявките е в латентност-критичния път на всяка заявка.

Внедряване, което не може да изпълнява 9B модела по време на заявка, би индексирало и с 0,6B модела, така че симетричната 0,6B конфигурация е съответната точка за сравнение. Оценяваме спрямо 72-те домейн-специфични бенчмарка, използвани по-горе, и върху извличане на изображения ViDoRe v3. Заявките се вграждат с pplx-embed-v2-late-0.6b, а ние променяме само това, което е вградило корпуса.

Индексирането с 9B модела е строго подобрение. В домейн-специфичните бенчмаркове асиметричната конфигурация дава средно подобрение от 1,6 пр. п. При извличане на изображения ViDoRe v3 тя постига 63,5%, спрямо 62,3% с 0,6B модела и за двете страни, което е подобрение от 1,2 процентни пункта. Цената за кодиране на заявки е непроменена между симетричната 0,6B и асиметричната конфигурация, тъй като един и същ 0,6B модел кодира заявката и в двата случая; допълнителната цена за кодиране на документите се поема при индексирането.

Работата с 9B модела и от двете страни остава още по-добра, като средно постига 81,3% върху домейн-специфичните бенчмаркове. Следователно асиметричната конфигурация възстановява приблизително половината от разликата в качеството между двата модела за текст, без допълнителна цена за кодиране на заявките. Коя конфигурация да се избере зависи от това дали 9B моделът е достъпен по време на заявка; там, където не е, асиметричната настройка улавя значителна част от неговото предимство.

Уголеми

Агентно извличане

Агентното извличане е друга среда, в която много-векторните embeddings са особено силни. В BrowseComp+ LLM (GPT-OSS-120B в нашия случай) използва embedding модела, за да търси в корпус информация, релевантна за сложна потребителска заявка, а втори LLM преценява дали полученият отговор съвпада с истината. Нашият 9B модел постига 64,0% точност, побеждавайки следващия най-добър ColBERT модел с 4,9 пр. п. и следващия най-добър плътен модел с 8,7 пр. п., като същевременно извършва по-малко търсения от всеки друг модел, с изключение на нашия 0,6B. 0,6B моделът също изпреварва всеки модел извън нашето семейство.

Уголеми

MADQA тества агентно въпрос-отговор върху 800 разнородни реални PDF-а, обхващащи повече от 18 000 страници, с 500 човешки формулирани въпроса, които не могат да бъдат отговорени с общи знания. Един агент (Gemini 3.5 Flash в нашия случай) търси в колекцията с тестовия retriever и се оценява по точност на отговора и по page F1 спрямо анотираните страници с доказателства. Нашият 9B модел задава нов най-съвременен резултат сред retriever-ите с 92,4% точност, с 3,5 пр. п. пред същия агент, използващ retriever-а на Mixedbread; нашият 0,6B модел достига 90,1%. Също така отбелязваме, че нашият retriever постига конкурентни резултати спрямо Mixedbread Agentic Search, който използва под-агент за търсене в своята система за търсене, планиращ и изпълняващ няколко търсения на извикване от главния агент (93,4%, в рамките на нашия доверителен интервал).

Уголеми

Първи стъпки

И двата ни модела, 0,6B и 9B, са налични в Hugging Face и са съвместими веднага с sentence-transformers >= 6.0.0 и transformers >= 5.4.0. Допълнителни технически детайли и пълните резултати от оценяването ще бъдат публикувани в технически доклад по-късно тази година.

В момента обучаваме следващото поколение от нашите модели за плътни вграждания и постепенно ще въведем поддръжка на вграждания с късно взаимодействие, плътни и контекстуални вграждания в Perplexity API Platform.

Цитиране

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}