Încorporări multimodale dincolo de un singur vector

De la lansarea pplx-embed-v1 în februarie, am lucrat la o nouă generație de modele de încorporare. Săptămâna trecută, am introdus noul nostru model contextual de încorporare, pplx-embed-v2-context. Astăzi, extindem familia cu pplx-embed-v2-late, o colecție de modele cu interacțiune târzie. Pe lângă capabilități mai puternice de recuperare, modelele sunt primele care combină trei caracteristici de bază:

• Reprezentări multi-vector. În loc să comprimăm fiecare intrare într-un singur vector, aceste modele păstrează vectori la nivel de token pentru comparații mai granulare între interogare și document. Acest lucru permite diferitelor părți ale unei interogări să corespundă diferitelor părți ale unui document, păstrând detalii deosebit de valoroase pentru recuperarea multimodală.
• Suport pentru ambele modalități, text și imagine. Pe lângă capabilitățile de recuperare text-la-text ale modelelor noastre anterioare, aceste modele noi gestionează recuperarea text-la-imagine, permițându-le să caute direct în pagini PDF randate fără a necesita OCR sau text parsat.
• Un spațiu de încorporare partajat. Lansăm două dimensiuni de model, 0,6B și 9B, pentru a susține cerințe diferite de calitate, latență și calcul. Fiecare poate fi utilizat independent, dar spațiul de încorporare partajat permite, de asemenea, modelului mai mic să interogheze un index creat cu modelul mai mare, combinând încorporări ale documentelor de calitate mai mare cu inferență ieftină și rapidă la momentul interogării.

Aceste modele noi obțin rezultate de ultimă generație într-o serie de benchmarkuri de regăsire vizuală și textuală, precum și în sarcini agentice de răspuns la întrebări. De remarcat este faptul că, pe ViDoRe (V3), un benchmark de top pentru regăsirea documentelor vizuale, modelul nostru de 0,6B egalează modele cu de cinci ori mai mulți parametri activi. Ambele modele sunt disponibile public pe Hugging Face. Raportul nostru tehnic oferă mai multe detalii despre metodologie și rezultatele evaluării.

De la vectori unici la interacțiune târzie

Sistemele de recuperare trebuie să găsească un echilibru între eficiență și profunzimea interacțiunii dintre interogări și documente. Modelele dense de încorporare codifică fiecare interogare și fiecare document independent, permițând compararea lor cu un produs scalar ieftin. Acest lucru face practică căutarea aproximativă a celor mai apropiați vecini (ANN) peste miliarde de documente. La celălalt extrem, cross-encoderele procesează împreună interogarea și documentul, permițând o interacțiune mai bogată, dar necesitând un pas forward separat pentru fiecare candidat. Aplicarea acestui calcul pe un corpus mare de documente pentru fiecare căutare este prohibit de costisitoare, astfel că cross-encoderele sunt de obicei rezervate pentru rerangarea unui set mic de candidați recuperați.

Limitările încorporărilor dense

Reprezentarea unui document întreg cu un singur vector de dimensiune fixă creează un blocaj informațional. Pe măsură ce documentele devin mai lungi și acoperă mai multe subiecte, modelul trebuie să comprime mai mult conținut în același vector, ceea ce face mai dificilă păstrarea a tot ceea ce este relevant pentru o interogare. Fragmentarea în bucăți poate reduce această presiune, dar fragmentează documentul și poate separa informații care au sens doar împreună, o problemă pe care o abordăm și cu modelul nostru contextual de încorporare. Acest blocaj se agravează în setările multimodale, unde densitatea informațională a imaginilor necesită o compresie și mai mare.

Recuperarea densă cu un singur vector reduce, de asemenea, fiecare comparație la un produs scalar între doi vectori, limitând expresivitatea funcției de scor. Pentru o dimensiune fixă a încorporării și un corpus suficient de mare, unele tipare de scoruri între perechi interogare-document sunt imposibil de produs, indiferent de antrenare. Benchmarkul LIMIT transformă această preocupare teoretică într-un test de stres concret pentru recuperarea cu un singur vector.

Recuperarea cu interacțiune târzie

Modelele cu interacțiune târzie ocupă spațiul dintre modelele dense de încorporare, mai ieftine, și cross-encoderele mai expresive. La fel ca modelele dense, ele codifică documentele independent de interogare, permițând calcularea reprezentărilor documentelor offline. Totuși, în loc să reducă fiecare intrare la un singur vector, ele păstrează mai mulți vectori și folosesc o funcție de scor mai bogată atunci când compară o interogare cu un document.

Modelele noastre pplx-embed-v2-late folosesc o arhitectură de tip ColBERT, producând încorporări de 128 de dimensiuni pentru fiecare token din intrare. Evaluăm perechile interogare-document folosind MaxSim; pentru fiecare token al interogării, modelul selectează tokenul documentului cu cel mai mare scor și însumează similaritățile maxime per token pentru a produce scorul final. Acest lucru permite diferitelor părți ale unei interogări să corespundă diferitelor părți ale unui document, iar potrivirile mai puternice la nivel de token contribuie mai mult la scor.

Extinde

Această expresivitate suplimentară vine cu costuri mai mari de stocare și de scorare a candidaților. Recuperarea densă stochează un vector per document și punctează un candidat cu un singur produs scalar; interacțiunea târzie stochează vectori pentru tokenurile documentului și evaluează multe similarități token-la-token. Costul crește odată cu lungimea documentului, astfel că interacțiunea târzie necesită un alt compromis de indexare și servire decât recuperarea ANN cu un singur vector. În schimb, oferă o recuperare inițială mai bogată pentru corpusuri sensibile la calitate și poate servi, de asemenea, ca etapă ulterioară într-un pipeline mai mare de recuperare la scară web.

Un model, mai multe modalități

S-a demonstrat că această profunzime îmbunătățită a interacțiunii este foarte utilă pentru diverse sarcini, inclusiv recuperarea cu context lung, agentică și din afara domeniului. Această diferență este deosebit de evidentă în recuperarea multimodală, așa cum arată avansul mare al modelelor ColPali pe clasamentul ViDoRe(V3).

Corpusurile din lumea reală nu sunt compuse doar din text curat. Ele vin sub formă de PDF-uri, prezentări, capturi de ecran, pagini scanate, grafice și tabele. Pipeline-ul convențional parsează aceste documente, aplică OCR sau captioning și caută în textul rezultat, ceea ce este costisitor și introduce pierderi: poate introduce erori OCR și elimină layoutul, structura tabelelor, figurile și relațiile spațiale. Căutarea documentelor vizuale sare peste acest pas, proiectând pagina randată direct în spațiul de reprezentare unde interogările textuale o pot căuta.

Noua noastră familie de modele se bazează pe performanța solidă a modelelor multi-vector pentru căutarea multi-modală și avansează frontiera Pareto pentru modelele mici pe cel mai utilizat benchmark de căutare în documente, ViDoRe(V3). Deși ne așteptăm ca randările de documente să fie cea mai comună formă de intrare vizuală, modelele noastre suportă și căutarea semantică de imagini asupra imaginilor naturale, cum ar fi fotografiile de peisaj.

Antrenarea unei familii de modele interoperabile

Căutarea este fundamental asimetrică: indexarea și codificarea interogărilor au constrângeri operaționale diferite. Indexarea rulează offline și poate fi paralelizată, astfel că costul său de calcul este amortizat pe multe căutări viitoare. Codificarea interogărilor rulează online pentru fiecare cerere, ceea ce o face sensibilă la latență și uneori supusă limitărilor de servire sau de dispozitiv edge. Familia noastră de modele valorifică această asimetrie, oferind dimensiuni adaptate fiecărei părți a pipeline-ului de recuperare.

Antrenăm un profesor de 18B contrastiv, apoi îl distilăm separat în studenți de 9B și 0,6B. În loc să antrenăm fiecare student doar pentru a reproduce distribuția de ranking a profesorului, folosim distilare a reprezentării în stil LEAF: pentru fiecare token de intrare, aliniem embeddingul de ieșire al studentului cu cel al profesorului. Deși distilarea în spațiul reprezentărilor a fost folosită anterior pentru modele dense, cu un singur vector, o extindem aici la interacțiune târzie, unde ținta alinierii este un vector pentru fiecare token păstrat.

Ca rezultat, ambele checkpoint-uri lansate împart același spațiu de încorporare multi-vector. Acest lucru permite recuperarea între modele, făcând posibile opțiuni suplimentare de implementare.

• Calitate maximă: codificați documentele și interogările cu modelul de 9B.
• Eficiență maximă: codificați documentele și interogările cu modelul de 0,6B pentru inferență 100% locală
• Recuperare cu latență redusă: construiți indexul corpusului cu modelul de 9B, apoi codificați interogările live cu modelul de 0,6B pentru a valorifica calculul la momentul indexării, păstrând în același timp căutarea rapidă.
• Recuperare local–cloud: codificați documentele locale private sau interogările live cu modelul de 0,6B pe dispozitiv și comparați sau îmbinați aceste reprezentări cu rezultatele dintr-un index de 9B găzduit în cloud.

Pentru setările sensibile la latență, am proiectat modelul de 0,6B ca un codificator de interogări ușor, care poate rula și pe dispozitive edge. Pornind de la Qwen3.5-0.8B, tăiem tower-ul său text de 24 de straturi la 12 straturi, reducând acel tower de la 498M la 240M parametri care nu sunt de embedding. Modelul rezultat are în total 594M de parametri, dar dimensiunea sa nominală supraestimează costul de servire: 100M sunt folosiți pentru codificarea imaginilor, iar 254M se află în tabelul de embedding al tokenurilor, care are un efect redus asupra rulării. Doar aproximativ 240M de parametri sunt activi pentru codificarea textului și 340M pentru codificarea imaginilor, oferind modelului costul de servire al unui model semnificativ mai mic, păstrând în același timp compatibilitatea cu indexul de 9B.

Am aplicat același proces pentru a construi profesorul nostru de 18B dintr-un backbone de 27B, ceea ce a făcut profesorul considerabil mai ieftin de distilat fără a slăbi semnalul pe care îl oferă.

Date de antrenare multilingve, multimodale, necontaminate

Antrenăm ambele modele pe un set de date de 186 de milioane de perechi interogare-document extrase din 594 de seturi de date în 46 de limbi. Dintre aceste perechi, 88,3% sunt text-la-text, 8,3% sunt text-la-imagine, iar 3,4% sunt perechi text-la-document vizual. În loc să eșantionăm proporțional cu mărimea setului de date, atribuim fiecărui set de date o pondere de eșantionare, ceea ce produce un amestec de antrenare mai echilibrat de 56,5%, 30,9% și, respectiv, 12,6%.

Atunci când construim datele de antrenare, excludem orice seturi de date asociate cu benchmarkurile pe care le evaluăm, pentru a reprezenta fidel rezultatele noastre fără a umfla scorurile benchmarkurilor. Această decizie vine cu compromisuri, deoarece unele dintre seturile de date pe care am ales să le excludem conțin date de înaltă calitate, care ar putea îmbunătăți performanța modelului nostru la sarcini din afara benchmarkului din care au provenit. În cele din urmă, am ales să acceptăm acest cost: cifrele de încredere sunt mai utile pentru noi în timpul dezvoltării și pentru utilizatori atunci când compară modelele.

Evaluare

Evaluăm ambele modele pe recuperare de text, de documente vizuale, mixtă imagine și agentică. Ambele modele depășesc reperele evaluate pe Q2D-Web și BrowseComp+ și obțin rezultate solide la recuperarea documentelor vizuale și MADQA.

Recuperare de text

Evaluăm recuperarea text-la-text pe trei benchmarkuri:

• Benchmarkuri specifice domeniului: O colecție de 72 de sarcini în stil MTEB, dintre care 55 acoperă cinci domenii (finanțe, juridic, sănătate, conversație, tehnologie), plus 17 sarcini multilingve diverse. Colecția include sarcini precum FinQA, AILACasedocs și XLSum. Niciunul dintre aceste seturi de date nu apare în datele noastre de antrenare, așa cum s-a descris mai sus.
• Q2D-Web: benchmarkul nostru de recuperare la scară web, de aproximativ 70.000 de interogări de căutare reformulate de agent, extrase din traficul de căutare din producție, peste un corpus de 190M de documente web. Acest benchmark măsoară performanța recuperării într-un context mult mai apropiat de recuperarea web din lumea reală decât alte benchmarkuri de recuperare disponibile, datorită interogărilor asemănătoare celor din producție și corpusului la scară mare.
• ViDoRe(V3) Markdown: ViDoRe(V3) este de obicei o sarcină de recuperare text-la-document vizual, dar poate fi evaluat și ca sarcină text, folosind o versiune a corpusului care a fost parsată în Markdown, permițându-ne să evaluăm recuperarea documentelor bogate în informații atât în modalitatea imagine, cât și în cea text.

Măsurăm performanța folosind nDCG@10, cu excepția Q2D-Web, unde raportăm Recall@1000 datorită focusului benchmarkului pe un scenariu de recuperare web în primă etapă. Pe parcursul evaluărilor noastre, comparăm cu modele de încorporare lider în industrie, din diferite clase de dimensiune. Pentru recuperarea textului, nemotron-embed-8b, gemini-embedding-2, voyage-large-4 și qwen3-embed-8b reprezintă cei mai puternici și mai utilizați competitori densi, în timp ce voyage-4-nano și qwen3-embed-0.6b servesc drept repere dense cu sub un miliard de parametri. Comparăm suplimentar cu modelele cu interacțiune târzie topk-embed-v1 ale TopK, recent lansate, pe benchmarkurile pentru care TopK a publicat rezultate. Scorurile ViDoRe(V3) sunt preluate din model cards-urile lor la 128 de dimensiuni, corespunzând lățimii embeddingurilor noastre de token; scorul Q2D-Web este preluat din clasamentul nostru.

Pe reperele specifice domeniului, modelele noastre de 9B și 0,6B obțin în medie 81,3% și, respectiv, 78,0%. Modelul nostru de 9B obține cel mai mare scor dintre toate modelele pe care le-am evaluat, depășind următorul cel mai bun model cu 1,6 pp. Modelul nostru de 0,6B este competitiv cu celelalte modele cu scoruri de top, fiind cu doar 0,3 pp în urma gemini-embedding-2. Important, deoarece nu am antrenat pe niciunul dintre datele pentru aceste sarcini de benchmark, reperele specifice domeniului demonstrează că modelele noastre de încorporare pot generaliza la domenii noi.

Extinde

Forța relativă a modelului nostru de 0,6B este și mai mare pe sarcina ViDoRe(V3) Markdown; scorul său de 61,2% depășește toate celelalte modele, cu excepția modelului nostru de 9B, care a obținut 64,7%. Următorul cel mai bun model extern a obținut 60,6%, iar următorul cel mai bun model sub 1B, topk-embed-v1-0.8b, a fost cu 4,3 pp în urma modelului nostru de 0,6B.

Extinde

Pe Q2D-Web, relevanța provine din trei seturi de judecăți: documente citate de agent (Citație), documente clasate de sistemul nostru de recuperare din producție (Web) și uniunea ambelor, extinsă cu judecăți LLM asupra documentelor fără etichete (Combined). Ambele modele pplx-embed-v2-late conduc în fața tuturor reperelor pe toate cele trei seturi de judecăți. Ne concentrăm pe judecățile combinate, deoarece seturile Citație și Web sunt derivate din ceea ce sistemele noastre au afișat deja și astfel favorizează modelele care clasează la fel; judecățile LLM adăugate în Combined acoperă documente pe care niciunul dintre sisteme nu le-a recuperat. Pe acel set, ambele modele ale noastre, de 9B și 0,6B, depășesc toți competitorii, obținând scoruri de 74,8% și, respectiv, 73,6%, față de cel mai bun scor anterior de 69,3%.

Extinde

Recuperare vizuală

Principalul nostru reper vizual de căutare este subsetul public standard din ViDoRe (V3), unde corpusul este alcătuit din imagini de pagini randate, nu din conversia Markdown. Comparăm cu două modele dense de viziune-limbaj de top, qwen3-vl-embed-8b și gemini-embedding-2, precum și cu modelele cu interacțiune târzie topk-embed-v1. În plus, modelele EVIE de la Tencent și modelele Nemotron ColEmbed V2 de la NVIDIA sunt repere multi-vector „doar pentru viziune”, antrenate specific pentru sarcini de căutare de imagini.

Ambele modele ale noastre ating performanțe de ultimă generație pentru modelele viziune-limbaj. Modelul nostru de 9B obține un scor mediu de 65,2%, fiind depășit doar de EVIE. Modelul nostru de 0,6B obține un scor de 62,3%, peste topk-embed-v1-2b și depășit doar de mult mai marii EVIE și nemotron-colembed-v2-8b dintre reperele externe.

Extinde

Modelul nostru de 0,6B este deosebit de competitiv în contextul dimensiunii modelului. Este înaintea tuturor modelelor comparabile ca mărime și la doar 1,2 pp de nemotron-colembed-v2-8b, activând în același timp doar 340M de parametri pentru intrările de imagine. Modelele noastre produc încorporări de 128 de dimensiuni per token, comparativ cu 2.048 pentru EVIE-4.5B și 4.096 pentru EVIE-8B și nemotron-colembed-v2-8b. Această diferență în costurile de stocare poate afecta drastic scenariile în care aceste modele sunt practice de utilizat.

Extinde

De asemenea, evaluăm recuperarea vizuală pe MIRACL-Vision, un benchmark al cărui corpus constă în capturi de ecran ale articolelor Wikipedia, și PPLX-Q2I, un benchmark intern care acoperă atât documente vizuale, cât și imagini naturale. PPLX-Q2I este construit din jurnalele de căutare de imagini din producție ale Perplexity și conceput pentru a reflecta diversitatea cazurilor de utilizare a căutării de imagini. Folosim un eșantion de 10.000 de interogări, stratificat după limbă și domeniu, pe un corpus de 100.000 de imagini; documentele relevante pentru fiecare interogare sunt imaginile servite pentru ea. Nu am evaluat EVIE-8B sau Nemotron ColEmbed pe PPLX-Q2I, deoarece indexarea unui corpus de această dimensiune la dimensionalitățile lor implicite de ieșire (2.560 pentru Nemotron ColEmbed 4B și 4.096 pentru Nemotron ColEmbed 8B și EVIE-8B) era nepracticabilă.

Asemenea performanței sale pe ViDoRe(V3), modelul nostru de 0,6B este competitiv cu modele mult mai mari, fiind cu doar 1 pp în urma qwen3-vl-embed-8b pe MIRACL-Vision. Modelul nostru de 9B depășește toate celelalte modele, cu excepția gemini-embedding-2.

Pe PPLX-Q2I, ambele modele ale noastre depășesc qwen3-vl-embedding-8b cu peste 9 pp, iar modelul nostru de 9B este în urma gemini-embedding-2 cu doar 2 pp. Rezultatele noastre rămân competitive pe corpusuri care conțin atât imagini naturale, cât și documente vizuale, astfel că reprezentările multi-vector care aduc beneficii pe ViDoRe(V3) nu vin în detrimentul căutării generale de imagini.

Extinde

Recuperare între modele

Rezultatele din secțiunile anterioare evaluează fiecare model pe un corpus pe care l-a încorporat el însuși. Spațiul de încorporare partajat înseamnă că aceasta nu este o cerință: un corpus indexat de modelul de 9B poate fi căutat cu interogări încorporate de modelul de 0,6B. Aceasta este configurația pe care ne așteptăm să o folosească majoritatea implementărilor de producție, deoarece indexarea este un cost unic amortizat pe durata de viață a corpusului, în timp ce încorporarea interogărilor rulează pe calea critică de latență a fiecărei cereri.

O implementare care nu poate rula modelul de 9B la momentul interogării ar indexa altfel și cu modelul de 0,6B, astfel că acea configurație simetrică de 0,6B este punctul relevant de comparație. Evaluăm pe cele 72 de benchmarkuri specifice domeniului folosite mai sus și pe recuperarea imaginilor ViDoRe v3. Interogările sunt încorporate cu pplx-embed-v2-late-0.6b, iar noi variem doar ce a încorporat corpusul.

Indexarea cu modelul de 9B este o îmbunătățire strictă. Pe benchmarkurile specifice domeniului, configurația asimetrică obține în medie un câștig de 1,6 pp. Pe recuperarea imaginilor ViDoRe v3, aceasta obține 63,5%, în creștere de la 62,3% cu modelul de 0,6B pe ambele părți, un câștig de 1,2 puncte procentuale. Costul de codificare a interogărilor rămâne neschimbat între configurațiile simetrică de 0,6B și asimetrică, deoarece același model de 0,6B codifică interogarea în ambele cazuri; costul suplimentar de codificare a documentelor este suportat la momentul indexării.

Rularea modelului de 9B pe ambele părți rămâne și mai bună, obținând în medie 81,3% pe benchmarkurile specifice domeniului. Configurația asimetrică recuperează astfel aproximativ jumătate din diferența de calitate dintre cele două modele pe text, fără cost suplimentar de codificare a interogărilor. Alegerea configurației depinde de faptul dacă modelul de 9B este accesibil la momentul interogării; acolo unde nu este, configurația asimetrică surprinde o parte substanțială din beneficiul său.

Extinde

Recuperare agentică

Recuperarea agentică este un alt context în care încorporările multi-vector sunt deosebit de puternice. În BrowseComp+, un LLM (GPT-OSS-120B în cazul nostru) folosește modelul de încorporare pentru a căuta într-un corpus informații relevante pentru o interogare complexă a utilizatorului, iar un al doilea LLM judecă dacă răspunsul rezultat se potrivește cu adevărul de referință. Modelul nostru de 9B obține o acuratețe de 64,0%, depășind următorul cel mai bun model ColBERT cu 4,9 pp și următorul cel mai bun model dens cu 8,7 pp, în timp ce emite mai puține căutări decât orice alt model, cu excepția modelului nostru de 0,6B. Modelul de 0,6B este, de asemenea, înaintea tuturor modelelor din afara familiei noastre.

Extinde

MADQA testează întrebări-răspuns agentice pe 800 de PDF-uri reale, eterogene, care însumează peste 18.000 de pagini, cu 500 de întrebări redactate de oameni care nu pot fi răspunse din cunoștințe generale. Un agent (Gemini 3.5 Flash în cazul nostru) caută în colecție cu retrieverul aflat în test și este punctat pe acuratețea răspunsului și pe F1 la nivel de pagină față de paginile de dovezi adnotate. Modelul nostru de 9B stabilește o nouă stare a artei între retrievere, cu o acuratețe de 92,4%, cu 3,5 pp înaintea aceluiași agent folosind retrieverul Mixedbread; modelul nostru de 0,6B atinge 90,1%. De asemenea, observăm că retrieverul nostru obține rezultate competitive în fața Mixedbread Agentic Search, care folosește un sub-agent de căutare în sistemul lor de căutare ce planifică și rulează mai multe căutări per apel de la agentul principal (93,4%, în interiorul intervalului nostru de încredere).

Extinde

Introducere

Atât modelul nostru de 0,6B, cât și cel de 9B sunt disponibile pe Hugging Face și sunt compatibile imediat cu sentence-transformers >= 6.0.0 și transformers >= 5.4.0. Mai multe detalii tehnice și rezultatele complete ale evaluării vor fi publicate într-un raport tehnic mai târziu în acest an.

În prezent antrenăm următoarea generație a modelelor noastre de embedding dens și vom lansa treptat suportul pentru embeddinguri de tip late-interaction, dense și contextuale pe Perplexity API Platform.

Citație

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}