Multimodalni embeddingi izvan jednog vektora

Od objave pplx-embed-v1 u februaru, radimo na novoj generaciji embedding modela. Prošle nedelje predstavili smo naš novi kontekstualni embedding model, pplx-embed-v2-context. Danas proširujemo porodicu sa pplx-embed-v2-late, kolekcijom modela sa kasnom interakcijom. Uz jače mogućnosti pronalaženja, to su prvi modeli koji kombinuju tri osnovne karakteristike:

• Viševektorske reprezentacije. Umesto da svaki ulaz kompresuju u jedan vektor, ovi modeli zadržavaju vektore na nivou tokena radi detaljnijih poređenja upita i dokumenata. To omogućava da različiti delovi upita odgovaraju različitim delovima dokumenta, čuvajući detalje koji su posebno vredni za multimodalno pronalaženje.
• Podrška i za tekstualni i za slikovni modalitet. Pored mogućnosti pronalaženja tekst-tekst naših prethodnih modela, ovi novi modeli podržavaju pronalaženje tekst-slika, što im omogućava da direktno pretražuju renderovane PDF stranice bez potrebe za OCR-om ili parsiranim tekstom.
• Zajednički embedding prostor. Objavljujemo dve veličine modela, 0.6B i 9B, kako bismo podržali različite zahteve za kvalitet, latenciju i računarske resurse. Svaki može da se koristi nezavisno, ali zajednički embedding prostor takođe omogućava manjem modelu da pretražuje indeks kreiran većim modelom, kombinujući kvalitetnije embeddinge dokumenata sa jeftinim i brzim izvođenjem pri upitu.

Ovi novi modeli postižu vrhunske rezultate na nizu referentnih testova za vizuelno i tekstualno pretraživanje, kao i na zadacima agentskog odgovaranja na pitanja. Posebno vredi istaći da se na ViDoRe (V3), vodećem referentnom testu za pretraživanje vizuelnih dokumenata, naš model sa 0,6 milijardi parametara izjednačava sa modelima koji imaju pet puta više aktivnih parametara. Oba modela su javno dostupna na platformi Hugging Face. Naš tehnički izveštaj pruža više detalja o metodologiji i rezultatima evaluacije.

Od jednovektorskih do kasne interakcije

Sistemi za pronalaženje moraju da pronađu ravnotežu između efikasnosti i dubine interakcije između upita i dokumenata. Gusta embedding modela kodiraju svaki upit i dokument nezavisno, što omogućava da se porede jeftinim unutrašnjim proizvodom. To čini praktičnom približno najbližu pretragu suseda (ANN) nad milijardama dokumenata. U drugom ekstremu, cross-encoderi obrađuju upit i dokument zajedno, omogućavajući bogatiju interakciju, ali zahtevaju zaseban prolaz unapred za svakog kandidata. Primena tog proračuna na veliki korpus dokumenata za svaku pretragu je previsoko skupa, pa se cross-encoderi obično koriste samo za rerangiranje malog skupa pronađenih kandidata.

Ograničenja gustih embeddinga

Predstavljanje celog dokumenta jednim vektorom fiksne veličine stvara usko grlo za informacije. Kako dokumenti postaju duži i obuhvataju više tema, model mora da kompresuje više sadržaja u isti vektor, što otežava očuvanje svega relevantnog za upit. Sečenje na delove može da smanji ovaj pritisak, ali fragmentiše dokument i može da razdvoji informacije koje imaju smisla samo zajedno, problem kojim se bavimo i našim kontekstualnim embedding modelom. Ovo usko grlo se pogoršava u multimodalnim postavkama, gde gustina informacija u slikama zahteva još veću kompresiju.

Gusto pronalaženje sa jednim vektorom takođe svako poređenje svodi na unutrašnji proizvod između dva vektora, ograničavajući izražajnost funkcije bodovanja. Za fiksnu dimenziju embeddinga i dovoljno veliki korpus, neki obrasci rezultata preko parova upit-dokument nemoguće je proizvesti, bez obzira na treniranje. LIMIT benchmark pretvara ovu teorijsku zabrinutost u konkretan stres-test za pronalaženje sa jednim vektorom.

Pronalaženje sa kasnom interakcijom

Modeli sa kasnom interakcijom zauzimaju prostor između jeftinijih gustih embedding modela i izražajnijih cross-encoder modela. Kao i gusti modeli, oni kodiraju dokumente nezavisno od upita, što omogućava da se reprezentacije dokumenata izračunaju unapred. Međutim, umesto da svaki ulaz svedu na jedan vektor, oni zadržavaju više vektora i koriste bogatiju funkciju bodovanja pri poređenju upita sa dokumentom.

Naši modeli pplx-embed-v2-late koriste arhitekturu u stilu ColBERT-a, proizvodeći embeddinge od 128 dimenzija za svaki token u ulazu. Parove upit-dokument bodujemo pomoću MaxSim; za svaki token upita, model bira token dokumenta sa najvišim rezultatom i sabira maksimalne sličnosti po tokenu da bi proizveo konačni rezultat. To omogućava da različiti delovi upita odgovaraju različitim delovima dokumenta, pri čemu jače podudaranje tokena doprinosi više rezultatu.

Uvećaj

Ova dodatna izražajnost dolazi uz veće troškove skladištenja i bodovanja kandidata. Gusto pronalaženje skladišti jedan vektor po dokumentu i boduje kandidata jednim unutrašnjim proizvodom; kasna interakcija skladišti vektore za tokene dokumenta i izračunava mnoge sličnosti token-na-token. Trošak raste sa dužinom dokumenta, pa kasna interakcija zahteva drugačiji kompromis između indeksiranja i serviranja nego ANN pronalaženje sa jednim vektorom. Zauzvrat, obezbeđuje bogatije prvo fazno pronalaženje za korpuse osetljive na kvalitet i može takođe služiti kao kasnija faza u većem pipeline-u za pronalaženje na nivou veba.

Jedan model, više modaliteta

Pokazalo se da je ova poboljšana dubina interakcije veoma korisna za različite zadatke, uključujući pronalaženje sa dugim kontekstom, agentno i pronalaženje van domena. Ova razlika je naročito očigledna u multimodalnom pronalaženju, što pokazuje velika prednost ColPali modela na rang-listi ViDoRe(V3).

Korpusi iz stvarnog sveta nisu sastavljeni samo od čistog teksta. Dolaze kao PDF-ovi, prezentacije, snimci ekrana, skenirane stranice, grafikoni i tabele. Uobičajeni pipeline parsira ove dokumente, primenjuje OCR ili generisanje opisa i pretražuje nastali tekst, što je skupo i gubitaško: može uvesti OCR greške i odbacuje raspored, strukturu tabela, figure i prostorne odnose. Vizuelna pretraga dokumenata preskače taj korak, projektujući renderovanu stranicu direktno u prostor reprezentacije gde je mogu pretraživati tekstualni upiti.

Naša nova porodica modela nadovezuje se na snažne performanse viševektorskih modela za višemodalnu pretragu i pomera Pareto granicu za male modele na najšire korišćenom benchmarku za pretragu dokumenata, ViDoRe(V3). Iako očekujemo da će renderi dokumenata biti najčešći oblik vizuelnog ulaza, naši modeli takođe podržavaju semantičku pretragu slika nad prirodnim slikama, poput pejzažnih fotografija.

Treniranje porodice međusobno interoperabilnih modela

Pretraga je suštinski asimetrična: indeksiranje i enkodiranje upita imaju različita operativna ograničenja. Indeksiranje se obavlja van mreže i može se paralelizovati, pa se njegov računarski trošak amortizuje kroz mnoge buduće pretrage. Enkodiranje upita se obavlja onlajn za svaki zahtev, što ga čini osetljivim na latenciju i ponekad podložno ograničenjima servisa ili edge uređaja. Naša porodica modela koristi ovu asimetriju, nudeći veličine prilagođene svakoj strani pipeline-a za pronalaženje.

Treniramo 18B učitelj model kontrastivno, a zatim ga zasebno destiliramo u 9B i 0.6B učenik modele. Umesto da svakog učenika treniramo samo da reprodukuje raspodelu rangiranja učitelja, koristimo distilaciju reprezentacija u stilu LEAF: za svaki ulazni token usklađujemo izlazni embedding učenika sa učiteljevim. Iako je distilacija u prostoru reprezentacija ranije korišćena za guste modele sa jednim vektorom, mi je proširujemo na kasnu interakciju, gde je cilj usklađivanja vektor za svaki sačuvani token.

Kao rezultat toga, oba objavljena checkpointa dele isti viševektorski embedding prostor. To omogućava pronalaženje među modelima i otvara dodatne mogućnosti primene.

• Najviši kvalitet: enkodirajte dokumente i upite pomoću 9B modela.
• Najveća efikasnost: enkodirajte dokumente i upite pomoću 0.6B modela za 100% lokalno izvođenje
• Pronalaženje sa niskom latencijom: izgradite indeks korpusa pomoću 9B modela, a zatim enkodirajte upite uživo pomoću 0.6B modela kako biste iskoristili računanje u fazi indeksiranja, uz zadržavanje brzine upita.
• Lokalno–oblak pronalaženje: enkodirajte privatne lokalne dokumente ili upite uživo pomoću 0.6B modela na uređaju, i uporedite ili spojite te reprezentacije sa rezultatima iz 9B indeksa hostovanog u oblaku.

Za postavke osetljive na latenciju, dizajnirali smo 0.6B model kao lagani enkoder upita koji može da radi i na edge uređajima. Polazeći od Qwen3.5-0.8B, orezali smo njegov tekstualni toranj sa 24 sloja na 12 slojeva, smanjujući taj toranj sa 498M na 240M ne-embedding parametara. Rezultujući model ima ukupno 594M parametara, ali njegova nominalna veličina precenjuje trošak serviranja: 100M se koristi za enkodiranje slika, a 254M se nalazi u tabeli token-embeddinga, što ima mali uticaj na vreme izvođenja. Aktivno je samo oko 240M parametara za enkodiranje teksta i 340M za enkodiranje slika, što modelu daje trošak serviranja znatno manjeg modela uz zadržanu kompatibilnost sa 9B indeksom.

Isti postupak primenili smo da izgradimo naš 18B učitelj model iz 27B osnove, što je učitelja učinilo znatno jeftinijim za destilaciju bez slabljenja signala koji pruža.

Višejezični, multimodalni, nekontaminirani podaci za treniranje

Oba modela treniramo na skupu podataka od 186 miliona parova upit-dokument izvučenih iz 594 skupa podataka na 46 jezika. Od tih parova, 88,3% su tekst-tekst, 8,3% tekst-slika, a 3,4% tekst-vizuelni-dokument parovi. Umesto uzorkovanja proporcionalno veličini skupa podataka, svakom skupu podataka dodeljujemo težinu uzorkovanja, što daje uravnoteženiju mešavinu za treniranje od 56,5%, 30,9% i 12,6%, respektivno.

Prilikom konstruisanja naših podataka za treniranje, isključujemo sve skupove podataka povezane sa benchmarkovima na kojima vršimo evaluaciju kako bismo verno predstavili naše rezultate bez naduvavanja rezultata benchmarka. Ova odluka nosi kompromis da neki od skupova podataka koje smo odlučili da isključimo sadrže visokokvalitetne podatke koji bi mogli poboljšati performanse našeg modela na zadacima osim onog benchmarka iz kojeg su potekli. Na kraju, odlučili smo da prihvatimo taj trošak: pouzdani brojevi su nam korisniji tokom razvoja, a korisnicima pri poređenju modela.

Evaluacija

Oba modela evaluiramo kroz tekstualno, vizuelno-dokumentno, mešano-slikovno i agentno pronalaženje. Oba modela nadmašuju evaluirane baseline modele na Q2D-Web i BrowseComp+, i postižu snažne rezultate na vizuelno-dokumentnom pronalaženju i MADQA.

Tekstualno pronalaženje

Evaluiramo pronalaženje tekst-tekst na tri benchmarka:

• Benchmarkovi specifični za domen: Zbirka od 72 zadatka u MTEB stilu, 55 kroz pet domena (finansije, pravo, zdravstvo, razgovor, tehnologija), plus 17 raznovrsnih višejezičnih zadataka. Zbirka uključuje zadatke kao što su FinQA, AILACasedocs i XLSum. Nijedan od ovih skupova podataka nije prisutan u našim podacima za treniranje, kao što je gore opisano.
• Q2D-Web: naš web-scale benchmark za pronalaženje od oko 70.000 agentom reformulisanih pretraga, izvedenih iz produkcionog pretraživačkog saobraćaja, nad korpusom od 190M veb dokumenata. Ovaj benchmark meri performanse pronalaženja u okruženju mnogo bližem stvarnom web pronalaženju nego drugi dostupni benchmarkovi za pronalaženje, zbog svojih produkcionih upita i korpusa velikog obima.
• ViDoRe(V3) Markdown: ViDoRe(V3) je tipično zadatak tekst-vizuelni-dokument pronalaženja, ali se može evaluirati i kao tekstualni zadatak koristeći verziju korpusa koja je parsirana u Markdown, što nam omogućava da evaluiramo pronalaženje dokumenata bogatih informacijama i u slikovnom i u tekstualnom modalitetu.

Performanse merimo pomoću nDCG@10, osim na Q2D-Web, gde prijavljujemo Recall@1000 zbog fokusa benchmarka na scenariju prvog stadijuma web pronalaženja. Tokom naših evaluacija, poređujemo se sa vodećim industrijskim embedding modelima različitih veličina. Za tekstualno pronalaženje, nemotron-embed-8b, gemini-embedding-2, voyage-large-4 i qwen3-embed-8b predstavljaju najjače i najčešće korišćene guste konkurente, dok voyage-4-nano i qwen3-embed-0.6b služe kao guste baseline opcije ispod milijarde parametara. Dodatno poređujemo sa nedavno objavljenim TopK topk-embed-v1 modelima sa kasnom interakcijom na benchmarkovima za koje je TopK objavio rezultate. Rezultati za ViDoRe(V3) preuzeti su iz njihovih model kartica na 128 dimenzija, što odgovara širini naših token embeddinga; rezultat za Q2D-Web preuzet je sa naše rang-liste.

Na benchmarkovima specifičnim za domen, naši 9B i 0.6B modeli u proseku postižu 81,3% i 78,0%. Naš 9B model ostvaruje najviši rezultat od svih modela koje smo evaluirali, nadmašivši sledeći najbolji model za 1,6 pp. Naš 0.6B model je konkurentan drugim modelima sa najvišim rezultatima, zaostajući svega 0,3 pp za gemini-embedding-2. Važno je da, pošto nismo trenirali ni na jednom podatku za ove benchmark zadatke, benchmarkovi specifični za domen pokazuju da naši embedding modeli mogu da generalizuju na nove domene.

Uvećaj

Relativna snaga našeg 0.6B modela je još veća na zadatku ViDoRe(V3) Markdown; njegov rezultat od 61,2% nadmašuje sve ostale modele osim našeg 9B modela, koji je postigao 64,7%. Sledeći najbolji spoljašnji model postigao je 60,6%, a sledeći najbolji model ispod 1B, topk-embed-v1-0.8b, zaostajao je 4,3 pp za našim 0.6B modelom.

Uvećaj

Na Q2D-Web, relevantnost potiče iz tri skupa procena: dokumenti koje je agent citirao (Citation), dokumenti rangirani našim produkcionim sistemom za pronalaženje (Web) i unija oba, proširena LLM procenama neoznačenih dokumenata (Combined). Oba modela pplx-embed-v2-late prednjače nad svakim baseline modelom na sva tri skupa procena. Fokusiramo se na kombinovane procene, pošto su skupovi Citation i Web izvedeni iz onoga što su naši sopstveni sistemi već izbacili na površinu i zato favorizuju modele koji rangiraju kao oni; LLM procene dodate u Combined pokrivaju dokumente koje nijedan sistem nije pronašao. Na tom skupu, i naš 9B i 0.6B model nadmašuju sve konkurente, ostvarujući rezultate od 74,8% i 73,6%, respektivno, u odnosu na prethodno najbolji rezultat od 69,3%.

Uvećaj

Vizuelno pronalaženje

Naš primarni vizuelni benchmark za pronalaženje je standardni javni podskup ViDoRe(V3), gde korpus čine renderovane slike stranica, a ne Markdown konverzija. Poređenje vršimo u odnosu na dva vodeća gusta vision-language modela, qwen3-vl-embed-8b i gemini-embedding-2, i u odnosu na kasnu-interakciju topk-embed-v1 modele. Pored toga, Tencentovi EVIE modeli i NVIDIA-ini Nemotron ColEmbed V2 modeli su „samo-za-viziju“ viševektorski baseline modeli posebno trenirani za zadatke pronalaženja slika.

Oba naša modela postižu vrhunske rezultate za vision-language modele. Naš 9B model postiže 65,2% u proseku, zaostajući samo za EVIE. Naš 0.6B model postiže rezultat od 62,3%, ispred topk-embed-v1-2b i zaostajući samo za znatno većim EVIE i nemotron-colembed-v2-8b među spoljnim baseline modelima.

Uvećaj

Naš 0.6B model je posebno konkurentan u kontekstu veličine modela. Ispred je svih modela uporedive veličine i unutar 1,2 pp od nemotron-colembed-v2-8b, dok aktivira samo 340M parametara za ulazne slike. Naši modeli proizvode embeddinge od 128 dimenzija po tokenu, u poređenju sa 2.048 za EVIE-4.5B i 4.096 za EVIE-8B i nemotron-colembed-v2-8b. Ova razlika u troškovima skladištenja može drastično uticati na scenarije u kojima je ove modele praktično koristiti.

Uvećaj

Takođe evaluiramo vizuelno pronalaženje na MIRACL-Vision, benchmarku čiji korpus čine screenshotovi članaka sa Wikipedije, i PPLX-Q2I, internom benchmarku koji pokriva i vizuelne dokumente i prirodne slike. PPLX-Q2I je napravljen iz produkcionih logova pretrage slika Perplexity-ja i osmišljen da odražava raznovrsnost slučajeva upotrebe pretrage slika. Koristimo uzorak od 10.000 upita, stratifikovan po jeziku i domenu, nad korpusom od 100.000 slika; relevantni dokumenti za svaki upit su slike koje su mu servirane. Nismo evaluirali EVIE-8B ni Nemotron ColEmbed na PPLX-Q2I, jer je indeksiranje korpusa te veličine na njihovim podrazumevanim izlaznim dimenzionalnostima (2.560 za Nemotron ColEmbed 4B i 4.096 za Nemotron ColEmbed 8B i EVIE-8B) bilo nepraktično.

Slično njegovim rezultatima na ViDoRe(V3), naš 0.6B model je konkurentan mnogo većim modelima, zaostajući samo 1 pp za qwen3-vl-embed-8b na MIRACL-Vision. Naš 9B model nadmašuje sve ostale modele osim gemini-embedding-2.

Na PPLX-Q2I, oba naša modela nadmašuju qwen3-vl-embedding-8b za više od 9 pp, a naš 9B model zaostaje za gemini-embedding-2 samo 2 pp. Naši rezultati ostaju konkurentni na korpusima koji sadrže i prirodne slike i vizuelne dokumente, tako da viševektorske reprezentacije koje donose prednost na ViDoRe(V3) ne dolaze po cenu opšte pretrage slika.

Uvećaj

Pronalaženje među modelima

Rezultati u prethodnim odeljcima ocenjuju svaki model u odnosu na korpus koji je on sam enkodirao. Zajednički embedding prostor znači da to nije uslov: korpus indeksiran 9B modelom može se pretraživati upitima enkodiranim 0.6B modelom. Ovu konfiguraciju očekujemo da će koristiti većina produkcionih implementacija, pošto je indeksiranje jednokratni trošak koji se amortizuje tokom životnog veka korpusa, dok enkodiranje upita radi na latencijski kritičnoj putanji svakog zahteva.

Implementacija koja ne može da pokreće 9B model u vreme upita inače bi takođe indeksirala pomoću 0.6B modela, pa je relevantna tačka poređenja upravo ta simetrična 0.6B konfiguracija. Evaluiramo na 72 benchmarka specifična za domen korišćena iznad i na pronalaženju slika ViDoRe v3. Upiti se enkodiraju pomoću pplx-embed-v2-late-0.6b, a variramo samo ono što je enkodiralo korpus.

Indeksiranje pomoću 9B modela predstavlja strogo poboljšanje. Na benchmarkovima specifičnim za domen, asimetrična konfiguracija u proseku donosi dobitak od 1,6 pp. Na pronalaženju slika ViDoRe v3, postiže 63,5%, u odnosu na 62,3% sa 0.6B modelom na obe strane, što je dobitak od 1,2 procentna poena. Trošak enkodiranja upita ostaje nepromenjen između simetrične 0.6B i asimetrične konfiguracije, pošto isti 0.6B model enkodira upit u oba slučaja; dodatni trošak enkodiranja dokumenata nastaje u fazi indeksiranja.

Pokretanje 9B modela na obe strane i dalje je bolje, sa prosekom od 81,3% na benchmarkovima specifičnim za domen. Asimetrična konfiguracija tako vraća približno polovinu razlike u kvalitetu između dva modela na tekstu, bez dodatnog troška enkodiranja upita. Koju konfiguraciju izabrati zavisi od toga da li je 9B model pristupačan u vreme upita; tamo gde nije, asimetrično podešavanje hvata značajan deo njegove prednosti.

Uvećaj

Agentno pronalaženje

Agentno pronalaženje je još jedna postavka u kojoj su viševektorski embeddingi posebno jaki. U BrowseComp+, LLM (GPT-OSS-120B u našem slučaju) koristi embedding model za pretragu korpusa radi informacija relevantnih za složen korisnički upit, a drugi LLM procenjuje da li dobijeni odgovor odgovara tačnom odgovoru. Naš 9B model postiže tačnost od 64,0%, nadmašujući sledeći najbolji ColBERT model za 4,9 pp i sledeći najbolji gusti model za 8,7 pp, uz manje pretraga od bilo kog drugog modela osim našeg 0.6B. 0.6B model je takođe ispred svakog modela van naše porodice.

Uvećaj

MADQA testira agentno pitanja i odgovore nad 800 heterogenih PDF-ova iz stvarnog sveta koji obuhvataju više od 18.000 stranica, sa 500 pitanja koja su napisali ljudi i na koja se ne može odgovoriti opštim znanjem. Agent (Gemini 3.5 Flash u našem slučaju) pretražuje kolekciju pomoću retrivera koji se testira i ocenjuje se po tačnosti odgovora i page F1 u odnosu na anotirane stranice sa dokazima. Naš 9B model postavlja novo najviše stanje umetnosti među retriverima sa tačnošću od 92,4%, 3,5 pp ispred istog agenta koji koristi Mixedbreadov retriver; naš 0.6B model dostiže 90,1%. Takođe napominjemo da naš retriver postiže konkurentne rezultate u odnosu na Mixedbread Agentic Search, koji koristi pretraživački pod-agent u svom sistemu pretrage koji planira i izvršava nekoliko pretraga po pozivu glavnog agenta (93,4%, unutar našeg intervala pouzdanosti).

Uvećaj

Početak rada

Oba naša modela, 0.6B i 9B, dostupna su na Hugging Face i odmah su kompatibilna sa sentence-transformers >= 6.0.0 i transformers >= 5.4.0. Dodatni tehnički detalji i kompletni rezultati evaluacije biće objavljeni u tehničkom izveštaju kasnije ove godine.

Trenutno treniramo sledeću generaciju naših modela za guste vektorske reprezentacije (dense embeddings) i postepeno ćemo na Perplexity API Platform uvoditi podršku za guste i kontekstualne vektorske reprezentacije, kao i za one sa kasnom interakcijom (late interaction).

Citiranje

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}