Mitmemodaalsed manused kaugemale ühest vektorist

Uus hilise interaktsiooni mudelite perekond teksti- ja pildiotsinguks, millel on mudelisuuruste vahel ühine manustamisruum.

AutoridPerplexity Research

Pärast pplx-embed-v1 väljalaskmist veebruaris oleme töötanud uue põlvkonna manustamismudelite kallal. Eelmisel nädalal tutvustasime oma uut kontekstilist manustamismudelit, pplx-embed-v2-context. Täna laiendame perekonda mudelitega pplx-embed-v2-late, mis on hilise interaktsiooni mudelite kogum. Koos tugevamate otsinguvõimalustega on need mudelid esimesed, mis ühendavad kolm põhivõimet:

  • Mitmevektorilised esitused. Selle asemel et tihendada iga sisendi üheks vektoriks, säilitavad need mudelid tokenitaseme vektoreid, et teha peenekoelisemaid päringu ja dokumendi võrdlusi. See võimaldab päringu eri osadel sobituda dokumendi eri osadega, säilitades detaile, mis on eriti väärtuslikud mitmemodaalse otsingu jaoks.
  • Tugi nii teksti kui ka pildi modaalsustele. Lisaks meie varasemate mudelite tekstist-teksti otsinguvõimekusele toetavad need uued mudelid tekstist-pildiks otsingut, võimaldades neil otsida otse renderdatud PDF-lehti, ilma et oleks vaja OCR-i või parsitud teksti.
  • Ühine manustamisruum. Väljastame kaks mudelisuurust, 0,6B ja 9B, et toetada erinevaid kvaliteedi-, latentsus- ja arvutusnõudeid. Mõlemat saab kasutada iseseisvalt, kuid ühine manustamisruum võimaldab ka väiksemal mudelil küsitleda suurema mudeliga loodud indeksit, ühendades kõrgema kvaliteediga dokumendimanused odava ja kiire päringuaegse inferentsiga.

Need uued mudelid saavutavad tipptasemel tulemusi mitmesugustes pildi- ja tekstiotsingu võrdlustestides ning agentsetes küsimustele vastamise ülesannetes. Eriti tähelepanuväärne on see, et juhtivas visuaalse dokumendiotsingu võrdlustestis ViDoRe (V3) on meie 0.6B mudel võrdväärne mudelitega, millel on viis korda rohkem aktiivseid parameetreid. Mõlemad mudelid on avalikult saadaval platvormil Hugging Face. Meie tehnilises aruandes on metoodika ja hindamistulemuste kohta rohkem üksikasju.

Üksikutest vektoritest hilise interaktsioonini

Otsingusüsteemid peavad leidma tasakaalu tõhususe ning päringute ja dokumentide vahelise interaktsiooni sügavuse vahel. Tihedad manustamismudelid kodeerivad iga päringu ja dokumendi eraldi, võimaldades neid võrrelda odava sisekorrutisega. See muudab ligikaudse lähima naabri (ANN) otsingu miljardite dokumentide seas praktiliseks. Teises äärmuses töötlevad ristkodeerijad päringu ja dokumendi koos, võimaldades rikkalikumat interaktsiooni, kuid nõudes iga kandidaadi jaoks eraldi edasisuunalist läbijooksu. Selle arvutuse rakendamine kogu suure dokumendikorpuse peale iga otsingu jaoks on liiga kulukas, nii et ristkodeerijad jäetakse tavaliselt väikese hulga otsitud kandidaatide ümberjärjestamiseks.

Tihedate manuste piirangud

Kogu dokumendi esindamine ühe fikseeritud suurusega vektoriga tekitab teabe kitsaskoha. Mida pikemaks dokumendid muutuvad ja mida rohkem teemasid need katavad, seda rohkem sisu peab mudel samasse vektorisse kokku suruma, muutes päringuga seotud kõige olulisema säilitamise keerulisemaks. Lõikudeks tükeldamine võib seda survet vähendada, kuid see killustab dokumendi ja võib lahutada teabe, millel on mõtet ainult koos, ning selle probleemiga tegeleme ka oma kontekstilise manustamismudeliga. See kitsaskoht süveneb mitmemodaalsetes seadistustes, kus piltide teabetihedus nõuab veelgi suuremat tihendamist.

Ühevektoriline tihe otsing taandab ka iga võrdluse kahe vektori sisekorrutiseks, piirates skoorimisfunktsiooni väljendusrikkust. Kindla manustamisdimensiooni ja piisavalt suure korpuse korral on mõned skoorimustrid päringu ja dokumendi paaride lõikes võimatu saavutada, sõltumata treeningust. LIMITi võrdlusmõõdik muudab selle teoreetilise mure konkreetseks koormustestiks ühevektorilise otsingu jaoks.

Hilise interaktsiooniga otsing

Hilise interaktsiooniga mudelid paiknevad odavamate tihedate manustamismudelite ja väljendusrikkamate ristkodeerijate vahel. Nagu tihedad mudelid, kodeerivad nad dokumendid päringust sõltumatult, võimaldades dokumendiesitusi arvutada võrguühenduseta. Kuid selle asemel et taandada iga sisend üheks vektoriks, säilitavad nad mitu vektorit ja kasutavad päringu ja dokumendi võrdlemisel rikkalikumat skoorimisfunktsiooni.

Meie pplx-embed-v2-late mudelid kasutavad ColBERTi-laadset arhitektuuri, väljastades 128-dimensioonilised manused iga sisendi märgi kohta. Päringu ja dokumendi paaridele arvutame skoori MaxSimiga; iga päringumärgi jaoks valib mudel kõrgeima skooriga dokumendimärgi ja liidab märgitaseme maksimaalsed sarnasused lõppskoori saamiseks. See võimaldab päringu eri osadel vastata dokumendi eri osadele, kusjuures tugevamad märgita vasted panustavad skoori rohkem.

MaxSimi skoorimise näide: iga päringumärk valib oma kõrgeima skooriga dokumendimärgi, märgitaseme maksimaalsed sarnasused summeeruvad päringu ja dokumendi taseme sarnasusskooriks.

See lisanduv väljendusrikkus toob kaasa suuremad salvestus- ja kandidaadiskoorimise kulud. Tihe otsing salvestab ühe vektori dokumendi kohta ja hindab kandidaati ühe sisekorrutisega; hiline interaktsioon salvestab vektoreid dokumendi tokenite jaoks ja hindab paljusid tokenitevahelisi sarnasusi. Kulu kasvab dokumendi pikkusega, seega nõuab hiline interaktsioon teistsugust indekseerimis- ja teeninduskompromissi kui ühevektoriline ANN-otsing. Vastutasuks pakub see kvaliteeditundlike korpuste jaoks rikkalikumat esimese etapi otsingut ning võib toimida ka hilisema etapina suuremas veebiskaala otsingutorus.

Üks mudel, mitu modaalsust

On näidatud, et see parem interaktsiooni sügavus on väga kasulik mitmesuguste ülesannete puhul, sealhulgas pika konteksti, agenti juhitud ja valdkonnavälise otsingu korral. See erinevus on eriti ilmne mitmemodaalses otsingus, nagu näitab ColPali mudelite suur edumaa ViDoRe(V3) edetabelis.

Tegeliku maailma korpused ei koosne ainult puhtast tekstist. Need jõuavad PDF-idena, esitlusslaididena, ekraanipiltidena, skaneeritud lehekülgedena, diagrammidena ja tabelitena. Tavapärane torujuhe parsib need dokumendid, rakendab OCR-i või pealdiste genereerimist ja otsib saadud teksti, mis on kulukas ja kaotab infot: see võib tekitada OCR-vigu ning visata minema küljenduse, tabelistruktuuri, joonised ja ruumilised suhted. Visuaalne dokumendiotsing jätab selle sammu vahele, projitseerides renderdatud lehe otse esitusruumi, kus tekstipäringud saavad seda otsida.

Meie uus mudeliperekond tugineb mitmevektoriliste mudelite tugevale jõudlusele mitmemodaalses otsingus ja viib väikeste mudelite Pareto piiri edasi enim kasutatud dokumendiotsingu võrdlusmõõdikul ViDoRe(V3). Kuigi ootame, et dokumendirederdused on visuaalse sisendi kõige tavalisem vorm, toetavad meie mudelid ka semantilist pildiotsingut looduslike piltide, näiteks maastikufotode, peal.

Koostalitlusvõimeliste mudelite perekonna treenimine

Otsing on olemuslikult asümmeetriline: indekseerimisel ja päringu kodeerimisel on erinevad töötingimused. Indekseerimine toimub võrguühenduseta ja seda saab paralleelistada, nii et selle arvutuskulu jaotub paljude tulevaste otsingute peale. Päringu kodeerimine toimub veebis iga päringu puhul, mistõttu on see latentsustundlik ja mõnikord piiratud teenindus- või servaseadme võimalustega. Meie mudeliperekond kasutab seda asümmeetriat, pakkudes iga otsingutoru poole jaoks sobivaid suurusi.

Treenime kontrastiivselt 18B õpetaja, seejärel destilleerime selle eraldi 9B ja 0,6B õpilasteks. Selle asemel et treenida iga õpilast ainult õpetaja järjestusjaotust taastootma, kasutame LEAF-stiilis esituse destilleerimist: iga sisendmärgi jaoks joondame õpilase väljundmanuse õpetaja omaga. Kuigi esituseruumi destilleerimist on varem kasutatud tihedate ühevektoriliste mudelite puhul, laiendame seda hilisele interaktsioonile, kus joondamise sihtmärk on vektor iga säilitatud märgi kohta.

Selle tulemusena jagavad mõlemad avaldatud kontrollpunktid sama mitmevektorilist manustamisruumi. See võimaldab ristmudelite otsingut, muutes võimalikuks täiendavad juurutusvõimalused.

  • Maksimaalne kvaliteet: kodeeri dokumendid ja päringud 9B mudeliga.
  • Maksimaalne tõhusus: kodeeri dokumendid ja päringud 0,6B mudeliga 100% kohapealse inferentsi jaoks
  • Madal-latentsusega otsing: loo korpuse indeks 9B mudeliga, seejärel kodeeri reaalajas päringud 0,6B mudeliga, et kasutada indekseerimisaegset arvutust, hoides samal ajal päringud kiired.
  • Kohalik–pilv otsing: kodeeri privaatseid kohalikke dokumente või reaalajas päringuid 0,6B mudeliga seadmes ning võrdle või ühenda need esitlused pilves hostitud 9B indeksi tulemustega.

Latentsustundlike seadistuste jaoks kujundasime 0,6B mudeli kergekaaluliseks päringukodeerijaks, mis suudab töötada ka servaseadmetes. Aluseks võttes Qwen3.5-0.8B, kärbime selle 24-kihilise tekstitorni 12 kihile, vähendades selle torni mitte-manustamisparameetreid 498 miljonilt 240 miljonile. Tulemuseks on mudel, millel on kokku 594 miljonit parameetrit, kuid selle nominaalne suurus liialdab teeninduskuluga: 100 miljonit kasutatakse pildi kodeerimiseks ja 254 miljonit asuvad märgimanustuste tabelis, millel on käitusajal väike mõju. Teksti kodeerimiseks on aktiivsed vaid umbes 240 miljonit parameetrit ja pildi kodeerimiseks 340 miljonit, andes mudelile oluliselt väiksema mudeli teeninduskulu, säilitades samas ühilduvuse 9B indeksiga.

Rakendasime sama protsessi, et luua oma 18B õpetaja 27B põhjal, mis muutis õpetaja destilleerimise märkimisväärselt odavamaks, ilma et see oleks nõrgestanud signaali, mida see pakub.

Mitmekeelne, mitmemodaalne, saastumata treeningandmestik

Treenime mõlemat mudelit andmestikul, mis sisaldab 186 miljonit päringu-dokumendi paari ja on kogutud 594 andmestikust 46 keeles. Nendest paaridest on 88,3% tekstist-teksti, 8,3% tekstist-pildiks ja 3,4% tekstist-visuaaldokumendiks. Selle asemel et valimisel lähtuda andmestiku suurusest proportsionaalselt, määrame igale andmestikule valimiskaalu, mis annab tasakaalustatuma treeningsegu vastavalt 56,5%, 30,9% ja 12,6%.

Treeningandmete koostamisel jätame välja kõik andmestikud, mis on seotud võrdlusmõõdikutega, millel me hindame, et kajastada oma tulemusi ausalt, ilma võrdlusskoore kunstlikult paisutamata. Selle otsusega kaasneb kompromiss, et osa andmestikest, mille otsustasime välja jätta, sisaldab kvaliteetset andmestikku, mis võiks parandada meie mudeli jõudlust ülesannetes, mis ei piirdu nende võrdlusmõõdikuga, millest need pärinesid. Lõppkokkuvõttes otsustasime selle kulu aktsepteerida: usaldusväärsed numbrid on meile arenduse ajal kasulikumad ning kasutajatele mudelite võrdlemisel.

Hindamine

Hindame mõlemat mudelit teksti-, visuaaldokumendi-, segapildi- ja agentiotsingu ülesannetes. Mõlemad mudelid ületavad hinnatud lähtejooni Q2D-Webis ja BrowseComp+-is ning saavutavad tugevaid tulemusi visuaaldokumendi otsingus ja MADQA-s.

Tekstiotsing

Hindame tekstist-teksti otsingut kolmel võrdlusmõõdikul:

  • Valdkonnaspetsiifilised võrdlusmõõdikud: kogum 72 MTEB-stiilis ülesandest, millest 55 on viies valdkonnas (finants, õigus, tervishoid, vestlus, tehnika), ning lisaks 17 mitmesugust mitmekeelset ülesannet. Kogum sisaldab ülesandeid nagu FinQA, AILACasedocs ja XLSum. Ükski neist andmestikest ei esine meie treeningandmetes, nagu eespool kirjeldatud.
  • Q2D-Web: meie veebiskaala otsingu võrdlusmõõdik, mis koosneb umbes 70 000-st agendi poolt ümberformuleeritud otsingupäringust, mis on saadud tootmises olevast otsinguliiklusest ning hõlmavad 190 miljonit veebidokumenti sisaldavat korpust. See võrdlusmõõdik mõõdab otsingutulemusi olukorras, mis on palju lähemal tegelikule veebipõhisele otsingule kui teised olemasolevad otsinguvõrdlusmõõdikud, tänu tootmislaadsetele päringutele ja suuremahulisele korpusele.
  • ViDoRe(V3) Markdown: ViDoRe(V3) on tavaliselt tekstist-visuaaldokumendiks otsingu ülesanne, kuid seda saab hinnata ka tekstülesandena, kasutades korpuse versiooni, mis on parsetud Markdowniks, võimaldades meil hinnata infotihedat dokumendiotsingut nii pildi- kui ka tekstimodaalsuses.

Mõõdame jõudlust nDCG@10 abil, välja arvatud Q2D-Webis, kus raporteerime Recall@1000, kuna võrdlusmõõdik keskendub esimese etapi veebipõhisele otsingustsenaariumile. Kogu meie hindamise jooksul võrdleme tööstuse juhtivate manustamismudelitega erinevates suurusklassides. Tekstiotsingu puhul esindavad nemotron-embed-8b, gemini-embedding-2, voyage-large-4 ja qwen3-embed-8b tugevaimaid ja enim kasutatud tihedaid konkurente, samas kui voyage-4-nano ja qwen3-embed-0.6b toimivad alla miljardi parameetriga tihedate lähtejoontena. Lisaks võrdleme TopK hiljuti avaldatud topk-embed-v1 hilise interaktsiooni mudelitega nende võrdlusmõõdikute puhul, mille kohta TopK on tulemusi avaldanud. ViDoRe(V3) skoorid on võetud nende mudelikaarte 128 dimensioonis, mis vastab meie märgimanuste laiusele; Q2D-Webi skoor on võetud meie edetabelist.

Valdkonnaspetsiifilistel võrdlusmõõdikutel on meie 9B ja 0,6B mudelite keskmised vastavalt 81,3% ja 78,0%. Meie 9B mudel saavutab kõigist hinnatud mudelitest kõrgeima tulemuse, edestades järgmist parimat mudelit 1,6 protsendipunktiga. Meie 0,6B mudel on konkurentsivõimeline teiste kõrgeima skooriga mudelitega, jäädes gemini-embedding-2-st maha vaid 0,3 protsendipunkti. Oluline on see, et kuna me ei treeninud ühegi nende võrdlusülesannete andmete peal, näitavad valdkonnaspetsiifilised võrdlusmõõdikud, et meie manustamismudelid suudavad üldistada uutesse valdkondadesse.

Valdkonnaspetsiifilise tekstiotsingu jõudlus, mõõdetuna nDCG@10 abil. Keskmine kaalub kuut valdkonda võrdselt ning sulgudes on iga rühma ülesannete arv.

Meie 0,6B mudeli suhteline tugevus on ViDoRe(V3) Markdowni ülesandel veelgi suurem; selle tulemus 61,2% ületab kõiki teisi mudeleid peale meie 9B mudeli, mis sai 64,7%. Järgmine parim väline mudel sai 60,6%, ning järgmine parim alla 1B mudel, topk-embed-v1-0.8b, jäi meie 0,6B mudelist 4,3 protsendipunkti maha.

Tekstiotsing ViDoRe v3 avalikul alamhulgal pärast lehekülje piltide teisendamist Markdowniks OCR-i abil. Meie 0,6B mudel on keskmise nDCG@10 alusel teine, jäädes alla vaid meie 9B mudelile.

Q2D-Webis tuleb asjakohasus kolmest hindamiskogumist: dokumendid, mida agent tsiteeris (Citation), dokumendid, mille järjestab meie tootmises kasutatav otsingusüsteem (Web), ning mõlema ühend, mida on laiendatud sildistamata dokumentide LLM-i hinnangutega (Combined). Mõlemad pplx-embed-v2-late mudelid juhivad kõiki lähtejooni kõigis kolmes hindamiskogumis. Keskendume ühendatud hinnangutele, kuna Citationi ja Webi kogumid on tuletatud sellest, mida meie enda süsteemid juba välja tõid, ning eelistavad seega mudeleid, mis järjestavad samamoodi; Combinedi lisatud LLM-i hinnangud katavad dokumendid, mida kumbki süsteem ei otsinud. Sellel kogumil edestavad nii meie 9B kui ka 0,6B mudel kõiki konkurente, saavutades vastavalt 74,8% ja 73,6%, võrreldes varasema parima tulemusega 69,3%.

Veebiskaala tekstiotsing Q2D-Webis, mõõdetuna Recall@1000 abil Citationi, Webi ja Combinedi asjakohushinnangute alusel. Mõlemad mudelid ületavad hinnatud lähtejooni kõigis kolmes hindamiskogumis.

Visuaalne otsing

Meie peamine visuaalse otsingu võrdlusmõõdik on ViDoRe'i (V3) standardne avalik alamhulk, kus korpus koosneb renderdatud lehekülje piltidest, mitte Markdowni teisendusest. Võrdleme kahe juhtiva tiheda nägemis-keelemudeliga, qwen3-vl-embed-8b ja gemini-embedding-2, ning topk-embed-v1 hilise interaktsiooni mudelitega. Lisaks on Tencenti EVIE mudelid ja NVIDIA Nemotron ColEmbed V2 mudelid "ainult nägemisele" mitmevektorilised lähtejooned, mis on treenitud spetsiaalselt pildiotsingu ülesannete jaoks.

Mõlemad meie mudelid saavutavad nägemis-keelemudelite seas nüüdisaegse tipptaseme. Meie 9B mudel saab keskmiselt 65,2%, jäädes alla vaid EVIE-le. Meie 0,6B mudel saavutab tulemuse 62,3%, ületades topk-embed-v1-2b-d ja jäädes väliste lähtejoonte seas alla vaid palju suuremale EVIE-le ja nemotron-colembed-v2-8b-le.

Visuaaldokumendi otsing ViDoRe v3 avalikul alamhulgal, mõõdetuna nDCG@10 abil. Mõlemad Perplexity mudelid juhivad hinnatud nägemis-keelemudelite seas; ainult nägemisele tuginevad mudelid on näidatud eraldi.

Meie 0,6B mudel on mudeli suuruse kontekstis eriti konkurentsivõimeline. See edestab kõiki võrreldava suurusega mudeleid ja jääb nemotron-colembed-v2-8b-st maha vaid 1,2 protsendipunkti, aktiveerides pildi sisendite jaoks vaid 340 miljonit parameetrit. Meie mudelid toodavad iga märgi kohta 128-dimensioonilisi manuseid, võrreldes 2 048-ga EVIE-4.5B puhul ning 4 096-ga EVIE-8B ja nemotron-colembed-v2-8b puhul. See erinevus salvestuskuludes võib dramaatiliselt mõjutada stsenaariume, milles neid mudeleid on praktiline kasutada.

ViDoRe v3 pildiotsingu kvaliteet võrreldes aktiivsete mudeliparameetritega logaritmilisel skaalal. Jooned ühendavad iga paneeli sees Pareto piiri: mudelid, mida võrdse suurusega või väiksem mudel ei ületa.

Hindame visuaalset otsingut ka MIRACL-Visionil, mille korpus koosneb Wikipedia artiklite ekraanipiltidest, ning PPLX-Q2I-l, mis on sisemine võrdlusandmestik, mis hõlmab nii visuaalseid dokumente kui ka pärismaailma pilte. PPLX-Q2I koostamisel kasutati Perplexity tootmiskeskkonna pildiotsingu logisid ning see on loodud peegeldama pildiotsingu kasutusjuhtude mitmekesisust. Kasutame 10 000 päringuga valimit, mis on kihistatud keele ja valdkonna järgi, 100 000 pildist koosneva korpuse vastu; iga päringu asjakohased dokumendid on pildid, mida selle jaoks teenindati. Me ei hinnanud EVIE-8B-d ega Nemotron ColEmbedi PPLX-Q2I-l, kuna nii suure korpuse indekseerimine nende vaikimisi väljundmõõtmetega (2 560 Nemotron ColEmbed 4B puhul ning 4 096 Nemotron ColEmbed 8B ja EVIE-8B puhul) oli ebapraktiline.

Sarnaselt oma jõudlusele ViDoRe(V3)-s on meie 0,6B mudel palju suuremate mudelitega konkurentsivõimeline, jäädes MIRACL-Visionil qwen3-vl-embed-8b-st maha vaid 1 protsendipunktiga. Meie 9B mudel ületab kõiki teisi mudeleid, välja arvatud gemini-embedding-2.

PPLX-Q2I-l edestavad mõlemad meie mudelid qwen3-vl-embedding-8b-d enam kui 9 protsendipunktiga ning meie 9B mudel jääb gemini-embedding-2-st maha vaid 2 protsendipunkti. Meie tulemused püsivad konkurentsivõimelised ka korpustel, mis sisaldavad nii looduslikke pilte kui ka visuaalseid dokumente, nii et mitmevektorilised esitlused, mis tasuvad end ära ViDoRe(V3)-s, ei tule üldise pildiotsingu arvelt.

Pildiotsing MIRACL-Visionil ja PPLX-Q2I-l, mõõdetuna nDCG@10 abil. Nemotron ColEmbedi mudeleid PPLX-Q2I-l ei hinnatud, kuna korpuse indekseerimine nende vaikimisi väljundmõõtmetega oli ebapraktiline.

Ristmudelite otsing

Eelmiste osade tulemused hindavad iga mudelit korpuse suhtes, mille see ise manustas. Ühine manustamisruum tähendab, et see ei ole nõue: 9B mudeliga indekseeritud korpust saab otsida 0,6B mudeliga manustatud päringutega. Eeldame, et enamik tootmisse juurutusi kasutab just seda konfiguratsiooni, kuna indekseerimine on ühekordne kulu, mis amortiseerub korpuse eluea jooksul, samas kui päringu manustamine toimub iga päringu latentsuskriitilisel teel.

Juurutus, mis ei saa 9B mudelit päringu ajal käitada, indekseeriks muidu samuti 0,6B mudeliga, nii et see sümmeetriline 0,6B konfiguratsioon on asjakohane võrdluspunkt. Hindame 72 eespool kasutatud valdkonnaspetsiifilise võrdlustesti ja ViDoRe v3 pildiotsingu põhjal. Päringud teisendatakse vektoriteks pplx-embed-v2-late-0.6b-ga ning muudame ainult seda, milline mudel korpuse vektoriteks teisendas.

Indekseerimine 9B mudeliga on selge edasiminek. Valdkonnaspetsiifilistel võrdlusmõõdikutel annab asümmeetriline konfiguratsioon keskmiselt 1,6 protsendipunkti suuruse võidu. ViDoRe v3 pildiotsingus saavutab see 63,5%, tõustes 62,3%-lt, kui mõlemal poolel kasutatakse 0,6B mudelit, mis on 1,2 protsendipunkti suurune võit. Päringu kodeerimise kulu on sümmeetrilise 0,6B ja asümmeetrilise konfiguratsiooni puhul sama, kuna mõlemal juhul kodeerib päringu sama 0,6B mudel; täiendav dokumendi kodeerimise kulu tekib indekseerimise ajal.

9B mudeli kasutamine mõlemal poolel on endiselt parem, andes valdkonnaspetsiifilistel võrdlusmõõdikutel keskmiselt 81,3%. Seega taastab asümmeetriline konfiguratsioon tekstis ligikaudu poole kahe mudeli kvaliteedierinevusest ilma täiendava päringu kodeerimise kuluta. Selle, milline konfiguratsioon valida, määrab see, kas 9B mudel on päringu ajal taskukohane; juhul kui see ei ole, püüab asümmeetriline seadistus kinni suure osa selle eelistest.

Indeksi manustamine 9B mudeliga ja päringute manustamine 0,6B mudeliga parandab otsingut võrreldes 0,6B mudeli kasutamisega mõlema jaoks. Skoorid on nDCG@10; kuue valdkonna keskmine ei hõlma eraldi raporteeritud ViDoRe v3 tulemusi.

Agentiotsing

Agentiotsing on veel üks seadistus, kus mitmevektorilised vektoriesitused on eriti tugevad. BrowseComp+-is kasutab LLM (GPT-OSS-120B meie puhul) vektoriesitusmudelit, et otsida korpusest keeruka kasutajapäringuga seotud teavet, ning teine LLM hindab, kas saadud vastus vastab etalonvastusele. Meie 9B mudel saavutab 64,0% täpsuse, edestades järgmist parimat ColBERTi mudelit 4,9 protsendipunktiga ja järgmist parimat tihedat mudelit 8,7 protsendipunktiga, esitades samal ajal vähem otsinguid kui ükski teine mudel peale meie 0,6B mudeli. Ka 0,6B mudel on eespool kõigist väljaspool meie mudeliperekonda olevatest mudelitest.

BrowseComp+ vastuste täpsus ja otsingu saagis keskmise otsingute arvu suhtes GPT-OSS-120B agendi puhul (suure pingutusega). Kõrgemad skoorid ja vähem otsinguid viitavad paremale kvaliteedile ja tõhususele.

MADQA testib agenti küsimus-vastus ülesandeid üle 800 heterogeense pärismaailma PDF-i, mis hõlmavad enam kui 18 000 lehekülge, ning 500 inimkirjutatud küsimust, millele ei saa vastata üldteadmiste põhjal. Agent (meie puhul Gemini 3.5 Flash) otsib kogumist testitava otsija abil ja seda hinnatakse vastuse täpsuse ning lehe F1 järgi märgendatud tõenduslehtede suhtes. Meie 9B mudel seab otsijate seas uue nüüdisaegse tipptaseme, saavutades 92,4% täpsuse, mis on 3,5 protsendipunkti võrra parem kui sama agent Mixedbreadi otsijat kasutades; meie 0,6B mudel jõuab 90,1%-ni. Märgime ka, et meie otsija saavutab konkurentsivõimelisi tulemusi Mixedbread Agentic Searchi vastu, mis kasutab nende otsingusüsteemis otsingu alamagenti, kes plaanib ja käivitab põhiagendilt mitu otsingut kõne kohta (93,4%, meie usaldusvahemiku piires).

Vastuste täpsus ja lehe taseme F1 MADQA-s. Koos Gemini 3.5 Flashiga saavutavad meie 9B ja 0,6B mudelid vastavalt 92,4% ja 90,1% täpsuse, võrreldes 88,9%-ga Mixedbreadi otsija ja 93,4%-ga Mixedbread Agentic Searchi puhul.

Alustamine

Mõlemad meie 0,6B ja 9B mudelid on saadaval Hugging Face'is ning ühilduvad kohe karbist sentence-transformers >= 6.0.0 ja transformers >= 5.4.0. Edasised tehnilised üksikasjad ja täielikud hindamistulemused avaldatakse tehnilises aruandes hiljem sel aastal.

Treenime praegu oma tihedate manustusmudelite järgmist põlvkonda ning lisame platvormile Perplexity API Platform järk-järgult toe hilise interaktsiooniga, tihedatele ja kontekstipõhistele manustustele.

Viide

BibTeX
@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}