Multimodālas iegulšanas ārpus viena vektora

Kopš pplx-embed-v1 izlaišanas februārī mēs esam strādājuši pie jaunas iegulšanas modeļu paaudzes. Pagājušajā nedēļā mēs iepazīstinājām ar mūsu jauno kontekstuālo iegulšanas modeli pplx-embed-v2-context. Šodien mēs paplašinām saimi ar pplx-embed-v2-late — vēlās mijiedarbības modeļu kopumu. Līdzās spēcīgākām meklēšanas iespējām šie modeļi ir pirmie, kas apvieno trīs pamatīpašības:

• Daudzvektoru attēlojumi. Tā vietā, lai katru ievadi saspiestu vienā vektorā, šie modeļi saglabā tokenu līmeņa vektorus detalizētākai vaicājuma un dokumenta salīdzināšanai. Tas ļauj dažādām vaicājuma daļām atbilst dažādām dokumenta daļām, saglabājot detaļas, kas ir īpaši vērtīgas multimodālai meklēšanai.
• Atbalsts gan tekstu, gan attēlu modalitātēm. Papildus mūsu iepriekšējo modeļu teksta–teksta meklēšanas iespējām šie jaunie modeļi atbalsta teksta–attēla meklēšanu, ļaujot tiem tieši meklēt renderētas PDF lapas, bez OCR vai parsēta teksta.
• Kopīga iegulšanas telpa. Mēs izlaižam divus modeļu izmērus — 0,6B un 9B —, lai atbalstītu dažādas kvalitātes, latentuma un skaitļošanas prasības. Katru var izmantot neatkarīgi, taču kopīgā iegulšanas telpa arī ļauj mazākajam modelim vaicāt indeksu, kas izveidots ar lielāko modeli, apvienojot augstākas kvalitātes dokumentu iegulšanas ar lētu, ātru vaicājuma laika inferenci.

Šie jaunie modeļi sasniedz visaugstākā līmeņa rezultātus virknē vizuālās un teksta izguves etalontestu, kā arī aģentiskos jautājumu–atbilžu uzdevumos. Īpaši jāatzīmē, ka etalontestā ViDoRe (V3), kas ir viens no vadošajiem vizuālo dokumentu izguves etalontestiem, mūsu 0,6B modelis līdzinās modeļiem ar piecas reizes vairāk aktīvo parametru. Abi modeļi ir publiski pieejami vietnē Hugging Face. Mūsu tehniskajā ziņojumā ir sniegta sīkāka informācija par metodoloģiju un novērtēšanas rezultātiem.

No viena vektora līdz vēlajai mijiedarbībai

Meklēšanas sistēmām jāatrod līdzsvars starp efektivitāti un mijiedarbības dziļumu starp vaicājumiem un dokumentiem. Blīvie iegulšanas modeļi kodē katru vaicājumu un dokumentu neatkarīgi, ļaujot tos salīdzināt ar lētu iekšējo reizinājumu. Tas padara praktisku aptuveno tuvāko kaimiņu (ANN) meklēšanu miljardos dokumentu. Pretējā galējībā krustenkoderi apstrādā vaicājumu un dokumentu kopā, nodrošinot bagātīgāku mijiedarbību, taču katram kandidātam prasa atsevišķu tiešo izpildi. Šīs skaitļošanas piemērošana lielam dokumentu korpusam katram meklējumam ir pārmērīgi dārga, tāpēc krustenkoderus parasti izmanto tikai neliela atlasīto kandidātu kopuma pārranžēšanai.

Blīvo iegulšanu ierobežojumi

Visa dokumenta attēlošana ar vienu fiksēta izmēra vektoru rada informācijas sašaurinājumu. Dokumentiem kļūstot garākiem un aptverot vairāk tematu, modelim ir jāiespiež vairāk satura tajā pašā vektorā, apgrūtinot visa vaicājumam būtiskā saglabāšanu. Sadalīšana fragmentos var mazināt šo spiedienu, taču tā sašķeļ dokumentu un var atdalīt informāciju, kas jēgu iegūst tikai kopā; šo problēmu mēs risinām arī ar mūsu kontekstualo iegulšanas modeli. Šis sašaurinājums multimodālos scenārijos kļūst vēl izteiktāks, jo attēlu informācijas blīvums prasa vēl lielāku saspiešanu.

Vienvektora blīvā meklēšana arī reducē katru salīdzinājumu līdz iekšējam reizinājumam starp diviem vektoriem, ierobežojot vērtēšanas funkcijas izteiksmīgumu. Pie fiksētas iegulšanas dimensijas un pietiekami liela korpusa dažus vērtējumu modeļus dažādos vaicājuma–dokumenta pāros nav iespējams iegūt neatkarīgi no apmācības. LIMIT etalons pārvērš šo teorētisko problēmu par konkrētu stresa testu vienvektora meklēšanai.

Vēlās mijiedarbības meklēšana

Vēlās mijiedarbības modeļi aizņem telpu starp lētākajiem blīvajiem iegulšanas modeļiem un izteiksmīgākajiem krustenkoderiem. Tāpat kā blīvie modeļi, tie kodē dokumentus neatkarīgi no vaicājuma, ļaujot dokumentu attēlojumus aprēķināt bezsaistē. Tomēr, nevis reducējot katru ievadi līdz vienam vektoram, tie saglabā vairākus vektorus un, salīdzinot vaicājumu ar dokumentu, izmanto bagātīgāku vērtēšanas funkciju.

Mūsu pplx-embed-v2-late modeļi izmanto ColBERT stila arhitektūru, izvadot 128 dimensiju iegulumu katram ievades tokenam. Vaicājuma un dokumenta pārus vērtējam, izmantojot MaxSim; katram vaicājuma tokenam modelis izvēlas augstāko vērtējumu ieguvušo dokumenta tokenu un summē katra tokena maksimālās līdzības, lai iegūtu galīgo rezultātu. Tas ļauj dažādām vaicājuma daļām atbilst dažādām dokumenta daļām, un spēcīgākas tokenu atbilstības vairāk veicina rezultātu.

Izvērst

Šī papildu izteiksmība nāk ar lielākām uzglabāšanas un kandidātu vērtēšanas izmaksām. Blīvā meklēšana glabā vienu vektoru uz dokumentu un novērtē kandidātu ar vienu iekšējo reizinājumu; vēlajā mijiedarbībā tiek glabāti dokumentu tokenu vektori un aprēķinātas daudzas tokenu savstarpējās līdzības. Izmaksas pieaug līdz ar dokumenta garumu, tāpēc vēlajai mijiedarbībai nepieciešams atšķirīgs indeksēšanas un apkalpošanas kompromiss nekā vienvektora ANN meklēšanai. Savukārt tā nodrošina bagātīgāku pirmās stadijas meklēšanu kvalitātei jutīgiem korpusiem un var kalpot arī kā vēlākā stadija lielākā tīmekļa mēroga meklēšanas konveijerā.

Viens modelis, vairākas modalitātes

Šis uzlabotais mijiedarbības dziļums ir pierādījis savu lielo lietderību dažādiem uzdevumiem, tostarp tālteksta, aģentiskai un ārpus domēna izgūšanai. Šī atšķirība ir īpaši redzama multimodālajā izgūšanā, ko apliecina ColPali modeļu ievērojamais pārsvars ViDoRe(V3) līderu tabulā.

Reālas pasaules korpusi nav veidoti tikai no tīra teksta. Tie tiek piegādāti kā PDF, slaidu komplekti, ekrānuzņēmumi, skenētas lapas, diagrammas un tabulas. Tradicionālajā darbplūsmā šos dokumentus parsē, izmanto OCR vai ģenerē attēlu aprakstus un meklē iegūto tekstu; šī pieeja ir dārga un rada informācijas zudumus: tā var ieviest OCR kļūdas un atmest izkārtojuma informāciju, tabulu struktūru, attēlus un telpiskās attiecības. Vizuālā dokumentu meklēšana izlaiž šo soli, projicējot renderēto lapu tieši reprezentācijas telpā, kur to var meklēt teksta vaicājumi.

Mūsu jaunā modeļu saime balstās uz daudzvektoru modeļu spēcīgo veiktspēju multimodālajā meklēšanā un virza Pareto robežu maziem modeļiem visplašāk izmantotajā dokumentu meklēšanas etalonā ViDoRe(V3). Lai gan mēs sagaidām, ka dokumentu renderējumi būs visbiežāk sastopamā vizuālās ievades forma, mūsu modeļi atbalsta arī semantisko attēlu meklēšanu pēc dabīgiem attēliem, piemēram, ainaviskiem fotoattēliem.

Savstarpēji saderīgu modeļu saimes apmācība

Meklēšana pēc būtības ir asimetriska: indeksēšanai un vaicājumu kodēšanai ir atšķirīgi darbības ierobežojumi. Indeksēšana notiek bezsaistē, un to var paralelizēt, tāpēc tās skaitļošanas izmaksas tiek amortizētas uz daudziem nākotnes meklējumiem. Vaicājumu kodēšana notiek tiešsaistē katram pieprasījumam, padarot to jutīgu pret latentumu un reizēm pakļautu apkalpošanas vai malas ierīču ierobežojumiem. Mūsu modeļu saime izmanto šo asimetriju, piedāvājot katrai meklēšanas konveijera pusei pielāgotus izmērus.

Mēs kontrastīvi apmācām 18B skolotāju, pēc tam to atsevišķi destilējam 9B un 0,6B studentos. Tā vietā, lai katru studentu apmācītu tikai reproducēt skolotāja ranžējuma sadalījumu, mēs izmantojam LEAF stila reprezentācijas destilāciju: katram ievades tokenam mēs saskaņojam studenta izvades iegulšanu ar skolotāja iegulšanu. Lai gan reprezentācijas telpas destilācija jau iepriekš ir izmantota blīviem vienvektora modeļiem, mēs to paplašinām uz vēlo mijiedarbību, kur saskaņošanas mērķis ir vektors katram saglabātajam tokenam.

Rezultātā abi publicētie kontrolpunkti koplieto vienu un to pašu daudzvektoru iegulšanas telpu. Tas nodrošina starpmodeļu meklēšanu, padarot iespējamas papildu izvietošanas iespējas.

• Maksimāla kvalitāte: kodējiet dokumentus un vaicājumus ar 9B modeli.
• Maksimāla efektivitāte: kodējiet dokumentus un vaicājumus ar 0,6B modeli 100% lokālai inferencēšanai
• Zema latentuma meklēšana: veidojiet korpusa indeksu ar 9B modeli, pēc tam kodējiet tiešos vaicājumus ar 0,6B modeli, lai izmantotu indeksēšanas laikā veikto skaitļošanu, vienlaikus saglabājot ātru vaicājumu izpildi.
• Lokāla–mākoņa meklēšana: kodējiet privātus lokālos dokumentus vai tiešos vaicājumus ar 0,6B modeli ierīcē un salīdziniet vai apvienojiet šos attēlojumus ar rezultātiem no 9B indeksa, kas mitināts mākonī.

Latentumam jutīgos scenārijos mēs izstrādājām 0,6B modeli kā vieglu vaicājumu enkoderi, kas var darboties arī malas ierīcēs. Sākot no Qwen3.5-0.8B, mēs tā 24 slāņu teksta torni apgriezām līdz 12 slāņiem, samazinot šo torni no 498M līdz 240M parametriem, kas nav iegulšanas parametri. Rezultātā iegūtajam modelim kopā ir 594M parametru, taču tā nominālais izmērs pārvērtē apkalpošanas izmaksas: 100M tiek izmantoti attēlu kodēšanai, bet 254M atrodas tokenu iegulšanas tabulā, kam ir maza ietekme uz izpildlaiku. Teksta kodēšanai aktīvi ir tikai aptuveni 240M parametru un attēlu kodēšanai 340M, dodot modelim daudz mazāka modeļa apkalpošanas izmaksas, vienlaikus saglabājot saderību ar 9B indeksu.

Mēs piemērojām to pašu procesu, lai no 27B pamata modeļa izveidotu mūsu 18B skolotāju, kas padarīja skolotāju ievērojami lētāku destilācijai, nesamazinot tā sniegto signālu.

Daudzvalodu, multimodāli, nepiesārņoti apmācības dati

Mēs apmācām abus modeļus uz 186 miljonu vaicājuma–dokumenta pāru kopas, kas iegūta no 594 datu kopām 46 valodās. No šiem pāriem 88,3% ir teksta–teksta, 8,3% ir teksta–attēla un 3,4% ir teksta–vizuālā dokumenta pāri. Tā vietā, lai atlasītu proporcionāli datu kopas izmēram, mēs katrai datu kopai piešķiram izlases svaru, kas nodrošina līdzsvarotāku apmācības maisījumu attiecīgi 56,5%, 30,9% un 12,6%.

Veidojot apmācības datus, mēs izslēdzam jebkuras datu kopas, kas saistītas ar etaloniem, kurus mēs novērtējam, lai uzticami atspoguļotu mūsu rezultātus, nepārspīlējot etalonu rādītājus. Šim lēmumam ir kompromiss: dažas no datu kopām, kuras mēs izvēlējāmies izslēgt, satur augstas kvalitātes datus, kas varētu uzlabot mūsu modeļa veiktspēju uzdevumos ārpus etalona, no kura tās nāk. Galu galā mēs izvēlējāmies šo cenu pieņemt: uzticami skaitļi mums izstrādes laikā ir noderīgāki, un lietotājiem, salīdzinot modeļus, arī.

Novērtēšana

Mēs novērtējam abus modeļus teksta, vizuālā dokumenta, jauktas attēlu un aģentiskas meklēšanas uzdevumos. Abi modeļi pārspēj vērtētos etalonus Q2D-Web un BrowseComp+, kā arī sasniedz spēcīgus rezultātus vizuālo dokumentu meklēšanā un MADQA.

Teksta meklēšana

Mēs novērtējam teksta–teksta meklēšanu trijos etalonos:

• Domēnspecifiskie etaloni: 72 MTEB stila uzdevumu kopums, no kuriem 55 ir piecos domēnos (finanses, juridiskie, veselība, sarunas, tehnoloģijas), kā arī 17 dažādi daudzvalodu uzdevumi. Kopums ietver tādus uzdevumus kā FinQA, AILACasedocs un XLSum. Neviena no šīm datu kopām neietilpst mūsu apmācības datos, kā aprakstīts iepriekš.
• Q2D-Web: mūsu tīmekļa mēroga meklēšanas etalons ar aptuveni 70 000 aģenta pārveidotu meklēšanas vaicājumu, kas ņemti no ražošanas meklēšanas datplūsmas, uz 190M tīmekļa dokumentu korpusa. Šis etalons mēra meklēšanas veiktspēju vidē, kas ir daudz tuvāka reālās pasaules tīmekļa meklēšanai nekā citi pieejamie meklēšanas etaloni, pateicoties ražošanai līdzīgiem vaicājumiem un liela mēroga korpusam.
• ViDoRe(V3) Markdown: ViDoRe(V3) parasti ir teksta–vizuālā dokumenta meklēšanas uzdevums, taču to var arī novērtēt kā teksta uzdevumu, izmantojot korpusa versiju, kas ir parsēta Markdown formātā, ļaujot mums novērtēt ar informāciju bagātu dokumentu meklēšanu gan attēlu, gan teksta modalitātēs.

Mēs mērām veiktspēju, izmantojot nDCG@10, izņemot Q2D-Web, kur ziņojam Recall@1000, jo etalona fokuss ir uz pirmās stadijas tīmekļa meklēšanas scenāriju. Visos mūsu novērtējumos mēs salīdzinām ar nozares līderpozīcijās esošiem iegulšanas modeļiem dažādās izmēru klasēs. Teksta meklēšanā nemotron-embed-8b, gemini-embedding-2, voyage-large-4 un qwen3-embed-8b pārstāv spēcīgākos un visplašāk izmantotos blīvos konkurentus, savukārt voyage-4-nano un qwen3-embed-0.6b kalpo kā mazāki nekā viena miljarda parametru blīvie etaloni. Papildus salīdzinām ar TopK nesen izlaistajiem topk-embed-v1 vēlās mijiedarbības modeļiem tajos etalonos, kuros TopK ir publicējis rezultātus. ViDoRe(V3) rezultāti ir ņemti no viņu modeļu kartītēm ar 128 dimensijām, kas atbilst mūsu tokenu iegulšanu platumam; Q2D-Web rezultāts ir ņemts no mūsu līderu tabulas.

Domēnspecifiskajos etalonos mūsu 9B un 0,6B modeļu vidējais rezultāts ir attiecīgi 81,3% un 78,0%. Mūsu 9B modelis sasniedz augstāko rezultātu no visiem mūsu vērtētajiem modeļiem, pārspējot nākamo labāko modeli par 1,6 procentpunktiem. Mūsu 0,6B modelis ir konkurētspējīgs ar citiem augstāko rezultātu ieguvušajiem modeļiem, atpaliekot tikai par 0,3 procentpunktiem no gemini-embedding-2. Svarīgi, ka, tā kā mēs neapmācījām nevienu no šo etalonu uzdevumu datiem, domēnspecifiskie etaloni parāda, ka mūsu iegulšanas modeļi spēj vispārināties uz jauniem domēniem.

Izvērst

Mūsu 0,6B modeļa relatīvais pārākums ir vēl lielāks ViDoRe(V3) Markdown uzdevumā; tā 61,2% rezultāts pārspēj visus citus modeļus, izņemot mūsu 9B modeli, kurš ieguva 64,7%. Nākamais labākais ārējais modelis ieguva 60,6%, un nākamais labākais zem 1B modelis, topk-embed-v1-0.8b, atpalika no mūsu 0,6B modeļa par 4,3 procentpunktiem.

Izvērst

Q2D-Web atbilstība izriet no trim vērtējumu kopām: dokumenti, kurus aģents citēja (Citēšana), dokumenti, ko ranžoja mūsu ražošanas meklēšanas sistēma (Tīmeklis), un abu kopu apvienojums, paplašināts ar LLM vērtējumiem par neiezīmētiem dokumentiem (Apvienotais). Abi pplx-embed-v2-late modeļi visās trīs vērtējumu kopās apsteidz katru etalonu. Mēs koncentrējamies uz apvienotajiem vērtējumiem, jo Citēšanas un Tīmekļa kopas ir iegūtas no tā, ko jau parādīja mūsu pašu sistēmas, un tāpēc dod priekšroku modeļiem, kas ranžē tāpat; Apvienotajā kopā pievienotie LLM vērtējumi aptver dokumentus, kurus neviena sistēma neatrada. Šajā kopā gan mūsu 9B, gan 0,6B modeļi pārspēj visus konkurentus, sasniedzot attiecīgi 74,8% un 73,6%, salīdzinot ar iepriekšējo labāko rezultātu 69,3%.

Izvērst

Vizuālā meklēšana

Mūsu galvenais vizuālās meklēšanas etalons ir ViDoRe(V3) standarta publiskais apakškopums, kurā korpuss sastāv no renderētiem lapu attēliem, nevis Markdown konvertējuma. Mēs salīdzinām ar diviem vadošajiem blīvajiem redzes–valodas modeļiem, qwen3-vl-embed-8b un gemini-embedding-2, kā arī ar topk-embed-v1 vēlās mijiedarbības modeļiem. Turklāt Tencent EVIE modeļi un NVIDIA Nemotron ColEmbed V2 modeļi ir "tikai redzei" daudzvektoru etaloni, kas īpaši apmācīti attēlu meklēšanas uzdevumiem.

Abi mūsu modeļi sasniedz jaunākā līmeņa veiktspēju redzes–valodas modeļu vidū. Mūsu 9B modelis vidēji iegūst 65,2%, atpaliekot tikai no EVIE. Mūsu 0,6B modelis sasniedz 62,3% rezultātu, apsteidzot topk-embed-v1-2b un atpaliekot tikai no krietni lielākiem EVIE un nemotron-colembed-v2-8b starp ārējiem etaloniem.

Izvērst

Mūsu 0,6B modelis ir īpaši konkurētspējīgs modeļa izmēra kontekstā. Tas apsteidz visus salīdzināma izmēra modeļus un atpaliek tikai par 1,2 procentpunktiem no nemotron-colembed-v2-8b, vienlaikus attēlu ievadei aktivizējot tikai 340M parametru. Mūsu modeļi rada 128 dimensiju iegulšanas katram tokenam, salīdzinot ar 2 048 dimensijām EVIE-4.5B un 4 096 dimensijām EVIE-8B un nemotron-colembed-v2-8b. Šī atšķirība uzglabāšanas izmaksās var būtiski ietekmēt scenārijus, kuros šos modeļus ir praktiski lietot.

Izvērst

Mēs arī novērtējam vizuālo meklēšanu MIRACL-Vision, etalonā, kura korpuss sastāv no wikipedia rakstu ekrānuzņēmumiem, un PPLX-Q2I — iekšējā etalonā, kas aptver gan vizuālos dokumentus, gan dabiskus attēlus. PPLX-Q2I ir veidots no Perplexity ražošanas attēlu meklēšanas žurnāliem un paredzēts, lai atspoguļotu attēlu meklēšanas lietojumu daudzveidību. Mēs izmantojam 10 000 vaicājumu izlasi, stratificētu pēc valodas un domēna, pret 100 000 attēlu korpusu; katra vaicājuma atbilstošie dokumenti ir tam parādītie attēli. Mēs nevērtējām EVIE-8B vai Nemotron ColEmbed uz PPLX-Q2I, jo šāda izmēra korpusa indeksēšana ar to noklusējuma izvades dimensijām (2 560 Nemotron ColEmbed 4B un 4 096 Nemotron ColEmbed 8B un EVIE-8B) bija nepraktiska.

Līdzīgi kā ViDoRe(V3) rezultātos, mūsu 0,6B modelis ir konkurētspējīgs ar daudz lielākiem modeļiem, MIRACL-Vision atpaliekot tikai par 1 procentpunktu no qwen3-vl-embed-8b. Mūsu 9B modelis pārspēj visus citus modeļus, izņemot gemini-embedding-2.

PPLX-Q2I mūsu abi modeļi pārspēj qwen3-vl-embedding-8b par vairāk nekā 9 procentpunktiem, un mūsu 9B modelis atpaliek no gemini-embedding-2 tikai par 2 procentpunktiem. Mūsu rezultāti saglabā konkurētspēju korpusos, kuros ir gan dabiskie attēli, gan vizuālie dokumenti, tāpēc daudzvektoru attēlojumi, kas atmaksājas ViDoRe(V3), nenāk uz vispārējās attēlu meklēšanas rēķina.

Izvērst

Starpmodeļu meklēšana

Iepriekšējās sadaļās rezultāti katru modeli novērtē pret korpusu, ko tas pats ir iekodējis. Kopīgā iegulšanas telpa nozīmē, ka tā nav prasība: korpusu, kas indeksēts ar 9B modeli, var meklēt ar vaicājumiem, kas iekodēti ar 0,6B modeli. Tieši šādu konfigurāciju, mūsuprāt, izmantos vairums ražošanas ieviešanu, jo indeksēšana ir vienreizēja izmaksu pozīcija, kas tiek amortizēta visā korpusa dzīves ciklā, savukārt vaicājumu kodēšana notiek latentumam kritiskajā katra pieprasījuma ceļā.

Izvietojumam, kas nevar palaist 9B modeli vaicājuma laikā, citādi arī indekss būtu jāveido ar 0,6B modeli, tāpēc simetriskā 0,6B konfigurācija ir atbilstošais salīdzinājuma punkts. Mēs novērtējam pret iepriekš minētajiem 72 domēnspecifiskajiem etaloniem un ViDoRe v3 attēlu meklēšanu. Vaicājumi tiek iekodēti ar pplx-embed-v2-late-0.6b, un mēs mainām tikai to, kas iekodēja korpusu.

Indeksēšana ar 9B modeli ir stingrs uzlabojums. Domēnspecifiskajos etalonos asimetriskā konfigurācija vidēji dod 1,6 procentpunktu pieaugumu. ViDoRe v3 attēlu meklēšanā tā sasniedz 63,5%, salīdzinot ar 62,3%, ja 0,6B modelis tiek izmantots abās pusēs — pieaugums par 1,2 procentpunktiem. Vaicājumu kodēšanas izmaksas starp simetrisko 0,6B un asimetrisko konfigurāciju nemainās, jo vaicājumu abos gadījumos kodē tas pats 0,6B modelis; papildu dokumentu kodēšanas izmaksas rodas indeksēšanas laikā.

9B modeļa izmantošana abās pusēs joprojām ir vēl labāka, domēnspecifiskajos etalonos sasniedzot vidēji 81,3%. Tāpēc asimetriskā konfigurācija teksta uzdevumos atgūst aptuveni pusi no kvalitātes starpības starp abiem modeļiem, neradot papildu vaicājumu kodēšanas izmaksas. Kuru konfigurāciju izvēlēties, ir atkarīgs no tā, vai 9B modelis ir pieņemami dārgs vaicājuma laikā; tur, kur tas nav, asimetriskais risinājums saglabā ievērojamu tā priekšrocību daļu.

Izvērst

Aģentiska meklēšana

Aģentiska meklēšana ir vēl viens scenārijs, kur daudzvektoru iegulšanas ir īpaši spēcīgas. BrowseComp+ LLM (GPT-OSS-120B mūsu gadījumā) izmanto iegulšanas modeli, lai meklētu korpusā informāciju, kas attiecas uz sarežģītu lietotāja vaicājumu, un otrs LLM nosaka, vai iegūtais atbildes rezultāts atbilst patiesajam risinājumam. Mūsu 9B modelis sasniedz 64,0% precizitāti, pārspējot nākamo labāko ColBERT modeli par 4,9 procentpunktiem un nākamo labāko blīvo modeli par 8,7 procentpunktiem, vienlaikus veicot mazāk meklējumu nekā jebkurš cits modelis, izņemot mūsu 0,6B. Arī 0,6B modelis apsteidz visus modeļus ārpus mūsu saimes.

Izvērst

MADQA pārbauda aģentisku jautājumu-atbilžu veikšanu 800 heterogēnos reālās pasaules PDF failos, kas kopā aptver vairāk nekā 18 000 lappušu, ar 500 cilvēku rakstītiem jautājumiem, uz kuriem nevar atbildēt ar vispārējām zināšanām. Aģents (mūsu gadījumā Gemini 3.5 Flash) meklē kolekcijā ar pārbaudāmo retriveru un tiek vērtēts pēc atbildes precizitātes un lapas F1 pret anotētajām pierādījumu lapām. Mūsu 9B modelis uzstāda jaunu jaunākā līmeņa rezultātu retriveru vidū ar 92,4% precizitāti, apsteidzot to pašu aģentu, kas izmanto Mixedbread retriveru, par 3,5 procentpunktiem; mūsu 0,6B modelis sasniedz 90,1%. Mēs arī atzīmējam, ka mūsu retrivers sasniedz konkurētspējīgus rezultātus pret Mixedbread Agentic Search, kas viņu meklēšanas sistēmā izmanto meklēšanas apakšaģentu, kurš plāno un izpilda vairākus meklējumus uz katru galvenā aģenta izsaukumu (93,4%, mūsu ticamības intervāla robežās).

Izvērst

Darba sākšana

Abi mūsu 0,6B un 9B modeļi ir pieejami vietnē Hugging Face un ir gatavi lietošanai kopā ar sentence-transformers >= 6.0.0 un transformers >= 5.4.0. Tālāka tehniskā informācija un pilni novērtējuma rezultāti tiks publicēti tehniskajā ziņojumā vēlāk šogad.

Pašlaik mēs apmācām nākamās paaudzes blīvo iegulumu modeļus un pakāpeniski ieviesīsim vēlīnās mijiedarbības, blīvo un kontekstuālo iegulumu atbalstu platformā Perplexity API Platform.

Citēšana

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}