Multimodaliniai įterpiniai už vieno vektoriaus ribų

Nuo pplx-embed-v1 išleidimo vasarį dirbome prie naujos kartos įterpimo modelių. Praėjusią savaitę pristatėme naują kontekstinį įterpimo modelį, pplx-embed-v2-context. Šiandien plečiame šeimą pplx-embed-v2-late – vėlyvosios sąveikos modelių rinkiniu. Kartu su stipresnėmis paieškos galimybėmis šie modeliai yra pirmieji, kurie sujungia tris pagrindines savybes:

• Daugiavektorės reprezentacijos. Užuot kiekvieną įvestį suspaudę į vieną vektorių, šie modeliai išlaiko žetonų lygmens vektorius, kad būtų galima detaliau palyginti užklausą ir dokumentą. Tai leidžia skirtingoms užklausos dalims sutapti su skirtingomis dokumento dalimis, išsaugant detales, kurios ypač vertingos multimodalinei paieškai.
• Palaikymas tiek tekstinei, tiek vaizdinei modalybei. Be ankstesnių modelių teksto-teksto paieškos galimybių, šie nauji modeliai palaiko teksto-į-vaizdą paiešką, todėl gali tiesiogiai ieškoti atvaizduotuose PDF puslapiuose, nereikalaujant OCR ar išskirto teksto.
• Bendra įterpiamųjų reprezentacijų erdvė. Išleidžiame dviejų dydžių modelius – 0,6B ir 9B – kad būtų galima tenkinti skirtingus kokybės, vėlavimo ir skaičiavimo poreikius. Kiekvieną galima naudoti atskirai, tačiau bendra įterpiamųjų reprezentacijų erdvė taip pat leidžia mažesniam modeliui užklausti indeksą, sukurtą didesniu modeliu, taip derinant aukštesnės kokybės dokumentų įterpinius su pigiomis, greitomis užklausos metu vykdomomis inferencijomis.

Šie naujieji modeliai pasiekia pažangiausius rezultatus įvairiuose vaizdų ir teksto informacijos paieškos lyginamuosiuose testuose, taip pat agentinėse atsakymų į klausimus užduotyse. Pažymėtina, kad viename pirmaujančių vizualinių dokumentų paieškos lyginamųjų testų ViDoRe (V3) mūsų 0,6 mlrd. parametrų modelis prilygsta modeliams, turintiems penkis kartus daugiau aktyviųjų parametrų. Abu modeliai viešai prieinami platformoje Hugging Face. Mūsų techninėje ataskaitoje pateikiama daugiau informacijos apie metodiką ir vertinimo rezultatus.

Nuo vieno vektoriaus iki vėlyvosios sąveikos

Paieškos sistemos turi rasti pusiausvyrą tarp efektyvumo ir sąveikos tarp užklausų bei dokumentų gilumo. Tankūs įterpimo modeliai kiekvieną užklausą ir dokumentą koduoja atskirai, todėl juos galima palyginti pigiu vidiniu sandaugos skaičiavimu. Tai leidžia praktiškai vykdyti apytikslę artimiausių kaimynų (ANN) paiešką tarp milijardų dokumentų. Kitame spektro gale kryžminiai kodavimo modeliai apdoroja užklausą ir dokumentą kartu, taip leisdami turtingesnę sąveiką, bet kiekvienam kandidatui reikalaudami atskiro pirmyn skaičiavimo. Toks skaičiavimas per visą didelį dokumentų korpusą kiekvienai paieškai būtų pernelyg brangus, todėl kryžminiai kodavimo modeliai paprastai naudojami tik nedidelės atrinktų kandidatų grupės perrikiavimui.

Tankių įterpinių ribotumai

Viso dokumento vaizdavimas vienu fiksuoto dydžio vektoriumi sukuria informacijos susiaurėjimo butelio kaklelį. Dokumentams ilgėjant ir apimant daugiau temų, modeliui tenka daugiau turinio suspausti į tą patį vektorių, todėl sunkiau išsaugoti viską, kas svarbu užklausai. Dalijimas į segmentus gali sumažinti šį spaudimą, tačiau jis suskaido dokumentą ir gali atskirti informaciją, kuri prasminga tik kartu; šią problemą taip pat sprendžiame su mūsų kontekstiniu įterpimo modeliu. Šis butelio kaklelis dar labiau sustiprėja multimodalinėse aplinkose, kur dėl vaizdų informacijos tankio reikia dar daugiau suspaudimo.

Vieno vektoriaus tanki paieška taip pat kiekvieną palyginimą suveda į vidinę sandaugą tarp dviejų vektorių, taip apribodama vertinimo funkcijos išraiškingumą. Esant fiksuotam įterpinio matmeniui ir pakankamai dideliam korpusui, kai kurie rezultatų dėsningumai tarp užklausos ir dokumento porų yra neįmanomi pasiekti, nepriklausomai nuo mokymo. LIMIT etalonas šį teorinį rūpestį paverčia konkrečiu vieno vektoriaus paieškos streso testu.

Vėlyvosios sąveikos paieška

Vėlyvosios sąveikos modeliai užima erdvę tarp pigesnių tankių įterpimo modelių ir labiau išraiškingų kryžminių kodavimo modelių. Kaip ir tankūs modeliai, jie dokumentus koduoja nepriklausomai nuo užklausos, todėl dokumentų reprezentacijas galima apskaičiuoti neprisijungus. Tačiau, užuot kiekvieną įvestį sumažinę iki vieno vektoriaus, jie išlaiko kelis vektorius ir lygindami užklausą su dokumentu naudoja turtingesnę vertinimo funkciją.

Mūsų pplx-embed-v2-late modeliai naudoja ColBERT stiliaus architektūrą, kuri kiekvienam įvesties žetonui išveda 128 matmenų įterpinius. Užklausos ir dokumento poras vertiname naudodami MaxSim; kiekvienam užklausos žetonui modelis pasirenka didžiausią balą gavusį dokumento žetoną ir sudeda didžiausias kiekvieno žetono panašumas, kad gautų galutinį rezultatą. Tai leidžia skirtingoms užklausos dalims sutapti su skirtingomis dokumento dalimis, o stipresni žetonų sutapimai labiau prisideda prie rezultato.

Padidinti

Šis papildomas išraiškingumas susijęs su didesnėmis saugojimo ir kandidatų vertinimo sąnaudomis. Tanki paieška saugo po vieną vektorių kiekvienam dokumentui ir vertina kandidatą viena vidine sandauga; vėlyvoji sąveika saugo dokumentų žetonų vektorius ir įvertina daugybę žetonų tarpusavio panašumų. Kaina auga kartu su dokumento ilgiu, todėl vėlyvajai sąveikai reikia kitokio indeksavimo ir aptarnavimo kompromiso nei vieno vektoriaus ANN paieškai. Mainais ji suteikia turtingesnę pirmojo etapo paiešką kokybei jautriems korpusams ir gali būti naudojama ir kaip vėlesnis etapas didesniame interneto masto paieškos vamzdyne.

Vienas modelis, kelios modalybės

Įrodyta, kad šis geresnis sąveikos gilumas yra labai naudingas įvairioms užduotims, įskaitant ilgo konteksto, agentinę ir už domeno ribų vykdomą paiešką. Šis skirtumas ypač akivaizdus multimodalinėje paieškoje, kaip rodo didelė ColPali modelių persvara ViDoRe(V3) lyderių lentelėje.

Realaus pasaulio korpusai nėra sudaryti vien iš švaraus teksto. Jie pateikiami kaip PDF, skaidrių rinkiniai, ekrano kopijos, nuskaityti puslapiai, diagramos ir lentelės. Įprastas vamzdynas šiuos dokumentus išanalizuoja, pritaiko OCR arba antraščių generavimą ir ieško gautame tekste, tačiau tai brangu ir praranda dalį informacijos: gali atsirasti OCR klaidų, be to, prarandamas išdėstymas, lentelių struktūra, iliustracijos ir erdviniai ryšiai. Vizualinė dokumentų paieška praleidžia šį etapą, tiesiogiai projektuodama atvaizduotą puslapį į reprezentacijų erdvę, kurioje jį gali ieškoti tekstinės užklausos.

Mūsų nauja modelių šeima remiasi geru daugiavektorinių modelių našumu multimodaliajai paieškai ir pakelia mažų modelių Pareto frontą dažniausiai naudojamame dokumentų paieškos etalone, ViDoRe(V3). Nors tikimės, kad dokumentų atvaizdai bus dažniausia vizualinės įvesties forma, mūsų modeliai taip pat palaiko semantinę natūralių vaizdų, pavyzdžiui, vaizdingų nuotraukų, paiešką.

Interoperabilių modelių šeimos mokymas

Paieška iš esmės yra asimetriška: indeksavimas ir užklausų kodavimas turi skirtingus veiklos apribojimus. Indeksavimas vyksta neprisijungus ir gali būti paralelizuojamas, todėl jo skaičiavimo kaina pasiskirsto per daugelį būsimų paieškų. Užklausų kodavimas vyksta internetu kiekvienai užklausai, todėl yra jautrus vėlavimui ir kartais susiduria su aptarnavimo ar kraštinių įrenginių apribojimais. Mūsų modelių šeima išnaudoja šią asimetriją, siūlydama dydžius, pritaikytus kiekvienai paieškos vamzdyno pusei.

Pirmiausia kontrastiniu būdu mokome 18B mokytoją, tada atskirai distiliuojame jį į 9B ir 0,6B mokinius. Užuot mokę kiekvieną mokinį tik atkurti mokytojo reitingavimo pasiskirstymą, naudojame LEAF stiliaus reprezentacijų distiliavimą: kiekvienam įvesties žetonui sulyginame mokinio išvesties įterpinį su mokytojo įterpiniu. Nors reprezentacijų erdvės distiliavimas anksčiau buvo taikytas tankiems, vieno vektoriaus modeliams, mes jį išplečiame į vėlyvąją sąveiką, kur suderinimo taikinys yra vektorius kiekvienam išlaikytam žetonui.

Todėl abu išleisti kontroliniai taškai dalijasi ta pačia daugiavektorine įterpimų erdve. Tai įgalina skirtingų modelių paiešką ir sudaro papildomas diegimo galimybes.

• Maksimali kokybė: dokumentus ir užklausas koduokite 9B modeliu.
• Maksimalus efektyvumas: dokumentus ir užklausas koduokite 0,6B modeliu, kad inferencija būtų 100 % vietinė
• Mažo vėlavimo paieška: kurkite korpuso indeksą 9B modeliu, o tiesiogines užklausas koduokite 0,6B modeliu, kad išnaudotumėte indeksavimo metu atliktą skaičiavimą ir kartu išlaikytumėte greitą užklausų vykdymą.
• Vietinė–debesijos paieška: privačius vietinius dokumentus arba tiesiogines užklausas koduokite 0,6B modeliu įrenginyje ir palyginkite arba sujunkite tas reprezentacijas su 9B indeksu, talpinamu debesyje.

Vėlavimui jautrioms aplinkoms 0,6B modelį sukūrėme kaip lengvą užklausų koduotoją, galintį veikti ir kraštiniuose įrenginiuose. Pradėję nuo Qwen3.5-0.8B, sutrumpinome jo 24 sluoksnių teksto bokštą iki 12 sluoksnių, taip sumažindami to bokšto ne įterpimų parametrų skaičių nuo 498 mln. iki 240 mln. Gautas modelis iš viso turi 594 mln. parametrų, tačiau jo nominalus dydis pervertina aptarnavimo kainą: 100 mln. naudojami vaizdų kodavimui, o 254 mln. yra žetonų įterpimų lentelėje, kuri runtime beveik nedaro įtakos. Teksto kodavimui aktyvūs tik apie 240 mln. parametrų, o vaizdų kodavimui – 340 mln., todėl modelio aptarnavimo kaina yra gerokai mažesnio modelio, išlaikant suderinamumą su 9B indeksu.

Tą patį procesą pritaikėme ir kurdami savo 18B mokytoją iš 27B pagrindo modelio, todėl mokytoją buvo gerokai pigiau distiliuoti, nepašalinant jo teikiamo signalo.

Daugiakalbiai, multimodaliniai, neužteršti mokymo duomenys

Abu modelius mokome iš 186 milijonų užklausos ir dokumento porų rinkinio, sudaryto iš 594 rinkinių 46 kalbomis. Iš šių porų 88,3 % yra teksto-teksto, 8,3 % – teksto-į-vaizdą, o 3,4 % – teksto-į-vizualinį dokumentą poros. Užuot atrinkę proporcingai rinkinio dydžiui, kiekvienam rinkiniui priskiriame atrankos svorį, o tai sukuria labiau subalansuotą mokymo mišinį: atitinkamai 56,5 %, 30,9 % ir 12,6 %.

Rinkdami mokymo duomenis, išmetame visus rinkinius, susijusius su etalonais, kuriuos vertiname, kad patikimai atspindėtume savo rezultatus jų nepadidindami. Šis sprendimas reiškia kompromisą: kai kuriuose mūsų atmestuose rinkiniuose yra aukštos kokybės duomenų, kurie galėtų pagerinti mūsų modelio našumą užduotyse, nesusijusiose su etalonu, iš kurio jie kilę. Galiausiai nusprendėme prisiimti šią kainą: patikimi skaičiai mums naudingesni kuriant, o vartotojams – lyginant modelius.

Vertinimas

Abu modelius vertiname tekstinės, vizualinių dokumentų, mišrių vaizdų ir agentinės paieškos užduotyse. Abu modeliai lenkia vertintus bazinius modelius Q2D-Web ir BrowseComp+ užduotyse bei pasiekia puikių rezultatų vizualinių dokumentų paieškoje ir MADQA.

Tekstinė paieška

Teksto-į-tekstą paiešką vertiname trijuose etalonuose:

• Sritiniai etalonai: 72 MTEB stiliaus užduočių rinkinys, iš kurių 55 yra penkiose srityse (finansai, teisė, sveikata, pokalbiai, technologijos), o 17 – įvairios daugiakalbės užduotys. Rinkinį sudaro tokios užduotys kaip FinQA, AILACasedocs ir XLSum. Nė vienas iš šių duomenų rinkinių nepatenka į mūsų mokymo duomenis, kaip aprašyta aukščiau.
• Q2D-Web: mūsų interneto masto paieškos etalonas su maždaug 70 000 agento performuluotų paieškos užklausų, gautų iš gamybinio paieškos srauto, ir 190 mln. žiniatinklio dokumentų korpusu. Šis etalonas matuoja paieškos našumą aplinkoje, kuri dėl gamybines sistemas primenančių užklausų ir didelio masto korpuso yra daug artimesnė tikrajai interneto paieškai nei kiti prieinami paieškos etalonai.
• ViDoRe(V3) Markdown: ViDoRe(V3) paprastai yra teksto-į-vizualinį dokumentą paieškos užduotis, tačiau ją taip pat galima vertinti kaip teksto užduotį naudojant korpuso versiją, kuri buvo išanalizuota į Markdown, taip leidžiant įvertinti daug informacijos turinčią dokumentų paiešką ir vaizdo, ir teksto modalybėse.

Našumą matuojame pagal nDCG@10, išskyrus Q2D-Web, kur pateikiame Recall@1000 dėl etalono dėmesio pirmojo etapo interneto paieškos scenarijui. Visų vertinimų metu lyginame su pirmaujančiais pramonės lygio įterpimo modeliais įvairiose dydžio klasėse. Tekstinei paieškai nemotron-embed-8b, gemini-embedding-2, voyage-large-4 ir qwen3-embed-8b atstovauja stipriausius ir plačiausiai naudojamus tankius konkurentus, o voyage-4-nano ir qwen3-embed-0.6b tarnauja kaip tankūs baziniai modeliai, turintys mažiau nei milijardą parametrų. Taip pat lyginame su neseniai TopK išleistais topk-embed-v1 vėlyvosios sąveikos modeliais etalonuose, kuriuose TopK paskelbė rezultatus. ViDoRe(V3) rezultatai paimti iš jų modelių kortelių esant 128 matmenims, atitinkančiam mūsų žetonų įterpinių plotį; Q2D-Web rezultatas paimtas iš mūsų lyderių lentelės.

Specializuotuose etaloniniuose testuose mūsų 9B ir 0,6B modelių vidurkiai yra atitinkamai 81,3 % ir 78,0 %. Mūsų 9B modelis pasiekia aukščiausią rezultatą iš visų mūsų vertintų modelių, 1,6 proc. p. lenkdamas antrą geriausią modelį. Mūsų 0,6B modelis yra konkurencingas su kitais aukščiausius rezultatus pasiekiančiais modeliais, nusileisdamas tik 0,3 proc. p. gemini-embedding-2. Svarbu tai, kad kadangi nei vienais iš šių etaloninių užduočių duomenų nemokėme, specializuoti etalonai rodo, jog mūsų įterpimo modeliai gali apibendrinti į naujas sritis.

Padidinti

Santykinis mūsų 0,6B modelio pranašumas ViDoRe(V3) Markdown užduotyje yra dar didesnis; jo 61,2 % rezultatas lenkia visus kitus modelius, išskyrus mūsų 9B modelį, kuris surinko 64,7 %. Kitas geriausias išorinis modelis surinko 60,6 %, o kitas geriausias mažesnis nei 1B modelis, topk-embed-v1-0.8b, nuo mūsų 0,6B modelio atsiliko 4,3 proc. p.

Padidinti

Q2D-Web aktualumas nustatomas pagal tris vertinimo rinkinius: dokumentus, kuriuos agentas citavo (Citation), dokumentus, kuriuos pagal eilę pateikė mūsų gamybinė paieškos sistema (Web), ir abiejų junginį, papildytą LLM vertinimais nepažymėtų dokumentų (Combined). Abu pplx-embed-v2-late modeliai pirmauja prieš kiekvieną bazinį modelį visuose trijuose vertinimo rinkiniuose. Daugiausia dėmesio skiriame sujungtam vertinimui, nes Citation ir Web rinkiniai yra sudaryti iš to, ką jau pateikė mūsų pačių sistemos, todėl jie palankūs modeliams, kurie reitinguoja taip pat; į Combined įtraukti LLM vertinimai apima dokumentus, kurių nė viena sistema nebuvo suradusi. Tame rinkinyje abu mūsų 9B ir 0,6B modeliai pranoksta visus konkurentus ir pasiekia atitinkamai 74,8 % ir 73,6 % rezultatus, palyginti su ankstesniu geriausiu 69,3 % rezultatu.

Padidinti

Vaizdinė paieška

Mūsų pagrindinis vaizdinės paieškos etalonas yra standartinis viešasis ViDoRe (V3) poaibis, kuriame korpusą sudaro atvaizduoti puslapių vaizdai, o ne Markdown konversija. Lyginame su dviem pirmaujančiais tankiais regos ir kalbos modeliais, qwen3-vl-embed-8b ir gemini-embedding-2, taip pat su topk-embed-v1 vėlyvosios sąveikos modeliais. Be to, Tencent EVIE modeliai ir NVIDIA Nemotron ColEmbed V2 modeliai yra „tik regos“ daugiavektoriai baziniai modeliai, specialiai apmokyti vaizdų paieškos užduotims.

Abu mūsų modeliai pasiekia geriausius rezultatų rodiklius tarp regos ir kalbos modelių. Mūsų 9B modelis vidutiniškai surenka 65,2 %, nusileisdamas tik EVIE. Mūsų 0,6B modelis pasiekia 62,3 % rezultatą, lenkdamas topk-embed-v1-2b ir nusileisdamas tik gerokai didesniems EVIE ir nemotron-colembed-v2-8b tarp išorinių bazinių modelių.

Padidinti

Mūsų 0,6B modelis yra ypač konkurencingas modelio dydžio požiūriu. Jis lenkia visus panašaus dydžio modelius ir nuo nemotron-colembed-v2-8b atsilieka tik 1,2 proc. p., nors vaizdo įvestims aktyvuoja tik 340 mln. parametrų. Mūsų modeliai sukuria 128 matmenų įterpinius kiekvienam žetonui, palyginti su 2 048 EVIE-4.5B ir 4 096 EVIE-8B bei nemotron-colembed-v2-8b. Šis saugojimo sąnaudų skirtumas gali smarkiai paveikti scenarijus, kuriuose šiuos modelius praktiška naudoti.

Padidinti

Taip pat vertiname vizualinę paiešką MIRACL-Vision, etalone, kurio korpusą sudaro „Wikipedia“ straipsnių ekrano kopijos, ir PPLX-Q2I, vidiniame etalone, apimančiame tiek vizualinius dokumentus, tiek natūralius vaizdus. PPLX-Q2I sukurtas iš Perplexity gamybinių vaizdų paieškos žurnalų ir skirtas atspindėti vaizdų paieškos naudojimo atvejų įvairovę. Naudojame 10 000 užklausų imtį, stratifikuotą pagal kalbą ir sritį, prieš 100 000 vaizdų korpusą; kiekvienos užklausos aktualūs dokumentai yra jai pateikti vaizdai. Nevertinome EVIE-8B ar Nemotron ColEmbed PPLX-Q2I, nes tokio dydžio korpuso indeksavimas jų numatytais išvesties matmenimis (2 560 Nemotron ColEmbed 4B ir 4 096 Nemotron ColEmbed 8B bei EVIE-8B) buvo nepraktiškas.

Kaip ir ViDoRe(V3) rezultatuose, mūsų 0,6B modelis yra konkurencingas su gerokai didesniais modeliais ir MIRACL-Vision užduotyje nusileidžia tik 1 proc. p. qwen3-vl-embed-8b. Mūsų 9B modelis lenkia visus kitus modelius, išskyrus gemini-embedding-2.

PPLX-Q2I abiem mūsų modeliams pavyksta aplenkti qwen3-vl-embedding-8b daugiau nei 9 proc. p., o mūsų 9B modelis nuo gemini-embedding-2 atsilieka tik 2 proc. p. Mūsų rezultatai išlieka konkurencingi korpusuose, kuriuose yra ir natūralių vaizdų, ir vizualinių dokumentų, todėl daugiavektorės reprezentacijos, kurios pasiteisina ViDoRe(V3), nepraranda naudos bendrojoje vaizdų paieškoje.

Padidinti

Skirtingų modelių paieška

Ankstesniuose skyriuose pateikti rezultatai vertina kiekvieną modelį pagal korpusą, kurį jis pats įterpė. Bendra įterpiamųjų reprezentacijų erdvė reiškia, kad to daryti nebūtina: 9B modeliu indeksuotą korpusą galima ieškoti užklausomis, įterptomis 0,6B modeliu. Tikimės, kad dauguma gamybinių diegimų naudos būtent šią konfigūraciją, nes indeksavimas yra vienkartinės išlaidos, amortizuojamos per visą korpuso gyvavimo laiką, o užklausų įterpimas vyksta kiekvienos užklausos vėlavimui kritinėje kelio dalyje.

Diegimas, kuriame užklausos metu negalima paleisti 9B modelio, kitu atveju indeksuotų ir 0,6B modeliu, todėl simetriška 0,6B konfigūracija yra tinkamas palyginimo taškas. Vertiname pagal aukščiau naudotus 72 sritinius etalonus ir pagal ViDoRe v3 vaizdų paiešką. Užklausos įterpiamos naudojant pplx-embed-v2-late-0.6b, o keičiame tik tai, kas įterpė korpusą.

Indeksavimas 9B modeliu yra aiškus patobulinimas. Sritiniuose etalonuose asimetrinė konfigūracija vidutiniškai suteikia 1,6 proc. p. prieaugį. ViDoRe v3 vaizdų paieškoje ji pasiekia 63,5 %, t. y. 1,2 procentinio punkto daugiau nei 62,3 % su 0,6B modeliu abiejose pusėse. Užklausų kodavimo kaina tarp simetriškos 0,6B ir asimetrinės konfigūracijos nesikeičia, nes abiem atvejais užklausą koduoja tas pats 0,6B modelis; papildoma dokumentų kodavimo kaina patiriama indeksavimo metu.

Naudojant 9B modelį abiejose pusėse rezultatas vis tiek yra geresnis: sritiniuose etalonuose vidutiniškai pasiekiama 81,3 %. Todėl asimetrinė konfigūracija atkuria maždaug pusę kokybės skirtumo tarp šių dviejų modelių tekstinėse užduotyse be jokių papildomų užklausų kodavimo sąnaudų. Kurį variantą pasirinkti, priklauso nuo to, ar 9B modelis yra įperkamas užklausos metu; jei ne, asimetrinė sąranka suteikia didelę jo naudos dalį.

Padidinti

Agentinė paieška

Agentinė paieška yra dar viena sritis, kurioje daugiavektoriai įterpiniai yra ypač stiprūs. BrowseComp+ LLM (GPT-OSS-120B mūsų atveju) naudoja įterpimo modelį, kad ieškotų korpuse su vartotojo sudėtinga užklausa susijusios informacijos, o antras LLM nusprendžia, ar gautas atsakymas atitinka tiesą. Mūsų 9B modelis pasiekia 64,0 % tikslumą, 4,9 proc. p. lenkdamas kitą geriausią ColBERT modelį ir 8,7 proc. p. lenkdamas kitą geriausią tankų modelį, kartu pateikdamas mažiau paieškų nei bet kuris kitas modelis, išskyrus mūsų 0,6B. 0,6B modelis taip pat lenkia visus modelius už mūsų šeimos ribų.

Padidinti

MADQA tikrina agentinius klausimų ir atsakymų scenarijus, naudojant 800 nevienalyčių realaus pasaulio PDF, apimančių daugiau nei 18 000 puslapių, ir 500 žmonių suformuluotų klausimų, į kuriuos negalima atsakyti remiantis bendromis žiniomis. Agentas (mūsų atveju Gemini 3.5 Flash) su tiriamu retriveriu ieško rinkinyje ir yra vertinamas pagal atsakymo tikslumą bei puslapio F1, lyginant su anotuotais įrodymų puslapiais. Mūsų 9B modelis nustato naują geriausią rezultatą tarp retriverių – 92,4 % tikslumą, 3,5 proc. p. lenkdamas tą patį agentą, naudojantį Mixedbread retriverį; mūsų 0,6B modelis pasiekia 90,1 %. Taip pat pažymime, kad mūsų retriveris pasiekia konkurencingų rezultatų prieš Mixedbread Agentic Search, kuris jų paieškos sistemoje naudoja paieškos subagentą, planuojantį ir vykdantį kelias paieškas per kiekvieną pagrindinio agento iškvietimą (93,4 %, mūsų pasikliovimo intervalo ribose).

Padidinti

Pradžia

Abu mūsų 0,6B ir 9B modeliai prieinami Hugging Face ir iš karto suderinami su sentence-transformers >= 6.0.0 bei transformers >= 5.4.0. Vėliau šiais metais techninėje ataskaitoje bus paskelbta daugiau techninių detalių ir išsamūs vertinimo rezultatai.

Šiuo metu mokome naujos kartos tankiųjų įterpinių modelius ir Perplexity API platformoje palaipsniui diegsime vėlyvosios sąveikos, tankiųjų ir kontekstinių įterpinių palaikymą.

Citata

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}