Бір вектордан тыс мультимодальды embedding-тер

Ақпан айында pplx-embed-v1 нұсқасын шығарғаннан бері біз embedding модельдерінің жаңа буынымен жұмыс істеп келеміз. Өткен аптада біз жаңа контекстік embedding моделімізді, pplx-embed-v2-context моделін таныстырдық. Бүгін біз отбасын pplx-embed-v2-late — late-interaction модельдері топтамасымен кеңейтіп отырмыз. Іздеудің күштірек мүмкіндіктерімен қатар, бұл модельдер үш негізгі мүмкіндікті біріктіретін алғашқы модельдер:

• Көпвекторлы репрезентациялар. Әрбір кірісті бір ғана векторға сығымдаудың орнына, бұл модельдер анағұрлым ұсақ деңгейлі сұрау-құжат салыстырулары үшін токен деңгейіндегі векторларды сақтайды. Бұл сұраудың әртүрлі бөліктеріне құжаттың әртүрлі бөліктерімен сәйкестенуге мүмкіндік береді, әрі әсіресе мультимодальды іздеу үшін маңызды егжей-тегжейлерді сақтайды.
• Мәтін және кескін модальдіктерінің екеуіне де қолдау. Бұрынғы модельдеріміздің мәтіннен мәтінге іздеу мүмкіндіктеріне қоса, бұл жаңа модельдер мәтіннен кескінге іздеуді де орындайды, бұл оларға OCR немесе талданған мәтінсіз тікелей рендерленген PDF беттерін іздеуге мүмкіндік береді.
• Ортақ embedding кеңістігі. Біз әртүрлі сапа, кідіріс және есептеу талаптарын қолдау үшін 0.6B және 9B екі модель өлшемін шығарып отырмыз. Әрқайсысын дербес қолдануға болады, бірақ ортақ embedding кеңістігі кіші модельге үлкенірек модельмен жасалған индексті сұрауға да мүмкіндік береді, осылайша жоғары сапалы құжат embedding-терін сұрау кезіндегі арзан әрі жылдам инференспен біріктіреді.

Бұл жаңа модельдер визуалды және мәтіндік іздеу бенчмарктарының бірқатарында, сондай-ақ агенттік сұрақ-жауап тапсырмаларында озық нәтижелерге қол жеткізеді. Атап айтқанда, визуалды құжаттарды іздеудің жетекші бенчмаркі ViDoRe (V3) бойынша біздің 0.6B моделіміз белсенді параметрлері бес есе көп модельдермен тең нәтиже көрсетеді. Екі модель де Hugging Face платформасында жалпыға қолжетімді. Әдістеме мен бағалау нәтижелері туралы толығырақ ақпаратты біздің техникалық есебімізден табуға болады.

Бір векторлардан late interaction-ға дейін

Іздеу жүйелері тиімділік пен сұраулар мен құжаттар арасындағы өзара әрекеттесу тереңдігі арасында теңгерім табуы тиіс. Dense embedding модельдері әр сұрау мен құжатты дербес кодтайды, бұл оларды арзан ішкі көбейтінді арқылы салыстыруға мүмкіндік береді. Бұл миллиардтаған құжат бойынша шамамен ең жақын көрші (ANN) іздеуді практикалық етеді. Ал екінші шетінде cross-encoder модельдері сұрау мен құжатты бірге өңдеп, анағұрлым бай өзара әрекеттесуге мүмкіндік береді, бірақ әр кандидат үшін жеке forward pass талап етеді. Бұл есептеуді үлкен құжат корпусына әрбір іздеу сайын қолдану тым қымбатқа түседі, сондықтан cross-encoder-лер әдетте шағын іріктелген кандидаттар жиынын қайта ранжирлеуге ғана пайдаланылады.

Dense embedding-тердің шектеулері

Бүкіл құжатты бір тұрақты өлшемді вектормен бейнелеу ақпараттық тар мойын жасайды. Құжаттар ұзағырақ болып, көбірек тақырыпты қамтыған сайын, модель сол бір векторға көбірек мазмұнды сыйғызуға мәжбүр болады, бұл сұрауға қатыстының бәрін сақтауды қиындатады. Chunking бұл қысымды азайтуы мүмкін, бірақ ол құжатты бөлшектеп жібереді және тек бірге мағынасы ашылатын ақпаратты ажыратып тастауы мүмкін; мұндай мәселені біз контекстік embedding моделімізде де шешеміз. Бұл тар мойын мультимодальды жағдайларда одан әрі күшейеді, өйткені кескіндердегі ақпарат тығыздығы бұдан да көп сығымдауды талап етеді.

Бір векторлы dense retrieval де әр салыстыруды екі вектор арасындағы ішкі көбейтіндіге дейін қысқартады, бұл бағалау функциясының өрнектілік мүмкіндігін шектейді. Белгілі бір embedding өлшемі және жеткілікті үлкен корпус жағдайында, оқытуға қарамастан, сұрау-құжат жұптары арасындағы ұпайлардың кейбір үлгілерін өндіру мүмкін емес. LIMIT эталоны осы теориялық мәселені бір векторлы іздеу үшін нақты стресс-тестке айналдырады.

Late-interaction іздеу

Late-interaction модельдері арзанырақ dense embedding модельдері мен өрнектірек cross-encoder-лердің арасындағы кеңістікті алады. Dense модельдер сияқты, олар құжаттарды сұраудан тәуелсіз кодтайды, бұл құжат репрезентацияларын офлайн есептеуге мүмкіндік береді. Алайда әр кірісті бір векторға дейін қысқартудың орнына, олар бірнеше векторды сақтайды және сұрауды құжатпен салыстырғанда анағұрлым бай бағалау функциясын қолданады.

Біздің pplx-embed-v2-late модельдеріміз ColBERT стиліндегі архитектураны пайдаланып, кірістегі әр токен үшін 128 өлшемді embedding шығарады. Біз сұрау-құжат жұптарын MaxSim арқылы бағалаймыз; сұраудағы әр токен үшін модель ең жоғары ұпай алған құжат токенін таңдап, соңғы ұпайды шығару үшін токен бойынша максимал ұқсастықтардың қосындысын есептейді. Бұл сұраудың әртүрлі бөліктеріне құжаттың әртүрлі бөліктерімен сәйкес келуге мүмкіндік береді, ал күштірек токендік сәйкестіктер ұпайға көбірек үлес қосады.

Ұлғайту

Бұл қосымша өрнектілік жоғары сақтау және кандидаттарды бағалау шығындарымен бірге келеді. Dense retrieval бір құжатқа бір вектор сақтайды және кандидатқа бір ішкі көбейтіндімен баға береді; late interaction құжат токендеріне арналған векторларды сақтайды және көптеген токен-токен ұқсастықтарын есептейді. Шығын құжат ұзындығына қарай өседі, сондықтан late interaction бір-векторлы ANN іздеуден өзгеше индекстеу және қызмет көрсету ымыраларын талап етеді. Оның орнына, ол сапаға сезімтал корпустар үшін анағұрлым бай бірінші кезеңдегі іздеуді ұсынады және ірі веб-масштабты іздеу құбырындағы кейінгі кезең ретінде де қызмет ете алады.

Бір модель, бірнеше модальділік

Өзара әрекеттесудің бұл жақсартылған тереңдігі әртүрлі тапсырмалар үшін, соның ішінде ұзақ контекстті, агенттік және доменнен тыс іздеуді қоса алғанда, өте пайдалы екені дәлелденді. Бұл айырмашылық мультимодальды іздеуде әсіресе айқын көрінеді, мұны ColPali модельдерінің ViDoRe(V3) көшбасшылар тақтасында айтарлықтай басымдығы көрсетеді.

Нақты әлемдегі корпустар тек таза мәтіннен тұрмайды. Олар PDF, слайд жинақтары, скриншоттар, сканерленген беттер, диаграммалар және кестелер түрінде келеді. Дәстүрлі құбыр бұл құжаттарды талдап, OCR немесе captioning қолданады да, нәтижедегі мәтінді іздейді; бұл қымбат әрі шығынды: ол OCR қателерін енгізуі мүмкін және орналасуды, кесте құрылымын, суреттерді және кеңістіктік қатынастарды жоғалтады. Визуалды құжат іздеу бұл қадамды өткізіп жібереді де, рендерленген бетті тікелей репрезентация кеңістігіне проекциялайды, онда мәтіндік сұраулар оны іздей алады.

Біздің модельдердің жаңа топтамасы көпвекторлы модельдердің мультимодальды іздеудегі мықты нәтижелеріне сүйенеді және ең кең қолданылатын құжат іздеу эталоны ViDoRe(V3)-де шағын модельдер үшін Pareto шекарасын ілгерілетеді. Біз құжат рендерлерін визуалды кірістің ең кең таралған түрі болады деп күткенімізбен, біздің модельдер табиғи кескіндерде, мысалы, көрікті фотосуреттерде де семантикалық кескін іздеуді қолдайды.

Өзара үйлесімді модельдер отбасын оқыту

Іздеу табиғаты жағынан асимметриялы: индекстеу мен сұрауды кодтау әртүрлі операциялық шектеулерге ие. Индекстеу офлайн орындалады және параллельдендірілуі мүмкін, сондықтан оның есептеу құны көптеген болашақ іздеулерге бөлінеді. Сұрауды кодтау әрбір сұраныс үшін онлайн орындалады, бұл оны кідіріс тұрғысынан сезімтал етеді және кейде қызмет көрсету немесе шеткі құрылғылар шектеулеріне ұшыратады. Біздің модельдер отбасы осы асимметрияны пайдаланып, іздеу құбырының әр жағына бейімделген өлшемдерді ұсынады.

Біз алдымен 18B teacher моделін contrastive әдісімен оқытамыз, содан кейін оны 9B және 0.6B студенттерге бөлек distill етеміз. Әр студентті тек teacher-дің ранжирлеу таралуын қайта өндіруге үйретудің орнына, біз LEAF-стиліндегі representation distillation қолданамыз: әр кіріс токені үшін студенттің шығыс embedding-ін teacher-дікімен туралаймыз. Representation-space distillation бұрын dense, бір-векторлы модельдер үшін қолданылғанымен, біз оны late interaction-ға дейін кеңейтеміз, мұнда туралау нысанасы — сақталған әр токенге арналған вектор.

Нәтижесінде, шығарылған екі checkpoint те бірдей көпвекторлы embedding кеңістігін бөліседі. Бұл кросс-модель іздеуді мүмкін етеді және қосымша орналастыру нұсқаларын ашады.

• Ең жоғары сапа: құжаттар мен сұрауларды 9B модельмен кодтаңыз.
• Ең жоғары тиімділік: құжаттар мен сұрауларды 0.6B модельмен 100% жергілікті инференс үшін кодтаңыз
• Төмен кідірісті іздеу: корпус индексін 9B модельмен құрыңыз, содан кейін индекстеу кезіндегі есептеуді пайдаланып, сұрауды жылдам ұстап тұру үшін тірі сұрауларды 0.6B модельмен кодтаңыз.
• Жергілікті-бұлттық іздеу: жеке жергілікті құжаттарды немесе тірі сұрауларды 0.6B модельмен құрылғыда кодтап, кейін сол репрезентацияларды бұлтта орналасқан 9B индексінің нәтижелерімен салыстырыңыз немесе біріктіріңіз.

Кідіріс тұрғысынан сезімтал орта үшін біз 0.6B моделін шеткі құрылғыларда да жұмыс істей алатын жеңіл сұрау кодтаушысы ретінде жобаладық. Qwen3.5-0.8B-ден бастап, біз оның 24 қабатты мәтін мұнарасын 12 қабатқа дейін қысқарттық, соның нәтижесінде бұл мұнараның embedding-ке жатпайтын параметрлері 498M-ден 240M-ге дейін азайды. Нәтижедегі модельде барлығы 594M параметр бар, бірақ оның шартты өлшемі қызмет көрсету құнын асыра көрсетеді: 100M кескінді кодтауға қолданылады, ал 254M токен embedding кестесінде орналасқан, бұл runtime-ға аз әсер етеді. Мәтінді кодтау үшін шамамен 240M параметр ғана, ал кескінді кодтау үшін 340M параметр белсенді болады, бұл модельге 9B индексімен үйлесімділікті сақтай отырып, айтарлықтай кіші модельдің қызмет көрсету құнын береді.

Біз дәл осындай процесті 27B backbone-тан 18B teacher құрастыру үшін қолдандық, бұл teacher-ді беретін сигналды әлсіретпей, одан distill жасауды едәуір арзандатты.

Көптілді, мультимодальды, ластанбаған оқыту деректері

Біз екі модельді де 46 тілдегі 594 деректер жиынынан алынған 186 миллион сұрау-құжат жұбы бар деректер жиынында оқытамыз. Бұл жұптардың 88.3%-ы мәтіннен мәтінге, 8.3%-ы мәтіннен кескінге, ал 3.4%-ы мәтіннен визуалды құжатқа жұптар. Деректер жиыны өлшеміне пропорционал таңдаудың орнына, біз әр деректер жиынына үлгілеу салмағын тағайындаймыз, бұл тиісінше 56.5%, 30.9% және 12.6% болатын анағұрлым теңгерімді оқу қоспасын береді.

Оқу деректерін құрастырған кезде, біз нәтижелерімізді benchmark ұпайларын қолдан өсірмей, шынайы көрсету үшін бағалайтын эталондарға қатысты кез келген деректер жиындарын алып тастаймыз. Бұл шешімнің ымырасы бар: біз алып тастаған кейбір деректер жиындарында олар шыққан benchmark-тен өзге тапсырмаларда модель өнімділігін арттыра алатын жоғары сапалы деректер бар. Соңында біз осы шығынды қабылдауды таңдадық: сенімді сандар әзірлеу барысында да, модельдерді салыстыратын пайдаланушылар үшін де анағұрлым пайдалы.

Бағалау

Біз екі модельді де мәтіндік, визуалды құжаттық, аралас кескінді және агенттік іздеу бойынша бағалаймыз. Екі модель де Q2D-Web және BrowseComp+ жүйелерінде бағаланған базалық модельдерден асып түседі және визуалды құжат іздеуде әрі MADQA-да жоғары нәтижелерге қол жеткізеді.

Мәтін іздеу

Біз мәтіннен мәтінге іздеуді үш benchmark бойынша бағалаймыз:

• Арнайы домендік benchmark-тер: 72 MTEB-стиліндегі тапсырмалар жинағы, оның 55-і бес доменге (қаржы, құқық, денсаулық, әңгіме, технология) және тағы 17 түрлі тілдегі басқа тапсырмаға жатады. Бұл жинаққа FinQA, AILACasedocs және XLSum сияқты тапсырмалар кіреді. Жоғарыда сипатталғандай, бұл деректер жиындарының ешқайсысы біздің оқу деректерімізде жоқ.
• Q2D-Web: біздің шамамен 70,000 агент қайта тұжырымдаған іздеу сұрауларынан тұратын, өндірістік іздеу трафигінен алынған және 190M веб-құжаттан құралған корпусқа арналған веб-масштабтағы іздеу эталонымыз. Бұл benchmark өндірістікке ұқсас сұраулары мен ауқымды корпусының арқасында нақты веб-іздеуге басқа қолжетімді benchmark-терге қарағанда әлдеқайда жақын ортада іздеу өнімділігін өлшейді.
• ViDoRe(V3) Markdown: ViDoRe(V3) әдетте мәтіннен визуалды құжатқа іздеу тапсырмасы болып табылады, бірақ оны Markdown-ға талданған корпус нұсқасын пайдаланып, мәтіндік тапсырма ретінде де бағалауға болады, бұл бізге ақпаратқа бай құжат іздеуді әрі кескін, әрі мәтін модальдіктерінде бағалауға мүмкіндік береді.

Біз өнімділікті nDCG@10 арқылы өлшейміз, тек Q2D-Web-тен басқа, онда benchmark-тің бірінші кезеңдегі веб-іздеу сценарийіне басымдық беруіне байланысты Recall@1000 көрсетіледі. Бүкіл бағалау барысында біз әртүрлі өлшем класстарындағы салалық жетекші embedding модельдерімен салыстырамыз. Мәтін іздеу үшін nemotron-embed-8b, gemini-embedding-2, voyage-large-4 және qwen3-embed-8b ең күшті әрі ең кең қолданылатын dense бәсекелестерді білдіреді, ал voyage-4-nano және qwen3-embed-0.6b миллиардтан төмен параметрлі dense базалық модельдер ретінде қызмет етеді. Бұдан бөлек, біз TopK жақында шығарған topk-embed-v1 late-interaction модельдерімен де TopK нәтижелер жариялаған benchmark-терде салыстырамыз. ViDoRe(V3) ұпайлары олардың model card-тарынан 128 өлшемде алынды, бұл біздің токен embedding-теріміздің енімен сәйкес келеді; Q2D-Web ұпайы біздің leaderboard-тан алынды.

Арнайы домендік эталондарда біздің 9B және 0.6B модельдеріміздің орташа көрсеткіштері тиісінше 81.3% және 78.0%. Біздің 9B моделіміз бағалаған барлық модельдердің ішіндегі ең жоғары нәтижеге қол жеткізіп, келесі ең жақсы модельден 1.6 пайыздық тармаққа озық болды. Біздің 0.6B моделіміз басқа жоғары нәтижелі модельдермен бәсекеге қабілетті болып, gemini-embedding-2-ден небәрі 0.3 пайыздық тармаққа қалып қойды. Маңыздысы, біз осы эталондық тапсырмаларға арналған деректердің ешқайсысында оқытпағандықтан, арнайы домендік эталондар біздің embedding модельдеріміздің жаңа домендерге жалпылай алатынын көрсетеді.

Ұлғайту

Біздің 0.6B моделіміздің салыстырмалы күші ViDoRe(V3) Markdown тапсырмасында одан да жоғары; оның 61.2% көрсеткіші 64.7% алған біздің 9B моделімізден басқа барлық модельдерді басып озады. Келесі ең жақсы сыртқы модель 60.6% көрсетті, ал келесі ең жақсы sub-1B модель, topk-embed-v1-0.8b, біздің 0.6B моделімізден 4.3 пайыздық тармаққа қалып қойды.

Ұлғайту

Q2D-Web жүйесінде релеванттылық үш бағалау жиынынан қалыптасады: агент дәйексөз келтірген құжаттар (Citation), біздің өндірістік іздеу жүйеміз ранжирлеген құжаттар (Web) және осы екеуінің біріктірілген жиыны, оған таңбаланбаған құжаттарға арналған LLM бағалары қосылған (Combined). pplx-embed-v2-late модельдерінің екеуі де барлық үш бағалау жиынында әрбір базалық модельден озады. Біз Combined жиынына назар аударамыз, өйткені Citation және Web жиындары өз жүйелеріміз бұрыннан шығарып көрсеткен нәтижелерден алынған, сондықтан олар дәл солай ранжирлейтін модельдерге бейім; Combined ішіне қосылған LLM бағалары екі жүйе де іздеп таба алмаған құжаттарды қамтиды. Бұл жиында біздің 9B және 0.6B модельдеріміз барлық бәсекелестерді басып озып, тиісінше 74.8% және 73.6% көрсеткішке жетті, ал бұған дейінгі ең жақсы нәтиже 69.3% болған.

Ұлғайту

Визуалды іздеу

Біздің негізгі визуалды іздеу эталонымыз — ViDoRe (V3) стандартты ашық ішкі жиыны, онда корпусты Markdown түрлендіруі емес, рендерленген бет суреттері құрайды. Біз екі жетекші dense көру-тіл модельдерімен, qwen3-vl-embed-8b және gemini-embedding-2, сондай-ақ topk-embed-v1 late-interaction модельдерімен салыстырамыз. Бұдан бөлек, Tencent-тің EVIE модельдері және NVIDIA-ның Nemotron ColEmbed V2 модельдері — кескінді іздеу тапсырмалары үшін арнайы оқытылған «vision-only» көпвекторлы базалық модельдер.

Біздің екі моделіміз де көру-тіл модельдері үшін ең озық нәтижелерге қол жеткізеді. Біздің 9B моделіміз орта есеппен 65.2% көрсеткішке жетіп, тек EVIE-ден ғана қалып қояды. Біздің 0.6B моделіміз 62.3% көрсеткішке жетіп, topk-embed-v1-2b-ден озып, сыртқы базалық модельдер арасында тек әлдеқайда үлкен EVIE және nemotron-colembed-v2-8b-ден ғана қалып қояды.

Ұлғайту

Біздің 0.6B моделіміз модель өлшемі тұрғысынан ерекше бәсекеге қабілетті. Ол өлшемі ұқсас барлық модельдерден озып тұр және nemotron-colembed-v2-8b-ден 1.2 пайыздық тармақ шегінде ғана қалып қояды, бұл ретте кескін кірістері үшін бар болғаны 340M параметрді іске қосады. Біздің модельдеріміз бір токенге 128 өлшемді embedding шығарады, ал EVIE-4.5B үшін бұл көрсеткіш 2,048, EVIE-8B және nemotron-colembed-v2-8b үшін 4,096. Сақтау шығындарындағы бұл айырмашылық осы модельдерді қолдану практикалық болатын сценарийлерге айтарлықтай әсер етуі мүмкін.

Ұлғайту

Біз сондай-ақ visual document корпусынан тұратын MIRACL-Vision эталонында және Perplexity-дің өндірістік кескін іздеу журналдарынан жасалған, визуалды құжаттарды да, табиғи кескіндерді де қамтитын ішкі эталон PPLX-Q2I-де визуалды іздеуді бағалаймыз. PPLX-Q2I нақты кескін іздеу сценарийлерінің әртүрлілігін көрсету үшін жасалған. Біз тіл мен домен бойынша стратификацияланған 10,000 сұраудан тұратын үлгіні, 100,000 кескіннен тұратын корпусқа қарсы пайдаланамыз; әр сұрау үшін релевант құжаттар — сол сұрау үшін берілген кескіндер. Біз EVIE-8B немесе Nemotron ColEmbed модельдерін PPLX-Q2I-де бағаламадық, өйткені мұндай көлемдегі корпусты олардың әдепкі шығыс өлшемділіктерінде (Nemotron ColEmbed 4B үшін 2,560 және Nemotron ColEmbed 8B мен EVIE-8B үшін 4,096) индекстеу практикалық болмады.

ViDoRe(V3)-тегі нәтижесіне ұқсас, біздің 0.6B моделіміз әлдеқайда үлкен модельдермен бәсекеге қабілетті болып, MIRACL-Vision-да qwen3-vl-embed-8b-ден небәрі 1 пайыздық тармаққа қалып қояды. Біздің 9B моделіміз gemini-embedding-2-ден басқа барлық модельдерден озады.

PPLX-Q2I-де біздің екі моделіміз де qwen3-vl-embedding-8b-ден 9 пайыздық тармақтан астам айырмамен озады, ал біздің 9B моделіміз gemini-embedding-2-ден тек 2 пайыздық тармаққа қалып қояды. Нәтижелеріміз табиғи кескіндермен қатар визуалды құжаттарды да қамтитын корпустарда бәсекеге қабілетті болып қала береді, сондықтан ViDoRe(V3)-те пайдасын көрсеткен көпвекторлы репрезентациялар жалпы кескін іздеу есебінен келмейді.

Ұлғайту

Кросс-модель іздеу

Алдыңғы бөлімдердегі нәтижелер әр модельді өзі embedding жасаған корпусқа қарсы бағалайды. Ортақ embedding кеңістігі бұл міндетті талап емес екенін білдіреді: 9B моделі индекс жасаған корпусқа 0.6B моделі embedding жасаған сұраулармен іздеу жүргізуге болады. Біз өндірістегі орналастырулардың көпшілігі осы конфигурацияны қолданады деп күтеміз, өйткені индекстеу — корпус өмірі бойына амортизацияланатын бір реттік шығын, ал сұрау embedding-і әрбір сұраныстың кідіріс тұрғысынан критикалық жолында орындалады.

Сұрау уақытында 9B модельді іске қоса алмайтын орналастыру жағдайында индекс те 0.6B модельмен жасалатын еді, сондықтан симметриялық 0.6B конфигурациясы салыстырудың тиісті нүктесі болып табылады. Біз жоғарыда қолданылған 72 арнайы домендік benchmark-пен және ViDoRe v3 кескін іздеуі бойынша бағалаймыз. Сұраулар pplx-embed-v2-late-0.6b арқылы embedding жасалады, ал біз тек корпусты не модельдің embedding жасағанын өзгертеміз.

9B модельмен индекстеу — айқын жақсарту. Арнайы домендік benchmark-терде асимметриялық конфигурация орта есеппен 1.6 пайыздық тармақтық өсім береді. ViDoRe v3 кескін іздеуінде ол 63.5% көрсетеді, бұл екі жағында да 0.6B модель қолданылғандағы 62.3%-дан 1.2 пайыздық тармаққа жоғары. Сұрау кодтау құны симметриялық 0.6B және асимметриялық конфигурациялар арасында өзгермейді, өйткені екі жағдайда да сұрауды бірдей 0.6B модель кодтайды; қосымша құжат кодтау құны индекстеу уақытында жұмсалады.

9B моделін екі жағында да қолдану одан да жақсырақ болып қала береді, арнайы домендік benchmark-терде орта есеппен 81.3% береді. Сондықтан асимметриялық конфигурация мәтінде екі модель арасындағы сапа айырмашылығының шамамен жартысын қосымша сұрау кодтау құнынсыз қайтарады. Қандай конфигурацияны таңдау 9B модельдің сұрау уақытында қолжетімділігіне байланысты; егер ол қолжетімді болмаса, асимметриялық орнату оның пайдасының едәуір бөлігін қамтиды.

Ұлғайту

Агенттік іздеу

Агенттік іздеу — көпвекторлы embedding-тердің ерекше мықты болатын тағы бір жағдайы. BrowseComp+-те LLM (GPT-OSS-120B біздің жағдайда) embedding моделін пайдаланып, күрделі пайдаланушы сұрауына қатысты ақпаратты корпус ішінде іздейді, ал екінші LLM алынған жауаптың эталондық шындыққа сәйкес келетін-келмейтінін бағалайды. Біздің 9B моделіміз 64.0% дәлдікке жетіп, келесі ең жақсы ColBERT моделінен 4.9 пайыздық тармаққа және келесі ең жақсы dense моделінен 8.7 пайыздық тармаққа озып, 0.6B моделімізден басқа барлық модельдерден азырақ іздеу жасады. 0.6B моделі де біздің отбасымыздан тыс барлық модельдерден алда.

Ұлғайту

MADQA 18,000-нан астам бетті қамтитын 800 гетерогенді нақты әлем PDF құжаттары бойынша агенттік сұрақ-жауапты тексереді, онда жалпы білімнен жауап беруге келмейтін адам жазған 500 сұрақ бар. Агент (біздің жағдайда Gemini 3.5 Flash) сынақтағы retriever арқылы жинақты іздейді және белгіленген дәлел беттеріне қатысты жауап дәлдігі мен page F1 бойынша бағаланады. Біздің 9B моделіміз retriever-лер арасында 92.4% дәлдікпен жаңа ең озық нәтижені орнатып, Mixedbread retriever-ін қолданған сол агенттен 3.5 пайыздық тармаққа озады; біздің 0.6B моделіміз 90.1%-ға жетеді. Сондай-ақ біздің retriever-іміз Mixedbread Agentic Search-пен бәсекеге қабілетті нәтижелер көрсететінін атап өтеміз, олар өз іздеу жүйесінде негізгі agent-тен әр шақыруда бірнеше іздеу жоспарлап, орындайтын search sub-agent қолданады (93.4%, біздің confidence interval шегінде).

Ұлғайту

Бастау

Біздің 0.6B және 9B модельдеріміздің екеуі де Hugging Face-те қолжетімді және sentence-transformers >= 6.0.0 және transformers >= 5.4.0. жүйелерімен бірден үйлеседі. Қосымша техникалық мәліметтер мен толық бағалау нәтижелері осы жылдың соңында техникалық есепте жарияланады.

Қазір біз тығыз эмбеддинг модельдерінің келесі буынын оқытып жатырмыз және Perplexity API Platform платформасында кейінгі өзара әрекеттесу (late-interaction), тығыз және контекстік эмбеддингтерге қолдауды кезең-кезеңімен енгіземіз.

Дәйексөз

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}