Multimodálne embeddingy nad rámec jedného vektora

Od vydania pplx-embed-v1 vo februári sme pracovali na novej generácii embeddingových modelov. Minulý týždeň sme predstavili náš nový kontextový embeddingový model, pplx-embed-v2-context. Dnes rozširujeme túto rodinu o pplx-embed-v2-late, kolekciu modelov s neskorou interakciou. Popri silnejších možnostiach vyhľadávania sú tieto modely prvé, ktoré spájajú tri základné vlastnosti:

• Viacvektorové reprezentácie. Namiesto kompresie každého vstupu do jedného vektora si tieto modely zachovávajú tokenové vektory pre jemnejšie porovnávanie dotazu a dokumentu. To umožňuje, aby rôzne časti dotazu zodpovedali rôznym častiam dokumentu, pričom sa zachovávajú detaily, ktoré sú obzvlášť cenné pri multimodálnom vyhľadávaní.
• Podpora textových aj obrazových modalít. Okrem capabilities vyhľadávania text na text z našich predchádzajúcich modelov tieto nové modely zvládajú aj vyhľadávanie text na obraz, čo im umožňuje priamo prehľadávať renderované stránky PDF bez potreby OCR alebo parsovaného textu.
• Zdieľaný embeddingový priestor. Uvoľňujeme dve veľkosti modelov, 0,6B a 9B, aby sme podporili rozdielne požiadavky na kvalitu, latenciu a výpočtový výkon. Každý z nich možno používať samostatne, no zdieľaný embeddingový priestor zároveň umožňuje menšiemu modelu dotazovať index vytvorený väčším modelom, čím sa spájajú kvalitnejšie embeddingy dokumentov s lacným a rýchlym inferenčným výpočtom pri dotaze.

Tieto nové modely dosahujú špičkové výsledky v celom rade benchmarkov vizuálneho a textového vyhľadávania, ako aj v agentických úlohách zodpovedania otázok. Pozoruhodné je, že v ViDoRe (V3), poprednom benchmarku vyhľadávania vizuálnych dokumentov, sa náš model s 0,6 mld. parametrov vyrovná modelom s päťnásobne väčším počtom aktívnych parametrov. Oba modely sú verejne dostupné na platforme Hugging Face. Naša technická správa poskytuje podrobnejšie informácie o metodike a výsledkoch hodnotenia.

Od jednotlivých vektorov po neskorú interakciu

Vyhľadávacie systémy musia nájsť rovnováhu medzi efektivitou a hĺbkou interakcie medzi dotazmi a dokumentmi. Husté embeddingové modely kódujú každý dotaz aj dokument nezávisle, takže ich možno porovnávať lacným vnútorným súčinom. Vďaka tomu je praktické približné vyhľadávanie najbližších susedov (ANN) v miliardách dokumentov. Na opačnom konci cross-encoders spracúvajú dotaz a dokument spolu, čo umožňuje bohatšiu interakciu, ale vyžaduje samostatný forward pass pre každého kandidáta. Uplatniť tento výpočet na veľký korpus dokumentov pri každom vyhľadávaní je neúmerne nákladné, takže cross-encoders sa zvyčajne používajú len na reranking malého súboru získaných kandidátov.

Obmedzenia hustých embeddingov

Reprezentovať celý dokument jedným vektorom pevnej veľkosti vytvára informačné úzke hrdlo. Keď sa dokumenty predlžujú a pokrývajú viac tém, model musí do toho istého vektora komprimovať viac obsahu, čo sťažuje zachovanie všetkého, čo je pre dotaz relevantné. Chunking môže tento tlak znížiť, no fragmentuje dokument a môže oddeliť informácie, ktoré dávajú zmysel iba spolu; tento problém riešime aj naším kontextovým embeddingovým modelom. Toto úzke hrdlo sa v multimodálnych nastaveniach zhoršuje, pretože informačná hustota obrázkov vyžaduje ešte väčšiu kompresiu.

Jednovektorové husté vyhľadávanie navyše redukuje každé porovnanie na vnútorný súčin medzi dvoma vektormi, čím obmedzuje expresivitu hodnotiacej funkcie. Pri pevnej embeddingovej dimenzii a dostatočne veľkom korpuse sú niektoré vzory skóre naprieč dvojicami dotaz-dokument nemožné vytvoriť bez ohľadu na tréning. Benchmark LIMIT premieňa túto teoretickú obavu na konkrétny stresový test pre jednovektorové vyhľadávanie.

Vyhľadávanie s neskorou interakciou

Modely s neskorou interakciou zaujímajú priestor medzi lacnejšími hustými embeddingovými modelmi a expresívnejšími cross-encoders. Podobne ako husté modely kódujú dokumenty nezávisle od dotazu, čo umožňuje vypočítať reprezentácie dokumentov offline. Namiesto zredukovania každého vstupu na jediný vektor však zachovávajú viacero vektorov a pri porovnávaní dotazu s dokumentom používajú bohatšiu hodnotiacu funkciu.

Naše modely pplx-embed-v2-late používajú architektúru v štýle ColBERT a pre každý token vo vstupe generujú 128-dimenzionálne embeddingy. Dvojice dotaz-dokument hodnotíme pomocou MaxSim; pre každý token dotazu model vyberie token dokumentu s najvyšším skóre a sčíta maximálne podobnosti pre jednotlivé tokeny, aby získal konečné skóre. To umožňuje, aby rôzne časti dotazu zodpovedali rôznym častiam dokumentu, pričom silnejšie tokenové zhody prispievajú k skóre viac.

Zväčšiť

Táto dodatočná expresivita so sebou prináša vyššie náklady na úložisko a na hodnotenie kandidátov. Husté vyhľadávanie ukladá jeden vektor na dokument a hodnotí kandidáta jedným vnútorným súčinom; neskorá interakcia ukladá vektory pre tokeny dokumentu a vyhodnocuje mnohé podobnosti token-token. Náklady rastú s dĺžkou dokumentu, takže neskorá interakcia vyžaduje iný kompromis pri indexovaní a servovaní než jednovektorové ANN vyhľadávanie. Na oplátku poskytuje bohatšie vyhľadávanie v prvej fáze pre korpusy citlivé na kvalitu a môže tiež slúžiť ako neskoršia etapa vo väčšom vyhľadávacom pipeline na webovej škále.

Jeden model, viacero modalít

Ukázalo sa, že táto zlepšená hĺbka interakcie je veľmi užitočná pre rôzne úlohy vrátane vyhľadávania s dlhým kontextom, agentického vyhľadávania a vyhľadávania mimo domény. Tento rozdiel je obzvlášť zreteľný pri multimodálnom vyhľadávaní, ako ukazuje výrazný náskok modelov ColPali v rebríčku ViDoRe(V3).

Skutočné korpusy nie sú zložené len z čistého textu. Prichádzajú ako PDF, prezentácie, snímky obrazovky, naskenované stránky, grafy a tabuľky. Tradičný pipeline tieto dokumenty parsuje, aplikuje OCR alebo captioning a vyhľadáva v získanom texte, čo je nákladné a stratové: môže to zaviesť chyby OCR a zahodí to rozloženie, štruktúru tabuliek, obrázky aj priestorové vzťahy. Vizuálne vyhľadávanie dokumentov tento krok preskakuje a premieta renderovanú stránku priamo do reprezentančného priestoru, kde ju môžu vyhľadávať textové dotazy.

Naša nová rodina modelov nadväzuje na silný výkon viacvektorových modelov pre multimodálne vyhľadávanie a posúva Pareto hranicu pre malé modely na najpoužívanejšom benchmarku vyhľadávania dokumentov, ViDoRe(V3). Hoci očakávame, že renderované dokumenty budú najčastejšou formou vizuálneho vstupu, naše modely podporujú aj sémantické vyhľadávanie obrázkov na prirodzených obrázkoch, napríklad na krajinárskych fotografiách.

Tréning interoperabilnej rodiny modelov

Vyhľadávanie je zásadne asymetrické: indexovanie a kódovanie dotazu majú odlišné prevádzkové obmedzenia. Indexovanie beží offline a dá sa paralelizovať, takže jeho výpočtové náklady sa rozkladajú na veľa budúcich vyhľadávaní. Kódovanie dotazu beží online pri každej požiadavke, čo z neho robí citlivú časť z hľadiska latencie a niekedy je obmedzené servovaním alebo limitmi edge zariadení. Naša rodina modelov využíva túto asymetriu a ponúka veľkosti prispôsobené každej strane vyhľadávacieho pipeline.

Najprv kontrastívne trénujeme učiteľa s 18B, potom ho samostatne distilujeme do študentov 9B a 0,6B. Namiesto tréningu každého študenta len na reprodukciu distribuovaného poradia učiteľa používame reprezentančnú distiláciu v štýle LEAF: pre každý vstupný token zarovnávame výstupný embedding študenta s embeddingom učiteľa. Hoci sa distilácia v reprezentančnom priestore predtým používala pri hustých jednovektorových modeloch, rozširujeme ju na neskorú interakciu, kde je cieľom zarovnania vektor pre každý zachovaný token.

V dôsledku toho oba zverejnené checkpointy zdieľajú ten istý viacvektorový embeddingový priestor. To umožňuje vyhľadávanie naprieč modelmi a otvára ďalšie možnosti nasadenia.

• Maximálna kvalita: kódujte dokumenty a dotazy modelom 9B.
• Maximálna efektivita: kódujte dokumenty a dotazy modelom 0,6B pre 100 % lokálnu inferenciu
• Vyhľadávanie s nízkou latenciou: vytvorte index korpusu pomocou modelu 9B a potom kódujte živé dotazy modelom 0,6B, aby ste využili výpočty v čase indexovania a zároveň zachovali rýchle dotazovanie.
• Lokálne-cloudové vyhľadávanie: kódujte súkromné lokálne dokumenty alebo živé dotazy pomocou modelu 0,6B na zariadení a potom porovnajte alebo zlúčte tieto reprezentácie s výsledkami z indexu 9B hostovaného v cloude.

Pre nastavenia citlivé na latenciu sme model 0,6B navrhli ako ľahký enkóder dotazov, ktorý môže bežať aj na edge zariadeniach. Vychádzajúc z Qwen3.5-0.8B, prerezávame jeho 24-vrstvový textový tower na 12 vrstiev, čím znižujeme tento tower zo 498 miliónov na 240 miliónov neembeddingových parametrov. Výsledný model má spolu 594 miliónov parametrov, no jeho nominálna veľkosť preceňuje náklady na servovanie: 100 miliónov sa používa na kódovanie obrázkov a 254 miliónov je v tabuľke tokenových embeddingov, čo má len malý vplyv na runtime. Len približne 240 miliónov parametrov je aktívnych pri kódovaní textu a 340 miliónov pri kódovaní obrázkov, čo dáva modelu náklady na servovanie výrazne menšieho modelu pri zachovaní kompatibility s indexom 9B.

Rovnaký proces sme použili aj na zostavenie nášho učiteľa 18B zo základného modelu 27B, vďaka čomu bolo jeho distilovanie podstatne lacnejšie bez oslabenia signálu, ktorý poskytuje.

Viacjazyčné, multimodálne, nekontaminované tréningové dáta

Oba modely trénujeme na datasete 186 miliónov dvojíc dotaz-dokument, ktoré sú čerpané z 594 datasetov v 46 jazykoch. Z týchto dvojíc je 88,3 % text na text, 8,3 % text na obraz a 3,4 % dvojice text na vizuálny dokument. Namiesto vzorkovania úmerného veľkosti datasetu priraďujeme každému datasetu vzorkovaciu váhu, čo vedie k vyváženejšej tréningovej zmesi 56,5 %, 30,9 % a 12,6 % v uvedenom poradí.

Pri tvorbe našich tréningových dát vylučujeme všetky datasety spojené s benchmarkmi, na ktorých ich hodnotíme, aby sme verne reprezentovali naše výsledky bez umelého navyšovania benchmarkových skóre. Toto rozhodnutie so sebou nesie kompromis, že niektoré z datasetov, ktoré sme sa rozhodli vylúčiť, obsahujú kvalitné dáta, ktoré by mohli zlepšiť výkon nášho modelu pri úlohách mimo benchmarku, z ktorého pochádzajú. Nakoniec sme sa rozhodli tento náklad akceptovať: dôveryhodné čísla sú pre nás užitočnejšie počas vývoja aj pre používateľov pri porovnávaní modelov.

Vyhodnotenie

Oba modely hodnotíme naprieč textovým, vizuálno-dokumentovým, zmiešaným obrázkovým a agentickým vyhľadávaním. Oba modely prekonávajú hodnotené baseliny na Q2D-Web a BrowseComp+ a dosahujú silné výsledky vo vizuálno-dokumentovom vyhľadávaní a MADQA.

Textové vyhľadávanie

Text na text vyhľadávanie hodnotíme na troch benchmarkoch:

• Doménovo špecifické benchmarky: Zbierka 72 úloh v štýle MTEB, z toho 55 naprieč piatimi doménami (financie, právo, zdravie, konverzácia, technológie) a ďalších 17 rozmanitých viacjazyčných úloh. Zbierka zahŕňa úlohy ako FinQA, AILACasedocs a XLSum. Žiadny z týchto datasetov sa nenachádza v našich tréningových dátach, ako je uvedené vyššie.
• Q2D-Web: náš benchmark webovej škály na vyhľadávanie, pozostávajúci približne zo 70 000 agentom preformulovaných vyhľadávacích dopytov, odvodených z produkčnej vyhľadávacej prevádzky, nad korpusom 190 miliónov webových dokumentov. Tento benchmark meria výkonnosť vyhľadávania v prostredí oveľa bližšom reálnemu webovému vyhľadávaniu než iné dostupné benchmarky vyhľadávania, a to vďaka produkčne podobným dopytom a korpusu vo veľkom rozsahu.
• ViDoRe(V3) Markdown: ViDoRe(V3) je zvyčajne úloha text na vizuálny dokument, ale možno ju hodnotiť aj ako textovú úlohu s použitím verzie korpusu prevedenej do Markdownu, čo nám umožňuje hodnotiť vyhľadávanie dokumentov s bohatým obsahom v obrazovej aj textovej modalite.

Výkon meriame pomocou nDCG@10, okrem Q2D-Web, kde uvádzame Recall@1000 vzhľadom na zameranie benchmarku na prvú fázu webového vyhľadávacieho scenára. Počas celého vyhodnocovania porovnávame s priemyselne poprednými embeddingovými modelmi naprieč rôznymi veľkostnými triedami. Pre textové vyhľadávanie predstavujú nemotron-embed-8b, gemini-embedding-2, voyage-large-4 a qwen3-embed-8b najsilnejších a najpoužívanejších hustých konkurentov, zatiaľ čo voyage-4-nano a qwen3-embed-0.6b slúžia ako husté baseliny s menej než miliardou parametrov. Navyše porovnávame s nedávno vydanými modelmi neskorej interakcie topk-embed-v1 od TopK na benchmarkoch, pre ktoré TopK zverejnil výsledky. Skóre ViDoRe(V3) pochádzajú z ich modelových kariet pri 128 dimenziách, čo zodpovedá šírke našich tokenových embeddingov; skóre Q2D-Web pochádza z nášho leaderboardu.

Na doménovo špecifických benchmarkoch dosahujú naše modely 9B a 0,6B priemerne 81,3 % a 78,0 %. Náš model 9B dosahuje najvyššie skóre zo všetkých modelov, ktoré sme hodnotili, a prekonáva ďalší najlepší model o 1,6 percentuálneho bodu. Náš model 0,6B je konkurencieschopný s ostatnými najlepšie skórujúcimi modelmi a zaostáva len o 0,3 percentuálneho bodu za gemini-embedding-2. Dôležité je, že keďže sme netrénovali na žiadnych dátach pre tieto benchmarkové úlohy, doménovo špecifické benchmarky ukazujú, že naše embeddingové modely dokážu generalizovať do nových domén.

Zväčšiť

Relatívna sila nášho modelu 0,6B je na úlohe ViDoRe(V3) Markdown ešte vyššia; jeho skóre 61,2 % prekonáva všetky ostatné modely okrem nášho modelu 9B, ktorý dosiahol 64,7 %. Ďalší najlepší externý model dosiahol 60,6 % a ďalší najlepší model pod 1B, topk-embed-v1-0.8b, zaostáva za naším modelom 0,6B o 4,3 percentuálneho bodu.

Zväčšiť

Na Q2D-Web relevantnosť vyplýva z troch súborov hodnotení: dokumentov, ktoré agent citoval (Citácia), dokumentov zoradených naším produkčným systémom vyhľadávania (Web) a z ich zjednoteného súboru rozšíreného o hodnotenia LLM pre neoznačené dokumenty (Combined). Oba modely pplx-embed-v2-late vedú nad všetkými baselinami vo všetkých troch súboroch hodnotení. Zameriavame sa na kombinované hodnotenia, keďže súbory Citation a Web vychádzajú z toho, čo už odkryli naše vlastné systémy, a preto zvýhodňujú modely, ktoré zoradzujú podobne; hodnotenia LLM pridané v Combined pokrývajú dokumenty, ktoré žiadny z týchto systémov nevyhľadal. V tomto súbore oba naše modely 9B aj 0,6B prekonávajú všetkých konkurentov a dosahujú skóre 74,8 % a 73,6 %, teda viac než predchádzajúce najlepšie skóre 69,3 %.

Zväčšiť

Vizuálne vyhľadávanie

Naším hlavným benchmarkom vizuálneho vyhľadávania je štandardná verejná podmnožina ViDoRe(V3), kde korpus tvoria renderované obrázky stránok, nie konverzia do Markdownu. Porovnávame sa s dvoma poprednými hustými vision-language modelmi, qwen3-vl-embed-8b a gemini-embedding-2, a s modelmi s neskorou interakciou topk-embed-v1. Okrem toho sú modely Tencent EVIE a NVIDIA Nemotron ColEmbed V2 baseliny typu „iba vízia“ s viacerými vektormi, trénované špeciálne na úlohy vyhľadávania obrázkov.

Oba naše modely dosahujú špičkový výkon medzi vision-language modelmi. Náš model s 9B dosahuje v priemere 65,2 %, zaostáva už len za EVIE. Náš model s 0,6B dosahuje skóre 62,3 %, čím prekonáva topk-embed-v1-2b a zaostáva už len za výrazne väčšími modelmi EVIE a nemotron-colembed-v2-8b spomedzi externých baselinov.

Zväčšiť

Náš model 0,6B je obzvlášť konkurencieschopný z hľadiska veľkosti modelu. Je pred všetkými porovnateľne veľkými modelmi a len o 1,2 percentuálneho bodu za nemotron-colembed-v2-8b, pričom pre obrazové vstupy aktivuje iba 340 miliónov parametrov. Naše modely vytvárajú 128-dimenzionálne embeddingy na token, v porovnaní s 2 048 pri EVIE-4.5B a 4 096 pri EVIE-8B a nemotron-colembed-v2-8b. Tento rozdiel v nákladoch na úložisko môže výrazne ovplyvniť scenáre, v ktorých je praktické tieto modely používať.

Zväčšiť

Vizuálne vyhľadávanie hodnotíme aj na MIRACL-Vision, benchmarku, ktorého korpus tvoria snímky obrazovky článkov z Wikipédie, a na PPLX-Q2I, internom benchmarku pokrývajúcom vizuálne dokumenty aj prirodzené obrázky. PPLX-Q2I je vytvorený z produkčných logov obrazového vyhľadávania Perplexity a navrhnutý tak, aby odrážal rozmanitosť prípadov použitia obrazového vyhľadávania. Používame vzorku 10 000 dotazov, stratifikovanú podľa jazyka a domény, oproti korpusu 100 000 obrázkov; relevantnými dokumentmi pre každý dotaz sú obrázky, ktoré mu boli zobrazené. Modely EVIE-8B ani Nemotron ColEmbed sme na PPLX-Q2I nehodnotili, pretože indexovanie korpusu tejto veľkosti pri ich predvolených výstupných dimenziách (2 560 pre Nemotron ColEmbed 4B a 4 096 pre Nemotron ColEmbed 8B a EVIE-8B) bolo nepraktické.

Podobne ako pri jeho výkone na ViDoRe(V3) je aj náš model 0,6B konkurencieschopný s oveľa väčšími modelmi a na MIRACL-Vision zaostáva len o 1 percentuálny bod za qwen3-vl-embed-8b. Náš model 9B prekonáva všetky ostatné modely okrem gemini-embedding-2.

Na PPLX-Q2I oba naše modely prekonávajú qwen3-vl-embedding-8b o viac než 9 percentuálnych bodov a náš model 9B zaostáva za gemini-embedding-2 len o 2 percentuálne body. Naše výsledky zostávajú konkurencieschopné aj na korpusoch, ktoré obsahujú prirodzené obrázky aj vizuálne dokumenty, takže viacvektorové reprezentácie, ktoré sa osvedčujú na ViDoRe(V3), neznamenajú stratu pri všeobecnom vyhľadávaní obrázkov.

Zväčšiť

Vyhľadávanie naprieč modelmi

Výsledky v predchádzajúcich častiach hodnotia každý model na korpuse, ktorý sám vložil do embeddingu. Zdieľaný embeddingový priestor znamená, že to nie je požiadavka: korpus indexovaný modelom 9B možno vyhľadávať dotazmi vloženými modelom 0,6B. Toto je konfigurácia, ktorú očakávame v najväčšine produkčných nasadení, pretože indexovanie je jednorazový náklad rozložený na životnosť korpusu, zatiaľ čo embedding dotazu beží na kritickej ceste latencie každej požiadavky.

Nasadenie, ktoré nedokáže spustiť model 9B v čase dotazu, by inak indexovalo aj modelom 0,6B, takže táto symetrická konfigurácia 0,6B je relevantným bodom porovnania. Hodnotíme proti 72 doménovo špecifickým benchmarkom použitým vyššie a na vyhľadávaní obrázkov ViDoRe v3. Dotazy sú vložené modelom pplx-embed-v2-late-0.6b a meníme len to, čo vložilo korpus do embeddingu.

Indexovanie modelom 9B je jednoznačné zlepšenie. Na doménovo špecifických benchmarkoch asymetrická konfigurácia dosahuje v priemere zisk 1,6 percentuálneho bodu. Na vyhľadávaní obrázkov ViDoRe v3 dosahuje 63,5 %, čo predstavuje nárast z 62,3 % pri modeli 0,6B na oboch stranách, teda zisk 1,2 percentuálneho bodu. Náklad na kódovanie dotazu zostáva medzi symetrickou konfiguráciou 0,6B a asymetrickou konfiguráciou nezmenený, keďže dotaz v oboch prípadoch kóduje ten istý model 0,6B; dodatočný náklad na kódovanie dokumentov vzniká v čase indexovania.

Spustenie modelu 9B na oboch stranách zostáva ešte lepšie a na doménovo špecifických benchmarkoch dosahuje priemer 81,3 %. Asymetrická konfigurácia teda obnovuje približne polovicu rozdielu v kvalite medzi týmito dvoma modelmi pri texte, a to bez dodatočného nákladu na kódovanie dotazu. Ktorú konfiguráciu zvoliť závisí od toho, či je model 9B cenovo dostupný v čase dotazu; tam, kde nie je, asymetrické nastavenie zachytáva podstatnú časť jeho prínosu.

Zväčšiť

Agentické vyhľadávanie

Agentické vyhľadávanie je ďalšie nastavenie, kde sú viacvektorové embeddingy obzvlášť silné. V BrowseComp+ LLM (GPT-OSS-120B v našom prípade) používa embeddingový model na vyhľadanie v korpuse informácií relevantných pre zložitý používateľský dopyt a druhý LLM posudzuje, či výsledná odpoveď zodpovedá ground truth. Náš model 9B dosahuje presnosť 64,0 %, čím prekonáva ďalší najlepší model ColBERT o 4,9 percentuálneho bodu a ďalší najlepší hustý model o 8,7 percentuálneho bodu, pričom vykonáva menej vyhľadávaní než ktorýkoľvek iný model okrem nášho modelu 0,6B. Model 0,6B je tiež pred každým modelom mimo našej rodiny.

Zväčšiť

MADQA testuje agentické otázky a odpovede nad 800 heterogénnymi reálnymi PDF s viac ako 18 000 stranami a 500 otázkami napísanými ľuďmi, na ktoré nemožno odpovedať zo všeobecných znalostí. Agent (v našom prípade Gemini 3.5 Flash) vyhľadáva v zbierke pomocou testovaného retrievera a hodnotí sa podľa presnosti odpovedí a podľa F1 na úrovni stránok voči anotovaným stránkam s dôkazmi. Náš model 9B stanovuje nový špičkový výsledok medzi retrievery s presnosťou 92,4 %, čo je o 3,5 percentuálneho bodu viac než pri tom istom agente používajúcom retriever od Mixedbread; náš model 0,6B dosahuje 90,1 %. Tiež zaznamenávame, že náš retriever dosahuje konkurencieschopné výsledky proti Mixedbread Agentic Search, ktorý vo svojom vyhľadávacom systéme používa sub-agenta na vyhľadávanie, plánovanie a spúšťanie viacerých vyhľadávaní na jedno volanie z hlavného agenta (93,4 %, v rámci nášho intervalu spoľahlivosti).

Zväčšiť

Začíname

Oba naše modely 0,6B aj 9B sú dostupné na Hugging Face a sú kompatibilné bez ďalšieho nastavovania s sentence-transformers >= 6.0.0 a transformers >= 5.4.0. Ďalšie technické podrobnosti a úplné výsledky vyhodnotenia budú zverejnené v technickej správe neskôr tento rok.

V súčasnosti trénujeme novú generáciu našich modelov hustých embeddingov a na platforme Perplexity API budeme postupne zavádzať podporu embeddingov s neskorou interakciou, ako aj hustých a kontextových embeddingov.

Citácia

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}