Kontekstinis įdėtinis už auksinės ištraukos ribų

Kontekstiniai įdėtiniai užfiksuoja kiekvienos ištraukos ar iškarpos reikšmę viso dokumento kontekste. Jų mokymo ir vertinimo metu paprastai daroma prielaida, kad vienai užklausai tenka viena susijusi iškarpa, vadinama „auksine ištrauka“. Tačiau praktikoje auksinės ištraukos dažnai nepakanka. Joje gali būti atsakymas, bet trūkti palaikančio konteksto, reikalingo jam suprasti ar patikrinti, todėl izoliuota iškarpa lieka dviprasmiška.

Pristatome pplx-embed-v2-context-9b-preview – mūsų naują kontekstinių įdėtinių modelį. Modelis yra apmokytas naudojant naują požiūrį, kuris kaip mokytoją naudoja „Perplexity“ konteksto glaudinimo modelį. Jo žetonų lygio prognozes apibendriname į iškarpų lygio susijamumo balus, mokydami įdėtinių modelį gauti tiek atsakymų iškarpas, tiek palaikantį kontekstą, o ne vieną auksinę iškarpą. Modelis sukuria vieną įdėtinį vienai iškarpai be papildomų išvedimo išlaidų ir palaiko 1024 matavimų bei „int8“ įdėtinius.

Jis pasiekia geriausius rezultatus rinkoje context-bench – naujame konteksto suvokimo paieškos etalone, kurį sukūrė ir privačiai saugo turbopuffer, bei ConTEB – plačiai naudojamame viešajame etalone. Mūsų modelis buvo sukurtas nepriklausomai nuo „context-bench“ ir įvertintas kaip aklas pateikimas.

„context-bench“ susideda iš 2 099 užklausų, apimančių 38 894 ilgus dokumentus 21 srityje, ir įvertina tris kontekstinių įdėtinių galimybes: dokumentų disambiguaciją tarp beveik identiškų dokumentų, aukso iškarpų, kurių reikšmė priklauso nuo tolimojo konteksto, paiešką bei pagrindžiančių įrodymų, reikalingų atsakymui patvirtinti, susigrąžinimą.

Modelio peržiūra viešai prieinama „Hugging Face“ platformoje. Etaloną privačiai saugo „turbopuffer“, siekdama sumažinti mokymo taršos riziką ir išsaugoti jo vertę pažangai matuoti. Norėdami paprašyti įvertinimo, susisiekite su „turbopuffer“ el. paštu contextbench@turbopuffer.com.

Dokumentų, atsakymų ir įrodymų paieškos rezultatai „context-bench“ etalone — 1 paveikslas: Answer@K, Document@K, Evidence Recall@K ir All-Evidence@10 „context-bench“ etalone, lyginant „Perplexity v2 preview 9B“ su „Voyage Context 4“, „Voyage 4 Large“ ir „Perplexity context v1 4B“.

Paieškos sistemos paprastai padalija ilgus dokumentus į mažesnes iškarpas, kurias galima indeksuoti ir kurių ieškoti atskirai. Iškarpų kūrimas praktikoje yra patogus, tačiau jis panaikina kontekstą, kuriame iš pradžių pasirodė kiekviena iškarpa, ir sukuria kompromisą tarp informacijos glaudinimo granularumo ir kodavimo metu naudojamo konteksto. Iškarpa gali nurodyti anksčiau pristatytą subjektą, perimti jo reikšmę iš skyriaus antraštės arba remtis apibrėžimais, esančiais kitoje dokumento vietoje. Kai ji ištraukiama, joje gali nebebuti pakankamai informacijos, kad būtų galima patikimai priderinti prie užklausos. Viso dokumento užkodavimas kaip vieno vektoriaus to neišsprendžia, nes viena apibendrinta reprezentacija negali tiksliai atspindėti kiekvieno ilgo dokumento aspekto.

Kontekstinių įdėtinių modeliai sprendžia šį apribojimą pavaizduodami kiekvieną iškarpą jos supančio turinio kontekste, dažniausiai taikant vėlyvąjį iškarpų kūrimą (angl. late chunking): dokumentas užkoduojamas vienu praėjimu, o iškarpų reprezentacijos sujungiamos vėliau, kad kiekvienas iškarpos vektorius būtų apskaičiuojamas matant visą dokumentą. Ankstesni darbai, tokie kaip ConTEB ir mūsų pačių pplx-embed-context-v1, parodė, kad kontekstualizuotos iškarpų reprezentacijos žymiai pagerina paiešką palyginti su atskirai užkoduotomis iškarpomis, ypač ilguose dokumentuose.

Kontekstinių įdėtinių modelių mokymui reikalinga priežiūra, kuri nustato, kurios dokumento dalys yra susijusios su tam tikra užklausa. Įprastas požiūris yra auksinės iškarpos anotacijos: kiekvienai užklausai anotuotojas, paprastai didelis kalbos modelis (LLM), identifikuoja dokumento iškarpą, kuri į ją atsako.

Mokymas paprastai apjungia du kontrastinius nuostolius: tarptautinį dokumentų nuostolį (angl. cross-document loss), kuris supriešina auksinę iškarpą su iškarpois iš kitų dokumentų, ir dokumento vidinį nuostolį (angl. within-document loss), kuris supriešina ją su kitomis to paties dokumento iškarpois.

Šis požiūris turi keletą apribojimų:

Tik viena iškarpa yra susijusi. Jis traktuoja kiekvieną kitą dokumento iškarpą kaip neigiamą, įskaitant turinčias naudingos palaikančios informacijos. Dokumento lygio priežiūra veikia kitoje kraštutinumu. Ji identifikuoja dokumentą kaip susijusį, nenurodydama, kurios jame esančios iškarpos yra svarbios. Praktikoje susijamumas dažnai yra tarp šių kraštutinumų. Atsakymą turinti iškarpa gali priklausyti nuo kelių palaikančių iškarpų, kurios pristato subjektą, išsprendžia nuorodą arba pateikia papildomą faktą, o likusi dokumento dalis yra nesusijusi. Todėl modelis turi išmokti tinkamą atrankumo lygį: platesnį nei viena auksinė iškarpa, bet labiau sutelktą nei dokumentas kaip visuma.
Stambi priežiūra. Kadangi kiekviena anotacija identifikuoja vieną auksinę iškarpą, o ne fiksuoja susijamumo laipsnius visame dokumente, ji suteikia ribotus mokymo signalus skaičiavimo kiekiui, kuris buvo sunaudotas jai sukurti.
Brangu mastelio didinimo atveju. Kiekvienai mokymo porai reikia LLM, kad perskaitytų dokumentą ir pasirinktų susijusią iškarpą, todėl anotacijos kaina auga tiesiškai kartu su mokymo rinkinio dydžiu ir apriboja mokymo duomenų kiekį bei jų įvairovę.
Jautrus iškarpų riboms. Žymos taip pat yra susietos su iškarpų ribomis, naudojamomis anotavimo metu. Auksinė žyma, priskirta fiksuoto žetonų dydžio langui, nenurodo, kurie trumpesni sakiniai ar ilgesnės pastraipos yra susiję. Todėl iškarpų kūrimo strategijos keitimas arba mokymas naudojant kelis iškarpų kūrimo būdus, siekiant pagerinti atsparumą tam, kaip dokumentai padalijami indeksavimo metu, gali reikalauti pakartotinio tekstyno anotavimo.

Auksinės iškarpos priežiūros apribojimus sprendžiant išskiriant susijamumo vertinimus iš užklausą atitinkančio konteksto glaudinimo modelio. Šis modelis veikia kaip mokytojas: jis kartu perskaito užklausą ir dokumentą bei priskiria kiekvienam dokumento žetonui susijamumo balą. Jo prognozės suteikia keletą pranašumų mokant kontekstinius įdėtinius:

Lanksčios iškarpų ribos. Žetonų lygio susijamumo balai gali būti bendrai apdoroti bet kuriomis pasirinktomis iškarpų ribomis, leidžiant toms pačioms mokytojo prognozėms prižiūrėti skirtingą iškarpų kūrimą be pakartotinio anotavimo.
Nutrūkstamas susijamumas. Skirtingai nuo dvejetainių auksinės iškarpos žymų, mokytojas pateikia tolygius balus, kurie fiksuoja susijamumo laipsnius, natūraliai atskiriančius atsakymą turinčias iškarpas, palaikantį kontekstą ir nesusijusį turinį.
Mažesnės anotavimo išlaidos. Mokytojas yra kompaktiškas ir specializuotas susijamumo vertinimui, todėl prižiūrėti jį dideliu mastu yra kur kas pigiau nei bendros paskirties LLM.

Savo modelį apmokome naudodami svorinę dokumento lygio kontrastinio nuostolio ir iškarpų lygio distiliavimo nuostolio sumą užklausų ir dokumentų porų paketams. Kiekvienai užklausai suporuotas dokumentas tarnauja kaip teigiamas, o likusieji to paties paketo dokumentai tarnauja kaip neigiami.

Kiekvienam paketui atsitiktinai pasirenkame iškarpų kūrimo strategiją, atitinkamai padalijame dokumentus ir įterpiame skyriklio žetonus tarp iškarpų. Tada apdorojame kiekvieną dokumentą vienu tiesioginiu praėjimu ir atliekame žetonų reprezentacijų kiekvienoje iškarpoje vidurkio sudarymą, kad gautume kontekstines iškarpų įdėtinius. Užklausos užkoduojamos atskirai, sudarant jų žetonų reprezentacijų vidurkį. Galiausiai apskaičiuojame kosinusinį panašumą tarp kiekvienos užklausos įdėtinio ir kiekvieno paketo iškarpos įdėtinio.

Nors mūsų įdėtinių modelis sukuria tik iškarpų lygio panašumus, iš jų galime natūraliai išvesti dokumento lygio panašumus. Dokumentą d laikome tokiu pat susijusiu su užklausa q, kaip ir jo labiausiai susijusi iškarpa. Ši vertinimo taisyklė įkvėpta ColBERT „MaxSim“ operacijos, čia pritaikytos iškarpoms, o ne žetonams.

Tiksliau, turint užklausą q su įdėtiniu q ir dokumentą d kaip tvarkingą iškarpų c sąrašą su įdėtiniais c, dokumento lygio panašumą apibrėžiame taip:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

Atsižvelgdami į šiuos dokumento lygio panašumus, galime suformuluoti dokumento lygio InfoNCE tikslą paketo viduje esančių neigiamų elementų atžvilgiu.

Užklausai q tegu d⁺ žymi jos susijusį dokumentą, o 𝒟 – pakete esančius dokumentus. Kontrastinis nuostolis yra toks, praleidžiant temperatūras dėl geresnio skaitomumo:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

Kontrastinis nuostolis moko modelį, kuris dokumentas yra susijęs su užklausa. Distiliavimo nuostolis moko jį, kur tame dokumente yra susijamumas, o tai yra esminė dalis kontekstiniam modeliui.

Mokymo metu kiekvieną teigiamą užklausos ir dokumento porą perduodame mūsų konteksto glaudinimo modeliui, kuris priskiria susijamumo balą kiekvienam dokumento žetonui. Kaip ir atliekant dokumento lygio vertinimą, kiekvienos iškarpos susijamumą išvedame iš jos labiausiai susijusio turinio. Kad sumažintume jautrumą išsiskiriantiems žetonams, įskaitant esančius iškarpų ribose, iškarpų lygio susijamumą apibrėžiame kaip n geriausių žetonų balų iškarpoje vidurkį.

Kiekvienai užklausai pritaikome temperatūra keičiamą „softmax“ funkciją mokytojo iškarpų lygio susijamumo balams teigiamame dokumente, kad gautume tikslinį skirstinį. Kituose paketo dokumentuose esančios iškarpos gauna nulio tikslinę tikimybę. Įdėtinių modelį išmokome atitikti šį tikslą, sumažindami priekinę KL divergenciją tarp tikslo ir jo numatomo skirstinio visoms paketo iškarpoms:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

Čia viršutiniai indeksai T ir S nurodo mokytoją ir mokinį, o rⱼ yra mokytojo iškarpos cⱼ susijamumo balas teigiamame dokumente d⁺. Mokytojo tikslinis skirstinys priskiria nulio tikimybę iškarpoms visuose kituose paketo dokumentuose.

Skirtingai nuo vienos auksinės iškarpos žymos, šis tikslas fiksuoja susijamumo laipsnius. Palaikančios iškarpos gauna svorį pagal mokytojo balus, o ne traktuojamos kaip neigiamos, taip išmokant modelį gauti palaikantį kontekstą kartu su atsakymu.

Mūsų kombinuotas mokymo tikslas yra svorinė dokumento lygio kontrastinio nuostolio ir iškarpų lygio distiliavimo nuostolio suma. Šį svertinį nuostolį suvidurkiname užklausų ir dokumentų porų pakete.

2 paveiksle iliustruojamas mūsų mokymo požiūris. Konteksto glaudintojas veikia kaip mokytojas tik mokymo metu. Išvedimo metu įdėtinių modelis sukuria vieną kontekstinį įdėtinį vienai iškarpai be papildomų glaudinimo ar perrūšiavimo etapų. Šis požiūris pagerina kontekstinių įdėtinių mokymąsi nedidinant rodyklės saugojimo ir nepridedant mokytojo modelio delsgos paieškos metu.

Kontekstinių įdėtinių distiliavimo mokymo sąranka — 2 paveikslas: Mūsų modelio mokymo sąranka. Kontekstinis koduotuvas (mokinys, kairėje) apdoroja dokumentus, kurių kiekvienas susideda iš kelių iškarpų. Kiekviena iškarpa įdėtinama atsižvelgiant į ją supantį dokumento kontekstą. Užklausa A yra žinoma dokumento A atitiktis ir įvertinama visų dokumentų iškarpų atžvilgiu, siekiant gauti nuspėjamus panašumus. Šie iškarpų lygio balai sujungiami maksimalios vertės būdu (max-pooled) į dokumento lygio balus. Iškarpų lygio prognozes ir dokumento lygio prognozes mokome atitikti tikslinius skirstinius (dešinėje). Iškarpų lygio tikslas apskaičiuojamas mokymo metu kaip konteksto glaudintojo prognozė žinomame susijusiame dokumente ir nustatomas ties nuliu žinomuose nesusijusiuose dokumentuose. Dokumento lygio tikslinis skirstinys nustatomas taip, kad jis būtų vieno aktyvumo (one-hot) žinomo susijusio dokumento atžvilgiu.

Mokymo duomenis sudaro maždaug 430 viešų ir vidinių užklausų ir dokumentų duomenų rinkinių, apimančių daugiau nei 50 kalbų.

Vidinių porų duomenų rinkinius kuriame iš asmens duomenų apsaugos reikalavimus atitinkančių (PII) gamybinių duomenų ir sintetindami atitinkamas užklausas ilguose dokumentuose. Kiekvienam tiesioginiam praleidimui pasirenkame vieną duomenų rinkinį ir iš jo paimame visą paketą, kad padidintume paketo neigiamų pavyzdžių sudėtingumą ir išvengtume supaprastinto mokymosi. Nė vienas iš mūsų mokymo duomenų rinkinių neturi iškarpų lygio anotacijų: visa priežiūra dokumento viduje atliekama naudojant glaodinimo modelį, o mokymui nenaudojami jokie „ConTEB“ duomenys. Be to, kuriant modelį nebuvo jokių „context-bench“ duomenų.

Modelis pradedamas nuo vidinio, 9B parametrų „ColBERT“ paieškos modelio ir per tiesinės prorakcijos sluoksnį sugeneruoja 2048 matavimų įdėtinius. Iškarpų ribas pažymime išmoktu <|chunk_sep|> žymekliu ir kiekvieną iškarpos įdėtinį suformuojame apskaičiuodami jos žetonų įdėtinių vidurkį. Užklausos užkoduojamos naudojant tą patį modelį, o jų žetonų įdėtiniai suvidurkinami į vieną vektorių.

Naudojame Matrioškos mokymą (angl. Matryoshka training), kad palaikytume ir 1024, ir 2048 matavimų įdėtinius, bei kvantavimu pagrįstą mokymą, palaikantį gimtuosius „int8“ įdėtinius. Mokymo metu palaipsniui didiname mokymosi greitį, palaikome jį pastovų, o tada sumažiname.

Išleistas modelis yra modelių rinkinys (angl. model soup), kuriame suvidurkinami kelių patikros taškų iš to paties mokymo etapo svoriai.

Viešieji kontekstinės paieškos etalonai, tokie kaip „ConTEB“, dalijasi prielaida, kuria grindžiama auksinės iškarpos priežiūra: kiekviena užklausa turi vieną susijusią iškarpą, o modelis apdovanojamas tik už tai, kad ši iškarpa atsiduria pirmoje vietoje. Jie taip pat paveldi jos apribojimus.

Pirma, „ConTEB“ išbando paiešką užduotyse, kuriose iškarpa yra dviprasmiška be ją supančio konteksto. Atliekant šias užduotis, kontekstiniai modeliai pasirodė geriau nei modeliai, kurie kiekvieną iškarpą užkoduoja atskirai. Vis dėlto jame neklausiama, ar modelis taip pat iškelia kitas dokumento dalis, dėl kurių iškarpa tampa suprantama.

Antra, jame sistemiškai netikrinama, ar galima rasti tinkamą dokumentą, kai beveik identiški dokumentai tame pačiame tekstyne skiriasi tik kontekstu, supančiu kitu atveju identišką sakinį.

Abi šios galimybės yra svarbios, kai paieškos agentas arba vartotojas turi suprasti ir patikrinti atsakymą remdamasis keliais gautais sakiniais, o ne visu dokumentu. Todėl sukūrėme „context-bench“ – kontroliuojamą etaloną paieškai ilguose dokumentuose, skirtą atskirti dokumento konteksto naudojimą nuo bendros paieškos kokybės. Juo tikrinama, ar kontekstiniai įdėtiniai naudoja informaciją iš kitų dokumento vietų trims galimybėms palaikyti:

Dokumento disambiguacija: nustatyti teisingą dokumentą tarp beveik identiškų alternatyvų.
Atsakymo paieška: gauti atsakymą turinčias iškarpas, kurių reikšmė priklauso nuo kitų dokumento vietų detalių.
Įrodymų paieška: gauti palaikančias iškarpas, kurios paaiškina arba pagrindžia atsakymą.

„context-bench“ sudaro 2 099 užklausos ir 38 894 dokumentai. Naudojamos sakinio ilgio iškarpos, todėl iš viso gaunama 2 458 072 iškarpos. Užklausos apima 21 sritį, įskaitant įmonių finansines ataskaitas, klinikinius tyrimus, keliones, pramogas, švietimą, vyriausybę, teisinius susitarimus ir programinės įrangos dokumentaciją.

Kiekviena užklausa skirta patikrinti vieną iš dvylikos kontekstinių galimybių. Pagrindiniai tiksliniai dokumentai yra tyčia ilgi: 1 061 iš 1 197 skirtingų pagrindinių tikslinių dokumentų turi bent 200 sakinių, o mediana siekia maždaug 6 100 žetonų. Kiekviena užklausa tekstyne turi lygiai vieną teisingą atsakymą. Kai tas pats faktas aukso dokumente nurodomas daugiau nei vieną kartą, pavyzdžiui, suvestinės sakinyje ir lentelės eilutėje, bet kuris iš šių sakinių priimamas kaip atsakymas.

Atsakymo kelias – tai vienas galiojantis atsakymo iškarpos ir pagrindžiančių įrodymų, reikalingų jai interpretuoti arba patikrinti, derinys. Iš 2 099 užklausų pagrindinio tikslinio dokumento atsakymo kelias turi vieną įrodymų grupę 964 užklausoms, dvi – 735, tris ar daugiau – 332, o jokių – 68. Alternatyviems galiojantiems atsakymo keliams gali prireikti skirtingų įrodymų grupių.

1 lentelė: Etalono statistika.

Statistika	Reikšmė
Užklausos	2 099
Dokumentai	38 894
Sakinio iškarpos	2 458 072
Pagrindinio tikslinio dokumento mediana	6 100 žetonų
Sritys	21
Įrodymų grupės užklausai (pagrindinio tikslinio dokumento atsakymo kelias)	1: 964; 2: 735; 3+: 332; nėra: 68

2 lentelė: Dvylika kontekstinių galimybių, kurias tikrina „context-bench“, su iliustratyviais pavyzdžiais.

Galimybė	Užklausos pavyzdys	Atsakymo iškarpa	Reikalingas dokumento kontekstas
1. Subjekto tapatybė	Kiek „Northlake“ išleido akcijų supirkimui?	Bendrovė supirko akcijų už 12,8 mlrd. JAV dolerių.	Įvade „Northlake“ įvardijama kaip „bendrovė“. Panaši „Southlake“ ataskaita nėra susijusi.
2. Laikotarpis arba versija	Kuri kasetė tinka „M40“ B revizijai?	Įdėkite „KC-42“ kasetę.	Taikymo sities skirsnyje nurodyta, kad šios instrukcijos apima B, o ne C reviziją.
3. Apibrėžimai ir pseudonimai	Koks buvo 15 mg grupės pasitraukimo dažnis?	„Zeta“ pasitraukimo dažnis buvo 12,7 %.	Ataskaitoje „Zeta“ apibrėžiama kaip 15 mg grupė. Be šio apibrėžimo iškarpa neidentifikuoja prašomos grupės.
4. Lentelės struktūra	Kokia „Max“ modelio baterijos talpa?	Tipinė talpa: 4 250 \| 4 700 \| 5 150.	Lentelės antraštėje nustatyta „Mini \| Base \| Max“, išmatuota mAh. Todėl atsakymas yra 5 150 mAh.
5. Sąlygos ir išimtys	Kiek laiko taikoma baterijos garantija komerciniam naudojimui?	Baterijos garantija trunka 18 mėnesių.	Skyriaus įvade ši garantija apribojama iki komercinių įrenginių; buitiniams įrenginiams taikoma kita garantija.
6. Nuorodos ir įvardžiai	Kada Mara tapo mero pavaduotoja?	Ji pradėjo eiti pareigas 2021 metais.	Ankstesnis pasakojimas nustato, kad „ji“ reiškia Marą, o ne Elin, kuri taip pat aptariama.
7. Sąrašo tvarka ir pozicija	Kokia daina pradėjo bisą?	14. „Lantern Road“.	Kitoje vietoje pateiktoje pastaboje teigiama, kad 14–16 dainos sudarė bisą. Todėl 14 takelis yra pirmoji jo daina.
8. Skyriaus apimtis	Koks objektyvas buvo naudojamas filmo operatoriaus darbui?	Viso filmo metu buvo naudojamas 35 mm fiksuoto židinio nuotolio objektyvas.	Ši ištrauka priklauso skyriui „Pagrindinis filmavimas“, o ne atskiram skyriui apie viešinimo nuotraukas.
9. Kalbėtojo priskyrimas	Kokią pakartotinio atidarymo datą pažadėjo meras?	Vėl atsidarysime birželio 12 dieną.	Išklotinėje meras įvardijamas kaip kalbėtojas. Tie patys rangovo žodžiai nepatvirtintų mero pažado.
10. Pokyčiai bėgant laikui	Koks įspėjimo terminas buvo taikomas po gegužės mėnesio pataisos?	Dabar įspėjimo terminas yra 45 dienos.	Pataisų istorija rodo, kad šis pakeitimas įsigaliojo gegužės mėnesį ir pakeitė ankstesnę 30 dienų taisyklę.
11. Priežastiniai ryšiai	Kodėl sustojo vakarinis siurblys?	Sustojimą sukėlė šis gedimas.	Tyrime „šis gedimas“ įvardijamas kaip užstrigęs guolis vakariniame siurblyje ir atskiriamas nuo nesusijusio įleidimo angos užsikimšimo.
12. Perkeltinė arba tarpkalbinė reikšmė	Perkeltine prasme: Ką poezijoje simbolizuoja „žiemos kambarys“? Tarpkalbine prasme: Kurį komponentą prancūziškoje instrukcijoje technikas liepia pašalinti?	Perkeltine prasme: Tai reiškia tremtį, o ne fizinį kambarį. Tarpkalbine prasme: Retirez le capot. (Nuimkite dangtelį.)	Perkeltine prasme: Komentaras „tai“ identifikuoja kaip poezijoje pasikartojantį „žiemos kambario“ vaizdinį. Tarpkalbine prasme: Vadovo žodynėlyje nurodyta, kad „capot“ reiškia apsauginį variklio gaubtą, o ne gabenimo dangtį.

Bandomos užklausos, dokumentai ir galimybės yra įkvėpti pokalbių su „turbopuffer“ klientais.

Pateikimui pavyzdį, apsvarstykite nekilnojamojo turto valdymo įmonės paieškos poreikius. Šios įmonės turi šimtus, o kartais ir tūkstančius nuomos sutartčių, kurios skiriasi tik nuomininkų vardais, datomis ir keliomis kitomis pagrindinėmis detalėmis. Dažna šio duomenų rinkinio užklausa galėtų būti „kada baigiasi 5 parko alėjos nuoma ir koki yra dabartinė nuoma?“. Nuomos sutartys taip pat gali būti ilgos, o kritiniai disambiguojantys komponentai, patvirtinantys, kad gavote tinkamą dokumentą (pvz., data, adresas, nuomininko vardas ir kt.), dažnai gali būti labai toli nuo pagrindinio atsakymo sakinio, kuriame nurodyta mėnesinė nuomos suma. Praktikoje identiški sakiniai, tokie kaip „Mėnesinė nuoma yra X XXX USD.“, gali būti kartojami daugelyje tekstyne esančių dokumentų.

Geras kontekstinių įdėtinių modelis turėtų naudoti kontekstą iš viso dokumento, kad nustatytų teisingą dokumentą ir gautų tiek atsakymą, tiek jį palaikančius sakinius. Tai leidžia vartotojui arba paieškos agentui greitai patikrinti atsakymą ir įsitikinti, kad jis gautas iš tinkamo dokumento.

Kiekvienai užklausai tiksliniame dokumente pažymime „atsakymo“ ir „įrodymų“ sakinius. Modelis išlaiko mūsų „skaitytojo pakankamumo“ testą, jei jis gauna atsakymo sakinį kartu su bent vienu sakiniu iš kiekvienos įrodymų grupės. Kartu šie sakiniai suteikia pakankamai konteksto skaitytojui, kad jis galėtų patikrinti atsakymą su palaikančiais įrodymais.

Kai kontekstinių įdėtinių modeliai tai atlieka gerai, jie gali smarkiai sumažinti žetonų, kuriuos paieškos agentams reikia peržiūrėti, skaičių, taip pat gerokai palengvinti asmeniui galimybę greitai įsitikinti, kad jis rado teisingą atsakymą į pradinę užklausą, neskaitydamas viso dokumento.

Kiekviena įrodymų grupė turi būti atkurta, tačiau pakanka bet kurios vienos grupės alternatyvos, kad ji būtų atkurta. Dažnai tuo pačiuose ilguose dokumentuose tas pats faktas nurodomas keliose vietose. Tik vieno sakinio gavimas iš kiekvienos įrodymų grupės atitinka skaitytojo pakankamumo kriterijus, todėl būtų priimtas kaip tobulas įrodymų susigrąžinimas.

Kiekvienas dokumentas suskaidomas į sakinius, o visiems modeliams naudojamos tos pačios ribos. Nekontekstiniams įdėtinių modeliams tikrinamos dvi sąlygos: viena, kai kiekvienas sakinys įdėtinamas nepriklausomai, o kita, kai visas dokumentas įdėtinamas kaip viena iškarpa.

Sakinio lygio sąlygą naudojame atsakymų ir įrodymų susigrąžinimui matuoti. Ja tikrinama, ar nekontekstinis modelis gali identifikuoti teisingą atsakymą ir palaikančius įrodymus, kai kiekvienas sakinys įdėtinamas neturint prieigos prie jį supančio dokumento. Tai yra tyčia sudėtinga. Daugeliui užklausų vien tik atsakymo sakiniui trūksta detalių, reikalingų jam atskirti nuo panašių sakinių kitose tekstyno vietose.

Dokumento lygio sąlygą naudojame kaip dokumentų susigrąžinimo atskaitos tašką (bazinę liniją). Ja tikrinama, ar smulkios granularity sakinių įdėtiniai suteikia pakankamai naudos paieškai, kad pateisintų papildomas jų saugojimo išlaidas, palyginti su vieno vektoriaus saugojimu vienam dokumentui. Sakinio lygio rodyklė sukuria kur kas daugiau vektorių nei dokumento lygio rodyklė, todėl, siekiant pateisinti šias išlaidas, ji turėtų pranokti vieno vektoriaus dokumentui bazinę liniją.

Visiems vertinimams naudojamas išsamus reitingavimas visų 2 458 072 iškarpų atžvilgiu. Todėl modelių skirtumai atspindi reprezentacijas, o ne rodyklės konfigūraciją. Mes sutelkiame dėmesį į tris pagrindines metrikas:

Document@K apibrėžiamas taip:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

kur $d^{*}$ yra aukščiausią reitingą turintis dokumentas $D_q$ .

Answer@K apibrėžiamas taip:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

kur $C_K(q)$ yra populiariausi $K$ iškarpos visame tekstyne, o $A_{q}$ yra priimtų atsakymų iškarpų rinkinys.

Evidence Recall@K matuojamas $d^{*}$ ribose taip: surikiuokite $d^{*}$ sakinius pagal panašumą, pašalinkite aukščiausią reitingą turintį atsakymo sakinį ir tegu $R_K(q)$ yra $K$ geriausi likę sakiniai. Įrodymų grupėms $G_q=\{g_1,\ldots,g_m\}$ grupė $g_j$ atkurta, jei kažkuri alternatyva $E\in g_j$ tenkina $E\subseteq R_K(q)$ , ir

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K klausia, ar dėl kontekstualizacijos tinkamas dokumentas gali aplenkti giminingus dokumentus ir dėmesį blaškančius elementus, kurie dalijasi tuo pačiu žodynu.

Answer@K klausia, ar pats atsakymo sakinys patenka tarp geriausių iškarpų.

Evidence Recall@K klausia, kiek palaikančio konteksto atkurta tarp teisingo dokumento geriausių K iškarpų, pašalinus aukščiausią reitingą turinčią atsakymo iškarpą. Pašalinus atsakymą įrodymų susigrąžinimas nedubliuoja to, ką jau matuoja Answer@K, ir palieka visus $K$ langelius palaikančiam kontekstui. Reikalavimas, kad aukso dokumentas būtų tarp 10 geriausių gautų dokumentų, reiškia, kad joks modelis negauna įrodymų kreditai už dokumentą, kurio nebūtų iškėlęs. Taip pat pateikiame All-Evidence@10 – užklausų, kuriose atkurta kiekviena grupė, dalį.

Kartu šios metrikos išskaido iššūkius, su kuriais susiduria kontekstinių įdėtinių modeliai: rasti tinkamą dokumentą, rasti tinkamą atsakymą ir atkurti minimalų kontekstą, kuris parodo, kodėl atsakymas yra teisingas.

3 paveiksle metrikos iliustruojamos naudojant nekilnojamojo turto valdymo pavyzdį.

Kaip vertinami „context-bench“ dokumentų, atsakymų ir įrodymų paieškos rezultatai — 3 paveikslas: „context-bench“ metrikos, iliustruotos nuomos užklausos pavyzdžiu. Document@K tikrina teisingo dokumento paiešką; Answer@K tikrina jo atsakymo iškarpos paiešką; Evidence Recall@K matuoja palaikančių įrodymų grupių atkūrimą tiksliniame dokumente. Šiame pavyzdyje nuomai patikrinti reikalingi ir adreso, ir nuomos metų įrodymai. Įrodymų susigrąžinimas neapima geriausios atsakymo iškarpos ir reikalauja, kad tikslinis dokumentas patektų į geriausių 10 sąrašą.

Įvertiname savo modelį palygindami jį su kontekstiniais ir nekontekstiniais įdėtinių modeliais keturiose srityse.

Mūsų kontekstinės bazinės linijos yra pplx-embed-context-v1-4B ir voyage-context-4. Mūsų nekontekstinės bazinės linijos yra voyage-4-large ir NVIDIA Nemotron-3-Embed-8B-BF16, kurios iškarpas užkoduoja atskirai. Bazinių linijų rinkinys skiriasi priklausomai nuo eksperimento, kaip nurodyta kiekviename paveiksle.

Pradedame nuo „context-bench“, kuriame tiesiogiai tikrinamos šį darbą motyvuojančios galimybės, o tada pranešame apie rezultatus „ConTEB“ – standartiškame viešame etalone, skirtame kontekstiniams įdėtiniams. Norėdami patikrinti, ar šie laimėjimai negaunami bendros paieškos kokybės sąskaita, taip pat įvertiname su sritimi susijusius dokumentų ir iškarpų paieškos etalonus, kuriuos sukūrėme iš viešų duomenų rinkinių. Galiausiai išnagrinėjame dvi praktines diegimo savybes: paieškos kokybę, palyginti su saugojimo išlaidomis vienam vektoriui, ir jautrumą iškarpos dydžiui, naudojamam indeksavimo metu. Visi vertinimai užkoduoja iki 32 768 žetonų dokumentus vienu praėjimu.

Kaip parodyta įvado 1 paveiksle, mūsų peržiūra pirmauja pagal Answer@K ir Evidence Recall@K rodiklius esant bet kuriai praneštai ribai, taip pat pagal All-Evidence@10. Esant K = 10, jis pasiekia 45,5 % atsakymų susigrąžinimo, 40,6 % įrodymų susigrąžinimo ir 31,1 % visų įrodymų susigrąžinimo rodiklį. Jis taip pat pirmauja pagal Document@1 ir Document@10, pasiekdamas atitinkamai 15,2 % ir 61,6 %. Esant K = 10, mūsų peržiūra 14,4 procentinio punkto atsakymų susigrąžinimo ir 5,0 punkto įrodymų susigrąžinimo srityje pranoksta „voyage-context-4“.

Mūsų peržiūros modelis pasiekia didžiausią vidutinį nDCG@10 tarp „ConTEB“ rodomų modelių 4 paveiksle. Jis pirmauja ne kiekvienoje užduotyje: „pplx-context-v1-4B“ surenka daugiau taškų „NarrativeQA“, o „Nemotron-3-8B“ surinkęs daugiausia taškų „COVID-QA“. Kaip pagrindiniai autoriai taip pat nurodė „ConTEB“ dokumente, „COVID-QA“ daugiausia apima užklausų ir iškarpų poras, kurios yra labai išskiriančios ir kurioms patenkinti pakanka paprasto paviršinio leksinio atitikimo techniniams medicinos terminams. Dėl to konteksto supratimas šiai užduotiai yra mažiau naudingas, o nekontekstiniai modeliai paprastai pralenkia kontekstinius.

Užduoties lygio nDCG ties 10 „ConTEB“ etalone — 4 paveikslas: Užduoties lygio nDCG@10 „ConTEB“ etalone užklausos ir iškarpos nustatyme. Vidurkis yra nesudėtingas aštuonių užduočių vidurkis.

Be etalonų, skirtų kontekstiniams įdėtiniams, mes vertiname specifinį mūsų modelio veikimą srityse.

Mūsų užklausų ir iškarpų (Q2C) rinkinyje naudojamos MTEB užduotys, tokios kaip „LegalBench“ ir „FinanceBench“, kartu su papildomomis paieškos užduotimis, kurias sukūrėme iš viešų duomenų rinkinių. Kiekviename susijusiame dokumente iškarpa pažymėta kaip susijusi, jei joje yra tikslus atsakymo intervalas, kai užduotis tokį pateikia, o kitu atveju – LLM nustatant jos susijusį su užklausą. Užklausų ir dokumentų (Q2D) rinkinys naudoja tas pačias užduotis ir įvertina, ar susijęs dokumentas yra gaunamas.

Mūsų modelis pasiekia aukščiausią vidutinį iškarpų paieškos rezultatą 5 paveiksle ir pirmauja teisinėje, techninėje bei sveikatos srityse. Jis pirmauja ne kiekvienoje srityje: „voyage-context-4“ surinkę daugiau taškų finansų ir daugiakalbės paieškos srityse, o „Nemotron-3-8B“ pirmauja pokalbių paieškos srityje. Kalbant apie dokumentų paiešką 6 paveiksle, mūsų modelio rezultatai vidutiniškai yra šiek tiek prastesni nei „voyage-context-4“, o techninėje srityje jis pirmauja. „pplx-context-v1-4B“ bazinė linija vidutiniškai surenka mažiau taškų abiejuose rinkiniuose, o tai dera su tuo, kad ji buvo apmokyta tik pagal „ConTEB“ mokymo rinkinį, parodant, kad priežiūra, susieta su vieno etalono aukso iškarpomis, blogai persikelia į kitas sritis.

Užklausų ir iškarpų paieškos rezultatai pagal sritis — 5 paveikslas: Vidutinis nDCG@10 atliekant užklausų ir iškarpų (Q2C) užduotis, sugrupuotas pagal sritis. Sritiniai stulpeliai yra nesudėtingi užduoties lygio rezultatų tos srities vidurkiai; bendras vidurkis yra nesudėtingas visų rodomų užduočių vidurkis.

Užklausų ir dokumentų paieškos rezultatai pagal sritis — 6 paveikslas: Vidutinis paieškos rezultatas atliekant užklausų ir dokumentų (Q2D) užduotis, sugrupuotas pagal sritis. Kiekvienas stulpelis srityje yra nesudėtingas užduoties lygio pagrindinių rezultatų vidurkis; bendras vidurkis yra nesudėtingas visų rodomų užduočių vidurkis.

Kontekstinių įdėtinių modelis sukuria vieną vektorių vienai iškarpai, todėl rodyklė, sukurta naudojant mūsų modelį, turi lygiai tiek pat vektorių, kiek ir įprasta iškarpų lygio rodyklė su ta pačia iškarpų kūrimo strategija. Kontekstualizacija keičia tai, ką koduoja kiekvienas vektorius, o ne tai, kiek vektorių saugoma. Todėl saugojimo apimtį lemia kiekvieno vektoriaus dydis. Modelis siūlo du būdus jam sumažinti: sutrumpinti įdėtinį nuo 2048 iki 1024 matavimų ir sukvantuoti jį iki int8.

7 paveiksle rodomas palankus kompromisas tarp paieškos kokybės ir vektorių saugojimo. Esant 1024 matavimams, mūsų „int8“ įdėtiniai naudoja 1 KB vienam vektoriui, o jų iškarpų paieškos rezultatas šiek tiek viršija „voyage-context-4“ rezultatą esant 2048 matavimams „float32“ formatu, kuris naudoja 8 KB vienam vektoriui. Padidinus mūsų įdėtinio dydį iki 2048 matavimų, paieškos kokybė dar labiau pagerėja esant 2 KB vienam vektoriui. Šie saugojimo skaičiai nurodo tik vektorius, o ne likusią rodyklės dalį.

Iškarpų paieškos kokybė, palyginti su saugojimu vienam vektoriui — 7 paveikslas: Iškarpų paieškos kokybė (vidutinis nDCG@10) kaip saugojimo vienam vektoriui funkcija. Vientisos linijos žymi „float32“, o brūkšninės linijos žymi „int8“; etiketės nurodo įdėtinio matavimą.

8 paveiksle rodomas tik nedidelis paieškos kokybės pokytis iškarpos dydžiui padidėjus nuo 64 iki 512 žetonų: vidutinis rezultatas sumažėja nuo 81,0 % iki 79,9 %, t. y. 1,1 procentinio punkto sumažėjimu. Tai rodo, kad modelis išlieka veiksmingas visų išbandomų iškarpų dydžių diapazone, suteikdamas indeksavimo konvejerio sistemai lankstumo padalijant dokumentus.

Jautrumas iškarpos dydžiui: iškarpų nuo 64 iki 512 žetonų paieškos rezultatai — 8 paveikslas: Mūsų modelio jautrumas iškarpos dydžiui. Kiekvienas taškas yra nesudėtingas vidutinis nDCG@10 74 MTEB užduotyse, dokumentus indeksuojant nurodytu iškarpos dydžiu.

„turbopuffer“ išsaugo visą „context-bench“ tekstyną, užklausas bei žymas privačius ir pateikia pateiktų modelių rezultatus. Tokio pobūdžio viešas etalonas skatina tiesioginį mokymą pagal jo užklausas ir dokumentus, o tai pamažu jį prisotintų ir sumažintų jo vertę sekant pažangą bėgant laikui. Jei norite, kad jūsų modelis būtų įvertintas pagal šį etaloną, susisiekite su „turbopuffer“ el. paštu contextbench@turbopuffer.com.

Mūsų modelio peržiūra pasiekiama „Hugging Face“ platformoje, o visi šio įrašo rezultatai pateikiami šiai peržiūrai. Dirbame ties tuo, kad modelis taptų prieinamas per „Perplexity API“, taip pat toliau tobuliname paiešką ilguose dokumentuose kartu su „turbopuffer“.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

Įvadas

Kodėl kontekstas svarbus paieškai

Auksinės iškarpos priežiūros ribos

Naujas požiūris į kontekstinį mokymą

Nuostolių funkcija

Dokumento lygio kontrastinis nuostolis

Iškarpų lygio distiliavimo nuostolis

Kombinuotas nuostolis

Mokymo duomenys

Mokymo sąranka

Naujas etalonas iškarpų lygio paieškai

Dokumentai ir užklausos

Atsakymo ir įrodymų žymos

Metrikos

Vertinimo rezultatai

Context-bench

ConTEB

Bendra paieškos kokybė įvairiose srityse

Paieškos kokybė ir saugojimo išlaidos

Jautrumas iškarpos dydžiui

Išleidimas

Citata