Kontekstuālā iegulšana ārpus zelta pasāžas

Kontekstuālie iegulpojumi tver katras pasāžas vai fragmenta nozīmi visa dokumenta kontekstā. To apmācība un novērtēšana parasti pieņem vienu atbilstošu fragmentu uz vaicājumu, kas pazīstams kā "zelta pasāža". Tomēr zelta pasāža praksē bieži vien nav pietiekama. Tā var saturēt atbildi, bet tai var trūkt atbalsta konteksta, kas nepieciešams tās izpratnei vai pārbaudei, padarot to izolācijā divdomīgu.

Mēs ieviešam pplx-embed-v2-context-9b-preview — mūsu jauno kontekstuālās iegulšanas modeli. Modelis ir apmācīts ar jaunu pieeju, kas izmanto Perplexity konteksta kompresijas modeli kā skolotāju. Mēs apkopojam tā žetona līmeņa prognozes fragmenta līmeņa nozīmīguma rādītājos, mācot iegulšanas modelim izgūt gan atbildes fragmentus, gan atbalsta kontekstu, nevis vienu zelta fragmentu. Modelis ģenerē vienu iegulpojumu uz fragmentu bez papildu secināšanas izmaksām un atbalsta 1024 dimensiju un int8 iegulpojumus.

Tas sasniedz modernākos rezultātus vietnē context-bench — jaunā konteksta apzinīgas izguves etalonā, ko izveidojis un privāti glabā turbopuffer —, un vietnē ConTEB — plaši izmantotā publiskajā etalonā. Mūsu modelis tika izstrādāts neatkarīgi no context-bench un novērtēts kā akla iesniegšana.

Context-bench sastāv no 2099 vaicājumiem par 38 894 gariem dokumentiem 21 domēnā un novērtē trīs kontekstuālo iegulpojumu iespējas: dokumenta atšķiršanu starp gandrīz identiskiem dokumentiem, zelta fragmentu izguvi, kuru nozīme ir atkarīga no tāla konteksta, un atbildes pārbaudei nepieciešamo atbalsta pierādījumu izgūšanu.

Modeļa priekšskatījums ir publiski pieejams pakalpojumā Hugging Face. Etalons tiek glabāts privāti, izmantojot turbopuffer, lai samazinātu apmācības piesārņojuma risku un saglabātu tā vērtību progresa mērīšanai. Lai pieprasītu novērtējumu, lūdzu, sazinieties ar turbopuffer, izmantojot contextbench@turbopuffer.com.

Dokumentu, atbilžu un pierādījumu izguves rezultāti vietnē context-bench — 1. attēls: Answer@K, Document@K, Evidence Recall@K un All-Evidence@10 vietnē context-bench, salīdzinot Perplexity v2 priekšskatījumu 9B ar Voyage Context 4, Voyage 4 Large un Perplexity context v1 4B.

Izguves sistēmas parasti sadala garus dokumentus mazākos fragmentos, kurus var indeksēt un meklēt neatkarīgi. Fragmentēšana praksē ir ērta, bet tā noņem kontekstu, kurā katrs fragments sākotnēji parādījās, radot kompromisu starp informācijas saspiešanas granularitāti un kodēšanas laikā izmantoto kontekstu. Fragments var atsaukties uz iepriekš iepazīstinātu vienību, mantot tā nozīmi no sadaļas virsraksta vai paļauties uz citviet dokumentā atrastām definīcijām. Kad tas ir izgūts, tas var vairs nesaturēt pietiekami daudz informācijas, lai to droši saskaņotu ar vaicājumu. Visa dokumenta kodēšana kā viena vektora šo problēmu neatrisina, jo viens apvienots attēlojums nevar uzticami uztvert katru gara dokumenta šķautni.

Kontekstuālās iegulšanas modeļi risina šo ierobežojumu, attēlojot katru fragmentu tā apkārtējā satura kontekstā, visbiežāk izmantojot vēlīno fragmentēšanu: dokuments tiek kodēts vienā caurgājumā, un fragmenta attēlojumi tiek apvienoti pēc tam, tāpēc katrs fragmenta vektors tiek aprēķināts, redzot visu dokumentu. Iepriekšējais darbs, piemēram, ConTEB un mūsu pašu pplx-embed-context-v1, ir parādījis, ka kontekstualizēti fragmenta attēlojumi būtiski uzlabo izguvi salīdzinājumā ar neatkarīgi kodētiem fragmentiem, jo īpaši garos dokumentos.

Kontekstuālās iegulšanas modeļu apmācībai ir nepieciešama uzraudzība, kas identificē, kuras dokumenta daļas ir saistītas ar konkrētu vaicājumu. Izplatīta lärm ir zelta fragmenta anotācijas: katram vaicājumam anotētājs, parasti lielo valodu modelis (LLM), identificē dokumenta fragmentu, kas uz to atbild.

Apmācība parasti apvieno divus kontrastējošus zaudējumus: starpdokumentu zaudējumu, kas kontrastē zelta fragmentu ar fragmentiem no citiem dokumentiem, un dokumenta iekšējo zaudējumu, kas kontrastē to ar citiem fragmentiem tajā pašā dokumentā.

Šai pieejai ir daži ierobežojumi:

Tikai viens fragments ir nozīmīgs. Tā uzskata katru citu fragmentu dokumentā par negatīvu, tostarp tos, kuriem ir noderīga atbalsta informācija. Dokumenta līmeņa uzraudzība darbojas citā galējībā. Tā identificē dokumentu kā nozīmīgu, nenorādot, kuri fragmenti tajā ir svarīgi. Praksē nozīmīgums bieži vien atrodas starp šīm galējībām. Atbildi saturošais fragments var būt atkarīgs no dažiem atbalsta fragmentiem, kas ievieš vienību, atrisina atsauci vai sniedz papildinošu faktu, kamēr pārējais dokuments nav nozīmīgs. Tāpēc modelim ir jāapgūst pareizais selektivitātes līmenis: plašāks par vienu zelta fragmentu, bet vairāk fokusēts nekā dokuments kopumā.
Rupja uzraudzība. Tā kā katra anotācija identificē vienu zelta fragmentu, nevis uztver nozīmīguma pakāpes visā dokumentā, tā nodrošina ierobežotus apmācības signālus par skaitļošanas apjomu, kas tērēts tā izveidei.
Dārgi mērogot. Katram apmācības pārim ir nepieciešams LLM, lai izlasītu dokumentu un atlasītu atbilstošo fragmentu, tāpēc anotācijas izmaksas aug lineāri līdz ar apmācības kopas lielumu un nosaka griestus tam, cik daudz un cik dažādi var būt apmācības dati.
Jutīgs pret fragmenta robežām. Marķējumi ir arī piesaistīti fragmenta robežām, kas izmantotas anotācijas laikā. Zelta marķējums, kas piešķirts fiksēta žetonu lieluma logam, nenorāda, kuri īsāki teikumi vai garākas rindkopas ir nozīmīgas. Tāpēc fragmentēšanas stratēģijas maiņa vai apmācība vairākās fragmentēšanās, lai uzlabotu izturību pret dokumentu sadalīšanu indeksēšanas laikā, var prasīt korpusa atkārtotu anotēšanu.

Mēs risinām zelta fragmenta uzraudzības ierobežojumus, destilējot nozīmīguma spriedumus no vaicājuma apzinīga konteksta kompresijas modeļa. Šis modelis kalpo kā skolotājs: tas kopīgi nolasa vaicājumu un dokumentu un katram dokumenta žetonam piešķir nozīmīguma rādītāju. Tā prognozes piedāvā vairākas priekšrocības kontekstuālo iegulpojumu apmācībai:

Elastīgas fragmenta robežas. Žetona līmeņa nozīmīguma rādītājus var apkopot virs jebkurām izvēlētajām fragmenta robežām, ļaujot tām pašām skolotāja prognozēm uzraudzīt dažādu fragmentēšanu bez atkārtotas anotācijas.
Nepārtraukta nozīmīgums. Atšķirībā no binārajiem zelta fragmenta marķējumiem, skolotājs nodrošina nepārtrauktus rādītājus, kas uztver nozīmīguma pakāpes, kuras dabiski atšķir atbildi saturošus fragmentus, atbalsta kontekstu un nesaistītu saturu.
Zemākas anotācijas izmaksas. Skolotājs ir kompakts un specializējas nozīmīguma vērtēšanā, padarot to daudz lētāku uzraudzībai lielā mērogā nekā universāls LLM.

Mēs apmācām mūsu modeli ar dokumenta līmeņa kontrastējošo zaudējumu un fragmenta līmeņa destilācijas zaudējumu svērtu summu virs vaicājuma un dokumentu pāru sērijām. Katram vaicājumam pārī savienotais dokuments kalpo kā pozitīvs, savukārt pārējie dokumenti tajā pašā sērijā kalpo kā negatīvi.

Katrā sērijā mēs nejauši izvēlamies fragmentēšanas stratēģiju, attiecīgi sadalām dokumentus un ievietojam atdalītāja žetonus starp fragmentiem. Pēc tam mēs apstrādājam katru dokumentu vienā priekšējā caurgājumā un aprēķinām žetonu attēlojumu vidējo vērtību katrā fragmentā, lai iegūtu kontekstuālos fragmenta iegulpojumus. Vaicājumi tiek kodēti atsevišķi, izmantojot vidējo vērtību aprēķināšanu virs to žetonu attēlojumiem. Visbeidzot, mēs aprēķinām kosinusa līdzību starp katru vaicājuma iegulpojumu un katru fragmenta iegulpojumu sērijā.

Lai gan mūsu iegulšanas modelis ģenerē tikai fragmenta līmeņa līdzības, mēs no tām varam dabiski atvasināt dokumenta līmeņa līdzības. Mēs uzskatām, ka dokuments d ir tikpat nozīmīgs vaicājumam q kā tā visnozīmīgākais fragments. Šis vērtēšanas noteikums ir iedvesmots no ColBERT MaxSim operācijas, kas šeit tiek lietota fragmentiem, nevis žetoniem.

Konkrēti, ņemot vērā vaicājumu q ar iegulpojumu q un dokumentu d kā sakārtotu fragmentu c sarakstu ar iegulpojumiem c, mēs definējam dokumenta līmeņa līdzību kā:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

Ņemot vērā šīs dokumenta līmeņa līdzības, mēs varam formulēt dokumenta līmeņa InfoNCE mērķi attiecībā uz sērijas iekšējiem negatīvajiem piemēriem.

Vaicājumam q ļauj d⁺ apzīmēt tā atbilstošo dokumentu un 𝒟 dokumentus sērijā. Kontrastējošais zaudējums ir šāds, izlaidot temperatūras lasāmības labad:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

Kontrastējošais zaudējums māca modelim, kurš dokuments ir nozīmīgs vaicājumam. Destilācijas zaudējums māca tam, kur šajā dokumentā atrodas nozīmīgums, kas ir būtiski kontekstuālam modelim.

Apmācības laikā mēs nododam katru pozitīvo vaicājuma un dokumenta pāri mūsu konteksta kompresijas modelim, kas piešķir nozīmīguma rādītāju katram dokumenta žetonam. Tāpat kā dokumenta līmeņa vērtēšanā, mēs atvasinām katra fragmenta nozīmīgumu no tā visnozīmīgākā satura. Lai samazinātu jutību pret izlecošajiem žetoniem, tostarp tiem uz fragmenta robežām, mēs definējam fragmenta līmeņa nozīmīgumu kā top n žetonu rādītāju vidējo vērtību fragmentā.

Katram vaicājumam mēs lietojam temperatūras mērogotu softmax skolotāja fragmenta līmeņa nozīmīguma rādītājiem pozitīvajā dokumentā, lai iegūtu mērķa sadalījumu. Fragmenti citos sērijas dokumentos saņem nulles mērķa varbūtību. Mēs apmācām iegulšanas modeli atbilstēt šim mērķim, minimizējot priekšējo KL diverģenci starp mērķi un tā paredzēto sadalījumu visos sērijas fragmentos:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

Šeit augšraksti T un S norāda skolotāju un skolēnu, un rⱼ ir skolotāja nozīmīguma rādītājs fragmentam cⱼ pozitīvajā dokumentā d⁺. Skolotāja mērķa sadalījums piešķir nulles varbūtību fragmentiem visos pārējos sērijas dokumentos.

Atšķirībā no viena zelta fragmenta marķējuma, šis mērķis uztver nozīmīguma pakāpes. Atbalsta fragmenti saņem svaru saskaņā ar skolotāja rādītājiem, nevis tiek uzskatīti par negatīviem, mācot modelim izgūt gan atbalsta kontekstu, gan atbildi.

Mūsu kombinētais apmācības mērķis ir dokumenta līmeņa kontrastējošā zaudējuma un fragmenta līmeņa destilācijas zaudējuma svērta summa. Mēs aprēķinām šo svērto zaudējumu vidējo vērtību virs vaicājuma un dokumentu pāru sērijas.

2. attēls ilustrē mūsu apmācības pieeju. Konteksta kompresors kalpo kā skolotājs tikai apmācības laikā. Secināšanas laikā iegulšanas modelis ģenerē vienu kontekstuālu iegulpojumu uz fragmentu bez papildu kompresijas vai pārrindošanas posma. Šī pieeja uzlabo to, kā tiek apgūti kontekstuālie iegulpojumi, nepalielinot indeksa krātuvi un nepievienojot skolotāja modeļa latentumu izguves laikā.

Apmācības iestatīšana kontekstuālās iegulšanas destilācijai — 2. attēls: Mūsu modeļa apmācības iestatīšana. Kontekstuālais kodētājs (skolēns, pa kreisi) apstrādā dokumentus, no kuriem katrs sastāv no vairākiem fragmentiem. Katrs fragments ir iegults attiecībā pret tā apkārtējo dokumenta kontekstu. Vaicājums A ir zināma atbilstība Dokumentam A un tiek vērtēts pret visu dokumentu fragmentiem, lai iegūtu paredzētās līdzības. Šie fragmenta līmeņa rādītāji tiek apvienoti dokumenta līmeņa rādītājos. Mēs apmācām fragmenta līmeņa prognozes un dokumenta līmeņa prognozes, lai tās atbilstu mērķa sadalījumiem (pa labi). Fragmenta līmeņa mērķis tiek aprēķināts apmācības laikā kā konteksta kompresora prognoze zināmajā atbilstošajā dokumentā un tiek iestatīts uz nulli zināmajos nesaistītajos dokumentos. Dokumenta līmeņa mērķa sadalījums ir iestatīts kā one-hot zināmajā atbilstošajā dokumentā.

Apmācības dati sastāv no aptuveni 430 publiskiem un iekšējiem vaicājumu un dokumentu datu kopumiem, kas aptver vairāk nekā 50 valodas.

Mēs veidojam iekšējo pāru datu kopas no PII filtrētiem ražošanas datiem un sintezējot attiecīgus vaicājumus garos dokumentos. Katram priekšējam caurgājumam mēs atlasām vienu datu kopu un no tās atlasām veselu sēriju, lai palīdzētu palielināt sērijas iekšējo negatīvo piemēru sarežģītību un izvairītos no īsceļu mācīšanās. Nevienam no mūsu apmācības datu kopumiem nav fragmenta līmeņa anotāciju: visa uzraudzība dokumenta ietvaros nāk no kompresijas modeļa, un apmācībai netiek izmantoti ConTEB dati. Turklāt modeļa izstrādes laikā nebija pieejami nekādi context-bench dati.

Modelis sākas no iekšēja 9 miljardu parametru ColBERT izguves modeļa un caur lineārās projekcijas slāni ģenerē 2048 dimensiju iegulpojumus. Mēs atzīmējam fragmentu robežas ar apgūtu <|chunk_sep|> žetonu un veidojam katra fragmenta iegulpojumu, aprēķinot tā žetonu iegulpojumu vidējo vērtību. Vaicājumus kodē tas pats modelis, un to žetonu iegulpojumi tiek apvienoti vienā vektorā.

Mēs izmantojam Matryoshka apmācību, lai atbalstītu gan 1024, gan 2048 dimensiju iegulpojumus, un kvantēšanas apzinīgu apmācību, lai atbalstītu vietējos int8 iegulpojumus. Apmācības laikā mēs pakāpeniski palielinām mācīšanās ātrumu, saglabājam to nemainīgu un pēc tam samazinām.

Izdotais modelis ir modeļu zupa, kas aprēķina vairāku kontrolpunktu svaru vidējo vērtību no vienas un tās pašas apmācības palaišanas.

Publiskie kontekstuālās izguves etaloni, piemēram, ConTEB, dalās ar zelta fragmenta uzraudzības pamatā esošo pieņēmumu: katram vaicājumam ir viens atbilstošs fragments, un modelis tiek atalgots tikai par šī fragmenta ierindošanu pirmajā vietā. Tie arī manto tā ierobežojumus.

Pirmkārt, ConTEB testē izguvi uzdevumos, kur fragments ir divdomīgs bez apkārtējā konteksta. Šajos uzdevumos kontekstuālie modeļi pārspēja modeļus, kas kodē katru fragmentu neatkarīgi. Tomēr tas nevaicā, vai modelis izceļ arī citas dokumenta daļas, kas padara fragmentu saprotamu.

Otrkārt, tas sistemātiski nepārbauda, vai var atrast pareizo dokumentu, ja gandrīz identiski dokumenti tajā pašā korpusā atšķiras tikai ar kontekstu, kas apņem citādi identisku teikumu.

Abas iespējas ir svarīgas, ja meklēšanas aģents vai lietotājs vēlas saprast un pārbaudīt atbildi no dažiem izgūtiem teikumiem, nevis visa dokumenta. Tāpēc mēs izveidojām context-bench – kontrolētu etalonu izguvei no gariem dokumentiem, kas izstrādāts, lai atšķirtu dokumenta konteksta izmantošanu no vispārējās izguves kvalitātes. Tas pārbauda, vai kontekstuālie iegulpojumi izmanto informāciju no citām dokumenta vietām, lai atbalstītu trīs iespējas:

Dokumenta atšķiršana: Identificēt pareizo dokumentu starp gandrīz identiskām alternatīvām.
Atbildes izguve: Izgūt atbildi saturošus fragmentus, kuru nozīme ir atkarīga no detaļām citur dokumentā.
Pierādījumu izgūšana: Izgūt atbalsta fragmentus, kas precizē vai pamato atbildi.

Context-bench satur 2099 vaicājumus un 38 894 dokumentus. Tiek izmantoti teikuma garuma fragmenti, kas kopā veido 2 458 072 fragmentus. Vaicājumi aptver 21 domēnu, tostarp uzņēmumu iesniegumus, klīnisko izpēti, ceļojumus, izklaidi, izglītību, valdību, juridiskos līgumus un programmatūras dokumentāciju.

Katrs vaicājums ir izstrādāts, lai pārbaudītu vienu no divpadsmit kontekstuālajām iespējām. Galvenie mērķa dokumenti ir apzināti gari: 1061 no 1197 atsevišķiem galvenajiem mērķa dokumentiem ir vismaz 200 teikumu, un mediānas garums ir aptuveni 6100 žetonu. Katram vaicājumam korpusā ir tieši viena pareiza atbilde. Ja zelta dokumentā tas pats fakts ir norādīts vairāk než vienu reizi, piemēram, kopsavilkuma teikumā un tabulas rindā, jebkurš no šiem teikumiem tiek pieņemts kā atbilde.

Atbildes maršruts ir viena derīga atbildes fragmenta un tā interpretācijai vai pārbaudei nepieciešamo atbalsta pierādījumu kombinācija. Visos 2099 vaicājumos galvenā mērķa dokumenta atbildes maršrutam ir viena pierādījumu grupa 964 vaicājumiem, divas 735 vaicājumiem, trīs vai vairāk 332 vaicājumiem un neviena 68 vaicājumiem. Alternatīvi derīgi atbildes maršruti var pieprasīt dažādas pierādījumu grupas.

1. tabula: Etalona statistika.

Statistika	Vērtība
Vaicājumi	2099
Dokumenti	38 894
Teikuma fragmenti	2 458 072
Galvenā mērķa dokumenta mediānas garums	6100 žetoni
Domēni	21
Pierādījumu grupas uz vaicājumu (galvenā mērķa dokumenta atbildes maršruts)	1: 964; 2: 735; 3+: 332; nav: 68

2. tabula. Divpadsmit kontekstuālās iespējas, ko testē context-bench, ar ilustratīviem piemēriem.

Iespēja	Piemēra vaicājums	Atbildes fragments	Nepieciešamais dokumenta konteksts
1. Vienības identitāte	Cik daudz Northlake iztērēja akciju atpirkšanai?	Uzņēmums atpirka akcijas 12,8 miljardu dolāru apmērā.	Ievadā Northlake ir definēts kā "uzņēmums". Līdzīgs Southlake ziņojums nav nozīmīgs.
2. Periods vai versija	Kurš kasetne der M40 B versijai?	Instalējiet KC-42 kasetni.	Piemērojamības sadaļā norādīts, ka šīs instrukcijas attiecas uz B versiju, nevis C versiju.
3. Definīcijas un aizstājvārdi	Kāds izstāšanās rādītājs bija 15 mg grupai?	Zeta izstāšanās rādītājs bija 12,7%.	Ziņojumā Zeta ir definēta kā 15 mg grupa. Bez šīs definīcijas fragments neidentificē pieprasīto grupu.
4. Tabulas struktūra	Kāda ir Max modeļa akumulatora ietilpība?	Tipiska ietilpība: 4250 \| 4700 \| 5150.	Tabulas galvene nosaka Mini \| Base \| Max, mērot mAh. Tāpēc atbilde ir 5150 mAh.
5. Nosacījumi un izņēmumi	Cik ilgi ir spēkā akumulatora garantija komerciālai lietošanai?	Akumulatora garantija ir spēkā 18 mēnešus.	Sadaļas ievadā šī garantija tiek attiecināta tikai uz komerciālām instalācijām; mājsaimniecību instalācijām ir cita garantija.
6. Atsauces un vietniekvārdi	Kad Mara kļuva par mēra vietnieci?	Viņa stājās amatā 2021. gadā.	Iepriekšējais stāstījums nosaka, ka "viņa" attiecas uz Maru, nevis Elīnu, kura arī tiek apspriesta.
7. Saraksta secība un pozīcija	Kura dziesma atklāja piedevu?	14. Lantern Road.	Piezīmē citur teikts, ka dziesmas 14–16 veidoja piedevu. Tāpēc 14. ieraksts ir tās ievada dziesma.
8. Sadaļas darbības joma	Kura lēca tika izmantota filmas kinematogrāfijā?	Visā garumā tika izmantots 35 mm fiksētā fokusa attāluma objektīvs.	Šī pasāža pieder sadaļai "Galvenā fotografēšana", nevis atsevišķajai sadaļai par publicitātes fotogrāfijām.
9. Runātāja piedēvēšana	Kādu atkārtotas atvēršanas datumu mērs apsolīja?	Mēs atvērsimies no jauna 12. jūnijā.	Atšifrējumā mērs ir identificēts kā runātājs. Tie paši vārdi no līgumslēdzēja neapstiprinātu mēra solījumu.
10. Izmaiņas laika gaitā	Kāds brīdinājuma termiņš bija spēkā pēc maija grozījumiem?	Brīdinājuma termiņš tagad ir 45 dienas.	Grozījumu vēsture nosaka, ka šīs izmaiņas stājās spēkā maijā, aizstājot iepriekšējo 30 dienu noteikumu.
11. Cēloņsakarības	Kāpēc rietumu sūknis apstājās?	Šī kļūme izraisīja darbības pārtraukšanu.	Izmeklēšanā "šī kļūme" tiek identificēta kā iestrēdzis gultnis rietumu sūknī un atšķirta no ar to nesaistītas ieplūdes caurules aizsprostojuma.
12. Pārnestā vai starpvalodu nozīme	Pārnestā nozīme: Ko dzejolī simbolizē "ziemas istaba"? Starpvalodu: Kuru komponentu franču instrukcija liek tehniķim noņemt?	Pārnestā nozīme: Tas apzīmē trimdu, nevis fizisku istabu. Starpvalodu: Retirez le capot. (Noņemiet pārsegu.)	Pārnestā nozīme: Komentārā "tas" tiek identificēts kā dzejolī atkārtotais "ziemas istabas" tēls. Starpvalodu: Ceļveža vārdnīcā norādīts, ka "capot" nozīmē aizsargājošo motora pārsegu, nevis transportēšanas apvalku.

Testējamie vaicājumi, dokumenti un iespējas ir iedvesmoti no sarunām ar turbopuffer klientiem.

Piemēram, apsveriet nekustamo īpašumu apsaimniekošanas uzņēmuma meklēšanas vajadzības. Šiem uzņēmumiem ir simtiem, dažreiz tūkstošiem nomas līgumu, kas atšķiras tikai ar īrnieku vārdiem, datumiem un dažām citām galvenajām detaļām. Bieži sastopams vaicājums šai datu kopai varētu būt "kad beidzas 5 park avenue nomas līgums un kāda ir pašreizējā īre?". Nomas līgumi var būt arī gari, un kritiskie atšķirības komponenti, kas apstiprinātu, ka esat atguvis pareizo dokumentu (piemēram, datums, adrese, īrnieka vārds utt.), bieži var atrasties ļoti tālu no galvenā atbildes teikuma, kurā norādīta ikmēneša nomas maksas summa. Praksē identiski teikumi, piemēram, "Mēneša īre ir $X,XXX.", var parādīties daudzos dokumentos visā korpusā.

Labam kontekstuālās iegulšanas modelim vajadzētu izmantot kontekstu no visa dokumenta, lai identificētu pareizo dokumentu un izgūtu gan atbildi, gan tās atbalsta teikumus. Tas ļauj lietotājam vai meklēšanas aģentam ātri pārbaudīt atbildi un apstiprināt, ka tā nāk no pareizā dokumenta.

Katram vaicājumam mēs atzīmējam "atbildes" un "pierādījumu" teikumus mērķa dokumentā. Modelis iziet mūsu "lasītāja pietiekamības" testu, ja tas izgūst atbildes teikumu kopā ar vismaz vienu teikumu no katras pierādījumu grupas. Kopā šie teikumi nodrošina pietiekamu kontekstu, lai lasītājs varētu pārbaudīt atbildi ar atbalsta pierādījumiem.

Ja kontekstuālās iegulšanas modeļi to dara labi, tie var krasi samazināt žetonu skaitu, kas meklēšanas aģentiem ir jāpārskata, kā arī ievērojami atvieglot cilvēkam ātru apstiprināšanu, ka viņš ir atradis pareizo atbildi uz savu sākotnējo vaicājumu, nelasot visu dokumentu.

Katra pierādījumu grupa ir jāatgūst, bet jebkura no grupas alternatīvām ir pietiekama, lai to atgūtu. Šajos garajos dokumentos bieži var novērot to pašu faktu, kas izteikts vairākās vietās. Tikai viena teikuma izgūšana no katras pierādījumu grupas atbilst lasītāja pietiekamības kritērijiem un tādējādi tiktu pieņemta kā perfekta pierādījumu atsaukšana.

Katrs dokuments ir sadalīts teikumos, un visiem modeļiem tiek izmantotas tās pašas robežas. Neuzkrītošiem kontekstuālās iegulšanas modeļiem tiek pārbaudīti divi nosacījumi: viens, kurā katrs teikums ir iegults neatkarīgi, un cits, kurā viss dokuments ir iegults kā viens fragments.

Mēs izmantojam teikuma līmeņa nosacījumu, lai izmērītu atbilžu un pierādījumu atsaukšanu. Tas pārbauda, vai nekontekstuāls modelis var identificēt pareizo atbildi un atbalsta pierādījumus, ja katrs teikums ir iegults bez piekļuves apkārtējam dokumentam. Tas ir apzināti sarežģīti. Daudzos vaicājumos atbildes teikumam vienam pašam trūkst detaļu, kas nepieciešamas, lai to atšķirtu no līdzīgiem teikumiem citviet korpusā.

Mēs izmantojam dokumenta līmeņa nosacījumu kā dokumenta atsaukšanas bāzlīniju. Tas pārbauda, vai smalkgraudaini teikumu iegulpojumi nodrošina pietiekamu izguves ieguvumu, lai attaisnotu to papildu uzglabāšanas izmaksas attiecībā pret viena vektora uzglabāšanu dokumentā. Teikuma līmeņa indekss rada ievērojami vairāk vektoru nekā dokumenta līmeņa indekss, tāpēc tam vajadzētu pārspēt viena vektora uz dokumentu bāzlīniju, lai attaisnotu šīs izmaksas.

Visos novērtējumos tiek izmantoti izsmeļoši reitingi pret visiem 2 458 072 fragmentiem. Tāpēc atšķirības starp modeļiem atspoguļo attēlojumus, nevis indeksa konfigurāciju. Mēs koncentrējamies uz trim galvenajiem metrikas rādītājiem:

Document@K ir definēts kā:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

kur $d^{*}$ ir augstākā reitinga dokuments $D_q$ .

Answer@K ir definēts kā:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

kur $C_K(q)$ ir $K$ labākie fragmenti visā korpusā un $A_{q}$ ir pieņemto atbilžu fragmentu kopums.

Evidence Recall@K tiek mērīts $d^{*}$ ietvaros šādi: sakārtojiet $d^{*}$ teikumus pēc līdzības, noņemiet augstākā reitinga atbildes teikumu un ļaujiet $R_K(q)$ būt top $K$ , kas paliek pāri. Pierādījumu grupām $G_q=\{g_1,\ldots,g_m\}$ grupa $g_j$ tiek atgūta, ja kāda alternatīva $E\in g_j$ apmierina $E\subseteq R_K(q)$ , un

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K vaicājumi, vai kontekstualizācija ļauj pareizajam dokumentam pārspēt līdzīgos un traucējošos elementus, kas dalās ar tā vārdu krājumu.

Answer@K vaicājumi, vai pats atbildes teikums ierindojas starp labākajiem fragmentiem.

Evidence Recall@K vaicājumi, cik liela daļa no atbalsta konteksta tiek atgūta starp pareizā dokumenta labākajiem K fragmentiem pēc augstākā reitinga atbildes fragmenta izslēgšanas. Atbildes noņemšana neļauj pierādījumu atsaukšanai dubultskaitīt to, ko Answer@K jau mēra, un atstāj visas $K$ vietas atbalsta kontekstam. Pieprasot, lai zelta dokuments būtu pirmajā 10 izgūto dokumentu sarakstā, neviens modelis nesaņem pierādījumu kredītus par dokumentu, kuru tas nebūtu uzpeldējis virspusē. Mēs arī ziņojam par All-Evidence@K, vaicājumu frakciju, kurās atgūta katra grupa.

Kopā šie metrikas rādītāji sadala problēmas, ar kurām saskaras konteksta iegulšanas modeļi: atrast pareizo dokumentu, atrast pareizo atbildi un atgūt minimālo kontekstu, kas parāda, kāpēc atbilde ir pareiza.

3. attēls ilustrē metriku ar īpašuma pārvaldības piemēru.

Kā tiek vērtēta context-bench dokumentu, atbilžu un pierādījumu izguve — 3. attēls: Context-bench metrikas, kas ilustrētas ar nomas vaicājumu. Document@K pārbauda pareizā dokumenta izguvi; Answer@K pārbauda tā atbildes fragmenta izguvi; Evidence Recall@K mēra atbalsta pierādījumu grupu atgūšanu mērķa dokumentā. Šajā piemērā īres maksas pārbaudei ir nepieciešami gan adreses, gan nomas gada pierādījumi. Pierādījumu atsaukšana izslēdz augstāko atbildes fragmentu un pieprasa, lai mērķa dokuments ierindotos pirmajā 10.

Mēs novērtējam mūsu modeli pret kontekstuāliem un nekontekstuāliem iegulšanas modeļiem četrās frontēs.

Mūsu kontekstuālās bāzlīnijas ir pplx-embed-context-v1-4B un voyage-context-4. Mūsu nekontekstuālās bāzlīnijas ir voyage-4-large un NVIDIA Nemotron-3-Embed-8B-BF16, kas kodē fragmentus neatkarīgi. Bāzlīniju kopa mainās atkarībā no eksperimenta, kā norādīts katrā attēlā.

Mēs sākam ar context-bench, kas tieši testē iespējas, kas motivē šo darbu, un pēc tam ziņojam par rezultātiem ConTEB — standarta publiskajā etalonā kontekstuālajiem iegulpojumiem. Lai pārbaudītu, vai šie ieguvumi nerodas uz vispārējās izguves kvalitātes rēķina, mēs novērtējam arī domēnam specifiskus dokumentu un fragmentu izguves etalonus, kurus mēs izveidojām no publiskām datu kopām. Visbeidzot, mēs pārbaudām divus praktiskus izvietošanas rekvizītus: izguves kvalitāti pret krātuves izmaksām uz vienu vektoru un jutību pret fragmenta izmēru, ko izmanto indeksēšanas laikā. Visi novērtējumi kodē dokumentus līdz 32 768 žetoniem vienā caurgājumā.

Kā parādīts 1. attēlā ievadā, mūsu priekšskatījums ir līderis Answer@K un Evidence Recall@K katrā ziņotajā robežvērtībā, kā arī All-Evidence@10. Pie K = 10 tas sasniedz 45,5% atbilžu atsaukšanu, 40,6% pierādījumu atsaukšanu un 31,1% visu pierādījumu atsaukšanu. Tas ir līderis arī Document@1 un Document@10, sasniedzot attiecīgi 15,2% un 61,6%. Pie K = 10 mūsu priekšskatījums par 14,4 procentu punktiem pārsniedz voyage-context-4 atbilžu atsaukšanā un par 5,0 punktiem pierādījumu atsaukšanā.

Mūsu priekšskatījuma modelis sasniedz augstāko vidējo nDCG@10 starp modeļiem, kas redzami ConTEB 4. attēlā. Tas nav līderis visos uzdevumos: pplx-context-v1-4B iegūst augstāku rezultātu NarrativeQA, savukārt Nemotron-3-8B iegūst augstāko rezultātu COVID-QA. Kā galvenie autori norādīja arī ConTEB rakstā, COVID-QA galvenokārt ietver vaicājumu un fragmentu pārus, kas ir ļoti ekstraktīvi un var tikt apmierināti ar vienkāršu virsmas leksisko atbilstību tehniskajiem medicīniskajiem terminiem. Rezultātā konteksta izpratne šim uzdevumam ir mazāk noderīga, un nekontekstuālie modeļi parasti pārspēj kontekstuālos.

Uzdevuma līmeņa nDCG pie 10 vietnē ConTEB — 4. attēls: Uzdevuma līmeņa nDCG@10 vietnē ConTEB vaicājuma-fragmenta iestatījumā. Vidējais rādītājs ir nesvērtais vidējais no astoņiem uzdevumiem.

Papildus etaloniem, kas paredzēti kontekstuālajiem iegulpojumiem, mēs novērtējam mūsu modeļa domēnam specifisko veiktspēju.

Mūsu vaicājuma-fragmenta (Q2C) komplekts izmanto MTEB uzdevumus, piemēram, LegalBench un FinanceBench, kopā ar papildu izguves uzdevumiem, kurus mēs atlasījām no publiskām datu kopām. Katrā attiecīgajā dokumentā fragments tiek apzīmēts kā atbilstošs, ja tas satur precīzu atbildes diapazonu, ja uzdevums tādu nodrošina, vai citādi pēc LLM sprieduma par tā atbilstību vaicājumam. Vaicājuma-dokumenta (Q2D) komplekts izmanto tos pašus uzdevumus un vērtē, vai tiek izgūts attiecīgais dokuments.

Mūsu modelis sasniedz augstāko vidējo rezultātu fragmentu izguvē 5. attēlā un ir līderis juridiskajā, tehniskajā un veselības domēnā. Tas nav līderis katrā domēnā: voyage-context-4 iegūst augstāku rezultātu finanšu un daudzvalodu izguvē, un Nemotron-3-8B iegūst augstāko rezultātu sarunu izguvē. Dokumentu izguvē 6. attēlā mūsu modelis vidēji iegūst nedaudz zemāku rezultātu nekā voyage-context-4, vienlaikus esot līderis tehniskajā domēnā. pplx-context-v1-4B bāzlīnija iegūst zemāku vidējo rezultātu abos komplektos, kas saskan ar to, ka tā tika apmācīta tikai uz ConTEB apmācības kopas, parādot, ka uzraudzība, kas piesaistīta viena etalona zelta fragmentiem, slikti pāriet uz citiem domēniem.

Vaicājuma-fragmenta izguves rezultāti pa domēniem — 5. attēls: Vidējais nDCG@10 vaicājuma-fragmenta (Q2C) uzdevumos, sagrupēti pa domēniem. Domēnu joslas ir šī domēna uzdevuma līmeņa rezultātu nesvērtie vidējie; kopējais vidējais ir nesvērts vidējais rādītājs visiem parādītajiem uzdevumiem.

Vaicājuma-dokumenta izguves rezultāti pa domēniem — 6. attēls: Vidējais izguves rezultāts vaicājuma-dokumenta (Q2D) uzdevumos, sagrupēti pa domēniem. Katra josla domēnā ir tās uzdevuma līmeņa galveno rezultātu nesvērtais vidējais; kopējais vidējais ir nesvērts vidējais rādītājs visiem parādītajiem uzdevumiem.

Kontekstuālās iegulšanas modelis ģenerē vienu vektoru uz fragmentu, tāpēc indekss, kas izveidots ar mūsu modeli, satur tieši tikpat daudz vektoru kā parastais fragmenta līmeņa indekss ar to pašu fragmentēšanas stratēģiju. Kontekstualizācija maina to, ko katrs vektors kodē, nevis to, cik vektoru tiek glabāts. Tāpēc krātuves nospiedumu nosaka katra vektora izmērs. Modelis piedāvā divus veidus, kā to samazināt: iegulpojuma saīsināšanu no 2048 līdz 1024 dimensijām un tā kvantēšanu uz int8.

7. attēls parāda labvēlīgu kompromisu starp izguves kvalitāti un vektoru krātuvi. Pie 1024 dimensijām mūsu int8 iegulpojumi izmanto 1 KB uz vienu vektoru, vienlaikus nedaudz pārsniedzot voyage-context-4 fragmentu izguves rezultātu pie 2048 dimensijām float32 formātā, kas izmanto 8 KB uz vienu vektoru. Mūsu iegulpojuma lieluma palielināšana līdz 2048 dimensijām vēl vairāk uzlabo izguves kvalitāti pie 2 KB uz vienu vektoru. Šie krātuves rādītāji attiecas tikai uz vektoriem, nevis uz pārējo indeksu.

Fragmentu izguves kvalitāte pret krātuvi uz vienu vektoru — 7. attēls: Fragmentu izguves kvalitāte (vidējais nDCG@10) kā krātuves funkcija uz vienu vektoru. Nepārtrauktas līnijas apzīmē float32, un pārtrauktas līnijas apzīmē int8; etiķetes norāda iegulpojuma dimensiju.

8. attēls parāda tikai nelielas izmaiņas izguves kvalitātē, fragmenta izmēram palielinoties no 64 līdz 512 žetoniem: vidējais rādītājs samazinās no 81,0% līdz 79,9%, kas ir 1,1 procentu punkta kritums. Tas liecina, ka modelis saglabā efektivitāti visos pārbaudītajos fragmentu izmēros, sniedzot indeksēšanas konveijeriem elastību dokumentu sadalīšanā.

Jutība pret fragmenta izmēru: izguves rezultāti fragmentiem no 64 līdz 512 žetoniem — 8. attēls: Mūsu modeļa jutība pret fragmenta izmēru. Katrs punkts ir nesvērtais vidējais nDCG@10 74 MTEB uzdevumos, ar dokumentiem, kas indeksēti norādītajā fragmenta izmērā.

turbopuffer saglabā context-bench pilno korpusu, vaicājumus un marķējumus privātus un publicē iesniegto modeļu rezultātus. Šāda veida publisks etalons mudina veikt tiešu apmācību par tā vaicājumiem un dokumentiem, kas pakāpeniski to piesātinātu un mazinātu tā vērtību progresu izsekošanai laika gaitā. Ja vēlaties, lai jūsu modelis tiktu novērtēts etalonā, lūdzu, sazinieties ar turbopuffer, izmantojot e-pastu contextbench@turbopuffer.com.

Mūsu modeļa priekšskatījums ir pieejams pakalpojumā Hugging Face, un visi šajā ierakstā sniegtie rezultāti tiek ziņoti par šo priekšskatījumu. Mēs strādājam pie tā, чтобы modelis būtu pieejams, izmantojot Perplexity API, un lai vēl بیشتر uzlabotu izguvi no gariem dokumentiem kopā ar turbopuffer.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

Ievads

Kāpēc konteksts ir svarīgs izguvei

Zelta fragmenta uzraudzības ierobežojumi

Jauna pieeja kontekstuālajai mācīšanai

Zaudējumu funkcija

Dokumenta līmeņa kontrastējošais zaudējums

Fragmenta līmeņa destilācijas zaudējums

Kombinētie zaudējumi

Apmācības dati

Apmācības iestatīšana

Jauns etalons fragmenta līmeņa izguvei

Dokumenti un vaicājumi

Atbildes un pierādījumu marķējumi

Metrikas

Novērtēšanas rezultāti

Context-bench

ConTEB

Vispārējā izguves kvalitāte dažādos domēnos

Izguves kvalitāte un krātuves izmaksas

Jutība pret fragmenta izmēru

Laidiens

Citāts