Контекстуално угњежђивање изван златних пасуса

Контекстуална угњежђивања хватају значење сваког пасуса или дијела текста у контексту цијелог документа. Њихова обука и оцјењивање обично претпостављају један релевантан дио текста по упису, познат као „златни пасус”. Међутим, златни пасус у пракси често није довољан. Он може садржати одговор, али му недостаје пратећи контекст потребан за његово разумијевање или вриједновање, што га чини двосмисленим у изолацији.

Представљамо pplx-embed-v2-context-9b-preview, наш нови модел контекстуалног угњежђивања. Модел је обучен новим приступом који користи Perplexity модел за сажимање контекста као наставника. Агрегирамо његова предвиђања на нивоу токена у оцјене релевантности на нивоу дијелова текста, учећи модел угњежђивања да преузима и дијелове текста одговора и пратећи контекст умјесто једног златног дијела текста. Модел производи једно угњежђивање по дијелу текста без додатних трошкова инференције и подржава угњежђивања од 1024 димензија и int8 угњежђивања.

Он постиже врхунске резултате на context-bench-у, новој референтној основи за контекстуално свјесно преузимање коју је креирао и приватно држи turbopuffer, и на ConTEB-у, широко коришћеној јавној референтној основи. Наш модел је развијен независно од context-bench-а и оцијењен као слијепа пријава.

Context-bench се састоји од 2.099 упита над 38.894 дуга документа у 21 домену и оцјењује три могућности контекстуалних угњежђивања: раздвајање докумената међу документима који су готово дупликати, преузимање златних дијелова текста чије значење зависи од удаљеног контекста, и опоравак пратећих доказа потребних за вриједновање одговора.

Преглед модела је јавно доступан на Hugging Face. Референтну основу приватно држи turbopuffer како би се смањио ризик од контаминације обуке и очувала њена вриједност за мјерење напретка. Да затражите оцјену, контактирајте turbopuffer на contextbench@turbopuffer.com.

Резултати преузимања документа, одговора и доказа на context-bench-у — Слика 1: Answer@K, Document@K, Evidence Recall@K и All-Evidence@10 на context-bench-у, који пореди Perplexity v2 преглед 9B са Voyage Context 4, Voyage 4 Large и Perplexity контекстом v1 4B.

Системи за претраживање обично дијеле дугачке документе на мање дијелове текста који се могу индексирати и претраживати независно. Дијељење на дијелове је згодно у пракси, али уклања контекст у којем се сваки дио текста првобитно појавио, стварајући компромис између грануларности сажимања информација и контекста коришћеног током кодирања. Дио текста се може односити на ентитет представљен раније, наслиједити своје значење из наслова одјељка или се ослањати на дефиниције које се налазе на другом мјесту у документу. Једном извучен, он можда више не садржи довољно информација да би се поуздано ускладио са упитом. Кодирање цијелог документа као једног вектора не рјешава ово, будући да једна здружена репрезентација не може вјерно да ухвати сваки аспект дугог документа.

Модели контекстуалног угњежђивања рјешавају ово ограничење представљањем сваког дијела текста у контексту његовог пратећег садржаја, најчешће кроз касно дијељење у дијелове: документ је кодиран у једном пролазу, а репрезентације дијелова текста се накнадно удружују, тако да се сваки вектор дијела текста рачуна са цијелим документом у виду. Претходни рад, као што су ConTEB и наш сопствени pplx-embed-context-v1, показао је да контекстуализоване репрезентације дијелова текста значајно побољшавају претраживање у односу на независно кодиране дијелове текста, нарочито на дугим документима.

Обука модела контекстуалног угњежђивања захтијева надгледање које идентификује који су дијелови документа релевантни за дати упит. Уобичајени приступ су аннотации златних дијелова текста: за сваки упит, аннотатор, обично велики језички модел (LLM), идентификује дио текста документа који одговара на њега.

Обука обично комбинује два контрасна губитка: контрасни губитак на нивоу документа који супротставља златни дио текста дијеловима текста из других докумената, и губитак унутар документа који га супротставља другим дијеловима текста у истом документу.

Овај приступ има неколико ограничења:

Само један дио текста је релевантан. Он третира сваки други дио текста у документу као негативан, укључујући оне са корисним пратећим информацијама. Надгледање на нивоу документа функционише на другој крајности. Он идентификује документ као релевантан без одређивања који дијелови текста унутар њега су важни. У пракси, релевантност често лежи између ових крајности. Дио текста који носи одговор може зависити од неколико пратећих дијелова текста који уводе ентитет, рјешавају референцу или пружају комплементарну чињеницу, док је остатак документа ирелевантан. Модел стога мора научити прави ниво селективности: шири од једног златни дио текста, али фокусиранији од документа као цјелине.
Грубо надгледање. Будући да свака аннотација идентификује један златни дио текста умјещо хватања степена релевантности широм документа, она пружа ограничене сигнале обуке за количину рачунске снаге потрошене на њено стварање.
Скупо за скалирање. Сваки пар за обуку захтијева да LLM прочита документ и изабере релевантан дио текста, тако да трошак аннотације расте линеарно са величином скупа података за обуку и ограничава колико подаци за обуку могу бити обимни и разнолики.
Осјетљиво на границе дијелова текста. Ознаке су такође повезане са границама дијелова текста коришћеним током аннотације. Златна ознака додијељена прозору фиксне величине токена не одређује које су краће реченице или дужи пасуси релевантни. Промјена стратегије дијељења на дијелове или обука кроз више дијељења ради побољшања робусности у погледу начина на који се документи дијеле при индексирању стога може захтијевати поновно аннотирање корпуса.

Рјешавамо ограничења надгледања златних дијелова текста дестилацијом процјена релевантности из модела за сажимање контекста свјесног упита. Овај модел служи као наставник: заједнички чита упит и документ и додјељује сваком токене документа оцјену релевантности. Његова предвиђања нуде неколико предности за обуку контекстуалних угњежђивања:

Флексибилне границе дијелова текста. Оцјене релевантности на нивоу токена могу се агрегирати преко било којих изабраних граница дијелова текста, омогућавајући да предвиђања истог наставника надгледају различито дијељење без поновног аннотирања.
Континуирана релевантност. За разлику од бинарних ознака златних дијелова текста, наставник обезбеђује континуиране оцјене које хватају степене релевантности који природно разликују дијелове текста који носе одговор, пратећи контекст и ирелевантан садржај.
Нижи трошак аннотације. Наставник је компактан и специјализован за бодовање релевантности, што га чини много јефтинијим за надгледање у великом обиму него општи LLM.

Обучавамо наш модел са пондерисаном сумом контрасног губитка на нивоу документа и губитка дестилације на нивоу дијелова текста преко серија парова упит-документ. За сваки упит, упарени документ служи као позитиван, док преостали документи у истој серији служе као негативни.

За сваку серију, насумично бирамо стратегију дијељења на дијелове, дијелимо документе у складу са тим и убацујемо симболе раздвајања између дијелова текста. Затим обрађујемо сваки документ у једном пролазу и рачунамо просјек репрезентација токена унутар сваког дијела текста да бисмо добили контекстуална угњежђивања дијелова текста. Упити су кодирани одвојено, са просјечењем преко њихових репрезентација токена. Коначно, рачунамо косинусну сличимост између сваког угњежђивања упита и сваког угњежђивања дијела текста у серији.

Иако наш модел угњежђивања производи само сличивости на нивоу дијелова текста, можемо природно извести сличивости на нивоу документа из њих. Сматрамо да је документ d релевантан за упит q колико и његов најрелевантнији дио текста. Ово правило бодовања је инспирисано MaxSim операцијом модела ColBERT, примијењеном овдје на дијелове текста умјесто на токене.

Конкретно, с обзиром на упит q са угњежђивањем q и документ d као уређену листу дијелова текста c са угњежђивањима c, дефинишемо сличивост на нивоу документа као:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

С обзиром на ове сличивости на нивоу документа, можемо формулисати InfoNCE циљ на нивоу документа над негативним примјерима у серији.

За упит q, нека d⁺ означава његов релевантан документ, а 𝒟 документе у серији. Контрасни губиток је сљедећи, изостављајући температурее ради читкости:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

Контрасни губиток учи модел који је документ релевантан за упит. Губитак дестилације га учи гдје релевантност лежи унутар тог документа, што је неопходно за контекстуални модел.

Током обуке, прослеђујемо сваки позитиван пар упит-документ нашем моделу за сажимање контекста, који додјељује оцјену релевантности сваком токене у документу. Као и код бодовања на нивоу документа, изводимо релевантност сваког дијела текста из његових најрелевантнијих садржаја. Да бисмо смањили осјетљивост на одскочне токене, укључујући оне на границама дијелова текста, дефинишемо релевантност на нивоу дијелова текста као просјек најбољих n оцјена токена унутар дијела текста.

За сваки упит, примјењујемо softmax скалиран температуром на оцјене релевантности на нивоу дијелова текста наставника унутар позитивног документа да бисмо добили циљну дистрибуцију. Дијелови текста у осталим документима у серији добијају нулту циљну вјероватноћу. Обучавамо модел угњежђивања да се подудара са овим циљем минимизирањем напредне KL дивергенције између циља и његове предвиђене дистрибуције над свим дијеловима текста у серији:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

Овдје горњи индекси T и S указују на наставника и студента, а rⱼ је наставникова оцјена релевантности за дио текста cⱼ у позитивном документу d⁺. Циљна дистрибуција наставника додјељује нулту вјероватноћу дијеловима текста у свим осталим документима у серији.

За разлику од једне ознаке златни дио текста, овај циљ хвата степене релевантности. Пратећи дијелови текста добијају тежину према наставниковим оцјенама умјесто да се третирају као негативни, учећи модел да преузима пратећи контекст као и одговор.

Наш комбиновани циљ обуке је пондерисана сума контрасног губитка на нивоу документа и губитка дестилације на нивоу дијелова текста. Усредњавамо овај пондерисани губиток преко серије парова упит-документ.

Слика 2 илуструје наш приступ обуци. Компресор контекста служи као наставник само током обуке. У вријеме инференције, модел угњежђивања производи једно контекстуално угњежђивање по дијелу текста, без додатних фаза сажимања или поновног рангирања. Приступ побољшава начин на који се уче контекстуална угњежђивања без повећања складиштења индекса или додавања кашњења модела наставника у вријеме преузимања.

Подешавање обуке за дестилацију контекстуалног угњежђивања — Слика 2: Подешавање обуке нашег модела. Контекстуални енкодер (студент, лијево) обрађује документе, од којих се сваки састоји од неколико дијелова текста. Сваки дио текста је угњежден у односу на контекст пратећег документа. Упит A је познато поклапање за Документ A и бодује се у односу на дијелове текста свих докумената како би се добиле предвиђене сличивости. Ови резултати на нивоу дијелова текста се макс-пулују у резултате на нивоу документа. Обучавамо предвиђања на нивоу дијелова текста и предвиђања на нивоу документа да се подударају са циљним дистрибуцијама (десно). Циљ на нивоу дијелова текста се израчунава у вријеме обуке као предвиђање компресора контекста унутар познатог релевантног документа и поставља се на нулу унутар познатих ирелевантних докумената. Циљна дистрибуција на нивоу документа је постављена да буде један-врућа на познатом релевантном документу.

Подаци за обуку се састоје од отприлике 430 јавних скупова података и скупова података упита и документа из интерне производње који покривају преко 50 језика.

Конструишемо интерне парове података из производних података филтрираних од ПИИ-ја и синтетизовањем релевантних упита над дугим документима. За сваки forward pass, бирамо један скуп података и узимамо из њега цио batch како бисмо повећали тежину in-batch negatives и избјегли shortcut learning. Ниједан од наших скупова података за обуку не садржи анотације на нивоу chunk-а: сва надзирана информација унутар документа долази из compression модела, а за обуку се не користе подаци ConTEB-а. Штавише, током развоја модела нису били доступни подаци context-bench.

Модел почиње од интерног ColBERT модела за претраживање са 9 милијарди параметара и производи угњежђивања од 2048 димензија кроз слој линеарне пројекције. Границе дијелова текста обиљежавамо наученим <|chunk_sep|> симболом и формирамо свако угњежђивање дијела текста утврђивањем просјека његових угњежђивања симбола. Упити су кодирани истим моделом, при чему се просјек њихових угњежђивања симбола своди на један вектор.

Користимо Matryoshka обуку за подршку и за угњежђивања од 1024 и 2048 димензија, као и обуку усмјерену на квантизацију ради подршке за изворна int8 угњежђивања. Током обуке, постепено повећавамо стопу учења, држимо је константном, а затим је смањујемо.

Објављени модел је микстура модела која представља просјек тежина неколико контролних тачака из истог циклуса обуке.

Јавне контекстуалне референтне основе за претраживање као што је ConTEB дијеле претпоставку која стоји иза надгледања златних дијелова текста: сваки упит има један релевантан дио текста, а модел је награђен само за рангирање тог дијела текста на прво мјесто. Оне такође насљеђују његова ограничења.

Прво, ConTEB тестира претраживање на задацима гдје је дио текста двосмислен без пратећег контекста. На овим задацима, контекстуални модели су надмудрили моделе који кодирају сваки дио текста независно. Међутим, он не поставља питање да ли модел такође избацује на површину друге дијелове документа који чине дио текста разумљивим.

Друго, он не тестира систематски да ли се прави документ може пронаћи када се готово идентични документи у истом корпусу разликују само по контексту који окружује иначе идентичну реченицу.

Обје могућности су важне када агент за претрагу или корисник мора да разумије и вриједи одговор из неколико преузетих реченица умјесто из цијелог документа. Стога смо изградили context-bench, контролисану референтну основу за претраживање над дугим документима, осмишљену да разликује коришћење контекста документа од општег квалитета претраживања. Она тестира да ли контекстуална угњежђивања користе информације са других мјеста у документу да подрже три могућности:

Раздвајање докумената: Идентификујте тачан документ међу готово идентичним алтернативама.
Преузимање одговора: Преузмите дијелове текста који носе одговор и чије значење зависи од детаља на другим мјестима у документу.
Преузимање доказа: Преузмите пратеће дијелове текста који појашњавају или поткрепљују одговор.

Context-bench садржи 2.099 упита и 38.894 документа. Користе се дијелови текста величине реченице, што резултира са укупно 2.458.072 дијела текста. Упити обухватају 21 домен, укључујући корпоративне поднеске, клиничка истраживања, путовања, забаву, образовање, владу, правне уговоре и софтверску документацију.

Сваки упит је дизајниран да тестира једну од дванаест контекстуалних могућности. Примарни циљни документи су намјерно дуги: 1.061 од 1.197 различитих примарних циљних докумената има најмање 200 реченица, са средњом дужином од отприлике 6.100 токена. Сваки упит има тачно један тачан одговор у корпусу. Гдје је иста чињеница наведена више пута у златном документу, на примјер у реченици са резимеом и реду табеле, било која од тих реченица се прихвата као одговор.

Путања одговора је једна важећа комбинација дијела текста одговора и пратећих доказа потребних за његово тумачење или вриједновање. Кроз 2.099 упита, путања одговора примарног циљног документа има једну групу доказа за 964 упита, двије за 735, три или више за 332, а ниједну за 68. Алтернативне важеће путање одговора могу захтијевати различите групе доказа.

Табела 1: Статистика референтне основе.

Статистика	Вриједност
Упити	2.099
Документи	38.894
Дијелови текста у виду реченица	2.458.072
Средња дужина примарног циљног документа	6.100 токена
Домени	21
Групе доказа по упису (путања одговора примарног циљног документа)	1: 964; 2: 735; 3+: 332; ниједна: 68

Табела 2: Дванаест контекстуалних могућности које тестира context-bench, са илустративним примјерима.

Могућност	Примјер упита	Дио одговора	Потребан контекст документа
1. Идентитет ентитета	Колико је Northlake потрошио на откуп акција?	Компанија је откупила акције у вриједности од 12,8 милијарди долара.	Увод идентификује Northlake као „компанију”. Сличан извјештај за Southlake није релевантан.
2. Период или верзија	Који касетни уређај одговара ревизији Б модела M40?	Инсталирајте касету KC-42.	Одјељак о примјењивости наводи да се ова упутства односе на ревизију Б, а не на ревизију Ц.
3. Дефиниције и алијаси	Колику стопу повлачења је имала група од 15 mg?	Група Zeta је имала стопу повлачења од 12,7%.	Извјештај дефинише Zeta као групу од 15 mg. Без те дефиниције, дио текста не идентификује тражену групу.
4. Структура табеле	Који је капацитет батерије Max модела?	Типичан капацитет: 4.250 \| 4.700 \| 5.150.	Заглавље табеле утврђује Mini \| Base \| Max, мјерено у mAh. Стога је одговор 5.150 mAh.
5. Услови и изузеци	Колико дуго траје покриће батерије за комерцијалну употребу?	Покриће батерије траје 18 мјесеци.	Увод у одјељак ограничава ово покриће на комерцијалне инсталације; кућне инсталације имају другачију гаранцију.
6. Референце и замјенице	Када је Mara постала замјеница градоначелника?	Ступила је на дужност 2021. године.	Претходни наратив утврђује да се „она” односи на Мару, а не на Елин, о којој се такође говори.
7. Редослијед и положај на листи	Која пјесма је отворила бис?	14. Lantern Road.	Напомена на другом мјесту наводи да су пјесме 14–16 чиниле бис. Нумера 14 је стога њена почетна пјесма.
8. Обим одјељка	Које сочиво је коришћено за кинематографију филма?	Примарно сочиво од 35 mm коришћено је све вријеме.	Овај пасус припада „Главном фотографисању”, а не посебном одјељку о промотивним фотографијама.
9. Атрибуција говорника	Који датум поновног отварања је обећао градоначелник?	Поново ћемо се отворити 12. јуна.	Транскрипт идентификује градоначелника као говорника. Исте ријечи из уста извођача радова не би потврдиле градоначелниково обећање.
10. Промјене током времена	Који отказни рок се примјењивао након мајске измјене и допуне?	Отказни рок сада износи 45 дана.	Историја измјена и допуна утврђује да је ова промјена ступила на снагу у мају, замјењујући раније правило од 30 дана.
11. Узрочно-посљедичне везе	Зашто је застала западна пумпа?	Тај квар је проузроковао обуставу рада.	Истрага идентификује „тај квар” као заглављени лежај у западној пумпи и разликује га од неприпадајуће опструкције на улазу.
12. Пренесено или међујезичко значење	Пренесено значење: Шта у пјесми симболизује „зимска соба”? Међујезичко: Коју компоненту француско упутство налаже техничару да уклони?	Пренесено значење: Представља изгнанство, а не физичку собу. Међујезичко: Retirez le capot. (Уклоните поклопац.)	Пренесено значење: Коментар идентификује „то” као слику „зимске собе” која се понавља у пјесми. Међујезичко: Глосар водича прецизира да „capot” значи заштитна хауба мотора, а не транспортни поклопац.

Упити, документи и могућности које се тестирају инспирисани су разговорима са турбопаферовим корисницима.

Да наведемо један примјер, размотрите потребе претраге компаније за управљање некретнинама. Ове компаније имају стотине, понекад и хиљаде уговора о закупу који се разликују само по именима закупаца, датумима и неколико других кључних детаља. Уобичајени упит за тај скуп података могао би бити „када истиче закуп за 5 Park Avenue и која је тренутна кирија?”. Уговори о закупу такође могу бити дугачки, а критичне компоненте за раздвајање које би потврдиле да сте преузели прави документ (као што су датум, адреса, име закупца итд.) често могу бити веома далеко од кључне реченице одговора која садржи износ мјесечне закупнине. У пракси, идентичне реченице попут „Мјесечна кирија је $X,XXX.” могу се појавити у многим документима у корпусу.

Добар модел контекстуалног угњежђивања требало би да користи контекст из цијелог документа да идентификује прави документ и преузме и одговор и његове пратеће реченице. Ово омогућава кориснику или агенту за претрагу да брзо вриједи одговор и потврди да он потиче из правог документа.

За сваки упит обиљежавамо реченице „одговора” и „доказа” у циљном документу. Модел пролази наш тест „довољности читача” ако преузме реченицу одговора заједно са најмање једном реченицом из сваке групе доказа. Заједно, ове реченице пружају довољно контекста да читач вриједи одговор са пратећим доказима.

Када модели контекстуалног угњежђивања ово раде добро, они могу драматично смањити број токена које агенти за претрагу треба да прегледају, као и знатно олакшати особи да брзо потврди да је лоцирала тачан одговор на свој оригинални упит без потребе да чита цијели документ.

Свака група доказа мора бити опорављена, али било која алтернатива из групе је довољна да се она опорарави. Уобичајено је видјети исту чињеницу наведену на неколико мјеста широм ових дугачких докумената. Преузимање само једне реченице из сваке групе доказа испуњава критеријум довољности читача и као такво било би прихваћено као савршен опоравак доказа.

Сваки документ је подељен на дијелове у виду реченица, а исте границе се користе за све моделе. Два услова се тестирају за неконтекстуалне моделе угњежђивања: један гдје је свака реченица угњежђена независно и други гдје је цијели документ угњежден као један дио текста.

Користимо услов на нивоу реченице да мјеримо опоравак одговора и опоравак доказа. Он тестира да ли неконтекстуални модел може да идентификује тачан одговор и пратеће доказе када је свака реченица угњежђена без приступа пратећем документу. Ово је намјерно изазовно. У многим упитима, самој реченици одговора недостају детаљи потребни да се она разликује од сличних реченица на другим мјестима у корпусу.

Користимо услов на нивоу документа као полазну основу за опоравак документа. Он тестира да ли фино зрнаста угњежђивања реченица пружају довољну корист од претраживања да оправдају своје додатне трошкове складиштења у односу на складиштење једног вектора по документу. Индекс на нивоу реченице ствара знатно више вектори него индекс на нивоу документа, тако да би требало да надмаши полазну основу од једног вектора по документу како би оправдао тај трошак.

Сва оцјењивања користе исцрпна рангирања у односу на свих 2.458.072 дијела текста. Разлике између модела стога одражавају репрезентације, а не конфигурацију индекса. Фокусирамо се на три кључне метрике:

Document@K је дефинисан као:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

гдје је $d^{*}$ документе са највишим рангом у $D_q$ .

Answer@K је дефинисан као:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

гдје је $C_K(q)$ најбољих $K$ дијелова текста кроз цијели корпус, а $A_{q}$ скуп прихваћених дијелова текста одговора.

Evidence Recall@K се мјери унутар $d^{*}$ на сљедећи начин: Рангирајте реченице из $d^{*}$ према сличности, уклоните реченицу одговора са највишим рангом и нека $R_K(q)$ буду најбољих $K$ који преостају. За групе доказа $G_q=\{g_1,\ldots,g_m\}$ , група $g_j$ се опоравља ако нека алтернатива $E\in g_j$ задовољава $E\subseteq R_K(q)$ , и

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K поставља питање да ли контекстуализација омогућава правом документу да побије сродне документе и деструкторе који дијеле његов вокабулар.

Answer@K поставља питање да ли се сама реченица одговора рангира међу најбољим дијеловима текста.

Evidence Recall@K поставља питање колики је дио пратећег контекста опорављен међу првих K дијелова текста тачног документа, након искључивања дијела текста одговора са највишим рангом. Уклањање одговора спречава да опоравак доказа двоструко рачуна оно што Answer@K већ мјери, и оставља сва $K$ мјеста за пратећи контекст. Захтијевање да златан документ буде међу првих 10 преузетих докумената значи да ниједан модел не добија кредити за доказе за документ који не би избацио на површину. Такође извјештавамо о All-Evidence@K, удјелу упита са сваком опорављеном групом.

Заједно, ове метрике рашчлањују изазове са којима се суочавају контекстуални модели угњежђивања: проналажење правог документа, проналажење правог одговора и опоравак минималног контекста који показује зашто је одговор тачан.

Слика 3 илуструје метрике помоћу примјера управљања некретнинама.

Како се бодују преузимање документа, одговора и доказа на context-bench-у — Слика 3: Метрике context-bench-а илустроване са упитом о закупу. Document@K тестира преузимање тачног документа; Answer@K тестира преузимање његовог дијела текста одговора; Evidence Recall@K мјери опоравак група пратећих доказа унутар циљног документа. У овом примјеру, вриједновање кирије захтијева и доказе о адреси и години закупа. Опоравак доказа искључује горњи дио текста одговора и захтијева да се циљни документ рангира у првих 10.

Оцјењујемо наш модел у поређењу са контекстуалним и неконтекстуалним моделима угњежђивања на четири фронта.

Наше контекстуалне полазне основе су pplx-embed-context-v1-4B и voyage-context-4. Наше неконтекстуалне полазне основе су voyage-4-large и NVIDIA Nemotron-3-Embed-8B-BF16, који кодирају дијелове текста независно. Скуп полазних основа варира у зависности од експеримента, као што је назначено на свакој слици.

Почињемо са context-bench-ом, који директно тестира могућности које мотивишу овај рад, а затим извјештавамо о резултатима на ConTEB-у, стандардној јавној референтној основи за контекстуална угњежђивања. Да бисмо провјерили да ли ови добици долазе на штету општег квалитета претраживања, такође оцјењујемо референтне основе за претраживање докумената и дијелова текста специфичних за домен које смо изградили од јавних скупова података. Коначно, испитујемо двије практичне особине за примјену: квалитет претраживања у односу на трошкове складиштења по вектору, и осјетљивост на величину дијела текста коришћену у вријеме индексирања. Сва оцјењивања кодирају документе до 32.768 токена у једном пролазу.

Као што је приказано на Слици 1 у уводу, наш преглед води на Answer@K и Evidence Recall@K на сваком пријављеном прагу, као и All-Evidence@10. При K = 10, постиже 45,5% опоравака одговора, 40,6% опоравака доказа и 31,1% опоравака свих доказа. Такође води на Document@1 и Document@10, достижући 15,2% и 61,6%, редом. При K = 10, наш преглед надмашује voyage-context-4 за 14,4 процентна поена у опоравку одговора и 5,0 поена у опоравку доказа.

Наш модел прегледа постиже највећи просјечни nDCG@10 међу моделима приказаним на ConTEB-у на Слици 4. Он не води у сваком задатку: pplx-context-v1-4B остварује већи резултат на NarrativeQA, док Nemotron-3-8B остварује највиши резултат на COVID-QA. Како су главни аутори такође истакли у раду о ConTEB-у, COVID-QA углавном укључује упаривања упита и дијелова текста која су врста екстракције и могу се задовољити једноставним подударањем површинског лексикона на техничким медицинским терминима. Као резултат тога, разумијевање контекста је мање корисно за овај задатак и неконтекстуални модели обично надмудрују контекстуалне.

nDCG на нивоу задатка на 10 на ConTEB-у — Слика 4: nDCG@10 на нивоу задатка на ConTEB-у у поставци упита ка дијелу текста. Просјек је неупондисана средина кроз осам задатака.

Иван оцјењујемо перформансе нашег модела специфичне за домен поред референтних основа дизајнираних за контекстуална угњежђивања.

Наш скуп задатака упита ка дијелу текста (Q2C) користи MTEB задатке као што су LegalBench и FinanceBench заједно са додатним задацима претраживања које смо прикупили из јавних скупова података. Унутар сваког релевантног документа, дио текста је означен као релевантан ако садржи тачан распон одговора када задатак обезбеђује један, а у супротном га LLM оцјењује према релевантности за упит. Скуп задатака упита ка документу (Q2D) користи исте задатке и бодује да ли је релевантан документ преузет.

Наш модел постиже највиши просјечни резултат при преузимању дијелова текста на Слици 5 и води у правном, техничком и здравственом домену. Он не води у сваком домену: voyage-context-4 постиже већи резултат у финансијама и вишејезичном претраживању, а Nemotron-3-8B постиже највиши резултат у претраживању конверсација. При преузимању документа на Слици 6, наш модел постиже резултат нешто испод voyage-context-4 у просјеку, док води у техничком домену. Полазна основа pplx-context-v1-4B постиже нижи просјечни резултат у оба скупа задатака, што је у складу са чињеницом да је обучен само на скупу података за обуку ConTEB-а, што показује да надгледање повезано са златним дијеловима текста једне референтне основе лоше преноси на друге домене.

Резултати преузимања упита ка дијелу текста по домену — Слика 5: Средњи nDCG@10 на задацима упита ка дијелу текста (Q2C), груписаним по домену. Траке домена су неупондисане средине резултата на нивоу задатка у том домену; укупан просјек је неупондисана средина кроз све приказане задатке.

Резултати преузимања упита ка документу по домену — Слика 6: Средњи резултат преузимања на задацима упита ка документу (Q2D), груписаним по домену. Свака трака у домену је неупондисана средина његових главних резултата на нивоу задатка; укупан просјек је неупондисана средина кроз све приказане задатке.

Модел контекстуалног угњежђивања производи један вектор по дијелу текста, тако да индекс изграђен са нашим моделом садржи тачно онолико вектори колико и конвенционални индекс на нивоу дијелова текста са истом стратегијом дијељења. Контекстуализација мијења оно што сваки вектор кодира, а не колико је вектори ускладиштено. Отисак складиштења је стога уређен величином сваког вектора. Модел нуди два начина да га смањи: скраћивање угњежђивања са 2048 на 1024 димензије и квантизовање на int8.

Слика 7 показује повољан компромис између квалитета претраживања и складиштења вектора. Са 1024 димензије, наша int8 угњежђивања користе 1 KB по вектору док лагано надмашују резултат преузимања дијелова текста за voyage-context-4 на 2048 димензија у float32, који користи 8 KB по вектору. Повећање величине нашег угњежђивања на 2048 димензија додатно подиже квалитет претраживања уз 2 KB по вектору. ове цифре складиштења се односе само на векторе, а не на остатак индекса.

Квалитет преузимања дијелова текста у односу на складиштење по вектору — Слика 7: Квалитет преузимања дијелова текста (просјечни nDCG@10) као функција складиштења по вектору. Пуне линије означавају float32, а прецртане линије означавају int8; ознаке дају димензију угњежђивања.

Слика 8 показује само скромну промјену квалитета претраживања како се величина дијела текста повећава са 64 на 512 токена: просјечни резултат пада са 81,0% на 79,9%, што је смањење од 1,1 процентног поена. Ово сугерише да модел остаје ефикасан кроз тестиране величине дијелова текста, дајући цјевоводима за индексирање флексибилност у начину на који се документи дијеле.

Осјетљивост на величину дијела текста: резултати преузимања за дијелове текста од 64 до 512 токена — Слика 8: Осјетљивост на величину дијела текста нашег модела. Свака тачка је неупондисана средина nDCG@10 кроз 74 MTEB задатка, са документима индексираним на датој величини дијела текста.

turbopuffer чува целокупни корпус, упите и ознаке референтне основе context-bench приватнима и извјештава о резултатима за пријављене моделе. Јавни референтни тест ове врсте подстиче директну обуку на његовим упитима и документима, што би га постепено заситило и смањило његову вриједност за праћење напретка током времена. Ако желите да ваш модел буде оцијењен на референтном тесту, контактирајте turbopuffer на contextbench@turbopuffer.com.

Преглед нашег модела је доступан на Hugging Face, а сви резултати у овој објави су пријављени за овај преглед. Радимо на томе да модел учинимо доступним кроз Perplexity API, и на даљем побољшању претраживања над дугим документима заједно са турбопафером.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

Увод

Зашто је контекст важан за претраживање

Ограничења надгледања златних дијелова текста

Нови приступ контекстуалном учењу

Функција губитка

Контрасни губиток на нивоу документа

Губитак дестилације на нивоу дијелова текста

Комбиновани губиток

Подаци за обуку

Подешавање обуке

Нова референтна основа за претраживање на нивоу дијелова текста

Документи и упити

Ознаке одговора и доказа

Метрике

Резултати оцјењивања

Context-bench

ConTEB

Општи квалитет претраживања по домену

Квалитет претраживања и трошкови складиштења

Осјетљивост на величину дијела текста

Објављивање

Цитирање