Samhengisbundin ífelling um það bil gullbútsins

Samhengisbundin ífelling ná merkingu hvers textabúts eða bút í samhengi við allt skjalið. Þjálfun þeirra og mat gerir venjulega ráð fyrir einum viðeigandi bút á fyrirspurn, þekktum sem „gullbútur“. Hins vegar dugar gullbútur oft ekki í framkvæmd. Hann gæti innihaldið svarið en skortir stuðningssamhengið sem þarf til að skilja eða staðfesta það, og skilur það eftir tvírætt í einangrun.

Við kynnum pplx-embed-v2-context-9b-preview, nýja samhengisbundna ífellingalíkanið okkar. Líkanið er þjálfað með nýrri nálgun sem notar samhengisþjöppunarlíkan Perplexity sem kennara. Við söfnum spám þess á táknstigi í mikilvægiseinkunnir á bútastigi, sem kennir ífellingalíkaninu að endurheimta bæði svarbúta og stuðningssamhengi í stað eins gullbúts. Líkanið framleiðir eina ífellingu á hvern bút án viðbótar ályktunarkostnaðar og styður 1024-víða og int8 ífellingar.

Það nær nýjustu niðurstöðum á context-bench, nýju viðmiðunarprófi fyrir samhengisvitna endurheimt sem búið var til og haldið er einkaaðilum af turbopuffer, og á ConTEB, mikið notuðu almennu viðmiðunarprófi. Líkan okkar var þróað óháð context-bench og metið sem blind innsending.

Context-bench samanstendur af 2.099 fyrirspurnum yfir 38.894 langar skjöl á 21 sviði og metur þrjá eiginleika samhengisbundinna ífellinga: aðgreiningu skjala á milli næstum eins skjala, endurheimt gullbúta þar sem merking fer eftir fjarlægu samhengi, og endurheimt þess stuðningsgagna sem nauðsynleg eru til að staðfesta svarið.

Forskoðun á líkaninu er aðgengileg almenningi á Hugging Face. Viðmiðunarprófið er haldið einkaaðilum af turbopuffer til að draga úr hættu á þjálfunarmengun og varðveita gildi þess til að mæla framfarir. Til að biðja um mat, vinsamlegast hafðu samband við turbopuffer á contextbench@turbopuffer.com.

Niðurstöður skjala-, svara- og sönnunargagnaendurheimtar á context-bench — Mynd 1: Answer@K, Document@K, Evidence Recall@K og All-Evidence@10 á context-bench, sem bera saman Perplexity v2 preview 9B við Voyage Context 4, Voyage 4 Large og Perplexity context v1 4B.

Endurheimtukerfi skipta löngum skjölum venjulega í minni búta sem hægt er að skrá og leita að sjálfstætt. Bútun er þægileg í framkvæmd, en hún fjarlægir það samhengi sem hver bútur birtist upphaflega í, og skapar málamiðlun á milli fínleika upplýsingaþjöppunar og samhengisins sem notað er við kóðun. Bútur gæti vísað til einingar sem kynnt var fyrr, erfitt merkingu sinni frá kaflafyrirsögn, eða treyst á skilgreiningar annars staðar í skjalinu. Þegar hann hefur verið dreginn út gæti hann ekki lengur innihaldið nægar upplýsingar til að vera passað áreiðanlega við fyrirspurn. Að kóða allt skjalið sem einn vigur leysir þetta ekki, þar sem ein sameinuð framsetning getur ekki trúrlega fangað alla fasetta langs skjals.

Samhengisbundin ífellingalíkan taka á þessari takmörkun með því að tákna hvern bút í samhengi við umlykjandi efni þess, oftast í gegnum síðbútun: skjalið er kóðað í einni umferð og bútasamstæður eru sameinaðar á eftir, þannig að hver bútvigur er reiknaður með allt skjalið í sjónmáli. Fyrri vinna, eins og ConTEB og okkar eigin pplx-embed-context-v1, hefur sýnt að samhengisbundnar bútasamstæður bæta verulega endurheimt yfir sjálfstætt kóðaða búta, sérstaklega á löngum skjölum.

Þjálfun samhengisbundinna ífellingalíkana krefst eftirlits sem auðkennir hvaða hlutar skjals eru viðeigandi fyrir tiltekna fyrirspurn. Algeng nálgun er gullbútamerkingar: fyrir hverja fyrirspurn auðkennir merkjari, venjulega stórt málmálíkan (LLM), þann bút skjalsins sem svarar því.

Þjálfun sameinar venjulega tvö andstæð tap: andstæð tap á skjalastigi sem andstæður gullbútnum við búta úr öðrum skjölum, og tap innan skjals sem andstæður honum við hina búta í sama skjali.

Þessi nálgun hefur nokkrar takmarkanir:

Aðeins einn bútur er viðeigandi. Hún meðhöndlar hvern annan bút í skjalinu sem neikvæðan, þar á meðal þá sem eru með gagnlegstu stuðningsupplýsingar. Eftirlit á skjalastigi starfar á hinum endanum. Það auðkennir skjalið sem viðeigandi án þess að tilgreina hvaða bútar innan þess skipta máli. Í framkvæmd liggur mikilvægi oft á milli þessara öfga. Svara-berandi búturinn gæti treyst á nokkra stuðningsbúta sem kynna einingu, leysa upp tilvísun eða gefa viðbótarstaðreynd, á meðan afgangurinn af skjalinu skiptir ekki máli. Líkanið verður því að læra rétta stigið af sértækni: víðara en stakur gullbútur, en meira einbeitt en skjalið í heild sinni.
Gróft eftirlit. Vegna þess að hver merking auðkennir einn gullbút í stað þess að ná yfir gráður af mikilvægi þvert á skjalið, veitir hún takmörkuð þjálfunarmerki fyrir það magn tölvuafls sem varið er í að búa það til.
Kostnaðarsamt að stækka. Hvert þjálfunarpar krefst þess að LLM lesi skjalið og velji viðeigandi bút, þannig að merkingarkostnaður vex línulega með stærð þjálfunarsetsins og takmarkar hversu mikið og hversu fjölbreytt þjálfunargögnin geta verið.
Næmt fyrir bútamörkum. Merkin eru einnig bundin við bútamörkin sem notuð voru við merkingu. Gullmerki sem úthlutað er fastri táknstærðarglugga tilgreinir ekki hvaða styttri setningar eða lengri málsgreinar skipta máli. Að breyta bútunarstefnunni, eða þjálfa yfir margar bútanir til að bæta seiglu við hvernig skjölum er skipt við skráningu, gæti því krafist þess að merkja textasafnið aftur.

Við bregðumst við takmörkunum gullbútastjórnunar með því að eima mikilvægismat frá fyrirspurnar-vituðu samhengisþjöppunarlíkani. Þetta líkan þjónar sem kennari: það les fyrirspurnina og skjalið saman og úthlutar hverju skjaltákni mikilvægiseinkunn. Spár þess bjóða upp á nokkra kosti við þjálfun samhengisbundinna ífellinga:

Sveigjanleg bútamörk. Hægt er að safna saman mikilvægiseinkunnum á táknstigi yfir hvaða valin bútamörk sem er, sem gerir sömu kennaraspám kleift að hafa eftirlit með mismunandi bútun án endurmerkingar.
Stöðugt mikilvægi. Ólíkt tvíundar gullbútamerkjum veitir kennarinn stöðugar einkunnir sem ná yfir gráður af mikilvægi sem aðgreina náttúrulega svarbúta, stuðningssamhengi og óviðkomandi efni.
Lægri merkingarkostnaður. Kennarinn er þjappaður og sérhæfður í mikilvægismati, sem gerir það mun ódýrara að hafa eftirlit í stórum stíl en almennu LLM.

Við þjálfum líkan okkar með veginni summu af andstæðu tapi á skjalastigi og eimunartapi á bútastigi yfir lotur af fyrirspurnar- og skjalapörum. Fyrir hverja fyrirspurn þjónar paraða skjalið sem jákvæða, á meðan hin skjölin í sömu lotu þjóna sem neikvæð.

Fyrir hverja lotu veljum við af handahófi bútunarstefnu, skiptum skjölum í samræmi við það og setjum aðskilnaðartákn á milli búta. Við vinnu vinnum við síðan hvert skjal í einni umferð og meðaltölum táknframsetningarnar innan hvers bút til að fá samhengisbundnar bútífellingar. Fyrirspurnir eru kóðaðar sérstaklega, með meðaltölun yfir táknframsetningu þeirra. Að lokum reiknum við kósínus líkindi á milli hverrar fyrirspurnarífellingar og hverrar bútífellingar í lotunni.

Þó að ífellingalíkan okkar framleiði aðeins líkindi á bútastigi, getum við náttúrulega leitt líkindi á skjalastigi af þeim. Við lítum svo á að skjal d sé jafn viðeigandi fyrir fyrirspurn q og viðeigandi bútur þess. Þessi stigaregla er innblásin af MaxSim aðgerðinni í ColBERT, sem er beitt hér á búta í stað tákna.

Nánar tiltekið, miðað við fyrirspurn q með ífellingu q og skjal d sem raðað lista yfir búta c með ífellingum c, skilgreinum við líkindi á skjalastigi sem:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

Miðað við þessi líkindi á skjalastigi getum við formulað InfoNCE markmið á skjalastigi yfir neikvæð gögn innan lotu.

Fyrir fyrirspurn q, látum d⁺ tákna viðeigandi skjal þess og 𝒟 skjölina í lotunni. Andstæða tapið er sem hér segir, sleppum hitastigum til læsileika:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

Andstæða tapið kennir líkaninu hvaða skjal er viðeigandi fyrir fyrirspurn. Eimunartapið kennir því hvar mikilvægi liggur innan þess skjals, sem er nauðsynlegt fyrir samhengisbundið líkan.

Við þjálfun sendum við hvert jákvætt fyrirspurnar- og skjalapar til samhengisþjöppunarlíkans okkar, sem úthlutar mikilvægiseinkunn á hvert tákn í skjalinu. Eins og með stigagjöf á skjalastigi leiðum við mikilvægi hvers bút af viðeigandi innihaldi þess. Til að draga úr næmi fyrir útlagatáknum, þar á meðal þeim á bútamörkum, skilgreinum við mikilvægi á bútastigi sem meðaltal efstu n tákneinkunna innan bútarins.

Fyrir hverja fyrirspurn beitum við hitastigsskalazkallandi softmax á mikilvægiseinkunnir kennarans á bútastigi innan jákvæða skjalsins til að fá markdreifingu. Bútar í hinum skjölunum í lotunni fá núll marklíkur. Við þjálfum ífellingalíkanið til að passa við þetta markmið með því að lágmarka framsækið KL-frávik á milli marksins og spáðrar dreifingar þess yfir alla búta í lotunni:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

Hér gefa yfirskriftirnar T og S til kynna kennara og nemanda, og rⱼ er mikilvægiseinkunn kennarans fyrir bút cⱼ í jákvæða skjalinu d⁺. Markdreifing kennarans úthlutar núll líkum á búta í öllum öðrum skjölum í lotunni.

Ólíkt stakri gullbútamerkingu nær þetta markmið yfir gráður af mikilvægi. Stuðningsbútar fá þyngd samkvæmt einkunnum kennarans í stað þess að vera meðhöndlaðir sem neikvæðir, og kenna líkaninu að endurheimta stuðningssamhengi sem og svarið.

Sameinað þjálfunarmarkmið okkar er tekin summu andstæðs taps á skjalastigi og eimunartaps á bútastigi. Við meðaltölum þetta vegna tapi yfir lotu af fyrirspurnar- og skjalapörum.

Mynd 2 sýnir þjálfunarnálgun okkar. Samhengisþjöppunin þjónar sem kennari eingöngu við þjálfun. Við ályktunartíma framleiðir ífellingalíkanið eina samhengisbundna ífellingu á hvern bút, án viðbótarþjöppunar eða endurraðunarstigs. Nálgunin bætir hvernig samhengisbundnar ífellingar eru lærðar án þess að auka vísitölugeymslu eða bæta við seinkun kennaralíkans á endurheimtutíma.

Þjálfunaruppsetning fyrir eimun samhengisbundinna ífellinga — Mynd 2: Þjálfunaruppsetning líkans okkar. Samhengiskóðari (nemi, vinstri) vinnur úr skjölum, sem hver um sig samanstendur af nokkrum bútum. Hver bútur er felldur með tilliti til umlykjandi skjalasamhengis. Fyrirspurn A er þekkt samsvörun fyrir skjal A og er metin gegn bútum allra skjala til að fá spáð líkindi. Þessum einkunnum á bútastigi er max-pólað yfir í einkunnir á skjalastigi. Við þjálfum spár á bútastigi og spár á skjalastigi til að passa við markdreifingar (hægri). Markmið á bútastigi er reiknað við þjálfun sem spá samhengisþjöppunar innan þekkts viðeigandi skjals og er stillt á núll innan þekktra óviðkomandi skjala. Markdreifing á skjalastigi er stillt til að vera one-hot á þekkta viðeigandi skjalinu.

Þjálfunargögnin samanstanda af um það bil 430 opinberum og innri fyrirspurnar- og skjalasöfnum sem ná yfir yfir 50 tungumál.

Við smíðum innri gagnasögn yfir pör úr PII-síuðum framleiðslugögnum og með því að búa til viðeigandi fyrirspurnir yfir langar skjöl. Fyrir hverja umferð veljum við eitt gagnasafn og tökum sýnishorn af allri lotu úr því til að auka erfiðleika neikvæðra gagna innan lotu og koma í veg fyrir flýtileiðanámi. Ekkert af þjálfunargagnasöfnum okkar er með merkingar á bútastigi: öll umsjón innan skjalsins kemur frá þjöppunarlíkaninu og engin gögn frá ConTEB eru notuð við þjálfun. Þar að auki voru engin context-bench gögn tiltæk við þróun líkansins.

Líkanið byrjar á innri, 9B-færibreytu ColBERT endurheimtarlíkani og framleiðir 2048-víða ífellingu í gegnum línulegt vörpunarlag. Við merkjum bútamörk með lærðu <|chunk_sep|> tákni og myndum hverja bútífellingu með því að meðaltala táknífellingar hennar. Fyrirspurnir eru kóðaðar af sama líkani, þar sem táknífellingum þeirra er meðaltalað í einn vigur.

Við notum Matryoshka þjálfun til að styðja bæði 1024- og 2048-víða ífellingu, og magnunarvitundarþjálfun til að styðja innfæddar int8 ífellingar. Við þjálfun aukum við námskeiðshraðann smám saman, höldum honum stöðugum og drögum hann síðan saman.

Útgefna líkanið er líkansúpa sem meðaltalar þyngd nokkurra eftirlitsstaða frá sömu þjálfunarlotu.

Opinber samhengisbundin endurheimtarviðmið eins og ConTEB deila þeirri forsendu sem stendur á bak við gullbútastjórnun: hver fyrirspurn er með einn viðeigandi bút og líkan er aðeins verðlaunað fyrir að raða þeim bút fyrst. Þau erfðu einnig takmarkanir þess.

Í fyrsta lagi prófar ConTEB endurheimt á verkefnum þar sem bútur er tvíræður án umhverfis síns samhengis. Í þessum verkefnum stóðu samhengisbundin líkön sig betur en líkön sem kóða hvern bút sjálfstætt. Hins vegar spyr það ekki hvort líkanið komi einnig á framfæri öðrum hlutum skjalsins sem gera bútinn skiljanlegan.

Í öðru lagi prófar það ekki kerfisbundið hvort hægt sé að finna rétta skjalið þegar nánast eins skjöl í sama textasafni eru aðeins frábrugðin í því samhengi sem umlykur annars eins setningu.

Báðir eiginleikar skipta máli þegar leitarfulltrúi eða notandi verður að skilja og staðfesta svarið út frá nokkrum endurheimtum setningum frekar en öllu skjali. Við smíðuðum því context-bench, stýrt viðmiðunarpróf fyrir endurheimt yfir langar skjöl, sem er hannað til að aðgreina notkun skjalsamhengis frá almennum endurheimtargæðum. Það prófar hvort samhengisbundnar ífellingar nýta upplýsingar annars staðar í skjali til að styðja við þrjá eiginleika:

Aðgreining skjala: Finna rétta skjalið úr nánast eins valkostum.
Endurheimt svara: Endurheimta svara-berandi búta þar sem merking fer eftir smáatriðum annars staðar í skjalinu.
Endurheimt sönnunargagna: Endurheimta stuðningsbúta sem skýra eða styðja svarið.

Context-bench inniheldur 2.099 fyrirspurner og 38.894 skjöl. Setningalengdar bútar eru notaðir, sem skilar samtals 2.458.072 bútum. Fyrirspurnirnar ná yfir 21 svið þar á meðal fyrirtækjaskýrslur, klínískar rannsóknir, ferðalög, afþreyingu, menntun, stjórnvöld, lagasamninga og hugbúnaðarskjöl.

Hver fyrirspurn er hönnuð til að prófa einn af tuttugu samhengisbundnum eiginleikum. Helstu markskjölin eru viljandi löng: 1.061 af 1.197 mismunandi aðalmarkskjölum hafa að minnsta kosti 200 setningar, með miðgildi lengdar u.þ.b. 6.100 tákn. Hver fyrirspurn hefur nákvæmlega eitt rétt svar í textasafninu. Þar sem sama staðreynd er sett fram meira einu sinni í gullskjali, til dæmis í samantektarsetningu og töfluröð, eru allar þessar setningar samþykktar sem svör.

Svörunarleið er ein gild samsetning af svarbúti og stuðningsgögnum sem þarf til að túlka eða staðfesta hann. Yfir 2.099 fyrirspurnirnar er aðalmarkskjalsvörunarleiðin með einn sönnunargagnahóp fyrir 964 fyrirspurnir, tvo fyrir 735, þrjá eða fleiri fyrir 332, og enga fyrir 68. Aðrar gildar svörunarleiðir geta krafist mismunandi sönnunargagnahópa.

Tafla 1: Tölfræði viðmiðunarprófs.

Tölfræði	Gildi
Fyrirspurnir	2.099
Skjöl	38.894
Setningabútar	2.458.072
Miðgildi lengdar aðalmarkskjals	6.100 tákn
Svið	21
Sönnunargagnahópar á fyrirspurn (aðalmarkskjals svörunarleið)	1: 964; 2: 735; 3+: 332; engin: 68

Tafla 2: Tuttugu samhengisbundnir eiginleikar sem prófaðir eru af context-bench, ásamt lýsandi dæmum.

Eiginleiki	Dæmi um fyrirspurn	Svörunarbútur	Nauðsynlegt samhengi skjals
1. Auðkenni einingar	Hversu mikið eyddi Northlake í endurkaup á hlutabréfum?	Fyrirtækið endurkeypti hlutabréf að upphæð 12,8 milljarðar dala.	Inngangurinn skilgreinir Northlake sem „fyrirtækið“. Svipuð skýrsla frá Southlake skiptir ekki máli.
2. Tímabil eða útgáfa	Hvaða hylki passar við M40 endurskoðun B?	Settu upp KC-42 hylkið.	Gildissviðshlutinn segir að þessar leiðbeiningar nái yfir endurskoðun B, en ekki endurskoðun C.
3. Skilgreiningar og samheiti	Hvert var útskriftarhlutfall 15 mg hópsins?	Zeta var með útskriftarhlutfall upp á 12,7%.	Skýrslan skilgreinir Zeta sem 15 mg hópinn. Án þeirrar skilgreiningar auðkennir búturinn ekki umbeðinn hóp.
4. Uppbygging töflu	Hver er rafhlöðugeta Max líkansins?	Dæmigerð geta: 4.250 \| 4.700 \| 5.150.	Tafla hausinn staðfestir Mini \| Base \| Max, mælt í mAh. Svarið er því 5.150 mAh.
5. Skilyrði og undantekningar	Hversu lengi er rafhlaða vernduð fyrir atvinnuskyni?	Rafhlöðuvernd endist í 18 mánuði.	Inngangur að kafla takmarkar þessa vernd við uppsetningar í atvinnuskyni; heimilisuppsetningar eru með aðra ábyrgð.
6. Tilvísanir og fornöfn	Hvenær varð Mara varaforstjóri?	Hún tók við embætti árið 2021.	Fyrri texti staðfestir að „hún“ vísar til Möru, en ekki Elínar, sem einnig er fjallað um.
7. Röð og staða lista	Hvaða lag hóf aukalag?	14. Lantern Road.	Athugasemd annars staðar segir að lög 14–16 hafi myndað aukalagið. Lag 14 er því opnunarlag þess.
8. Gildissvið kafla	Hvaða linsa var notuð við kvikmyndatökuna?	35 mm fasta linsa var notuð allan tímann.	Þessi texti tilheyrir „Aðalmyndatöku,“ en ekki aðskildum kafla um kynningarljósmyndir.
9. Tilvísun ræðumanns	Hvaða opnunardag lofaði borgarstjórinn?	Við munum opna aftur 12. júní.	Upptakan auðkennir borgarstjórann sem ræðumann. Sömu orð frá verktaka myndu ekki staðfesta loforð borgarstjórans.
10. Breytingar yfir tíma	Hvaða uppsagnarfrestur gildi eftir breytinguna í maí?	Uppsagnarfresturinn er nú 45 dagar.	Saga breytinganna staðfestir að þessi breyting tók gildi í maí og leysti fyrri 45 daga regluna af hólmi.
11. Orsakatengsl	Hvers vegna stöðvaðist vesturdælan?	Sá galli olli biluninni.	Rannsóknin skilgreinir „þennan galla“ sem fasta legu í vesturdælunni og aðgreinir hann frá ótengdri stíflu á inntaki.
12. Myndræn eða þvertungumálaleg merking	Myndrænt: Hvað táknar „vetrarherbergið“ í ljóðinu? Þvertungumálalegt: Hvaða íhlut segir franska leiðbeiningin tæknimanninum að fjarlægja?	Myndrænt: Það táknar útlægð frekar en líkamlegt herbergi. Þvertungumálalegt: Retirez le capot. (Fjarlægðu hlífina.)	Myndrænt: Skýringarnar skilgreina „það“ sem endurtekna „vetrarherbergis“ myndmál ljóðsins. Þvertungumálalegt: Orðalisti handbókarinnar tilgreinir að „capot“ þýði hlífðarvélahlíf, en ekki flutningshlíf.

Fyrirspurnirnar, skjölin og eiginleikarnir sem prófaðir eru eru innblásnir af samræðum við viðskiptavini turbopuffer.

Til að nefna dæmi, íhugum leitarþarfir fasteignafyrirtækis. Þessi fyrirtæki eru með hundruð, stundum þúsundir leigusamninga sem eru aðeins frábrugðnir í nöfnum leigutaka, dagsetningum og nokkrum öðrum lykilatriðum. Algeng fyrirspurn fyrir það gagnasafn gæti verið „hvenær rennur leigusamningur 5 park avenue út og hver er núverandi leiga?“. Leigusamningar geta einnig verið langir og mikilvægir aðgreiningarhlutar sem myndu staðfesta að þú hefur endurheimt rétta skjalið (eins og dagsetningu, heimilisfang, nafn leigutaka o.s.frv.) geta oft verið mjög langt í burtu frá lykilsvarssetningunni sem inniheldur mánaðarlega leiguupphæð. Í framkvæmd geta eins setningar eins og „Mánaðarleg leiga er $X,XXX.“ birst í mörgum skjölum í textasafninu.

Gott samhengisbundið ífellingalíkan ætti að nota samhengi úr öllu skjalinu til að greina rétta skjalið og endurheimta bæði svarið og stuðningssetningar þess. Þetta gerir notanda eða leitarfulltrúa kleift að staðfesta svarið fljótt og staðfesta að það komi úr réttu skjali.

Fyrir hverja fyrirspurn merkjum við „svar“- og „sönnunargagna“-setningar í markskjalinu. Líkan stendst „lesaranógna“-próf okkar ef það endurheimtir svarssetningu ásamt að minnsta kosti einni setningu úr hverjum sönnunargagnahópi. Saman veita þessar setningar nægilegt samhengi fyrir lesanda til að staðfesta svarið með stuðningsgögnum.

Þegar samhengisbundin ífellingalíkan gera þetta vel geta þau dregið verulega úr fjölda tákna sem leitarfulltrúar þurfa að yfirfara og gert fólki mun auðveldara fyrir að staðfesta fljótt að það hafi fundið rétta svarið við upphaflegri fyrirspurn sinni án þess að þurfa að lesa allt skjalið.

Endurheimta verður hvern sönnunargagnahóp, en einhver af valkostum hópsins dugar til að endurheimta hann. Það er algengt að sjá sömu staðreynd sett fram á nokkrum stöðum í þessum löngu skjölum. Að endurheimta aðeins eina setningu úr hverjum sönnunargagnahópi uppfyllir skilyrði um lesaranógni og yrði því samþykkt sem fullkomin sönnunargagnaendurheimt.

Hvert skjal er skipt í setningar, og sömu mörk eru notuð fyrir öll líkön. Tvö skilyrði eru prófuð fyrir ósamhengisbundin ífellingalíkan: annað þar sem hver setning erfelld sjálfstætt og annað þar sem allt skjalið er fellt sem einn bútur.

Við notum setningastigs-skilyrðið til að mæla svarfyrirköll og sönnunargagnasöfnun. Það prófar hvort ósamhengisbundið líkan getur borið kennsl á rétt svar og stuðningsgögn þegar hver setning er felld án aðgangs að umhverfi skjalsins. Þetta er viljandi krefjandi. Í mörgum fyrirspurnum skortir svarssetninguna eina og sér þau smáatriði sem þarf til að aðgreina hana frá svipuðum setningum annars staðar í textasafninu.

Við notum skjalastigs-skilyrðið sem grunnlínu fyrir skjalaendurheimt. Það prófar hvort fínkornaðar setningarífellingar veiti nægilegan endurheimtarávinning til að réttlæta aukinn geymslukostnað miðað við að geyma einn vigur á hvert skjal. Vísitala á setningastigi býr til mun fleiri vigra en vísitala á skjalastigi, svo hún ætti að standa sig betur en einn vigur á hvert skjal til að réttlæta þennan kostnað.

Öll mat nota tæmandi röðun gegn öllum 2.458.072 bútum. Mismunur á milli líkana endurspeglar því framsetningarnar, ekki vísitölustillingu. Við leggjum áherslu á þrjá lykilmælikvarða:

Document@K er skilgreint sem:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

þar sem $d^{*}$ er skjalið með hæstu einkunnina í $D_q$ .

Answer@K er skilgreint sem:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

þar sem $C_K(q)$ eru efstu $K$ bútarnir yfir allt textasafnið og $A_{q}$ er safn viðurkenndra svarbúta.

Evidence Recall@K er mælt innan $d^{*}$ sem hér segir: Raðaðu setningum $d^{*}$ eftir líkindum, fjarlægðu svarsetninguna með hæstu einkunnina, og láttu $R_K(q)$ vera efstu $K$ sem eftir standa. Fyrir sönnunargagnahópa $G_q=\{g_1,\ldots,g_m\}$ er hópur $g_j$ endurheimtur ef einhver valkostur $E\in g_j$ uppfyllir $E\subseteq R_K(q)$ , og

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K spyr hvort samhengisvæðing leyfir réttu skjali að sigra systkini og truflara sem deila orðaforða þess.

Answer@K spyr hvort svarssetningin sjálf sé meðal efstu búta.

Evidence Recall@K spyr hversu mikið af stuðningssamhenginu er endurheimt meðal efstu K búta rétta skjalsins, eftir að búið er að undanskilja svarbútinn með hæstu einkunnina. Að fjarlægja svarið kemur í veg fyrir að sönnunargagnaendurheimt tvítelji það sem Answer@K mælir nú þegar, og skilur eftir öll $K$ hólf fyrir stuðningssamhengi. Að krefjast þess að gullskjalið sé í efstu 10 endurheimtu skjölunum þýðir að ekkert líkan fær sönnunargagnaeiningar fyrir skjal sem það hefði ekki skilað. Við tilkynnum einnig All-Evidence@K, hlutfall fyrirspurna þar sem hver hópur er endurheimtur.

Saman sundurgreina þessar mælikvarðar þær áskoranir sem líkön með samhengisbundnum ífellingum standa frammi fyrir: að finna rétta skjalið, finna rétta svarið og endurheimta lágmarkssamhengið sem sýnir hvers vegna svarið er rétt.

Mynd 3 sýnir mælikvarðana með dæmi um fasteignastjórnun.

Hvernig skjalasöfnun, svara- og sönnunargagnaendurheimt context-bench eru metin — Mynd 3: Context-bench mælikvarðar sýndir með leigufyrirspurn. Document@K prófar endurheimt rétts skjals; Answer@K prófar endurheimt svarbúts þess; Evidence Recall@K mælir endurheimt stuðningssönnunargagnahópa innan markskjalsins. Í þessu dæmi krefst staðfesting leigunnar bæði heimilisfangs og leiguársgagna. Sönnunargagnaendurheimt undanskilur efsta svarbútinn og krefst þess að markskjalið raðist í efstu 10.

Við metum líkan okkar gegn samhengisbundnum og ósamhengisbundnum ífellingalíkönum á fjórum vígstöðvum.

Samhengisbundnar grunnlínur okkar eru pplx-embed-context-v1-4B og voyage-context-4. Ósamhengisbundnar grunnlínur okkar eru voyage-4-large og Nemotron-3-Embed-8B-BF16 frá NVIDIA, sem kóða búta sjálfstætt. Grunnlínusettið er breytilegt eftir tilraunum, eins og gefið er til kynna á hverri mynd.

Við byrjum á context-bench, sem prófar beint þá eiginleika sem hvetja til þessarar vinnu, og tilkynnum síðan niðurstöður á ConTEB,staðlaða almenna viðmiðunarprófinu fyrir samhengisbundnar ífellingar. Til að athuga hvort þessir hagnaðir komi ekki á kostnað almennra endurheimtargæða metum við einnig sérhæfð skjala- og bútendurheimtuviðmið sem við smíðuðum úr opinberum gagnasögn. Að lokum skoðum við tvo hagnýta eiginleika fyrir uppsetningu: endurheimtargæði á móti geymslukostnaði á vigur, og næmi fyrir bútastærð sem notuð er við skráningu. Öll mat kóða skjöl allt að 32.768 tákn í einni umferð.

Eins og sýnt er í Mynd 1 í inngangi, er forskoðun okkar í broddi fylkingar á Answer@K og Evidence Recall@K við hverja tilkynnta skurðpunkt, sem og All-Evidence@10. Við K = 10 nær það 45,5% svarfyrirkölli, 40,6% sönnunargagnasöfnun og 31.1% allra sönnunargagnafyrirkölli. Það leiðir einnig á Document@1 og Document@10 og nær 15,2% og 61,6%. Við K = 10 fer forskoðun okkar fram úr voyage-context-4 um 14,4 prósentustig í svarfyrirkölli og 5,0 stig í sönnunargagnasöfnun.

Forskoðunarlíkan okkar nær hæsta meðaltali nDCG@10 meðal þeirra líkana sem sýnd eru á ConTEB á mynd 4. Það leiðir ekki öll verkefni: pplx-context-v1-4B skorar hærra á NarrativeQA, en Nemotron-3-8B skorar hæst á COVID-QA. Eins og aðalhöfundarnir bentu einnig á í ConTEB greininni, inniheldur COVID-QA aðallega fyrirspurnar- og bútapör sem eru mjög útdráttarleg og hægt að fullnægja með einföldum yfirborðslegum orðaforðasamanburði á tæknilegum læknisfræðilegum hugtökum. Þess vegna er samhengisskilningur minna gagnlegur fyrir þetta verkefni og ósamhengisbundin líkön standa sig venjulega betur en samhengisbundin.

nDCG á verkefnastigi við 10 á ConTEB — Mynd 4: nDCG@10 á verkefnastigi á ConTEB í fyrirspurn-til-búts stillingunni. Meðaltalið er óvegið meðaltal yfir verkefnin átta.

Fyrir utan viðmiðunarpróf sem eru hönnuð fyrir samhengisbundnar ífellingar, metum við svæðisbundna frammistöðu líkans okkar.

Fyrirspurn-til-búts (Q2C) svíta okkar notar MTEB verkefni eins og LegalBench og FinanceBench ásamt viðbótar endurheimtuverkefnum sem við bjuggum til úr opinberum gagnasögn. Inni í hverju viðeigandi skjali er bútur merktur sem viðeigandi ef hann inniheldur nákvæmt svarbil þegar verkefnið gefur það upp, og annars með LLM sem dæmi gildi hans fyrir fyrirspurnina. Fyrirspurn-til-skjals (Q2D) svítan notar sömu verkefni og skorerar hvort viðeigandi skjal sé endurheimt.

Líkan okkar nær hæsta meðaleinkunn á bútendurheimt á mynd 5 og leiðir á lögfræði-, tækni- og heilbrigðissviðum. Það leiðir ekki á öllum sviðum: voyage-context-4 skorar hærra í fjármálum og fjöltungumálaendurheimt, og Nemotron-3-8B skorar hæst í samtalsendurheimt. Á skjalaendurheimt á mynd 6 skorar líkan okkar örlítið fyrir neðan voyage-context-4 að meðaltali, á meðan það leiðir á tæknisviðinu. Grunnlína pplx-context-v1-4B skorar lægra að meðaltali í báðum svítum, sem er í samræmi við að það hafi aðeins verið þjálfað á ConTEB þjálfunarsettinu, sem sýnir að eftirlit sem tengist gullbútum eins viðmiðunarprófs flyst illa yfir á önnur svið.

Endurheimt stig fyrirspurnar-til-búts eftir sviði — Mynd 5: Meðaltal nDCG@10 á fyrirspurn-til-búts (Q2C) verkefnunum, flokkuð eftir sviði. Sviðssúlur eru óvegin meðaltal skora á verkefnastigi á því sviði; heildarmeðaltalið er óvegið meðaltal yfir öll birt verkefni.

Endurheimt stig fyrirspurnar-til-skjals eftir sviði — Mynd 6: Meðaltal endurheimtarskor á fyrirspurn-til-skjals (Q2D) verkefnunum, flokkuð eftir sviði. Hver súla á sviði er óvegið meðaltal aðalskora á verkefnastigi; heildarmeðaltalið er óvegið meðaltal yfir öll birt verkefni.

Samhengisbundin ífellingalíkan framleiðir einn vigur á hvert skjal, þannig að vísitala sem byggð er með líkani okkar inniheldur nákvæmlega jafn marga vigra og hefðbundin vísitala á bútastigi með sömu bútunarstefnu. Samhengisvæðing breytir því sem hver vigur kóðar, ekki hversu margir vigrar eru geymdir. Geymslufótspor er því stýrt af stærð hvers vigurs. Líkanið býður upp á tvær leiðir til að draga úr því: að stytta ífellinguna úr 2048 í 1024 víddir og magnat hana í int8.

Mynd 7 sýnir hagstæða málamiðlun á milli endurheimtargæða og vigurgeymslu. Við 1024 víddir nota int8 ífellingar okkar 1 KB á hvert skjal á meðan þær fara lítillega fram úr bútendurheimtarskorum voyage-context-4 við 2048 víddir í float32, sem notar 8 KB á hvert skjal. Að auka ífellingarstærð okkar í 2048 víddir eykur endurheimtargæði enn frekar við 2 KB á hvert skjal. Þessar geymslutölur vísa aðeins til vigranna, ekki afgangsins af vísitölunni.

Gæði bútendurheimtu á móti geymslu á vigur — Mynd 7: Gæði bútendurheimtu (meðaltal nDCG@10) semfall af geymslu á vigur. Heil línur tákna float32 og brotnar línur tákna int8; merkingar gefa til kynna ífellingarvídd.

Mynd 8 sýnir aðeins hóflega breytingu á endurheimtargæðum þegar bútastærð stækkar úr 64 í 512 tákn: meðaleinkunn fer niður úr 81,0% í 79,9%, sem er lækkun um 1,1 prósentustig. Þetta bendir til þess að líkanið haldist áhrifaríkt yfir prófaðar bútastærðir, sem gefur skráningarleiðslum sveigjanleika í hvernig skjölum er skipt.

Næmi fyrir bútastærð: endurheimtarskor fyrir búta frá 64 til 512 tákna — Mynd 8: Næmi líkans okkar fyrir bútastærð. Hver punktur er óvegið meðaltal nDCG@10 yfir 74 MTEB verkefni, með skjöl skráð við gefna bútastærð.

turbopuffer heldur öllum textasafninu, fyrirspurnum og merkjum í context-bench óupplýstum og birtir niðurstöður fyrir innsend líkön. Opinber viðmiðunarpróf af þessu tagi bjóða upp á beina þjálfun á fyrirspurnum þeirra og skjölum, sem myndi smám saman eyða gildi þeirra til að fylgjast með framförum yfir tíma. Ef þú vilt að líkan þitt sé metið á viðmiðunarprófinu skaltu hafa samband við turbopuffer á contextbench@turbopuffer.com.

Forskoðun á líkani okkar er aðgengileg á Hugging Face, og öllum niðurstöðum í þessari færslu er skilað fyrir þessa forskoðun. Við vinnum að því að gera líkanið aðgengilegt í gegnum Perplexity API, og að bæta enn frekar endurheimt yfir langar skjöl ásamt turbopuffer.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

Inngangur

Hvers vegna samhengi skiptir máli fyrir endurheimt

Takmarkanir gullbútastjórnunar

Ný nálgun við samhengisnám

Tapfall

Andstætt tap á skjalastigi

Eimunartap á bútastigi

Sameinað tap

Þjálfunargögn

Þjálfunaruppsetning

Nýtt viðmiðunarpróf fyrir endurheimt á bútastigi

Skjöl og fyrirspurnir

Svara- og sönnunargagnamerki

Mælikvarðar

Matarniðurstöður

Context-bench

ConTEB

Almenn endurheimtargæði yfir svið

Endurheimtargæði og geymslukostnaður

Næmi fyrir bútastærð

Útgáfa

Tilvitnun