Kontextuális beágyazás az arany szakaszon túl

A kontextuális beágyazások az egész dokumentum kontextusában rögzítik az egyes szakaszok vagy darabok jelentését. Tanításuk és értékelésük jellemzően lekérdezésenként egyetlen releváns darabot feltételez, amelyet „arany szakasznak” neveznek. A gyakorlatban azonban az arany szakasz gyakran nem elegendő. Tartalmazhatja a választ, de hiányozhat belőle az értelmezéséhez vagy ellenőrzéséhez szükséges alátámasztó kontextus, ami miatt önmagában kétértelmű marad.

Bemutatjuk a pplx-embed-v2-context-9b-preview modellt, az új kontextuális beágyazási modellünket. A modell egy olyan új megközelítéssel lett betanítva, amely a Perplexity kontextustömörítési modelljét használja tanárként. A tokenszintű előrejelzéseit darabszintű relevanciapontszámokká aggregáljuk, megtanítva a beágyazási modellt arra, hogy egyetlen aranydarab helyett mind a válaszdarabokat, mind az alátámasztó kontextust visszakeresse. A modell darabonként egy beágyazást készít további következtetési költség nélkül, és támogatja az 1024 dimenziós és az int8 beágyazásokat.

Korszerű eredményeket ér el a context-bench-en – a turbopuffer által létrehozott és magántulajdonban tartott új, kontextus-alapú visszakeresési benchmarkon –, valamint a széles körben használt nyilvános ConTEB benchmarkon. Modellünket a context-bench-től függetlenül fejlesztettük, és vak beküldésként értékeltük.

A context-bench 2099 lekérdezést tartalmaz 38 894 hosszú dokumentumon 21 tartományban, és a kontextuális beágyazások három képességét értékeli: a dokumentumok egyértelműsítését a szinte duplikált dokumentumok között, az olyan aranydarabok visszakeresését, amelyek jelentése távoli kontextustól függ, valamint a válasz ellenőrzéséhez szükséges alátámasztó bizonyítékok lehívását.

A modell előzetes verziója nyilvánosan elérhető a Hugging Face-en. A benchmarkot a turbopuffer magánjellegűként tartja fenn, hogy csökkentse a tanítási szennyeződés kockázatát, és megőrizze értékét a haladás méréséhez. Értékelési kérelem céljából kérjük, lépjen kapcsolatba a turbopufferrel a contextbench@turbopuffer.com címen.

Dokumentum-, válasz- és bizonyíték-visszakeresési eredmények a context-bench-en — 1. ábra: Answer@K, Document@K, Evidence Recall@K és All-Evidence@10 a context-bench-en, összehasonlítva a Perplexity v2 preview 9B modellt a Voyage Context 4, a Voyage 4 Large és a Perplexity context v1 4B modellekkel.

A visszakeresési rendszerek jellemzően kisebb darabokra osztják a hosszú dokumentumokat, amelyek függetlenül indexelhetők és kereshetők. A darabolás a gyakorlatban kényelmes, de eltávolítja azt a kontextust, amelyben az egyes darabok eredetileg megjelentek, kompromisszumot teremtve az informáciömömörítés részletessége és a kódolás során használt kontextus között. Egy darab hivatkozhat egy korábban bemutatott egységre, örökölheti jelentését egy szakaszcímből, vagy támaszkodhat a dokumentum más részén található definíciókra. Kivonatolás után előfordulhat, hogy már nem tartalmaz elegendő információt ahhoz, hogy megbízhatóan lehessen egy lekérdezéshez illeszteni. Az egész dokumentum egyetlen vektorként történő kódolása ezt nem oldja meg, mivel az egyesített ábrázolás nem tudja hűen rögzíteni egy hosszú dokumentum minden arcát.

A kontextuális beágyazási modellek úgy kezelik ezt a korlátot, hogy minden darabot a környező tartalom kontextusában jelenítenek meg, leggyakrabban késői darabolás (late chunking) révén: a dokumentum egyetlen lépésben van kódolva, és a darabábrázolások utólag vannak összevonva, így minden darabvektor az egész dokumentum látványával kerül kiszámításra. A korábbi munkák, mint például a ConTEB és a saját pplx-embed-context-v1 modellünk, kimutatták, hogy a kontextualizált darabábrázolások jelentősen javítják a visszakeresést a függetlenül kódolt darabokhoz képest, különösen hosszú dokumentumokon.

A kontextuális beágyazási modellek tanítása olyan felügyeletet igényel, amely azonosítja, hogy a dokumentum mely részei relevánsak egy adott lekérdezéshez. Gyakoribb megközelítés az aranydarab-annotációk: minden egyes lekérdezéshez egy annotátor, jellemzően egy nagy nyelvi modell (LLM), azonosítja a dokumentumnak azt a darabját, amely válaszol rá.

A tanítás általában két kontrasztív veszteséget kombinál: egy dokumentumok közötti kontrasztív veszteséget, amely az aranydarabot más dokumentumok darabjaival állítja szembe, és egy dokumentum belüli veszteséget, amely azt ugyanazon dokumentum többi darabjával állítja szembe.

Ennek a megközelítésnek van néhány korlátja:

Csak egy darab releváns. A dokumentum minden más darabját negatívként kezeli, beleértve a hasznos alátámasztó információkat tartalmazókat is. A dokumentumszintű felügyelet a másik végleten működik. Relevánsként azonosítja a dokumentumot anélkül, hogy megadná, hogy azon belül mely darabok számítanak. A gyakorlatban a relevancia gyakran ezen végletek között helyezkedik el. A választ tartalmazó darab függhet néhány alátámasztó darabtól, amelyek bevezetnek egy egységet, feloldanak egy hivatkozást, vagy kiegészítő tényt szolgáltatnak, míg a dokumentum többi része irreleváns. Ezért a modellnek meg kell tanulnia a szelektivitás megfelelő szintjét: tágabb, mint egyetlen aranydarab, de fókuszáltabb, mint a dokumentum egészében.
Durva felügyelet. Mivel minden annotáció egyetlen aranydarabot azonosít ahelyett, hogy rögzítené a relevancia fokait a dokumentumon keresztül, korlátozott tanítási jeleket biztosít a létrehozására fordított számítási teljesítményhez.
Költséges skálázni. Minden egyes tanítási pár megköveteli, hogy egy LLM elolvassa a dokumentumot és kiválassza a releváns darabot, így az annotációs költség lineárisan nő a tanítási készlet méretével, és korlátozza, hogy mennyi és milyen változatos lehet a tanítási adat.
Érzékeny a darabhatárokra. A címkék az annotáció során használt darabhatárokhoz is kötődnek. A rögzített tokenméretű ablakhoz rendelt aranycímke nemspecifikálja, hogy mely rövidebb mondatok vagy hosszabb bekezdések relevánsak. A darabolási stratégia megváltoztatása, vagy a több daraboláson keresztüli tanítás a dokumentumok indexeléskor történő felosztásához való robusztusság javítása érdekében ezért szükségessé teheti a korpusz újbóli annotálását.

Az aranydarab-felügyelet korlátait úgy kezeljük, hogy relevanciapontszámokat vonunk ki egy lekérdezés-tudatos kontextustömörítési modellből. Ez a modell tanárként szolgál: közösen olvassa be a lekérdezést és a dokumentumot, és minden dokumentumtokenhez relevanciapontszámot rendel. Előrejelzései számos előnyt kínálnak a kontextuális beágyazások tanításához:

Rugalmas darabhatárok. A tokenszintű relevanciapontszámok bármilyen választott darabhatár mentén aggregálhatók, lehetővé téve, hogy ugyanazok a tanárelőrejelzések különböző darabolásokat felügyeljenek újbóli annotáció nélkül.
Folyamatos relevancia. A bináris aranydarab-címkékkel ellentétben a tanár olyan folyamatos pontszámokat biztosít, amelyek rögzítik a relevancia fokait, természetes módon megkülönböztetve a választ tartalmazó darabokat, az alátámasztó kontextust és az irreleváns tartalmat.
Alacsonyabb annotációs költség. A tanár kompakt és a relevanciaponozásra specializálódott, így a felügyelete skálán nagyságrenddel olcsóbb, mint egy általános célú LLM-é.

Modellünket a dokumentumszintű kontrasztív veszteség és a darabszintű desztillációs veszteség súlyozott összegével tanítjuk lekérdezés-dokumentum párok kötegein keresztül. Minden lekérdezéshez a párosított dokumentum szolgál pozitívként, míg ugyanazon köteg többi dokumentuma szolgál negatívként.

Minden köteghez véletlenszerűen kiválasztunk egy darabolási stratégiát, ennek megfelelően felosztjuk a dokumentumokat, és elválasztó tokeneket illesztünk be a darabok közé. Ezután minden dokumentumot egyetlen előrehaladó lépésben dolgozunk fel, és átlagoljuk az egyes darabokon belüli token-ábrázolásokat a kontextuális darab-beágyazások megszerzéséhez. A lekérdezéseket külön kódoljuk, tokenábrázolásaik átlagolásával. Végül kiszámítjuk a koszinusz-hasonlóságot minden egyes lekérdezési beágyazás és a köteg minden egyes darab-beágyazása között.

Míg beágyazási modellünk csak darabszintű hasonlóságokat állít elő, abból természetesen levezethetjük a dokumentumszintű hasonlóságokat. Egy d dokumentumot annyira tartunk relevánsnak egy q lekérdezéshez, mint a legrelevánsabb darabját. Ezt a pontozási szabályt a ColBERT MaxSim művelete ihlette, amelyet itt tokenek helyett darabokra alkalmaznak.

Konkrétan, adva van egy q lekérdezés egy q beágyazással és egy d dokumentum a c darabok rendezett listájaként c beágyazásokkal, a dokumentumszintű hasonlóságot a következőképpen definiáljuk:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

Ezeket a dokumentumszintű hasonlóságokat figyelembe véve megfogalmazhatunk egy dokumentumszintű InfoNCE célkitűzést a kötegelésen belüli negatívokkal szemben.

Egy q lekérdezés esetén jelölje d⁺ a releváns dokumentumát és 𝒟 a köteg dokumentumait. A kontrasztív veszteség a következő, a olvashatóság kedvéért elhagyva a hőmérsékleteket:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

A kontrasztív veszteség megtanítja a modellt arra, hogy melyik dokumentum releváns egy lekérdezéshez. A desztillációs veszteség azt tanítja meg, hogy hol helyezkedik el a relevancia ezen a dokumentumon belül, ami alapvető fontosságú egy kontextuális modell számára.

A tanítás során minden pozitív lekérdezés-dokumentum párt továbbítunk a kontextustömörítési modellünkhöz, amely a dokumentum minden egyes tokenjéhez relevanciapontszámot rendel. A dokumentumszintű pontozáshoz hasonlóan az egyes darabok relevanciáját a legrelevánsabb tartalmaikból származtatjuk. Az kiugró tokenekkel – beleértve a darabhatárokon lévőket is – szembeni érzékenység csökkentése érdekében a darabszintű relevanciát a darabon belüli felső n token pontszám átlagaként definiáljuk.

Minden egyes lekérdezéshez hőmérséklet-skálázott softmaxot alkalmazunk a tanár darabszintű relevanciapontszámaira a pozitív dokumentumon belül, hogy megkapjuk a céleloszlást. A köteg többi dokumentumában lévő darabok nulla célvalószínűséget kapnak. A beágyazási modellt úgy tanítjuk, hogy minimálisra csökkentse a cél és a jósolt eloszlás közötti előrehaladó KL-divergenciát a köteg összes darabján, hogy illeszkedjen ehhez a célhoz:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

Itt a T és S felső indexek a tanárt és a diákot jelölik, és rⱼ a tanár relevanciapontszáma a pozitív dokumentum d⁺ cⱼ darabjához. A tanár céleloszlása nulla valószínűséget rendel a köteg összes többi dokumentumában lévő darabokhoz.

Ellentétben egyetlen aranydarab-címkével, ez a cél rögzíti a relevancia fokait. Az alátámasztó darabok a tanár pontszámai szerint kapnak súlyt ahelyett, hogy negatívként lennének kezelve, megtanítva a modellt az alátámasztó kontextus, valamint a válasz visszakeresésére.

Kombinált tanítási célkitűzésünk a dokumentumszintű kontrasztív veszteség és a darabszintű desztillációs veszteség súlyozott összege. Ezt a súlyozott veszteséget átlagoljuk a lekérdezés-dokumentum párok kötegén.

A 2. ábra szemlélteti a tanítási megközelítésünket. A kontextustömörítő csak a tanítás során szolgál tanárként. A következtetési időben a beágyazási modell darabonként egy kontextuális beágyazást készít további tömörítési vagy újra-rangsorolási szakasz nélkül. A megközelítés javítja a kontextuális beágyazások tanulását anélkül, hogy növelné az indextárolást vagy hozzáadná a tanármodell késleltetését a visszakeresési időben.

Tanítási beállítás a kontextuális beágyazás desztillációjához — 2. ábra: Modellünk tanítási beállítása. A kontextuális kódoló (diák, balra) dokumentumokat dolgoz fel, amelyek mindegyike több darabból áll. Minden egyes darab a környező dokumentumkontextusára tekintettel van beágyazva. Az A lekérdezés az A dokumentum ismert egyezése, és az összes dokumentum darabjai ellen van pontozva a jósolt hasonlóságok elérése érdekében. Ezek a darabszintű pontszámok max-poolingolva vannak dokumentumszintű pontszámokká. A darabszintű előrejelzéseket és a dokumentumszintű előrejelzéseket úgy tanítjuk, hogy illeszkedjenek a céleloszlásokhoz (jobbra). A darabszintű célt a tanítás idején a kontextustömörítő előrejelzéseként számítják ki az ismert releváns dokumentumon belül, és nullára állítják az ismert irreleváns dokumentumokon belül. A dokumentumszintű céleloszlás egy-hot értékre van állítva az ismert releváns dokumentumon.

A tanítási adatok körülbelül 430 nyilvános és belső lekérdezés-dokumentum adatkészletből állnak, amelyek több mint 50 nyelvet fednek le.

Belső páros adatkészleteket építünk PII-szűrt termelési adatokból, valamint releváns lekérdezések szintetizálásával hosszú dokumentumokon keresztül. Minden előrehaladó lépéshez kiválasztunk egy adatkészletet, és mintát veszünk belőle egy teljes kötegből, hogy növeljük a kötegelésen belüli negatívok nehézségét, és elkerüljük a parancsikon szerinti tanulást. Tanítási adatkészleteink egyike sem tartalmaz darabszintű annotációkat: a dokumentumokon belüli felügyelet a tömörítési modellből származik, és a tanításhoz nem használunk ConTEB-adatokat. Ezenkívül a modell fejlesztése során semmilyen context-bench adat nem volt elérhető.

A modell egy belső, 9B paraméteres ColBERT visszakeresési modellből indul ki, és lineáris vetítési rétegen keresztül 2048 dimenziós beágyazásokat hoz létre. A darabhatárokat egy tanult <|chunk_sep|> tokennel jelöljük, és minden darab beágyazását a tokenbeágyazásainak átlagolásával képezzük. A lekérdezéseket ugyanez a modell kódolja, a tokenbeágyazásaikat egyetlen vektorba átlagolva.

A Matryoshka tanítást használjuk az 1024 és 2048 dimenziós beágyazások támogatásához, valamint a kvantálás-tudatos tanítást a natív int8 beágyazások támogatásához. A tanítás során fokozatosan növeljük a tanulási sebességet, állandó értéken tartjuk, majd csökkentjük.

A kiadott modell egy modellleves (model soup), amely átlagolja több ellenőrzőpont súlyait ugyancsak a tanítási futásból.

Az olyan nyilvános kontextuális visszakeresési benchmarkok, mint a ConTEB, osztoznak az aranydarab-felügyelet mögött meghúzódó feltételezésben: minden lekérdezéshez egyetlen releváns darab tartozik, és a modellt csak azért jutalmazzák, ha ezt a darabot helyezi az első helyre. Emellett öröklik annak korlátait is.

Először is, a ConTEB olyan feladatokon teszteli a visszakeresést, ahol egy darab a környező kontextus nélkül kétértelmű. Ezeken a feladatokon a kontextuális modellek jobban teljesítettek, mint azok a modellek, amelyek minden darabot függetlenül kódolnak. Azonban nem vizsgálja, hogy egy modell felszínre hozza-e a dokumentum egyéb részeit is, amelyek érthetővé teszik a darabot.

Másodszor, nem teszteli szisztematikusan, hogy megtalálható-e a megfelelő dokumentum, amikor ugyanazon korpusz csaknem azonos dokumentumai csak az egyébként azonos mondatot körülvevő kontextusban térnek el egymástól.

Mindkét képesség fontos, amikor a keresési ügynöknek vagy a felhasználónak egy egész dokumentum helyett néhány visszakeresett mondat alapján kell megértenie és ellenőriznie egy választ. Ezért hoztuk létre a context-bench-et, egy ellenőrzött benchmarkot a hosszú dokumentumok visszakereséséhez, amely úgy lett kialakítva, hogy megkülönböztesse a dokumentumkontextus használatát az általános visszakeresési minőségtől. Azt teszteli, hogy a kontextuális beágyazások felhasználják-e a dokumentum más részéből származó információkat három képesség támogatásához:

Dokumentumok egyértelműsítése: A helyes dokumentum azonosítása a szinte azonos alternatívák közül.
Válasz visszakeresése: Olyan választ tartalmazó darabok visszakeresése, amelyek jelentése a dokumentum más részein található részletektől függ.
Bizonyítékok visszakeresése: Olyan alátámasztó darabok visszakeresése, amelyek tisztázzák vagy alátámasztják a választ.

A context-bench 2099 lekérdezést és 38 894 dokumentumot tartalmaz. Mondathosszúságú darabokat használnak, ami összesen 2 458 072 darabot eredményez. A lekérdezések 21 tartományt fednek le, beleértve a vállalati jelentéseket, klinikai kutatásokat, utazást, szórakozást, oktatást, kormányzati szerveket, jogi szerződéseket és szoftverdokumentációt.

Minden egyes lekérdezés arra szolgál, hogy tesztelje a tizenkét kontextuális képesség egyikét. Az elsődleges céldokumentumok szándékosan hosszúak: az 1197 különböző elsődleges céldokumentum közül 1061 legalább 200 mondatból áll, medián hossza pedig körülbelül 6100 token. Minden lekérdezéshez pontosan egy helyes válasz tartozik a korpuszban. Ha ugyanazt a tényt egynél többször említik egy aranydokumentumban, például egy összefoglaló mondatban és egy táblázatsorban, ezen mondatok bármelyike válaszként fogadható el.

A válaszútvonal a válaszdarab és az értelmezéséhez vagy ellenőrzéséhez szükséges alátámasztó bizonyíték érvényes kombinációja. A 2099 lekérdezés közül az elsődleges céldokumentum válaszútvonalához 964 lekérdezés esetén egy bizonyítékcsoport, 735 esetén kettő, 332 esetén három vagy több, 68 esetén pedig egy sem tartozik. Az alternatív érvényes válaszútvonalak különböző bizonyítékcsoportokat igényelhetnek.

1. táblázat: Benchmark-statisztikák.

Statisztika	Érték
Lekérdezések	2 099
Dokumentumok	38 894
Mondatdarabok	2 458 072
Elsődleges céldokumentum medián hossza	6100 token
Tartományok	21
Bizonyítékcsoportok lekérdezésenként (elsődleges céldokumentum válaszútvonala)	1: 964; 2: 735; 3+: 332; nincs: 68

2. táblázat: A context-bench által tesztelt tizenkét kontextuális képesség szemléltető példákkal.

Képesség	Példalekérdezés	Válaszdarab	Szükséges dokumentumkontextus
1. Egységazonosítás	Mennyit költött a Northlake részvényvisszavásárlásra?	A vállalat 12,8 milliárd dollár értékben vásárolt vissza részvényeket.	A bevezetés a Northlake-et „a vállalatként” azonosítja. Egy hasonló Southlake-jelentés nem releváns.
2. Időszak vagy verzió	Melyik patron illik az M40 B felülvizsgálatához?	Telepítse a KC-42 patront.	Az alkalmazhatósági szakasz szerint ezek az utasítások a B, és nem a C felülvizsgálatra vonatkoznak.
3. Meghatározások és álnevek	Mekkora volt a kilépési aránya a 15 mg-os csoportnak?	A Zeta kilépési aránya 12,7% volt.	A jelentés a Zetát a 15 mg-os csoportként határozza meg. E meghatározás nélkül a részlet nem azonosítja a kért csoportot.
4. Táblázatszerkezet	Mennyi a Max modell akkumulátorkapacitása?	Tipikus kapacitás: 4250 \| 4700 \| 5150.	A táblázat fejléce a Mini \| Base \| Max értékeket határozza meg mAh-ban mérve. A válasz tehát 5150 mAh.
5. Feltételek és kivételek	Mennyi ideig tart az akkumulátor garanciája kereskedelmi használat esetén?	Az akkumulátorra vonatkozó lefedettség 18 hónapig tart.	Egy szakasz bevezetője erre a lefedettségre korlátozza a kereskedelmi telepítéseket; a háztartási telepítésekre más garancia vonatkozik.
6. Hivatkozások és névmások	Mikor lett Mara alpolgármester?	2021-ben lépett hivatalba.	Az előző narratíva megállapítja, hogy az „ő” Marára utal, nem pedig Elinre, akiről szintén szó esik.
7. Lista sorrendje és pozíciója	Melyik dal nyitotta a ráadást?	14. Lantern Road.	Egy másik megjegyzés szerint a 14–16. dalok alkották a ráadást. A 14. szám tehát a nyitódala.
8. Szakasz hatóköre	Milyen objektívet használtak a film operatőri munkájához?	Végig 35 mm-es fix objektívet használtak.	Ez a rész a „Fő fényképezés” részhez tartozik, nem pedig a nyilvánosságnak szánt fényképekről szóló külön szakaszhoz.
9. Beszélő hozzárendelése	Milyen újranyitási dátumot ígért a polgármester?	Június 12-én nyitunk újra.	A leirat a polgármestert azonosítja beszélőként. Ugyanezek a szavak egy vállalkozótól nem bizonyítanák a polgármester ígéretét.
10. Változások az idő múlásával	Milyen felmondási idő vonatkozott a májusi módosítás után?	A felmondási idő now 45 nap.	A módosítások története megállapítja, hogy ez a változás májusban lépett hatályba, felváltva a korábbi 30 napos szabályt.
11. Oki összefüggések	Miért állt meg a nyugati szivattyú?	Ez a hiba okozta a leállást.	A vizsgálat „azt a hibát” a nyugati szivattyú beszorult csapágyaként azonosítja, és megkülönbözteti azt egy független bemeneti elzáródástól.
12. Képes vagy nyelvek közötti jelentés	Képes beszéd: Mit szimbolizál „a téli szoba” a versben? Nyelvek közötti: Melyik alkatrész eltávolítására utasítja a technikusokat a francia nyelvű utasítás?	Képes beszéd: A száműzetést jelképezi, nem pedig egy fizikai szobát. Nyelvek közötti: Retirez le capot. (Távolítsa el a fedelet.)	Képes beszéd: A kommentár „azt” a versben visszatérő „téli szoba” képként azonosítja. Nyelvek közötti: Az útmutató szójegyzéke pontosítja, hogy a „capot” a védő motorházat jelenti, nem pedig a szállítási fedelet.

A tesztelt lekérdezések, dokumentumok és képességek a turbopuffer ügyfeleivel folytatott beszélgetésekből merítenek ihletet.

Példaként vegyük egy ingatlankezelő cég keresési igényeit. Ezeknek a cégeknek száz, sőt néha ezer bérleti szerződése van, amelyek csak a bérlők nevében, a dátumokban és néhány egyéb kulcsfontosságú részletben térnek el egymástól. Az ilyen adatkészletek gyakori lekérdezése lehet „mikor jár le az 5 park avenue bérleti szerződése, és mennyi a jelenlegi lakbér?”. A bérleti szerződések szintén hosszúak lehetnek, és a kritikus egyértelműsítő összetevők, amelyek megerősítik, hogy a megfelelő dokumentumot kérte le (mint például a dátum, a cím, a bérlő neve stb.), gyakran nagyon messze lehetnek a havi lakbér összegét tartalmazó kulcsfontosságú válaszmondattól. A gyakorlatban az olyan azonos mondatok, mint a „A havi lakbér $X,XXX.”, a korpusz számos dokumentumában előfordulhatnak.

Egy jó kontextuális beágyazási modellnek a dokumentum egészéből származó kontextust kell használnia a helyes dokumentum azonosításához, valamint a válasz és az azt alátámasztó mondatok visszakereséséhez. Ez lehetővé teszi a felhasználó vagy a keresési ügynök számára, hogy gyorsan ellenőrizze a választ, és megerősítse, hogy az a megfelelő dokumentumból származik.

Minden egyes lekérdezéshez „válasz” és „bizonyíték” mondatokat címkézünk fel a céldokumentumban. Egy modell teljesíti az „olvasói elégségesség” tesztünket, ha egy válaszmondatot kér le az egyes bizonyítékcsoportokból származó legalább egy mondattal együtt. Ezek a mondatok együtt elegendő kontextust biztosítanak ahhoz, hogy az olvasó alátámasztó bizonyítékokkal ellenőrizze a választ.

Ha a kontextuális beágyazási modellek ezt jól csinálják, drasztikusan csökkenthetik a keresési ügynökök által áttekintendő tokenek számát, valamint megkönnyíthetik a személy számára, hogy gyorsan megerősítse: megtalálta az eredeti lekérdezésére adott helyes választ anélkül, hogy el kellene olvasnia az egész dokumentumot.

Minden bizonyítékcsoportot helyre kell állítani, de a csoport alternatívái közül bármelyik elegendő a helyreállításához. Gyakran előfordul, hogy ugyanazt a tényt több helyen is említik ezekben a hosszú dokumentumokban. Ha csak egy mondatot kérünk le az egyes bizonyítékcsoportokból, az eleget tesz az olvasói elégségesség kritériumainak, és így tökéletes bizonyíték-visszahívásként fogadható el.

Minden dokumentum mondatokra van darabolva, és ugyanezeket a határokat használják az összes modellhez. Két feltételt vizsgálnak a nem kontextuális beágyazási modelleknél: az egyikben minden mondat beágyazása függetlenül történik, a másikban pedig az egész dokumentum egyetlen darabként van beágyazva.

A mondatszintű feltételt a válaszvisszahívás és a bizonyíték-visszahívás mérésére használjuk. Azt vizsgálja, hogy egy nem kontextuális modell képes-e azonosítani a helyes választ és az alátámasztó bizonyítékokat, ha az egyes mondatok beágyazása a környező dokumentum elérése nélkül történik. Ez szándékosan nagy kihívást jelent. Sok lekérdezésben magában a válaszmondatban nincsenek meg azok a részletek, amelyek alapján megkülönböztethető lenne a korpusz más részein található hasonló mondatoktól.

A dokumentumszintű feltételt dokumentum-visszahívási kiindulási alapként használjuk. Azt vizsgálja, hogy a finomszemcsés mondatbeágyazások elegendő visszakeresési előnyt nyújtanak-e ahhoz, hogy igazolják a dokumentumonkénti egy vektor tárolásához képesti további tárolási költségüket. A mondatszintű index lényegesen több vektort hoz létre, mint a dokumentumszintű index, így a költség indoklásához felül kell múlnia a dokumentumonképességi kiindulási alapot.

Minden értékelés kimerítő rangsorolást használ a mindössze 2 458 072 darab ellenében. A modellek közötti különbségek ezért a ábrázolásokat tükrözik, nem pedig az indexkonfigurációt. Három kulcsfontosságú metrikára összpontosítunk:

A Document@K definíciója:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

ahol az $d^{*}$ a legmagasabb rangú dokumentum a $D_q$ -ben.

Az Answer@K definíciója:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

ahol az $C_K(q)$ a felső $K$ darab a teljes korpuszon, és az $A_{q}$ az elfogadott válaszdarabok halmaza.

Az Evidence Recall@K mérése a $d^{*}$ -en belül a következőképpen történik: Rangsorolja a $d^{*}$ mondatait hasonlóság szerint, távolítsa el a legmagasabb rangú válaszmondatot, és legyen az $R_K(q)$ a megmaradó felső $K$ . Az $G_q=\{g_1,\ldots,g_m\}$ bizonyítékcsoportok esetében a $g_j$ csoport akkor helyreállított, ha valamelyik $E\in g_j$ alternatíva kielégíti az $E\subseteq R_K(q)$ feltételt, és

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

A Document@K azt kérdezi, hogy a kontextualizálás lehetővé teszi-e, hogy a helyes dokumentum megelőzze a testvéreit és a szókincsét megosztó figyelemelterelőket.

Az Answer@K azt kérdezi, hogy maga a válaszmondat a felső darabok közé tartozik-e.

Az Evidence Recall@K azt kérdezi, hogy az alátámasztó kontextus mekkora része áll helyre a helyes dokumentum legfelső K darabja között, miután kizártuk a legmagasabb rangú válaszdarabot. A válasz eltávolítása megakadályozza, hogy a bizonyíték-visszahívás kétszer számolja azt, amit az Answer@K már mér, és az összes $K$ helyet az alátámasztó kontextus számára hagyja. Annak megkövetelése, hogy az arany dokumentum a legjobb 10 visszakeresett dokumentum között legyen, azt jelenti, hogy egyetlen modell sem kap bizonyíték-krediteket olyan dokumentumért, amelyet nem hozott volna felszínre. Ezenkívül jelentjük az All-Evidence@K-t, azon lekérdezések arányát, amelyeknél minden csoport helyreállt.

Ezek a metrikák együtt bontják le a kontextuális beágyazási modellek előtt álló kihívásokat: a megfelelő dokumentum megtalálása, a megfelelő válasz megtalálása, és a minimális kontextus helyreállítása, amely bemutatja, hogy miért helyes a válasz.

A 3. ábra szemlélteti a metrikákat az ingatlankezelési példán keresztül.

Hogyan történik a context-bench dokumentum-, válasz- és bizonyíték-visszakeresés pontozása — 3. ábra: A context-bench metrikái egy bérleti lekérdezéssel illusztrálva. A Document@K a helyes dokumentum visszakeresését teszteli; az Answer@K a válaszdarab visszakeresését teszteli; az Evidence Recall@K a céldokumentumunkon belüli alátámasztó bizonyítékcsoportok helyreállítását méri. Ebben a példában a bérleti díj ellenőrzéséhez szükség van a címre és a bérleti évre vonatkozó bizonyítékra is. A bizonyíték-visszahívás kizárja a legfelső válaszdarabot, és megköveteli, hogy a céldokumentum a legjobb 10 közé kerüljön.

Modellünket négy fronton értékeljük a kontextuális és nem kontextuális beágyazási modellekkel szemben.

Kontextuális kiindulási alapjaink a pplx-embed-context-v1-4B és a voyage-context-4. Nem kontextuális kiindulási alapjaink a voyage-4-large és az NVIDIA Nemotron-3-Embed-8B-BF16 modellje, amelyek a darabokat függetlenül kódolják. A kiindulási alapok halmaza kísérletenként eltérő, amint az az egyes ábrákon látható.

A context-bench-csel kezdjük, amely közvetlenül teszteli azokat a képességeket, amelyek ezt a munkát motiválják, majd beszámolunk a ConTEB-en, a kontextuális beágyazások szabványos nyilvános benchmarkján elért eredményekről. Annak ellenőrzésére, hogy ezek a nyereségek nem az általános visszakeresési minőség rovására történnek, értékeljük a nyilvános adatkészletekből összeállított tartomány-specifikus dokumentum- és darab-visszakeresési benchmarkokat is. Végül megvizsgálunk két gyakorlati tulajdonságot a bevezetéshez: a visszakeresési minőség és a vektoronkénti tárolási költségek arányát, valamint az indexeléskor használt darabmérettel szembeni érzékenységet. Minden értékelés legfeljebb 32 768 tokent kódol egyetlen lépésben.

Amint azt a bevezetőben szereplő 1. ábra mutatja, előzetes verziónk az Answer@K és az Evidence Recall@K terén minden jelentett küszöbértéknél az élen jár, csakúgy, mint az All-Evidence@10 terén. K = 10 esetén 45,5%-os válaszvisszahívást, 40,6%-os bizonyíték-visszahívást és 31,1%-os összesített bizonyíték-visszahívást ér el. Emellett a Document@1 és a Document@10 terén is vezet, eléri a 15,2%-ot, illetve a 61,6%-ot. K = 10 esetén az előzetes verziónk 14,4 százalékponttal előzi meg a voyage-context-4 modellt válaszvisszahívásban és 5,0 ponttal bizonyíték-visszahívásban.

Előnézeti modellünk éri el a legmagasabb átlagos nDCG@10 értéket a ConTEB-en a 4. ábrán látható modellek közül. Nem vezeti az összes feladatot: a pplx-context-v1-4B magasabb pontszámot ér el a NarrativeQA-n, míg a Nemotron-3-8B éri el a legmagasabbat a COVID-QA-n. Amint azt a fő szerzők is rámutattak a ConTEB-cikkben, a COVID-QA főként olyan lekérdezés-darab párosításokat tartalmaz, amelyek nagymértékben kivonatolók, és egyszerű felszíni lexikális egyezéssel kielégíthetők a technikai orvosi szakkifeizések terén. Ennek eredményeként a kontextus megértése kevésbé hasznos ehhez a feladathoz, és a nem kontextuális modellek jellemzően felülmúlják a kontextuálisakat.

Feladatszintű nDCG 10-nél a ConTEB-en — 4. ábra: Feladatszintű nDCG@10 a ConTEB-en a lekérdezés-darab beállításban. Az átlag a nyolc feladat súlyozatlan átlaga.

A kontextuális beágyazásokhoz tervezett benchmarkokon túl felmérjük modellünk tartomány-specifikus teljesítményét.

A lekérdezés-darab (Q2C) csomagunk MTEB-feladatokat, például a LegalBench-et és a FinanceBench-et használ a nyilvános adatkészletekből kurált további visszakeresési feladatok mellett. Az egyes releváns dokumentumokon belül egy darab akkor van relevánsként címkézve, ha a pontos választartományt tartalmazza, amikor a feladat biztosít ilyet, egyébként pedig egy LLM ítéli meg a lekérdezéshez való relevanciáját. A lekérdezés-dokumentum (Q2D) csomag ugyanezeket a feladatokat használja, és pontozza, hogy a releváns dokumentum lekérdezésre kerül-e.

Modellünk éri el a legmagasabb átlagos pontszámot a darab-visszakeresésben az 5. ábrán, és vezet a jogi, technikai és egészségügyi területeken. Nem vezet minden tartományban: a voyage-context-4 magasabb pontszámot ér el a pénzügyi és a többnyelvű visszakeresésben, a Nemotron-3-8B pedig a beszélgetés-visszakeresésben ér el a legmagasabbat. A dokumentum-visszakeresésben a 6. ábrán modellünk átlagosan kissé a voyage-context-4 alatt pontoz, miközben vezet a technikai területen. A pplx-context-v1-4B kiindulási alap átlagosan alacsonyabb pontszámot ér el mindkét csomagban, ami összhangban van azzal, hogy azt csak a ConTEB tanítási készletén tanították be, mutatva, hogy az egyik benchmark aranydarabjaihoz kötött felügyelet rosszul ültethető át más tartományokba.

Lekérdezés-darab visszakeresési pontszámok tartományok szerint — 5. ábra: Átlagos nDCG@10 a lekérdezés-darab (Q2C) feladatokon, tartományok szerint csoportosítva. A tartományoszlopok az adott tartomány feladatszintű pontszámainak súlyozatlan átlagai; az összesített átlag az összes megjelenített feladat súlyozatlan átlaga.

Lekérdezés-dokumentum visszakeresési pontszámok tartományok szerint — 6. ábra: Átlagos visszakeresési pontszám a lekérdezés-dokumentum (Q2D) feladatokon, tartományok szerint csoportosítva. Az egyes oszlopok egy tartományon belül a feladatszintű fő pontszámok súlyozatlan átlagai; az összesített átlag az összes megjelenített feladat súlyozatlan átlaga.

Egy kontextuális beágyazási modell darabonként egy vektort hoz létre, így a modellünkkel felépített index pontosan annyi vektort tartalmaz, mint egy hagyományos darabszintű index ugyanezzel a darabolási stratégiával. A kontextualizálás azt változtatja meg, amit az egyes vektorok kódolnak, nem pedig azt, hogy hány vektort tárolnak. A tárolási lábnyomot ezért az egyes vektorok mérete határozza meg. A modell két módot kínál ennek csökkentésére: a beágyazás 2048-ról 1024 dimenzióra való csonkítását és int8-ra történő kvantálását.

A 7. ábra kedvező kompromisszumot mutat a visszakeresési minőség és a vektortárolás között. 1024 dimenzióban az int8 beágyazásaink vektoronként 1 KB-ot használnak, miközben 2048 dimenziós float32-ben kicsit felülmúlják a voyage-context-4 darab-visszakeresési pontszámát, amely vektoronként 8 KB-ot használ. A beágyazási méret 2048 dimenzióra növelése tovább növeli a visszakeresési minőséget vektoronkénti 2 KB mellett. Ezek a tárolási adatok magukra a vektorokra vonatkoznak, nem az index többi részére.

Darab-visszakeresési minőség a vektoronkénti tároláshoz képest — 7. ábra: Darab-visszakeresési minőség (átlagos nDCG@10) a vektoronkénti tárolás függvényeként. A folytonos vonalak a float32-t, a szaggatott vonalak pedig az int8-at jelölik; a címkék a beágyazási dimenziót adják meg.

A 8. ábra csak csekély változást mutat a visszakeresési minőségben, ahogy a darabméret 64-ről 512 tokenre nő: az átlagos pontszám 81,0%-ról 79,9%-ra esik, ami 1,1 százalékpontos csökkenést jelent. Ez azt sugallja, hogy a modell hatékony marad a tesztelt darabméreteken keresztül, rugalmasságot biztosítva az indexelési folyamatoknak a dokumentumok felosztása terén.

Darabméret-érzékenység: visszakeresési pontszámok 64–512 tokenes darabokhoz — 8. ábra: Modellünk darabméret-érzékenysége. Minden egyes pont az átlagos nDCG@10 74 MTEB-feladaton keresztül, az adott darabméretben indexelt dokumentumokkal.

A turbopuffer magánál tartja a context-bench teljes korpuszát, lekérdezéseit és címkéit, és jelentést készít a beküldött modellek eredményeiről. Az ilyen jellegű nyilvános benchmark ösztönzi a lekérdezésein és dokumentumain való közvetlen betanítást, ami fokozatosan telítené azt, és csökkentené az időbeli előrehaladás nyomon követésére szolgáló értékét. Ha szeretné, hogy modelljét értékeljék a benchmarkon, kérjük, vegye fel a kapcsolatot a turbopufferrel a contextbench@turbopuffer.com címen.

Modellünk előzetes verziója elérhető a Hugging Face-en, és ebben a bejegyzésben az összes eredmény ehhez az előnézethez kapcsolódik. Dolgozunk azon, hogy a modell elérhetővé váljon a Perplexity API-n keresztül, valamint azon, hogy a turbopufferrel együtt tovább javítsuk a hosszú dokumentumok visszakeresését.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

Bevezetés

Miért számít a kontextus a visszakeresésnél

Az aranydarab-felügyelet korlátai

Új megközelítés a kontextuális tanuláshoz

Veszteségfüggvény

Dokumentumszintű kontrasztív veszteség

Darabszintű desztillációs veszteség

Kombinált veszteség

Tanítási adatok

Tanítási beállítás

Új benchmark a darabszintű visszakereséshez

Dokumentumok és lekérdezések

Válasz- és bizonyítékcímkék

Metrikák

Értékelési eredmények

Context-bench

ConTEB

Általános visszakeresési minőség a tartományok között

Visszakeresési minőség és tárolási költségek

Darabméret-érzékenység

Kiadás

Idézet