Kontekstuell innleiring utover gullpassasjen

Kontekstuelle innleiringer fanger opp betydningen av hver passasje eller binge i konteksten av hele dokumentet. Treningen og evalueringen deres antar typisk en enkelt relevant binge per spørring, kjent som «gullpassasjen». En gullpassasje er imidlertid ofte ikke nok i praksis. Den kan inneholde svaret, men mangle den støttende konteksten som trengs for å forstå eller verifisere det, noe som gjør den tvetydig isolert sett.

Vi introduserer pplx-embed-v2-context-9b-preview, vår nye modell for kontekstuell innleiring. Modellen trenes med en ny tilnærming som bruker Perplexitys kontekstkomprimeringsmodell som lærer. Vi aggregerer dens token-nivå-prediksjoner til binge-nivå-relevanspoengsummer, og lærer opp innleiringsmodellen til å hente både svarbinger og støttekontekst i stedet for en enkelt gullbinge. Modellen produserer én innleiring per binge uten ekstra slutningskostnad og støtter 1024-dimensjonale og int8-innleiringer.

Den oppnår toppmoderne resultater på context-bench, en ny referansetest for kontekstbevisst henting opprettet og holdt privat av turbopuffer, og på ConTEB, en mye brukt offentlig referansetest. Modellen vår ble utviklet uavhengig av context-bench og evaluert som en blind innsending.

Context-bench består av 2 099 spørringer over 38 894 lange dokumenter på 21 domener og evaluerer tre evner til kontekstuelle innleiringer: dokumenttvetydighetsløsning blant nesten-duplikatdokumenter, henting av gullbinger hvis betydning avhenger av fjern kontekst, og gjenfinning av støttebeviset som kreves for å verifisere et svar.

En forhåndsvisning av modellen er offentlig tilgjengelig på Hugging Face. Referansetesten holdes privat av turbopuffer for å redusere risikoen for treningskontaminering og bevare dens verdi for måling av fremgang. For å beby om en evaluering, vennligst kontakt turbopuffer på contextbench@turbopuffer.com.

Resultater for dokument-, svar- og bevishenting på context-bench — Figur 1: Answer@K, Document@K, Evidence Recall@K og All-Evidence@10 på context-bench, som sammenligner Perplexity v2 preview 9B med Voyage Context 4, Voyage 4 Large og Perplexity context v1 4B.

Hentingssystemer deler typisk lange dokumenter inn i mindre binger som kan indekseres og søkes i uavhengig. Binging er praktisk i praksis, men det fjerner konteksten som hver binge opprinnelig dukket opp i, og skaper en avveining mellom granulariteten til informasjonskompresjon og konteksten som brukes under kodingen. En binge kan referere til en enhet introdusert tidligere, arve sin betydning fra en seksjonsoverskrift, eller stole på definisjoner som finnes andre steder i dokumentet. Når den først er trukket ut, inneholder den kanskje ikke lenger nok informasjon til å bli matchet på en pålitelig måte mot en spørring. Å kode hele dokumentet som en enkelt vektor løser ikke dette, siden én samlet representasjon ikke trofast kan fange opp hver fasett av et langt dokument.

Modeller for kontekstuell innleiring adresserer denne begrensningen ved å representere hver binge i konteksten av sitt omliggende innhold, vanligvis gjennom sen binging: dokumentet kodes i en enkelt gjennomgang og bingerepresentasjoner samles i etterkant, slik at hver bingevektor beregnes med hele dokumentet i synet. Tidligere arbeid, som ConTEB og vår egen pplx-embed-context-v1, har vist at kontekstualiserte bingerepresentasjoner forbedrer henting over uavhengig kodede binger betraktelig, spesielt på lange dokumenter.

Å trene modeller for kontekstuell innleiring krever veiledning som identifiserer hvilke deler av et dokument som er relevante for en gitt spørring. En vanlig tilnærming er gullbing-annoteringer: for hver spørring identifiserer en annotator, vanligvis en stor språkmodell (LLM), bingen av dokumentet som besvarer den.

Trening kombinerer vanligvis to kontrastive tap: et kryssdokument-tap som setter gullbingen opp mot binger fra andre dokumenter, og et internt-dokument-tap som setter den opp mot de andre bingene i det samme dokumentet.

Denne tilnærmingen har noen begrensninger:

Bare én binge er relevant. Den behandler hver annen binge i dokumentet som en negativ, inkludert de med nyttig støtteinformasjon. Veiledning på dokumentnivå opererer i den andre ytterkanten. Den identifiserer dokumentet som relevant uten å spesifisere hvilke binger i det som betyr noe. I praksis ligger relevans ofte mellom disse ytterkantene. Den svrbærende bingen kan avhenge av noen få støttebinger som introduserer en enhet, løser en referanse eller leverer en komplementær faktaopplysning, mens resten av dokumentet er irrelevant. Modellen må derfor lære det rette nivået av selektivitet: bredere enn en enkelt gullbinge, men mer fokusert enn dokumentet som en helhet.
Grov veiledning. Fordi hver annotering identifiserer en enkelt gullbinge i stedet for å fange opp grader av relevans på tvers av dokumentet, gir den begrensede treningssignaler for mengden datakraft brukt på å produsere den.
Kostbart å skalere. Hvert treningspar krever at en LLM leser dokumentet og velger ut den relevante bingen, slik at annoteringskostnaden vokser lineært med størrelsen på treningssettet og setter et tak for hvor mye og hvor mangfoldig treningsdataene kan være.
Sensitiv for binggrenser. Etikettene er også knyttet til binggrensene som ble brukt under annoteringen. En gulletikett tilordnet et fast token-størrelsesvindu spesifiserer ikke hvilke kortere setninger eller lengre avsnitt som er relevante. Å endre bingingsstrategien, eller trene på tvers av flere binger for å forbedre robustheten med hensyn til hvordan dokumenter deles opp ved indekseringstidspunktet, kan derfor kreve å annotere korpuset på ny.

Vi adresserer begrensningene til gullbing-veiledning ved å destillere relevansvurderinger fra en spørringsbevisst kontekstkomprimeringsmodell. Denne modellen fungerer som en lærer: den leser spørringen og dokumentet i fellesskap og tildeler hvert dokumenttoken en relevanspoengsum. Prediksjonene dens tilbyr flere fordeler for trening av kontekstuelle innleiringer:

Fleksible binggrenser. Token-nivå-relevanspoengsummer kan aggregeres over alle valgte binggrenser, slik at de samme lærerprediksjonene kan veilede ulik binging uten ny annotering.
Kontinuerlig relevans. I motsetning til binære gullbingetiketter gir læreren kontinuerlige poengsummer som fanger opp grader av relevans som naturlig skiller svarbærende binger, støttende kontekst og irrelevant innhold.
Lavere annoteringskostnad. Læreren er kompakt og spesialisert på relevanspoengsetting, noe som gjør den langt billigere å veilede i skala enn en generell LLM.

Vi trener modellen vår med en veiet sum av et kontrastivt tap på dokumentnivå og et destillasjonstap på binge-nivå over partier av spørring-dokument-par. For hver spørring fungerer det parede dokumentet som det positive, mens de gjenværende dokumentene i det samme partiet fungerer som negative.

For hvert parti velger vi tilfeldig en bingingsstrategi, deler opp dokumentene deretter og setter inn skilletegn mellom binger. Vi behandler deretter hvert dokument i en enkelt framoverretning og tar gjennomsnittet av tokenrepresentasjonene i hver binge for å oppnå kontekstuelle bingeinnleiringer. Spørringer kodes separat, med gjennomsnittsberegning over tokenrepresentasjonene deres. Til slutt beregner vi cosinuslikheten mellom hver spørringsinnleiring og hver bingeinnleiring i partiet.

Selv om innleiringsmodellen vår bare produserer binge-nivå-likheter, kan vi naturlig avlede dokumentnivå-likheter fra dem. Vi anser et dokument d for å være like relevant for en spørring q som dets mest relevante binge. Denne poengsetningsregelen er inspirert av MaxSim-operasjonen til ColBERT, brukt her på binger i stedet for token.

Nærmere bestemt, gitt en spørring q med innleiring q og et dokument d som en ordnet liste over binger c med innleiringer c, definerer vi likheten på dokumentnivå som:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

Gitt disse likhetene på dokumentnivå, kan vi formulere et InfoNCE-mål på dokumentnivå over partivis negative.

For en spørring q, la d⁺ betegne det relevante dokumentet og 𝒟 dokumentene i partiet. Det kontrastive tapet er som følger, der temperaturer utelates for lesbarhet:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

Det kontrastive tapet lærer opp modellen til hvilke dokumenter som er relevante for en spørring. Destillasjonstapet lærer den hvor relevansen ligger innenfor det dokumentet, noe som er avgjørende for en kontekstuell modell.

Under treningen sender vi hvert positive spørring-dokument-par til vår kontekstkomprimeringsmodell, som tildeler en relevanspoengsum til hvert token i dokumentet. Som med poengsetting på dokumentnivå, avleder vi hver binges relevans fra det mest relevante innholdet i den. For å redusere sensitiviteten for avvikende token, inkludert de ved binggrenser, definerer vi relevans på binge-nivå som gjennomsnittet av de øverste n token-poengsummene i bingen.

For hver spørring anvender vi en temperatur-skalert softmax på lærerens binge-nivå-relevanspoengsummer i det positive dokumentet for å oppnå en måldistribusjon. Binger i de andre dokumentene i partiet mottar null målsannsynlighet. Vi trener innleiringsmodellen til å matche dette målet ved å minimere framover-KL-divergensen mellom målet og den predikerte distribusjonen over alle binger i partiet:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

Her indikerer hevet skrift T og S læreren og eleven, og rⱼ er lærerens relevanspoengsum for binge cⱼ i det positive dokumentet d⁺. Lærerens måldistribusjon tildeler null sannsynlighet til binger i alle andre dokumenter i partiet.

I motsetning til en enkelt gullbingetikett fanger dette målet opp grader av relevans. Støttebinger mottar vekt i henhold til lærerens poengsummer i stedet for å bli behandlet som negative, noe som lærer opp modellen til å hente støttekontekst i tillegg til svaret.

Vårt kombinerte treningsmål er en veiet sum av det kontrastive tapet på dokumentnivå og destillasjonstapet på binge-nivå. Vi tar gjennomsnittet av dette veiede tapet over partiet av spørring-dokument-par.

Figur 2 illustrerer treningsmetoden vår. Kontekstkomprimatoren fungerer som lærer bare under treningen. Ved slutningstidspunktet produserer innleiringsmodellen én kontekstuell innleiring per binge, uten ekstra komprimerings- eller omrangeringsfase. Tilnærmingen forbedrer hvordan kontekstuelle innleiringer læres uten å øke indekslagringen eller legge til lærermodellforsinkelse ved hentingstidspunktet.

Treningsoppsett for destillasjon av kontekstuell innleiring — Figur 2: Treningsoppsettet for modellen vår. Den kontekstuelle encoderen (elev, venstre) behandler dokumenter, som hver består av flere binger. Hver binge innleires med hensyn til sin omliggende dokumentkontekst. Spørring A er en kjent match for Dokument A og poengsettes mot binger i alle dokumenter for å oppnå predikerte likheter. Disse binge-nivå-poengsummene samles med maks-pooling til dokumentnivå-poengsummer. Vi trener binge-nivå-prediksjoner og dokumentnivå-prediksjoner til å matche måldistribusjoner (høyre). Binge-nivå-målet beregnes ved treningstidspunktet som prediksjonen til kontekstkomprimatoren i det kjente relevante dokumentet og settes til null i de kjente irrelevante dokumentene. Måldistribusjonen på dokumentnivå settes til å være én-varm (one-hot) på det kjente relevante dokumentet.

Treningsdataene består av omtrent 430 offentlige og interne spørring-og-dokument-datasett som dekker over 50 språk.

Vi konstruerer interne pardatasett fra PII-filtrerte produksjonsdata og ved å syntetisere relevante spørringer over lange dokumenter. For hver framoverretning velger vi ett datasett og samler et helt parti fra det for å øke vanskelighetsgraden for partivis negative og unngå snarveislæring. Ingen av treningsdatasettende våre bærer bing-nivå-annoteringer: all veiledning innen dokumentet kommer fra komprimeringsmodellen, og ingen ConTEB-data brukes til trening. Dessuten var ingen context-bench-data tilgjengelig under modellutviklingen.

Modellen starter fra en intern 9B-parameters ColBERT-hentemodell og produserer 2048-dimensjonale innleiringer gjennom et lineært projeksjonslag. Vi markerer binggrenser med et innlært <|chunk_sep|>-tegn og danner hver bingeinnleiring ved å ta gjennomsnittet av teginnleiringene dens. Spørringer kodes av den samme modellen, med teginnleiringene deres gjennomsnittset til en enkelt vektor.

Vi bruker Matryoshka-trening for å støtte både 1024- og 2048-dimensjonale innleiringer, og kvantiseringsbevisst trening for å støtte native int8-innleiringer. Under treningen øker vi læringsraten gradvis, holder den konstant, og reduserer den deretter.

Den utgitte modellen er en modellsuppe som tar gjennomsnittet av vektene til flere sjekkpunkter fra den samme treningskjøringen.

Offentlige kontekstuelle hentingsreferansetester som ConTEB deler antagelsen bak gullbing-veiledning: hver spørring har en enkelt relevant binge og en modell belønnes bare for å rangere den bingen først. De arver også dens begrensninger.

For det første tester ConTEB henting på oppgaver der en binge er tvetydig uten sin omliggende kontekst. På disse oppgavene presterte kontekstuelle modeller bedre enn modeller som koder hver binge uavhengig. Den spør imidlertid ikke om en modell også viser de andre delene av dokumentet som gjør bingen forståelig.

For det andre tester den ikke systematisk om det rette dokumentet kan bli funnet når tilnærmet identiske dokumenter i det samme korpuset bare skiller seg i konteksten som omgir en ellers identisk setning.

Begge evnene betyr noe når en søkeagent eller bruker må forstå og verifisere et svar fra noen få hentede setninger i stedet for et hele dokument. Vi bygget derfor context-bench, en kontrollert referansetest for henting over lange dokumenter, utformet for å skille bruken av dokumentkontekst fra generell hentingskvalitet. Den tester om kontekstuelle innleiringer bruker informasjon fra andre steder i et dokument for å støtte tre evner:

Dokumenttvetydighetsløsning: Identifiser det korrekte dokumentet blant nesten identiske alternativer.
Svarhenting: Hent svrbærende binger hvis betydning avhenger av detaljer andre steder i dokumentet.
Bevishenting: Hent støttebinger som klargjør eller underbygger svaret.

Context-bench inneholder 2 099 spørringer og 38 894 dokumenter. Setningslengde-binger brukes, noe som resulterer i totalt 2 458 072 binger. Spørringene dekker 21 domener, inkludert bedriftsinnleveringer, klinisk forskning, reise, underholdning, utdanning, offentlig sektor, juridiske kontrakter og programvaredokumentasjon.

Hver spørring er utformet for å teste en av tolv kontekstuelle evner. De primære måldokumentene er med vilje lange: 1 061 av de 1 197 distinkte primære måldokumentene har minst 200 setninger, med en medianlengde på omtrent 6 100 token. Hver spørring har nøyaktig ett korrekt svar i korpuset. Der den samme faktaopplysningen oppgis mer enn én gang i et gulldokument, for eksempel i en sammendragssetning og en tabellrad, godtas hvilken som helst av disse setningene som svar.

En svarvei er én gyldig kombinasjon av en svrbinge og støttebeviset som trengs for å tolke eller verifisere den. På tvers av de 2 099 spørringene har den primære måldokumentets svarvei én bevisgruppe for 964 spørringer, to for 735, tre eller flere for 332, og ingen for 68. Alternative gyldige svarveier kan kreve forskjellige bevisgrupper.

Tabell 1: Statistikk for referansetest.

Statistikk	Verdi
Spørringer	2 099
Dokumenter	38 894
Setningsbinger	2 458 072
Median lengde for primært måldokument	6 100 token
Domener	21
Bevisgrupper per spørring (svarvei for primært måldokument)	1: 964; 2: 735; 3+: 332; ingen: 68

Tabell 2: Tolv kontekstuelle evner testet av context-bench, med illustrative eksempler.

Evne	Eksempel på spørring	Svarbeting	Påkrevd dokumentkontekst
1. Enhetsidentitet	Hvor mye brukte Northlake på aksjetilbakekjøp?	Selskapet kjøpte tilbake aksjer for 12,8 milliarder dollar.	Introduksjonen identifiserer Northlake som «selskapet». En lignende rapport for Southlake er ikke relevant.
2. Periode eller versjon	Hvilken patron passer til M40 revisjon B?	Installer KC-42-patronen.	Bruksområdeseksjonen sier at disse instruksjonene dekker revisjon B, ikke revisjon C.
3. Definisjoner og aliaser	Hvilken utmeldingsrate hadde 15 mg-gruppen?	Zeta hadde en utmeldingsrate på 12,7 %.	Rapporten definerer Zeta som 15 mg-gruppen. Uten den definisjonen identifiserer ikke bingen den forespurte gruppen.
4. Tabellstruktur	Hva er batterikapasiteten til Max-modellen?	Typisk kapasitet: 4 250 \| 4 700 \| 5 150.	Tabellhodeseksjonen etablerer Mini \| Base \| Max, målt i mAh. Svaret er derfor 5 150 mAh.
5. Betingelser og unntak	Hvor lenge varer batteridekningen for kommersiell bruk?	Batteridekningen varer i 18 måneder.	En seksjonsintroduksjon begrenser denne dekningen til kommersielle installasjoner; husholdningsinstallasjoner har en annen garanti.
6. Referanser og pronomen	Når ble Mara viseordfører?	Hun tiltrådte i 2021.	Den foregående fortellingen slår fast at «hun» refererer til Mara, ikke Elin, som også omtales.
7. Listeorden og plassering	Hvilken sang åpnet ekstraomgangen?	14. Lantern Road.	En merknad et annet sted sier at sang 14–16 utgjorde ekstraomgangen. Spor 14 er derfor dens åpningssang.
8. Seksjonsomfang	Hvilken linse ble brukt til filmens kinematografi?	En 35 mm fastlinse ble brukt over hele.	Denne passasjen tilhører «Hovedfotografering», ikke den separate seksjonen om publicity-fotografier.
9. Talertilordning	Hvilken gjenåpningsdato lovet ordføreren?	Vi gjenåpner 12. juni.	Transkripsjonen identifiserer ordføreren som taleren. De samme ordene fra en entreprenør ville ikke fastslå ordførerens løfte.
10. Endringer over tid	Hvilken varslingsfrist gjaldt etter mai-endringen?	Varslingsfristen er nå 45 dager.	Endringshistorikken slår fast at denne endringen trådte i kraft i mai, og erstattet den tidligere 30-dagersregelen.
11. Årsakssammenhenger	Hvorfor stoppet den vestlige pumpen?	Den feilen forårsaket nedstengningen.	Undersøkelsen identifiserer «den feilen» som et fastlåst lager i den vestlige pumpen, og skiller det fra en urelatert inntakstilstoppelse.
12. Billedlig eller tverrspråklig betydning	Billedlig: Hva symboliserer «vinterrommet» i diktet? Tverrspråklig: Hvilken komponent ber den franske instruksjonen teknikeren om å fjerne?	Billedlig: Det representerer eksil, snarere enn et fysisk rom. Tverrspråklig: Retirez le capot. (Fjern dekselet.)	Billedlig: Kommentaren identifiserer «det» som diktets tilbakevendende «vinterrom»-bilde. Tverrspråklig: Guidens ordliste spesifiserer at «capot» betyr det beskyttende motorpanseret, ikke fraktdekselet.

Spørringene, dokumentene og evnene som testes er inspirert av samtaler med turbopuffers kunder.

For å nevne ett eksempel, vurder søkebehovene til et eiendomsforvaltningsfirma. Disse firmaene har hundrevis, noen ganger tusenvis av leieavtaler som bare skiller seg i leietakernes navn, datoer og noen få andre nøkkeldetaljer. En vanlig spørring for det datasettet kan være «når utløper 5 park avenues leieavtale og hva er den nåværende leien?». Leieavtaler kan også være langvarige, og de kritiske oppklarende komponentene som vil bekrefte at du har hentet det rette dokumentet (som dato, adresse, leietakernavn osv.) kan ofte være svært langt unna nøkkelsvarsetningen som inneholder beløpet for månedlig leiebetaling. I praksis kan identiske setninger som «Månedlig leie er $X,XXX.» forekomme på tvers av mange dokumenter i korpuset.

En god modell for kontekstuell innleiring bør bruke kontekst fra hele dokumentet for å identifisere det korrekte dokumentet og hente både svaret og dets støttesetninger. Dette lar en bruker eller søkeagent raskt verifisere svaret og bekrefte at det kommer fra det rette dokumentet.

For hver spørring etiketterer vi «svar»- og «bevis»-setninger i måldokumentet. En modell består «lesertilstrekkelighets»-testen vår hvis den henter en svarssetning sammen med minst én setning fra hver bevisgruppe. Tilsammen gir disse setningene nok kontekst til at en leser kan verifisere svaret med støttebevis.

Når modeller for kontekstuell innleiring gjør dette godt, kan de dramatisk redusere antall token søkeagenter trenger å gjennomgå, samt gjøre det mye enklere for en person raskt å bekrefte at de har funnet det korrekte svaret på sin opprinnelige spørring uten å måtte lese hele dokumentet.

Hver bevisgruppe må gjenvinnes, men et hvilket som helst av en gruppes alternativer er nok til å gjenvinne den. Det er vanlig å se den samme faktaopplysningen oppgitt flere steder på tvers av disse langvarige dokumentene. Å hente bare én setning fra hver bevisgruppe oppfyller kriteriene for lesertilstrekkelighhet og vil slik sett bli akseptert som perfekt bevisgjenfinning.

Hvert dokument deles inn i setningsbinger, og de samme grensene brukes for alle modeller. To betingelser testes for ikke-kontekstuelle innleiringsmodeller: én der hver setning innleires uavhengig og en annen der hele dokumentet innleires som en enkelt binge.

Vi bruker setningsnivåbetingelsen til å måle svargjenfinning og bevisgjenfinning. Den tester om en ikke-kontekstuell modell kan identifisere det korrekte svaret og støttebeviset når hver setning innleires uten tilgang til det omliggende dokumentet. Dette er med vilje utfordrende. I mange spørringer mangler svarssetningen alene detaljene som trengs for å skille den fra lignende setninger andre steder i korpuset.

Vi bruker dokumentnivåbetingelsen som en referanselinje for dokumentgjenfinning. Den tester om finkornede setningsinnleiringer gir nok hentingsfordel til å rettferdiggjøre deres ekstra lagringskostnad i forhold til å lagre én vektor per dokument. En indeks på setningsnivå oppretter vesentlig flere vektorer enn en indeks på dokumentnivå, så den bør prestere bedre enn én-vektor-per-dokument-referanselinjen for å rettferdiggjøre den kostnaden.

Alle evalueringer bruker uttømmende rangeringer mot alle 2 458 072 bingene. Forskjeller mellom modeller gjenspeiler derfor representasjonene, ikke indekskonfigurasjonen. Vi fokuserer på tre nøkkelmetrikker:

Document@K er definert som:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

hvor $d^{*}$ er det høyt rangerte dokumentet i $D_q$ .

Answer@K er definert som:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

hvor $C_K(q)$ er de øverste $K$ bingene over hele korpuset og $A_{q}$ er settet med aksepterte svarbinger.

Evidence Recall@K måles innenfor $d^{*}$ som følger: Ranger setningene i $d^{*}$ etter likhet, fjern den høyst rangerte svarssetningen, og la $R_K(q)$ være de øverste $K$ som gjenstår. For bevisgrupper $G_q=\{g_1,\ldots,g_m\}$ , gjenvinnes gruppe $g_j$ hvis et alternativ $E\in g_j$ tilfredsstiller $E\subseteq R_K(q)$ , og

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K spør om kontekstualisering lar det rette dokumentet slå søsken og distraksjoner som deler vokabularet det.

Answer@K spør om selve svarssetningen rangerer blant de øverste bingene.

Evidence Recall@K spør hvor mye av den støttende konteksten som gjenvinnes blant det korrekte dokumentets øverste K binger, etter å ha ekskludert den høyst rangerte svarsbingen. Å fjerne svaret forhindrer at bevisgjenfinning dobbeltteller det Answer@K allerede måler, og etterlater alle $K$ -plasser for støttende kontekst. Å kreve at gulldokumentet er blant de 10 øverste hentede dokumentene betyr at ingen modell mottar beviskreditter for et dokument den ellers ikke ville ha vist frem. Vi rapporterer også All-Evidence@K, brøkdelen av spørringer der hver gruppe er gjenvunnet.

Tilsammen dekomponerer disse metrikkene utfordringene kontekstuelle innleiringer står overfor: finne det rette dokumentet, finne det rette svaret, og gjenopprette den minimale konteksten som viser hvorfor svaret er korrekt.

Figur 3 illustrerer metrikkene med eiendomsforvaltningseksempelet.

Hvordan dokument-, svar- og bevishenting i context-bench poengsettes — Figur 3: Context-bench-metrikker illustrert med en leiespørring. Document@K tester henting av det korrekte dokumentet; Answer@K tester henting av dets svarsbinge; Evidence Recall@K måler gjenvinning av støttende bevisgrupper innenfor måldokumentet. I dette eksemplet krever verifisering av leien både adresse- og leieårsbevis. Bevisgjenfinning ekskluderer den øverste svarsbingen og krever at måldokumentet rangeres blant de 10 øverste.

Vi evaluerer modellen vår opp mot kontekstuelle og ikke-kontekstuelle innleiringsmodeller på fire fronter.

Våre kontekstuelle referanselinjer er pplx-embed-context-v1-4B og voyage-context-4. Våre ikke-kontekstuelle referanselinjer er voyage-4-large og NVIDIAs Nemotron-3-Embed-8B-BF16, som koder binger uavhengig. Referanselinjesettet varierer etter eksperiment, som indikert i hver figur.

Vi starter med context-bench, som direkte tester evnene som motiverer dette arbeidet, og rapporterer deretter resultater på ConTEB, den vanlige offentlige referansetesten for kontekstuelle innleiringer. For å sjekke at disse gevinstene ikke kommer på bekostning av generell hentingskvalitet, evaluerer vi også domenespesifikke dokument- og bingehentingsreferansetester som vi bygget fra offentlige datasett. Til slutt undersøker vi to praktiske egenskaper for distribusjon: hentingskvalitet versus lagringskostnader per vektor, og sensitivitet for bingstørrelsen som brukes ved indekseringstidspunktet. Alle evalueringer koder dokumenter på opptil 32 768 token i en enkelt gjennomgang.

Som vist i Figur 1 i introduksjonen, leder forhåndsvisningen vår på Answer@K og Evidence Recall@K ved hver rapporterte avskjæring, samt All-Evidence@10. Ved K = 10 oppnår den 45,5 % svargjenfinning, 40,6 % bevisgjenfinning og 31,1 % all-bevis-gjenfinning. Den leder også på Document@1 og Document@10, og når henholdsvis 15,2 % og 61,6 %. Ved K = 10 overgår forhåndsvisningen vår voyage-context-4 med 14,4 prosentpoeng i svargjenfinning og 5,0 poeng i bevisgjenfinning.

Forhåndsvisningsmodellen vår oppnår den høyeste gjennomsnittlige nDCG@10 blant modellene som vises på ConTEB i figur 4. Den leder ikke hver oppgave: pplx-context-v1-4B scorer høyere på NarrativeQA, mens Nemotron-3-8B scorer høyest på COVID-QA. Som de hovedforfatterne også påpekte i ConTEB-papiret, inkluderer COVID-QA mest spørring-binge-parringer som er svært ekstraktive og kan tilfredsstilles med enkel overflate-leksikalsk matching på tekniske medisinske termer. Som et resultat er kontekstforståelse mindre nyttig for denne oppgaven, og ikke-kontekstuelle modeller presterer typisk bedre enn kontekstuelle.

Oppgavenivå nDCG på 10 på ConTEB — Figur 4: Oppgavenivå nDCG@10 på ConTEB i oppstillingen fra spørring til binge. Gjennomsnittet er det uvektede gjennomsnittet på tvers av de åtte oppgavene.

Utover referansetester utformet for kontekstuelle innleiringer, vurderer vi modellens domenespesifikke ytelse.

Vår spørring-til-binge-suite (Q2C) bruker MTEB-oppgaver som LegalBench og FinanceBench ved siden av ekstra hentingsoppgaver vi kuraterte fra offentlige datasett. Innenfor hvert relevante dokument merkes en binge som relevant hvis den inneholder den eksakte svarsdelen når oppgaven gir en, og ellers av en språkmodell som vurderer dens relevans for spørringen. Spørring-til-dokument-suiten (Q2D) bruker de samme oppgavene og poengsetter om det relevante dokumentet blir hentet.

Modellen vår oppnår den høyeste gjennomsnittlige poengsummen på bingehenting i figur 5 og leder innen de juridiske, tekniske og helserelaterte domenene. Den leder ikke i alle domener: voyage-context-4 scorer høyere innen finans og flerspråklig henting, og Nemotron-3-8B scorer høyest innen samtalehenting. På dokumenthenting i figur 6 scorer modellen vår litt under voyage-context-4 i gjennomsnitt, samtidig som den leder i det tekniske domenet. pplx-context-v1-4B-referanselinjen scorer lavere i gjennomsnitt i begge suitene, noe som er konsistent med at den bare ble trent på ConTEB-treningssettet, noe som viser at veiledning knyttet til én referansetests gullbinger overføres dårlig til andre domener.

Hentingspoengsummer fra spørring til binge etter domene — Figur 5: Gjennomsnittlig nDCG@10 på oppdragene fra spørring til binge (Q2C), gruppert etter domene. Domenestolper er uvektede gjennomsnitt av poengsummene på oppgavenivå i det domenet; det totale gjennomsnittet er et uvektet gjennomsnitt på tvers av alle viste oppgaver.

Hentingspoengsummer fra spørring til dokument etter domene — Figur 6: Gjennomsnittlig hentingspoengsum på oppdragene fra spørring til dokument (Q2D), gruppert etter domene. Hver stolpe i et domene er det uvektede gjennomsnittet av hovedpoengsummene på oppgavenivå; det totale gjennomsnittet er et uvektet gjennomsnitt på tvers av alle viste oppgaver.

En kontekstuell innleiringsmodell produserer én vektor per binge, slik at en indeks bygget med modellen vår inneholder nøyaktig like mange vektorer som en konvensjonell binge-nivå-indeks med den samme bingingsstrategien. Kontekstualisering endrer hva hver vektor koder, ikke hvor mange vektorer som lagres. Lagringsfotavtrykket styres derfor av størrelsen på hver vektor. Modellen tilbyr to måter å redusere det på: å avskjære innleiringen fra 2048 til 1024 dimensjoner og kvantisere den til int8.

Figur 7 viser en gunstig avveining mellom hentingskvalitet og vektorlagring. Ved 1024 dimensjoner bruker int8-innleiringene våre 1 KB per vektor, samtidig som de så vidt overgår bingehentingspoengsummen til voyage-context-4 ved 2048 dimensjoner i float32, som bruker 8 KB per vektor. Å øke innleiringsstørrelsen vår til 2048 dimensjoner øker hentingskvaliteten ytterligere ved 2 KB per vektor. Disse lagringstallene refererer til vektorene alene, ikke resten av indeksen.

Bingehentingskvalitet versus lagring per vektor — Figur 7: Bingehentingskvalitet (gjennomsnittlig nDCG@10) som en funksjon av lagring per vektor. Heltrukne linjer betegner float32 og stiplede linjer betegner int8; etiketter angir innleiringsdimensjonen.

Figur 8 viser bare en beskjeden endring i hentingskvalitet når bingstørrelsen øker fra 64 til 512 token: gjennomsnittspoengsummen faller fra 81,0 % til 79,9 %, en nedgang på 1,1 prosentpoeng. Dette tyder på at modellen forblir effektiv på tvers av de testede bingstørrelsene, noe som gir indekseringspipeliner fleksibilitet i hvordan dokumenter deles opp.

Sensitivitet for bingstørrelse: hentingspoengsummer for binger fra 64 til 512 token — Figur 8: Bingstørrelsessensitivitet for modellen vår. Hvert punkt er det uvektede gjennomsnittet nDCG@10 på tvers av 74 MTEB-oppgaver, med dokumenter indeksert ved den oppgitte bingstørrelsen.

turbopuffer holder hele tekstkorpuset, spørsmålene og etikettene i context-bench private og rapporterer resultater for innsendte modeller. En offentlig referansetest av denne typen innbyr til direkte trening på spørsmålene og dokumentene, noe som gradvis ville mettet den og redusert dens verdi for å spore fremgang over tid. Hvis du vil at modellen din skal evalueres på referansetesten, kan du kontakte turbopuffer på contextbench@turbopuffer.com.

En forhåndsvisning av modellen vår er tilgjengelig på Hugging Face, og alle resultater i dette innlegget er rapportert for denne forhåndsvisningen. Vi jobber med å gjøre modellen tilgjengelig gjennom Perplexity API, og med å ytterligere forbedre henting over lange dokumenter sammen med turbopuffer.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

Introduksjon

Hvorfor kontekst betyr noe for henting

Begrensningene ved gullbing-veiledning

En ny tilnærming til kontekstuell læring

Tapfunksjon

Kontrastivt tap på dokumentnivå

Destillasjonstap på binge-nivå

Kombinert tap

Treningsdata

Treningsoppsett

En ny referansetest for henting på bing-nivå

Dokumenter og spørringer

Svar- og bevisetiketter

Metrikker

Evalueringsresultater

Context-bench

ConTEB

Generell hentingskvalitet på tvers av domener

Hentingskvalitet og lagringskostnader

Sensitivitet for bingstørrelse

Utgivelse

Sitat