Altın pasajın ötesinde bağlamsal gömme

Bağlamsal gömmeler, tüm belgenin bağlamı içinde her pasajın veya parçanın anlamını yakalar. Bunların eğitimi ve değerlendirmesi tipik olarak sorgu başına tek bir ilgili parça varsayar; bu "altın pasaj" olarak bilinir. Ancak pratikte bir altın pasaj genellikle yeterli değildir. Yanıtı içerebilir ancak onu anlamak veya doğrulamak için gereken destekleyici bağlamdan yoksun olabilir ve bu da onu yalıtılmış halde belirsiz bırakır.

Yeni bağlamsal gömme modelimiz olan pplx-embed-v2-context-9b-preview'i tanıtıyoruz. Model, Perplexity'nin bağlam sıkıştırma modelini öğretmen olarak kullanan yeni bir yaklaşımla eğitilmiştir. Simge düzeyindeki tahminlerini parça düzeyindeki ilgililik puanlarında toplar, gömme modeline tek bir altın parça yerine hem yanıt parçalarını hem de destekleyici bağlamı almayı öğretir. Model, ek çıkarım maliyeti olmaksızın parça başına bir gömme üretir ve 1024 boyutlu ile int8 gömmeleri destekler.

turbopuffer tarafından oluşturulan ve özel olarak tutulan bağlam farkında alma için yeni bir kıyaslama olan context-bench üzerinde ve yaygın olarak kullanılan halka açık bir kıyaslama olan ConTEB üzerinde son teknoloji sonuçlar elde eder. Modelimiz context-bench'ten bağımsız olarak geliştirilmiş ve kör bir gönderim olarak değerlendirilmiştir.

Context-bench, 21 alanda 38.894 uzun belge üzerinde 2.099 sorgudan oluşur ve bağlamsal gömmelerin üç yeteneğini değerlendirir: neredeyse yinelenen belgeler arasında belge ayrıştırma, anlamı uzak bağlama bağlı olan altın parçaların alınması ve bir yanıtı doğrulamak için gereken destekleyici kanıtın geri çağrılması.

Modelin bir önizlemesi Hugging Face üzerinden halka açık olarak mevcuttur. Kıyaslama, eğitim kontaminasyonu riskini azaltmak ve ilerlemeyi ölçme değerini korumak için turbopuffer tarafından gizli tutulmaktadır. Bir değerlendirme talep etmek için lütfen contextbench@turbopuffer.com adresinden turbopuffer ile iletişime geçin.

Context-bench üzerinde belge, yanıt ve kanıt alma sonuçları — Şekil 1: Perplexity v2 preview 9B'yi Voyage Context 4, Voyage 4 Large ve Perplexity context v1 4B ile karşılaştıran context-bench üzerindeki Answer@K, Document@K, Evidence Recall@K ve All-Evidence@10.

Arama sistemleri tipik olarak uzun belgeleri bağımsız olarak dizine eklenebilen ve aranabilen daha küçük parçalara böler. Parçalamak pratikte uygundur, ancak her parçanın orijinal olarak göründüğü bağlamı ortadan kaldırarak bilgi sıkıştırmasının ayrıntı düzeyi ile kodlama sırasında kullanılan bağlam arasında bir ödünlaşma yaratır. Bir parça daha önce tanıtılan bir varlığa atıfta bulunabilir, anlamını bir bölüm başlığından alabilir veya belgenin başka yerlerinde bulunan tanımlara güvenebilir. Çıkarıldıktan sonra, bir sorguyla güvenilir bir şekilde eşleştirilmek için artık yeterli bilgi içermeyebilir. Tüm belgenin tek bir vektör olarak kodlanması bunu çözmez, çünkü havuzlanmış tek bir temsil uzun bir belgenin her yönünü sadık bir şekilde yakalayamaz.

Bağlamsal gömme modelleri, her parçayı çevreleyen içeriğin bağlamı içinde temsil ederek bu sınırlamayı ele alır; bu en yaygın olarak geç parçalama yoluyla yapılır: belge tek bir geçişte kodlanır ve parça temsilleri sonradan havuzlanır, böylece her parça vektörü tüm belge görünümünde hesaplanır. ConTEB ve kendi pplx-embed-context-v1'imiz gibi önceki çalışmalar, bağlamsallaştırılmış parça temsillerinin, özellikle uzun belgelerde, bağımsız olarak kodlanmış parçalara kıyasla almayı önemli ölçüde iyileştirdiğini göstermiştir.

Bağlamsal gömme modellerini eğitmek, bir belgenin hangi kısımlarının belirli bir sorguyla ilgili olduğunu belirleyen denetim gerektirir. Yaygın bir yaklaşım altın parça etiketleridir: her sorgu için bir etiketçi (tipik olarak büyük bir dil modeli - LLM), belgenin bunu yanıtlayan parçasını belirler.

Eğitim genellikle iki karşıt kaybı birleştirir: altın parçayı diğer belgelerdeki parçalarla karşılaştıran bir belgeler arası kayıp ve onu aynı belgedeki diğer parçalarla karşılaştıran bir belge içi kayıp.

Bu yaklaşımın birkaç sınırlaması vardır:

Yalnızca bir parça ilgilidir. Belgedeki diğer her parçayı, yararlı destekleyici bilgiler içerenler de dahil olmak üzere negatif olarak ele alır. Belge düzeyinde denetim diğer uç noktada çalışır. Hangi parçaların önemli olduğunu belirtmeden belgeyi ilgili olarak belirler. Pratikte ilgililik genellikle bu uç noktalar arasında yer alır. Yanıt içeren parça, bir varlığı tanıtan, bir referansı çözen veya tamamlayıcı bir olgu sağlayan birkaç destekleyici parçaya bağlı olabilirken, belgenin geri kalanı ilgisizdir. Bu nedenle model doğru seçicilik düzeyini öğrenmelidir: tek bir altın parçadan daha geniş, ancak bir bütün olarak belgeden daha odaklı.
Kaba denetim. Her etiketleme, belge genelinde ilgililik derecelerini yakalamak yerine tek bir altın parça belirlediğinden, onu üretmek için harcanan hesaplama miktarı için sınırlı eğitim sinyalleri sağlar.
Ölçeklendirmesi masraflıdır. Her eğitim çifti, bir LLM'nin belgeyi okumasını ve ilgili parçayı seçmesini gerektirir, bu nedenle etiketleme maliyeti eğitim setinin boyutuyla doğrusal olarak büyür ve eğitim verilerinin ne kadar ve ne kadar çeşitli olabileceğini sınırlar.
Parça sınırlarına duyarlıdır. Etiketler ayrıca etiketleme sırasında kullanılan parça sınırlarına da bağlıdır. Sabit simge boyutlu bir pencereye atanan bir altın etiket, hangi kısa cümlelerin veya uzun paragrafların ilgili olduğunu belirtmez. Parçalama stratejisini değiştirmek veya belgelerin indeksleme zamanında nasıl bölündüğüne yönelik dayanıklılığı iyileştirmek için birden fazla parçalama üzerinde eğitmek, bu nedenle külliyatın yeniden etiketlenmesini gerektirebilir.

Altın parça denetiminin sınırlamalarını, sorgu farkında bağlam sıkıştırma modelinden ilgililik yargılarını damıtarak ele alıyoruz. Bu model bir öğretmen görevi görür: sorguyu ve belgeyi birlikte okur ve her belge simgesine bir ilgililik puanı atar. Tahminleri, bağlamsal gömmeleri eğitmek için çeşitli avantajlar sunar:

Esnek parça sınırları. Simge düzeyindeki ilgililik puanları seçilen herhangi bir parça sınırı üzerinden toplanabilir, bu da aynı öğretmen tahminlerinin yeniden etiketleme olmaksızın farklı parçalamaları denetlemesine olanak tanır.
Sürekli ilgililik. İkili altın parça etiketlerinin aksine öğretmen, yanıt içeren parçaları, destekleyici bağlamı ve ilgisiz içeriği doğal olarak ayırt eden ilgililik derecelerini yakalayan sürekli puanlar sağlar.
Daha düşük etiketleme maliyeti. Öğretmen kompakt ve ilgililik puanlama konusunda uzmanlaşmıştır; bu da onu ölçekte denetlemeyi genel amaçlı bir LLM'ye göre çok daha ucuz hale getirir.

Modelimizi sorgu-belge çifti partileri üzerinde belge düzeyinde karşıtlık kaybı ve parça düzeyinde damıtma kaybının ağırlıklı toplamıyla eğitiriz. Her sorgu için eşleştirilen belge pozitif olarak hizmet ederken, aynı partideki kalan belgeler negatif olarak hizmet eder.

Her parti için rastgele bir parçalama stratejisi seçeriz, belgeleri buna göre böleriz ve parçalar arasına ayırıcı simgeler ekleriz. Ardından her belgeyi tek bir ileri geçişte işleriz ve bağlamsal parça gömmeleri elde etmek için her parça içindeki simge temsillerini ortalamada havuzlarız. Sorgular, simge temsilleri üzerinde ortalama havuzlama ile ayrı ayrı kodlanır. Sonuç olarak, partideki her sorgu gömmesi ile her parça gömmesi arasındaki kosinüs benzerliğini hesaplarız.

Gömme modelimiz yalnızca parça düzeyinde benzerlikler üretirken, bunlardan doğal olarak belge düzeyinde benzerlikler türetebiliriz. Bir d belgesini q sorgusuyla en ilgili parçası kadar ilgili olarak değerlendiririz. Bu puanlama kuralı, burada simgeler yerine parçalara uygulanan ColBERT'in MaxSim işleminden esinlenmiştir.

Özellikle, q gömmesine sahip bir q sorgusu ve gömmeleri c olan sıralı bir c parça listesi olarak bir d belgesi verildiğinde, belge düzeyindeki benzerliği şu şekilde tanımlarız:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

Bu belge düzeyindeki benzerlikler göz önüne alındığında, parti içi negatifler üzerinden belge düzeyinde bir InfoNCE hedefi formüle edebiliriz.

Bir q sorgusu için d⁺ onun ilgili belgesini ve 𝒟 partideki belgeleri ifade etsin. Okunabilirlik için sıcaklıklar atlanarak karşıtlık kaybı şu şekildedir:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

Karşıtlık kaybı, modele hangi belgenin bir sorguyla ilgili olduğunu öğretir. Damıtma kaybı ise, bağlamsal bir model için çok önemli olan, ilgililiğin o belgede nerede yattığını öğretir.

Eğitim sırasında, her pozitif sorgu-belge çiftini, belgedeki her simgeye bir ilgililik puanı atayan bağlam sıkıştırma modelimize aktarırız. Belge düzeyinde puanlamada olduğu gibi, her parçanın ilgililiğini en ilgili içeriklerinden türetiriz. Aykırı simgelere (parça sınırındakiler dahil) duyarlılığı azaltmak için parça düzeyindeki ilgililiği, parça içindeki en üstteki n simge puanının ortalaması olarak tanımlarız.

Her sorgu için, bir hedef dağılım elde etmek üzere pozitif belge içindeki öğretmenin parça düzeyindeki ilgililik puanlarına sıcaklık ölçekli bir softmax uygularız. Partideki diğer belgelerdeki parçalar sıfır hedef olasılığı alır. Gömme modelini, hedef ile partideki tüm parçalar üzerinden öngörülen dağılımı arasındaki ileri KL sapmasını en aza indirerek bu hedefe uyacak şekilde eğitiriz:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

Burada T ve S üst simgeleri öğretmeni ve öğrenciyi belirtir ve rⱼ, pozitif belge d⁺'deki cⱼ parçası için öğretmenin ilgililik puanıdır. Öğretmenin hedef dağılımı, partideki diğer tüm belgelerdeki parçalara sıfır olasılık atar.

Tek bir altın parça etiketinin aksine bu hedef, ilgililik derecelerini yakalar. Destekleyici parçalar negatif olarak ele alınmak yerine öğretmenin puanlarına göre ağırlık alır, bu da modele yanıtın yanı sıra destekleyici bağlamı almayı da öğretir.

Birleştirilmiş eğitim hedefimiz, belge düzeyinde karşıtlık kaybı ile parça düzeyinde damıtma kaybının ağırlıklı toplamıdır. Bu ağırlıklı kaybın sorgu-belge çiftleri partisi üzerinden ortalamasını alırız.

Şekil 2, eğitim yaklaşımımızı göstermektedir. Bağlam sıkıştırıcı yalnızca eğitim sırasında öğretmen olarak hizmet eder. Çıkarım zamanında gömme modeli, ek sıkıştırma veya yeniden sıralama aşaması olmaksızın parça başına bir bağlamsal gömme üretir. Yaklaşım, dizin depolamayı artırmadan veya alma zamanında öğretmen modeli gecikmesi eklemeden bağlamsal gömmelerin nasıl öğrenildiğini iyileştirir.

Bağlamsal gömme damıtması için eğitim kurulumu — Şekil 2: Modelimizin eğitim kurulumu. Bağlamsal kodlayıcı (öğrenci, sol), her biri birkaç parçadan oluşan belgeleri işler. Her parça, çevreleyen belge bağlamına göre gömülür. Sorgu A, Belge A için bilinen bir eşleşmedir ve öngörülen benzerlikleri elde etmek için tüm belgelerin parçalarına karşı puanlanır. Bu parça düzeyindeki puanlar, belge düzeyindeki puanlara maksimum havuzlanır. Parça düzeyindeki tahminleri ve belge düzeyindeki tahminleri hedef dağılımlarla eşleşecek şekilde eğitiriz (sağ). Parça düzeyindeki hedef, eğitim zamanında bilinen ilgili belge içindeki bağlam sıkıştırıcının tahmini olarak hesaplanır ve bilinen ilgisiz belgeler içinde sıfıra ayarlanır. Belge düzeyindeki hedef dağılım, bilinen ilgili belge üzerinde one-hot olacak şekilde ayarlanır.

Eğitim verileri, 50'den fazla dilde yaklaşık 430 halka açık ve şirket içi sorgu-belge veri setinden oluşur.

Kişisel Verilerin Korunması (KVKK/PII) filtrelenmiş üretim verilerinden ve uzun belgeler üzerinden ilgili sorgular sentezlenerek şirket içi ikili veri setleri oluşturulur. Her ileri geçiş için bir veri seti seçilir ve parti içi negatiflerin zorluğunu artırmak ve kestirme yoldan öğrenmeyi önlemek için bundan bütün bir parti örneklenir. Eğitim veri setlerimizin hiçbiri parça düzeyinde etiketler içermez: belge içi denetimlerin tümü sıkıştırma modelinden gelir ve eğitim için hiçbir ConTEB verisi kullanılmaz. Ayrıca, model geliştirme sırasında hiçbir context-bench verisi kullanılmamıştır.

Model, şirket içi 9 milyar parametreli bir ColBERT alma modelinden başlar ve doğrusal bir projeksiyon katmanı aracılığıyla 2048 boyutlu gömmeler üretir. Parça sınırlarını öğrenilmiş bir <|chunk_sep|> simgesiyle işaretleriz ve her parça gömmesini, simge gömmelerinin ortalamasını alarak oluştururuz. Sorgular aynı model tarafından kodlanır ve simge gömmeleri tek bir vektörde ortalama alınır.

Hem 1024 hem de 2048 boyutlu gömmeleri desteklemek için Matryoshka eğitimini ve yerel int8 gömmeleri desteklemek için nicemleme farkında eğitimi kullanıyoruz. Eğitim sırasında öğrenme oranını kademeli olarak artırır, sabit tutar ve ardından azaltırız.

Yayınlanan model, aynı eğitim çalışmasından birkaç kontrol noktasının ağırlıklarının ortalamasını alan bir model çorbasıdır.

ConTEB gibi halka açık bağlamsal alma kıyaslamaları, altın parça denetiminin arkasındaki varsayımı paylaşır: her sorgunun tek bir ilgili parçası vardır ve bir model yalnızca o parçayı ilk sırada sıraladığı için ödüllendirilir. Ayrıca onun sınırlamalarını da devralırlar.

İlk olarak ConTEB, bir parçanın çevreleyen bağlamı olmadan belirsiz olduğu görevlerde almayı test eder. Bu görevlerde, bağlamsal modeller her parçayı bağımsız olarak kodlayan modellerden daha iyi performans göstermiştir. Ancak, bir modelin parçayı anlaşılır kılan belgenin diğer kısımlarını da yüzeye çıkarıp çıkaramadığını sormaz.

İkinci olarak, aynı külliyattaki neredeyse özdeş belgeler yalnızca aksi takdirde özdeş olan bir cümleyi çevreleyen bağlam açısından farklılık gösterdiğinde doğru belgenin bulunup bulunamayacağını sistematik olarak test etmez.

Bir arama ajanı veya kullanıcının tüm bir belgeden ziyade birkaç alınan cümleden bir yanıtı anlaması ve doğrulaması gerektiğinde her iki yetenek de önemlidir. Bu nedenle, belge bağlamının kullanımını genel alma kalitesinden ayırmak için tasarlanmış, uzun belgeler üzerinden alma için kontrollü bir kıyaslama olan context-bench'i oluşturduk. Bağlamsal gömmelerin üç yeteneği desteklemek için bir belgenin başka yerlerindeki bilgileri kullanıp kullanmadığını test eder:

Belge ayrıştırma: Neredeyse özdeş alternatifler arasından doğru belgeyi belirleyin.
Yanıt alma: Anlamı belgenin başka yerlerindeki ayrıntılara bağlı olan yanıt içeren parçaları alın.
Kanıt alma: Yanıtı netleştiren veya doğrulayan destekleyici parçaları alın.

Context-bench 2.099 sorgu ve 38.894 belge içerir. Cümle uzunluğunda parçalar kullanılır ve toplam 2.458.072 parça elde edilir. Sorgular kurumsal dosyalar, klinik araştırma, seyahat, eğlence, eğitim, hükümet, yasal sözleşmeler ve yazılım belgeleri dahil olmak üzere 21 alanı kapsar.

Her sorgu, on iki bağlamsal yetenekten birini test etmek için tasarlanmıştır. Birincil hedef belgeler kasıtlı olarak uzundur: 1.197 farklı birincil hedef belgeden 1.061'i en az 200 cümleye sahiptir ve medyan uzunluğu kabaca 6.100 simgedir. Her sorgunun külliyatta tam olarak bir doğru yanıtı vardır. Aynı olgunun bir altın belgede birden fazla kez belirtildiği durumlarda (örneğin bir özet cümlesinde ve bir tablo satırında), bu cümlelerin herhangi biri yanıt olarak kabul edilir.

Bir yanıt rotası, bir yanıt parçasının ve bunu yorumlamak veya doğrulamak için gereken destekleyici kanıtın geçerli bir kombinasyonudur. 2.099 sorgu genelinde, birincil hedef belge yanıt rotası 964 sorgu için bir kanıt grubuna, 735 sorgu için ikiye, 332 sorgu için üç veya daha fazlasına ve 68 sorgu için hiçbirine sahip değildir. Alternatif geçerli yanıt rotaları farklı kanıt grupları gerektirebilir.

Tablo 1: Kıyaslama istatistikleri.

İstatistik	Değer
Sorgular	2.099
Belgeler	38.894
Cümle parçaları	2.458.072
Medyan birincil hedef belge uzunluğu	6.100 simge
Alanlar	21
Sorgu başına kanıt grupları (birincil hedef belge yanıt rotası)	1: 964; 2: 735; 3+: 332; yok: 68

Tablo 2: Açıklayıcı örneklerle birlikte, context-bench tarafından test edilen on iki bağlamsal yetenek.

Yetenek	Örnek sorgu	Yanıt parçası	Gerekli belge bağlamı
1. Varlık kimliği	Northlake hisse geri alımlarına ne kadar harcadı?	Şirket, 12,8 milyar dolarlık hisse geri alımı yaptı.	Giriş kısmı Northlake'i "şirket" olarak tanımlar. Benzer bir Southlake raporu ilgili değildir.
2. Dönem veya sürüm	M40 revizyon B'ye hangi kartuş uyar?	KC-42 kartuşunu takın.	Uygulanabilirlik bölümü, bu talimatların revizyon C'yi değil, revizyon B'yi kapsadığını belirtir.
3. Tanımlar ve takma adlar	15 mg grubunun bırakma oranı neydi?	Zeta'nın bırakma oranı %12,7 idi.	Rapor, Zeta'yı 15 mg grubu olarak tanımlar. Bu tanım olmaksızın, parça istenen grubu tanımlamaz.
4. Tablo yapısı	Max modelinin pil kapasitesi nedir?	Tipik kapasite: 4.250 \| 4.700 \| 5.150.	Tablo üst bilgisi mAh cinsinden ölçülen Mini \| Base \| Max'ı belirler. Dolayısıyla yanıt 5.150 mAh'dir.
5. Koşullar ve istisnalar	Ticari kullanım için pil kapsamı ne kadardır?	Pil kapsamı 18 ay sürer.	Bir bölüm giriş kısmı bu kapsamı ticari kurulumlarla sınırlandırır; ev tipi kurulumların farklı bir garantisi vardır.
6. Referanslar ve zamirler	Mara ne zaman belediye başkanı yardımcısı oldu?	2021 yılında göreve başladı.	Önceki anlatı, "o" zamirinin hakkında konuşulan bir diğer kişi olan Elin'i değil Mara'yı ifade ettiğini ortaya koymaktadır.
7. Liste sırası ve konumu	Biseyi hangi şarkı açtı?	14. Lantern Road.	Başka bir yerdeki bir not, 14–16 numaralı şarkıların biseyi oluşturduğunu belirtir. Dolayısıyla 14 numaralı parça bunun açılış şarkısıdır.
8. Bölüm kapsamı	Filmin sinematografisi için hangi lens kullanıldı?	Baştan sona 35 mm prime lens kullanıldı.	Bu pasaj, tanıtım fotoğraflarıyla ilgili ayrı bölüme değil, "Ana Çekim" bölümüne aittir.
9. Konuşmacı atfı	Belediye başkanı hangi yeniden açılış tarihini vaat etti?	12 Haziran'da yeniden açacağız.	Kayıt, konuşmacının belediye başkanı olduğunu belirtir. Aynı kelimelerin bir müteahhit tarafından söylenmesi belediye başkanının vaadini oluşturmaz.
10. Zaman içindeki değişiklikler	Mayıs ayındaki değişiklikten sonra hangi ihbar süresi geçerli oldu?	İhbar süresi artık 45 gündür.	Değişiklik geçmişi, bu değişikliğin Mayıs ayında yürürlüğe girdiğini ve önceki 30 günlük kuralın yerini aldığını ortaya koymaktadır.
11. Nedensel ilişkiler	Batı pompası neden durdu?	Bu arıza kapanmaya neden oldu.	İnceleme, "bu arıza"yı batı pompasındaki sıkışmış bir yatak olarak tanımlar ve bunu ilgili olmayan bir giriş tıkanıklığından ayırır.
12. Mecazi veya diller arası anlam	Mecazi: Şiirde "kış odası" neyi simgelemektedir? Diller arası: Fransızca yönerge teknisyene hangi bileşeni çıkarmasını söylüyor?	Mecazi: Fiziksel bir odadan ziyade sürgünü temsil eder. Diller arası: Retirez le capot. (Kapağı çıkarın.)	Mecazi: Yorum, "o"yu şiirin yinelenen "kış odası" görüntüsü olarak tanımlar. Diller arası: Kılavuzun sözlüğü, "capot" kelimesinin nakliye kapağını değil, koruyucu motor kaportasını ifade ettiğini belirtir.

Test edilen sorgular, belgeler ve yetenekler, turbopuffer'ın müşterileriyle yapılan konuşmalardan esinlenmiştir.

Bir örnek vermek gerekirse, bir mülk yönetim firmasının arama ihtiyaçlarını göz önünde bulundurun. Bu firmaların, yalnızca kiracı adları, tarihler ve diğer birkaç önemli ayrıntı açısından farklılık gösteren yüzlerce, hatta bazen binlerce kira sözleşmesi vardır. Bu veri seti için yaygın bir sorgu "5 park avenue'nun kira sözleşmesi ne zaman sona eriyor ve güncel kira nedir?" olabilir. Kira sözleşmeleri de uzun olabilir ve doğru belgeyi aldığınızı onaylayacak kritik ayrıştırıcı bileşenler (tarih, adres, kiracı adı vb.), aylık kira ödeme miktarını içeren anahtar yanıt cümlesinden genellikle çok uzakta olabilir. Uygulamada, "Aylık kira $X,XXX'tir." gibi özdeş cümleler külliyattaki birçok belgede görünebilir.

İyi bir bağlamsal gömme modeli, doğru belgeyi belirlemek ve hem yanıtı hem de destekleyici cümlelerini almak için belgenin tamamındaki bağlamı kullanmalıdır. Bu, bir kullanıcının veya arama ajanının yanıtı hızlı bir şekilde doğrulamasına ve bunun doğru belgeden geldiğini onaylamasına olanak tanır.

Her sorgu için hedef belgedeki "yanıt" ve "kanıt" cümlelerini etiketleriz. Bir model, bir yanıt cümlesini her kanıt grubundan en az bir cümleyle birlikte alırsa "okuyucu yeterliliği" testimizi geçer. Bu cümleler birlikte, bir okuyucunun yanıtı destekleyici kanıtlarla doğrulaması için yeterli bağlamı sağlar.

Bağlamsal gömme modelleri bunu iyi yaptığında, arama ajanlarının gözden geçirmesi gereken simge sayısını önemli ölçüde azaltabilir ve bir kişinin tüm belgeyi okumak zorunda kalmadan orijinal sorguları için doğru yanıtı bulduklarını hızlı bir şekilde onaylamasını çok daha kolay hale getirebilir.

Her kanıt grubu kurtarılmalıdır, ancak bir grubun alternatiflerinden herhangi biri onu kurtarmak için yeterlidir. Bu uzun belgelerde aynı olgunun birkaç farklı yerde belirtildiğini görmek yaygındır. Her kanıt grubundan yalnızca bir cümle almak okuyucu yeterliliği kriterlerini karşılar ve bu nedenle mükemmel kanıt geri çağrımı olarak kabul edilir.

Her belge cümlelere ayrılır ve tüm modeller için aynı sınırlar kullanılır. Bağlamsal olmayan gömme modelleri için iki koşul test edilir: her cümlenin bağımsız olarak gömüldüğü bir koşul ve tüm belgenin tek bir parça olarak gömüldüğü başka bir koşul.

Yanıt geri çağrımını ve kanıt geri çağrımını ölçmek için cümle düzeyinde koşulu kullanırız. Her cümle çevreleyen belgeye erişim olmadan gömüldüğünde, bağlamsal olmayan bir modelin doğru yanıtı ve destekleyici kanıtı tanımlayıp tanımlayamayacağını test eder. Bu kasıtlı olarak zorludur. Birçok sorguda, tek başına yanıt cümlesi, onu külliyattaki benzer cümlelerden ayırt etmek için gereken ayrıntılardan yoksundur.

Belge düzeyindeki koşulu bir belge geri çağrımı taban çizgisi olarak kullanırız. İnce taneli cümle gömmelerinin, belge başına bir vektör depolamaya kıyasla ek depolama maliyetini haklı çıkaracak kadar alma avantajı sağlayıp sağlamadığını test eder. Cümle düzeyindeki bir dizin, belge düzeyindeki bir dizine kıyasla önemli ölçüde daha fazla vektör oluşturur, bu nedenle bu maliyeti haklı çıkarmak için vektör başına bir belge taban çizgisinden daha iyi performans göstermelidir.

Tüm değerlendirmeler, 2.458.072 parçanın tümüne karşı ayrıntılı sıralamalar kullanır. Bu nedenle modeller arasındaki farklar dizin yapılandırmasını değil temsilleri yansıtır. Üç temel metriğe odaklanıyoruz:

Document@K şu şekilde tanımlanır:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

burada $d^{*}$ , $D_q$ içindeki en yüksek dereceli belgedir.

Answer@K şu şekilde tanımlanır:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

burada $C_K(q)$ tüm külliyattaki en üstteki $K$ parça, $A_{q}$ ise kabul edilen yanıt parçaları kümesidir.

Evidence Recall@K, içinde şu şekilde ölçülür: cümlelerini benzerliğe göre sıralayın, en yüksek dereceli yanıt cümlesini kaldırın ve kalan en üstteki , olsun. Kanıt grupları için, bazı alternatif koşulunu sağlıyorsa grubu kurtarılır ve $d^{*}$ $d^{*}$ $R_K(q)$ $K$ $G_q=\{g_1,\ldots,g_m\}$ $g_j$ $E\in g_j$ $E\subseteq R_K(q)$

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K, bağlamsallaştırmanın doğru belgenin kelime dağarcığını paylaşan kardeşleri ve dikkat dağıtıcıları alt etmesine izin verip vermediğini sorar.

Answer@K, yanıt cümlgesinin kendisinin en üstteki parçalar arasında yer alıp almadığını sorar.

Evidence Recall@K, en yüksek dereceli yanıt parçası hariç tutulduktan sonra, destekleyici bağlamın ne kadarının doğru belgenin en üstteki K parçası arasında kurtarıldığını sorar. Yanıtın kaldırılması, kanıt geri çağrımının Answer@K'nin halihazırda ölçtüğü şeyi iki kez saymasını engeller ve destekleyici bağlam için tüm $K$ yuvalarını bırakır. Altın belgenin ilk 10 alınan belgede olmasını gerektirmek, hiçbir modelin yüzeye çıkaramayacağı bir belge için kanıt kredileri almadığı anlamına gelir. Ayrıca her grubun kurtarıldığı sorguların oranı olan All-Evidence@K'yi de bildiriyoruz.

Bu metrikler toplu halde, bağlamsal gömme modellerinin karşılaştığı zorlukları ayrıştırır: doğru belgeyi bulmak, doğru yanıtı bulmak ve yanıtın neden doğru olduğunu gösteren en az bağlamı kurtarmak.

Şekil 3, metrikleri mülk yönetimi örneğiyle göstermektedir.

Context-bench belge, yanıt ve kanıt almasının puanlanması — Şekil 3: Bir kira sorgusuyla gösterilen Context-bench metrikleri. Document@K, doğru belgenin alınmasını test eder; Answer@K, yanıt parçasının alınmasını test eder; Evidence Recall@K, hedef belge içindeki destekleyici kanıt gruplarının kurtarılmasını ölçer. Bu örnekte, kirayı doğrulamak hem adres hem de kira yılı kanıtı gerektirir. Kanıt geri çağrımı en üstteki yanıt parçasını hariç tutar ve hedef belgenin ilk 10'da yer almasını gerektirir.

Modelimizi dört cephede bağlamsal ve bağlamsal olmayan gömme modellerine karşı değerlendiriyoruz.

Bağlamsal temel çizgilerimiz pplx-embed-context-v1-4B ve voyage-context-4'tür. Bağlamsal olmayan temel çizgilerimiz voyage-4-large ve parçaları bağımsız olarak kodlayan NVIDIA'nın Nemotron-3-Embed-8B-BF16 modelidir. Temel çizgi seti, herFIGURE'de belirtildiği gibi deneye göre değişir.

Bu çalışmayı motive eden yetenekleri doğrudan test eden context-bench ile başlıyor ve ardından bağlamsal gömmeler için standart halka açık kıyaslama olan ConTEB üzerindeki sonuçları bildiriyoruz. Bu kazançların genel alma kalitesi pahasına gelmediğini kontrol etmek için, halka açık veri setlerinden oluşturduğumuz alana özgü belge ve parça alma kıyaslamalarını da değerlendiriyoruz. Son olarak dağıtım için iki pratik özelliği inceliyoruz: vektör başına depolama maliyetlerine karşı alma kalitesi ve indeksleme zamanında kullanılan parça boyutuna duyarlılık. Tüm değerlendirmeler, 32.768'e kadar simge içeren belgeleri tek bir geçişte kodlar.

Girişteki Şekil 1'de gösterildiği gibi önizlememiz, bildirilen her kesim noktasında Answer@K ve Evidence Recall@K'nin yanı sıra All-Evidence@10'da liderdir. K = 10'da %45,5 yanıt geri çağrımı, %40,6 kanıt geri çağrımı ve %31,1 tüm kanıtlar geri çağrımı elde eder. Ayrıca sırasıyla %15,2 ve %61,6'ya ulaşarak Document@1 ve Document@10'da liderdir. K = 10'da önizlememiz, yanıt geri çağrımında voyage-context-4'ü 14,4 yüzde puanı ve kanıt geri çağrımında 5,0 puan aşmaktadır.

Önizleme modelimiz, Şekil 4'teki ConTEB üzerinde gösterilen modeller arasında en yüksek ortalama nDCG@10'a ulaşır. Her görevde lider değildir: pplx-context-v1-4B NarrativeQA'da daha yüksek puan alırken, Nemotron-3-8B COVID-QA'da en yüksek puanı alır. Ana yazarların ConTEB makalesinde de belirttiği gibi COVID-QA, çoğunlukla son derece çıkarımsal olan ve teknik tıbbi terimler üzerinde basit yüzey sözlü eşleştirmesiyle karşılanabilen sorgu-parça eşleştirmelerini içerir. Sonuç olarak bağlam anlama bu görev için daha az yararlıdır ve bağlamsal olmayan modeller genellikle bağlamsal olanlardan daha iyi performans gösterir.

ConTEB üzerinde 10'da görev düzeyinde nDCG — Şekil 4: Sorgudan parçaya ayarında ConTEB üzerinde görev düzeyinde nDCG@10. Ortalama, sekiz görev arasındaki ağırlıksız ortalamadır.

Bağlamsal gömmeler için tasarlanmış kıyaslamaların ötesinde, modelimizin alana özgü performansını değerlendiriyoruz.

Sorgudan parçaya (Q2C) paketimiz, LegalBench ve FinanceBench gibi MTEB görevlerinin yanı sıra halka açık veri setlerinden küratörlüğünü yaptığımız ek alma görevlerini kullanır. Her ilgili belge içinde, görev sağladığında tam yanıt aralığını içeriyorsa bir parça ilgili olarak etiketlenir, aksi takdirde bir LLM tarafından sorguyla olan ilgisi değerlendirilerek etiketlenir. Sorgudan belgeye (Q2D) paketi aynı görevleri kullanır ve ilgili belgenin alınıp alınmadığını puanlar.

Modelimiz Şekil 5'teki parça almasında en yüksek ortalama puana ulaşır ve yasal, teknik ve sağlık alanlarında liderdir. Her alanda lider değildir: voyage-context-4 finans ve çok dilli almada daha yüksek puan alırken, Nemotron-3-8B konuşma almasında en yüksek puanı alır. Şekil 6'daki belge almasında modelimiz ortalama olarak voyage-context-4'ün biraz altında puan alırken, teknik alanda liderdir. Pplx-context-v1-4B temel çizgisi her iki pakette de ortalama olarak daha düşük puan alır; bu da yalnızca ConTEB eğitim setinde eğitilmiş olmasıyla tutarlıdır ve bir kıyaslamanın altın parçalarına bağlı denetimin diğer alanlara zayıf bir şekilde aktarıldığını gösterir.

Alana göre sorgudan parçaya alma puanları — Şekil 5: Alana göre gruplandırılmış sorgudan parçaya (Q2C) görevlerindeki ortalama nDCG@10. Alan çubukları, o alandaki görev düzeyindeki puanların ağırlıksız ortalamalarıdır; genel ortalama, görüntülenen tüm görevler arasındaki ağırlıksız bir ortalamadır.

Alana göre sorgudan belgeye alma puanları — Şekil 6: Alana göre gruplandırılmış sorgudan belgeye (Q2D) görevlerindeki ortalama alma puanı. Bir alandaki her çubuk, görev düzeyindeki ana puanlarının ağırlıksız ortalamasıdır; genel ortalama, görüntülenen tüm görevler arasındaki ağırlıksız bir ortalamadır.

Bir bağlamsal gömme modeli parça başına bir vektör üretir, bu nedenle modelimizle oluşturulmuş bir dizin, aynı parçalama stratejisine sahip geleneksel bir parça düzeyindeki dizinle tam olarak aynı sayıda vektör içerir. Bağlamsallaştırma, kaç vektörün depolandığını değil, her vektörün neyi kodladığını değiştirir. Bu nedenle depolama kapladığı alan her vektörün boyutuyla yönetilir. Model bunu azaltmak için iki yol sunar: gömmeyi 2048'den 1024 boyuta kısaltmak ve int8'e nicemlemek.

Şekil 7, alma kalitesi ile vektör depolama arasında elverişli bir ödünlaşma gösterir. 1024 boyutta int8 gömmelerimiz vektör başına 1 KB kullanırken, vektör başına 8 KB kullanan float32'deki 2048 boyuttaki voyage-context-4'ün parça alma puanını hafifçe aşmaktadır. Gömme boyutumuzu 2048 boyuta çıkarmak, vektör başına 2 KB'ta alma kalitesini daha da artırır. Bu depolama figürleri, dizinin geri kalanını değil yalnızca vektörleri ifade eder.

Vektör başına depolamaya karşı parça alma kalitesi — Şekil 7: Vektör başına depolamanın bir fonksiyonu olarak parça alma kalitesi (ortalama nDCG@10). Düz çizgiler float32'yi ve kesikli çizgiler int8'i belirtir; etiketler gömme boyutunu verir.

Şekil 8, parça boyutu 64'ten 512 simgeye çıktığında alma kalitesinde yalnızca mütevazı bir değişiklik gösterir: ortalama puan %81,0'den %79,9'a düşer, bu da 1,1 yüzde puanlık bir azalmadır. Bu, modelin test edilen parça boyutlarında etkili kalmaya devam ettiğini ve dizin oluşturma hatlarına belgelerin nasıl bölüneceği konusunda esneklik sağladığını gösterir.

Parça boyutu duyarlılığı: 64 ila 512 simge arasındaki parçalar için alma puanları — Şekil 8: Modelimizin parça boyutu duyarlılığı. Her nokta, belgelerin verilen parça boyutunda dizine eklendiği 74 MTEB görevi genelindeki ağırlıksız ortalama nDCG@10'dur.

turbopuffer, context-bench'in tüm külliyatını, sorgularını ve etiketlerini gizli tutar ve gönderilen modeller için sonuçları bildirir. Bu tür bir halka açık kıyaslama, doğrudan kendi sorguları ve belgeleri üzerinde eğitime davetiye çıkarır; bu da zamanla onu kademeli olarak doyuracak ve zaman içinde ilerlemeyi takip etme değerini aşındıracaktır. Modelinizin kıyaslama üzerinde değerlendirilmesini istiyorsanız, lütfen contextbench@turbopuffer.com adresinden turbopuffer ile iletişime geçin.

Modelimizin bir önizlemesi Hugging Face üzerinden mevcuttur ve bu gönderideki tüm sonuçlar bu önizleme için bildirilmiştir. Modeli Perplexity API aracılığıyla kullanılabilir hale getirmek ve turbopuffer ile birlikte uzun belgeler üzerinden almayı daha da iyileştirmek için çalışıyoruz.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

Giriş

Bağlam neden alma için önemlidir

Altın parça denetiminin sınırları

Bağlamsal öğrenmeye yeni bir yaklaşım

Kayıp fonksiyonu

Belge düzeyinde karşıtlık kaybı

Parça düzeyinde damıtma kaybı

Birleştirilmiş kayıp

Eğitim verileri

Eğitim kurulumu

Parça düzeyinde alma için yeni bir kıyaslama

Belgeler ve sorgular

Yanıt ve kanıt etiketleri

Metrikler

Değerlendirme sonuçları

Context-bench

ConTEB

Alanlar arasında genel alma kalitesi

Alma kalitesi ve depolama maliyetleri

Parça boyutu duyarlılığı

Yayın

Alıntı