التضمين السياقي إلى ما بعد المقطع الذهبي

تلتقط التضمينات السياقية معنى كل مقطع أو جزء في سياق المستند بأكمله. يفترض تدريبهم وتقييمهم عادةً جزءاً واحداً ذي صلة لكل استعلام، يُعرف باسم "المقطع الذهبي". ومع ذلك، غالباً لا يكون المقطع الذهبي كافياً في الممارسة العملية. قد يحتوي على الإجابة ولكنه يفتقر إلى السياق الداعم اللازم لفهمها أو التحقق منها، مما يتركها غامضة في عزلة.

نقدم pplx-embed-v2-context-9b-preview، نموذج التضمين السياقي الجديد الخاص بنا. يتم تدريب النموذج بنهج جديد يستخدم نموذج ضغط السياق الخاص بـ Perplexity كمعلم. نقوم بتجميع تنبؤات مستوى الرمز الخاصة به في درجات صلة على مستوى الجزء، مما يعلم نموذج التضمين استرجاع كل من أجزاء الإجابات والسياق الداعم بدلاً من جزء ذهبي واحد. ينتج النموذج تضميناً واحداً لكل جزء بدون تكلفة استدلال إضافية ويدعم تضمينات 1024 بُعداً وint8.

إنه يحقق نتائج حديثة على context-bench، وهو معيار جديد للاسترجاع الواعي بالسياق تم إنشاؤه والاحتفاظ به سراً بواسطة turbopuffer، وعلى ConTEB، وهو معيار عام مستخدم على نطاق واسع. تم تطوير نموذجنا بشكل مستقل عن context-bench وتم تقييمه كإرسال أعمى.

يتكون context-bench من 2,099 استعلاماً عبر 38,894 مستنداً طويلاً في 21 مجالاً ويقيم ثلاث قدرات للتضمينات السياقية: توضيح المستندات بين المستندات شبه المكررة، واسترجاع الأجزاء الذهبية التي يعتمد معناها على السياق البعيد، واسترجاع الأدلة الداعمة المطلوبة للتحقق من الإجابة.

نسخة معاينة من النموذج متاحة للعامة على Hugging Face. يتم الاحتفاظ بالمعيار بشكل خاص بواسطة turbopuffer لتقليل مخاطر تلوث التدريب والحفاظ على قيمته لقياس التقدم. لطلب تقييم، يُرجى التواصل مع turbopuffer عبر contextbench@turbopuffer.com.

نتائج استرجاع المستندات والإجابات والأدلة على context-bench — الشكل 1: Answer@K وDocument@K وEvidence Recall@K وAll-Evidence@10 على context-bench، مقارنة Perplexity v2 معاينة 9B مع Voyage Context 4 وVoyage 4 Large وPerplexity context v1 4B.

تقسم أنظمة الاسترجاع عادةً المستندات الطويلة إلى أجزاء أصغر يمكن فهرستها والبحث فيها بشكل مستقل. التقطيع مريح في الممارسة العملية، ولكنه يزيل السياق الذي ظهر فيه كل جزء في الأصل، مما يخلق مقايضة بين دقة ضغط المعلومات والسياق المستخدم أثناء الترميز. قد يشير الجزء إلى كيان تم إدخاله مسبقاً، أو يرث معناه من عنوان قسم، أو يعتمد على تعريفات موجودة في مكان آخر من المستند. بمجرد استخراجه، قد لم يعد يحتوي على معلومات كافية لتتم مطابقتها بشكل موثوق مع استعلام. ترميز المستند بأكمله كمتجه واحد لا يحل هذه المشكلة، نظراً لأن تمثيلاً مجمعاً واحداً لا يمكنه التقاط كل جانب من مستند طويل بدقة.

تعالج نماذج التضمين السياقي هذا القيد من خلال تمثيل كل جزء في سياق محتواه المحيط، وغالباً ما يتم ذلك من خلال التقطيع المتأخر: يتم ترميز المستند في تمريرة واحدة وتتجمع تمثيلات الأجزاء بعد ذلك، بحيث يتم حساب كل متجه جزء مع رؤية المستند بأكمله. أظهر العمل السابق، مثل ConTEB وpplx-embed-context-v1 الخاص بنا، أن تمثيلات الأجزاء السياقية تحسن بشكل كبير الاسترجاع عبر الأجزاء المشفرة بشكل مستقل، لا سيما في المستندات الطويلة.

يتطلب تدريب نماذج التضمين السياقي إشرافاً يحدد أجزاء المستند ذات الصلة باستعلام معين. النهج الشائع هو تعليقات توضيحية للجزء الذهبي: لكل استعلام، يقوم المعلق، وعادة ما يكون نموذج لغة كبير (LLM)، بتحديد جزء المستند الذي يجيب عليه.

عادة ما يجمع التدريب بين خسارتين تباينيتين: خسارة تباينية بين المستندات تقارن الجزء الذهبي بأجزاء من مستندات أخرى، وخسارة تباينية داخل المستند تقارنه بالأجزاء الأخرى في نفس المستند.

هذا النهج له بعض القيود:

جزء واحد فقط ذو صلة. إنه يتعامل مع كل جزء آخر في المستند كسلبي، بما في ذلك تلك التي تحتوي على معلومات داعمة مفيدة. يعمل الإشراف على مستوى المستند في الطرف الآخر. إنه يحدد المستند على أنه ذو صلة دون تحديد الأجزاء التي تهمه داخله. في الممارسة العملية، غالباً ما تقع الصلة بين هذه التطرفات. قد يعتمد الجزء الحامل للإجابة على بعض الأجزاء الداعمة التي تقدم كياناً، أو تحل مرجعاً، أو توفر حقيقة تكميلية، بينما يكون باقي المستند غير ذي صلة. لذلك يجب على النموذج تعلم المستوى المناسب من الانتقائية: أوسع من جزء ذهبي واحد، ولكن أكثر تركيزاً من المستند ككل.
إشراف خشن. نظراً لأن كل تعليق يحدد جزءاً ذهبياً واحداً بدلاً من التقاط درجات الصلة عبر المستند، فإنه يوفر إشارات تدريب محدودة لمقدار الحوسبة المستهلكة في إنتاجه.
مكلف للتوسع. يتطلب كل زوج تدريب نموذج لغة كبير لقراءة المستند وتحديد الجزء ذي الصلة، وبالتالي تنمو تكلفة التعليقات التوضيحية خطياً مع حجم مجموعة التدريب وتحدد مدى تنوع بيانات التدريب.
حساس لحدود الأجزاء. ترتبط التسميات أيضاً بحدود الأجزاء المستخدمة أثناء التعليق التوضيحي. لا يحدد التسمية الذهبية المعينة لنافذة بحجم رمز ثابت الجمل الأقصر أو الفقرات الأطول ذات الصلة. وبالتالي، قد تتطلب تغيير استراتيجية التقطيع، أو التدريب عبر تقطيعات متعددة لتحسين المتانة لكيفية تقسيم المستندات في وقت الفهرسة، إعادة تعليق النص.

نعالج قيود الإشراف على الجزء الذهبي من خلال استخلاص أحكام الصلة من نموذج ضغط السياق الواعي بالاستعلام. يعمل هذا النموذج كمعلم: فهو يقرأ الاستعلام والمستند معاً ويخصص لكل رمز مستند درجة صلة. توفر تنبؤاته عدة مزايا لتدريب التضمينات السياقية:

حدود أجزاء مرنة. يمكن تجميع درجات الصلة على مستوى الرمز على أي حدود أجزاء مختارة، مما يسمح لنفس تنبؤات المعلم بالإشراف على تقطيع مختلف دون إعادة التعليق.
صلة مستمرة. على عكس تسميات الجزء الذهبي الثنائية، يوفر المعلم درجات مستمرة تلتقط درجات الصلة التي تميز بشكل طبيعي الأجزاء الحاملة للإجابات، والسياق الداعم، والمحتوى غير ذي الصلة.
تكلفة تعليق أقل. المعلم مدمج ومخصص في تسجيل الصلة، مما يجعله أرخص بكثير للإشراف على نطاق واسع مقارنة بنموذج لغة كبير للأغراض العامة.

نقوم بتدريب نموذجنا بمجموع مرجح من خسارة تباينية على مستوى المستند وخسارة تقطير على مستوى الجزء عبر دفعات من أزواج الاستعلام والمستند. لكل استعلام، يعمل المستند المقترن كإيجابي، بينما تعمل المستندات المتبقية في نفس الدفعة كسلبيات.

لكل دفعة، نختار عشوائياً استراتيجية تقطيع، ونقسم المستندات وفقاً لذلك، ونُدرج رموز فاصلة بين الأجزاء. ثم نعالج كل مستند في تمريرة أمامية واحدة ونجمع متوسط تمثيلات الرموز داخل كل جزء للحصول على تضمينات أجزاء سياقية. يتم ترميز الاستعلامات بشكل منفصل، مع تجميع متوسط عبر تمثيلات رموزها. أخيراً، نحسب التشابه الجيبوي بين كل تضمين استعلام وكل تضمين جزء في الدفعة.

بينما ينتج نموذج التضمين الخاص بنا تشابهات على مستوى الجزء فقط، يمكننا اشتقاق تشابهات على مستوى المستند منها بشكل طبيعي. نعتبر المستند d ذي صلة بالاستعلام q بقدر أهمية جزئه الأكثر صلة. قاعدة التسجيل هذه مستوحاة من عملية MaxSim الخاصة بـ ColBERT، والمطبقة هنا على الأجزاء بدلاً من الرموز.

على وجه التحديد، بالنظر إلى استعلام q مع التضمين q ومستند d كقائمة مرتبة من الأجزاء c مع التضمينات c، فإننا نعَرّف التشابه على مستوى المستند على النحو التالي:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

بالنظر إلى هذه التشابهات على مستوى المستند، يمكننا صياغة هدف InfoNCE على مستوى المستند عبر السلبيات داخل الدفعة.

بالنسبة للاستعلام q، دع d⁺ يدل على المستند ذي الصلة و𝒟 المستندات في الدفعة. الخسارة التباينية هي كما يلي، مع حذف درجات الحرارة لسهولة القراءة:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

تعلم الخسارة التباينية النموذج المستند ذي الصلة بالاستعلام. تعلمه خسارة التقطير مكان وجود الصلة داخل هذا المستند، وهو أمر أساسي للنموذج السياقي.

أثناء التدريب، نمرر كل زوج استعلام ومستند إيجابي إلى نموذج ضغط السياق الخاص بنا، والذي يعين درجة صلة لكل رمز في المستند. كما هو الحال مع التسجيل على مستوى المستند، نشتق صلة كل جزء من محتوياته الأكثر صلة. لتقليل الحساسية تجاه الرموز الخارجية، بما في ذلك تلك الموجودة في حدود الأجزاء، نعَرّف صلة مستوى الجزء كمتوسط أعلى n درجات رموز داخل الجزء.

لكل استعلام، نطبق سوفت ماكس مقياس بدرجة الحرارة على درجات صلة مستوى الجزء للمعلم داخل المستند الإيجابي للحصول على توزيع مستهدف. تتلقى الأجزاء في المستندات الأخرى في الدفعة احتمالية مستهدفة صفرية. نقوم بتدريب نموذج التضمين لمطابقة هذا الهدف عن طريق تقليل اختلاف KL الأمامي بين الهدف وتوزيعه المتنبأ به عبر جميع الأجزاء في الدفعة:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

هنا، تشير الحروف الفوقية T وS إلى المعلم والطالب، وrⱼ هي درجة صلة المعلم للجزء cⱼ في المستند الإيجابي d⁺. يعين توزيع هدف المعلم احتمالية صفرية للأجزاء في جميع المستندات الأخرى في الدفعة.

على عكس تسمية جزء ذهبي واحد، يلتقط هذا الهدف درجات الصلة. تتلقى الأجزاء الداعمة وزناً وفقاً لدرجات المعلم بدلاً من معاملتها كسلبيات، مما يعلم النموذج استرجاع السياق الداعم بالإضافة إلى الإجابة.

هدف التدريب المجمع الخاص بنا هو مجموع مرجح للخسارة التباينية على مستوى المستند وخسارة التقطير على مستوى الجزء. نحسب متوسط هذه الخسارة المرجحة عبر دفعة أزواج الاستعلام والمستند.

يوضح الشكل 2 نهج التدريب الخاص بنا. يعمل ضاغط السياق كمعلم أثناء التدريب فقط. في وقت الاستدلال، ينتج نموذج التضمين تضميناً سياقياً واحداً لكل جزء، بدون ضغط إضافي أو مرحلة إعادة ترتيب. يحسن النهج كيفية تعلم التضمينات السياقية دون زيادة تخزين الفهرس أو إضافة زمن انتقال نموذج المعلم في وقت الاسترجاع.

إعداد التدريب لتقطير التضمين السياقي — الشكل 2: إعداد التدريب لنموذجنا. يقوم المشفر السياقي (الطالب، اليسار) بمعالجة المستندات، ويتكون كل منها من عدة أجزاء. يتم تضمين كل جزء فيما يتعلق بسياق المستند المحيط به. الاستعلام A هو تطابق معروف للمستند A ويتم تسجيله مقابل أجزاء جميع المستندات للحصول على التشابهات المتنبأ بها. يتم تجميع درجات مستوى الجزء هذه كحد أقصى إلى درجات مستوى المستند. نقوم بتدريب تنبؤات مستوى الجزء وتنبؤات مستوى المستند لمطابقة التوزيعات المستهدفة (اليمين). يتم حساب الهدف على مستوى الجزء في وقت التدريب كتنبؤ لضاغط السياق داخل المستند ذي الصلة المعروف ويتم ضبطه على صفر داخل المستندات غير ذات الصلة المعروفة. يتم ضبط توزيع الهدف على مستوى المستند ليكون أحادي البت (one-hot) على المستند ذي الصلة المعروف.

تتكون بيانات التدريب من ما يقرب من 430 مجموعة بيانات للاستعلام والمستندات العامة والداخلية تغطي أكثر من 50 لغة.

نقوم بإنشاء مجموعات بيانات أزواج داخلية من بيانات الإنتاج المفلترة من معلومات التعريف الشخصية ومن خلال تجميع الاستعلامات ذات الصلة على المستندات الطويلة. لكل تمريرة أمامية، نحدد مجموعة بيانات واحدة ونأخذ عينة من الدفعة بأكملها لزيادة صعوبة العينات السلبية داخل الدفعة وتجنب التعلم المختصر. لا تحمل أي من مجموعات بيانات التدريب الخاصة بنا تعليقات توضيحية على مستوى الجزء: كل الإشراف داخل المستند يأتي من نموذج الضغط، ولا تُستخدم بيانات ConTEB للتدريب. علاوة على ذلك، لم تكن أي بيانات تخص context-bench متاحة أثناء تطوير النموذج.

يبدأ النموذج من نموذج استرجاع ColBERT داخلي مكون من 9 مليارات بارامتر وينتج تضمينات بأبعاد 2048 من خلال طبقة إسقاط خطية. نضع علامة على حدود الأجزاء برموز <|chunk_sep|> متعلمة ونشكل كل تضمين جزء من خلال أخذ متوسط تضمينات الرموز الخاصة به. يتم ترميز الاستعلامات بواسطة نفس النموذج، مع أخذ متوسط تضمينات الرموز الخاصة بها في متجه واحد.

نستخدم تدريب ماتريوشكا لدعم كل من التضمينات ذات الأبعاد 1024 و2048، والتدريب الواعي بالكمية لدعم تضمينات int8 الأصلية. أثناء التدريب، نقوم بزيادة معدل التعلم تدريجياً، ثم إبقائه ثابتاً، ثم تقليله.

النموذج الصادر هو مزيج نماذج يحسب متوسط أوزان عدة نقاط تحقق من نفس جولة التدريب.

تتشارك معايير الاسترجاع السياقي العامة مثل ConTEB الافتراض الكامن وراء الإشراف على الجزء الذهبي: كل استعلام له جزء واحد ذي صلة ويتم مكافأة النموذج فقط على وضع هذا الجزء في المرتبة الأولى. كما أنها ترث قيودها.

أولاً، يختبر ConTEB الاسترجاع في المهام التي يكون فيها الجزء غامضاً بدون سياقه المحيط. في هذه المهام، تفوقت النماذج السياقية على النماذج التي تقوم بترميز كل جزء بشكل مستقل. ومع ذلك، فهو لا يسأل عما إذا كان النموذج يبرز أيضاً الأجزاء الأخرى من المستند التي تجعل الجزء مفهومًا.

ثانياً، لا يختبر بشكل منهجي ما إذا كان من الممكن العثور على المستند الصحيح عندما تختلف المستندات المتطابقة تقريباً في نفس النص فقط في السياق المحيط بجملة متطابقة بخلاف ذلك.

كلا القدرتين مهمتان عندما يجب على وكيل البحث أو المستخدم فهم والتحقق من إجابة من بضع جمل مسترجعة بدلاً من مستند بأكمله. لذلك قمنا بنناء context-bench، وهو معيار خاضع للرقابة للاسترجاع عبر المستندات الطويلة، مصمم للتمييز بين استخدام سياق المستند والجودة العامة للارسترجاع. إنه يختبر ما إذا كانت التضمينات السياقية تستخدم معلومات من أماكن أخرى في المستند لدعم ثلاث قدرات:

توضيح المستند: تحديد المستند الصحيح من بين بدائل متطابقة تقريباً.
استرجاع الإجابات: استرجاع أجزاء حاملة للإجابات يعتمد معناها على تفاصيل في مكان آخر من المستند.
استرجاع الأدلة: استرجاع الأجزاء الداعمة التي توضح أو تثبت الإجابة.

يحتوي context-bench على 2,099 استعلاماً و38,894 مستنداً. تُستخدم أجزاء بطول الجملة، مما ينسجم عنه إجمالي 2,458,072 جزءاً. تغطي الاستعلامات 21 مجالاً بما في ذلك الإفصاحات للشركات، والبحوث السريرية، والسفر، والترفيه، والتعليم، والحكومة، والعقود القانونية، وتوثيق البرامج.

تم تصميم كل استعلام لاختبار إحدى القدرات السياقية الاثنتي عشرة. مستندات الهدف الأساسي مقصود أن تكون طويلة: 1,061 من أصل 1,197 مستند هدف أساسي مميز تحتوي على 200 جملة على الأقل، بمتوسط طول يبلغ تقريباً 6,100 رمز. لكل استعلام إجابة صحيحة واحدة بالضبط في النص. عندما يتم ذكر نفس الحقيقة أكثر من مرة في المستند الذهبي، على سبيل المثال في جملة ملخصة وصف دراسي، تُقبل أي من تلك الجمل كإجابات.

مسار الإجابة هو مزيج صالح واحد من جزء الإجابة والأدلة الداعمة اللازمة لتفسيره أو التحقق منه. عبر 2,099 استعلاماً، يحتوي مسار إجابة مستند الهدف الأساسي على مجموعة أدلة واحدة لـ 964 استعلاماً، واثنتين لـ 735، وثلاثة أو أكثر لـ 332، ولا شيء لـ 68. قد تتطلب مسار الإجابات البديلة الصالحة مجموعات أدلة مختلفة.

الجدول 1: إحصاءات المعيار.

الإحصائية	القيمة
الاستعلامات	2,099
المستندات	38,894
أجزاء الجملة	2,458,072
متوسط طول مستند الهدف الأساسي	6,100 رمز
المجالات	21
مجموعات الأدلة لكل استعلام (مسار إجابة مستند الهدف الأساسي)	1: 964؛ 2: 735؛ 3+: 332؛ لا شيء: 68

الجدول 2: اثنتا عشرة قدرة سياقية يتم اختبارها بواسطة context-bench، مع أمثلة توضيحية.

القدرة	استعلام توضيحي	جزء الإجابة	سياق المستند المطلوبة
1. هوية الكيان	كم أنفقت نورث ليك على إعادة شراء الأسهم؟	أعادت الشركة شراء أسهم بقيمة 12.8 مليار دولار.	تُحدد المقدمة شركة نورث ليك بصفتها "الشركة". تقرير ساوث ليك المماثل ليس ذي صلة.
2. الفترة أو الإصدار	ما هي الخرطوشة المناسبة لمراجعة M40 الإصدار B؟	قم بتثبيت خرطوشة KC-42.	يوضح قسم قابلية التطبيق أن هذه التعليمات تغطي الإصدار B وليس الإصدار C.
3. التعريفات والأسماء المستعارة	ما هو معدل الانسحاب الذي سجله مجموعة 15 ملغ؟	سجلت زيتا معدل انسحاب بلغ 12.7%.	يعرّف التقرير زيتا بأنه مجموعة 15 ملغ. بدون هذا التعريف، لا يحدد الجزء المجموعة المطلوبة.
4. هيكل الجدول	ما هي سعة بطارية طراز Max؟	السعة النموذجية: 4,250 \| 4,700 \| 5,150.	يُحدد رأس الجدول Mini \| Base \| Max، مقاسة بالمللي أمبير ساعة. وبالتالي فإن الإجابة هي 5,150 مللي أمبير ساعة.
5. الشروط والاستثناءات	ما هي مدة تغطية البطارية للاستخدام التجاري؟	تستمر تغطية البطارية لمدة 18 شهراً.	يقيد تقديم القسم هذه التغطية على التركيبات التجارية؛ بينما تتمتع التركيبات المنزلية بضمان مختلف.
6. المراجع والضمائر	متى أصبحت مارا نائبة لرئيس البلديّة؟	تولت مهام منصبرها في عام 2021.	يوضح السرد السابق أن كلمة "هي" تشير إلى مارا، وليس إيلين، التي تمت مناقشتها أيضاً.
7. ترتيب القائمة وموقعها	ما هي الأغنية التي افتتحت العرض الإضافي؟	14. لانترن رود.	تشير ملاحظة في مكان آخر إلى أن الأغاني من 14 إلى 16 شكلت العرض الإضافي. وبالتالي فإن المسار 14 هو أغنيته الافتتاحية.
8. نطاق القسم	ما هي العدسة المستخدمة لتصوير الفيلم؟	تم استخدام عدسة أولية بحجم 35 مم طوال الوقت.	ينتمي هذا المقطع إلى "التصوير الرئيسي"، وليس القسم المنفصل المتعلق بصور الدعاية.
9. إسناد المتحدث	ما هو تاريخ إعادة الافتتاح الذي وعد به رئيس البلدية؟	سنعيد فتح الأبواب في 12 يونيو.	يحدد النص رئيس البلدية كمتحدث. الكلمات نفسها الصادرة عن مقاول لن تثبت وعد رئيس البلدية.
10. التغيرات بمرور الوقت	ما هي فترة الإشعار التي انطبقت بعد تعديل شهر مايو؟	فترة الإشعار أصبحت الآن 45 يوماً.	يُثبت سجل التعديلات أن هذا التغيير دخل حيز التنفيذ في مايو، ليحل محل قاعدة الـ 30 يوماً السابقة.
11. العلاقات السببية	لماذا توقف المضخة الغربية؟	تسبب هذا الخلل في توقف التشغيل.	يُحدد التحقيق "ذلك الخلل" بأنه محمل متمسك (محمل تالف) في المضخة الغربية، ويميزه عن انسداد في المدخل لا علاقة له.
12. المعنى المجازي أو عبر اللغات	مجازي: ما الذي ترمز إليه "غرفة الشتاء" في القصيدة؟ عبر اللغات: ما هو المكون الذي تطلب التعليمات الفرنسية من الفني إزالته؟	مجازي: إنها تمثل المنفى، وليست غرفة جسدية حقيقية. عبر اللغات: Retirez le capot. (أزل الغطاء.)	مجازي: يحدد التعليق "ذلك" بأنه صورة "غرفة الشتاء" المتكررة في القصيدة. عبر اللغات: يُحدد مسرد الدليل أن كلمة "capot" تعني غطاء المحرك الواقي، وليس غطاء الشحن.

الاستعلامات والمستندات والقدرات التي يتم اختبارها مستوحاة من المحادثات مع عملاء turbopuffer.

على سبيل المثال لا الحصر، ضع في اعتبارك احتياجات البحث الخاصة بشركة إدارة عقارات. تمتلك هذه الشركات مئات، وأحياناً آلاف اتفاقيات الإيجار التي تختلف فقط في أسماء المستأجرين، والتواريخ، وبعض التفاصيل الرئيسية الأخرى. قد يكون الاستعلام الشائع لهذه المجموعة من البيانات هو "متى ينتهي عقد إيجار 5 بارك أنيو وما هي الإيجار الحالي؟". يمكن أن تكون اتفاقيات الإيجار طويلة أيضاً ويمكن أن تكون المكونات الحاسمة المميزة التي تؤكد أنك قمت باسترجاع المستند الصحيح (مثل التاريخ، والعنوان، واسم المستأجر، وما إلى ذلك) بعيدة جداً عن جملة الإجابة الرئيسية التي تحتوي على مبلغ دفع الإيجار الشهري. في الممارسة العملية، يمكن أن تظهر جمل متطابقة مثل "الإيجار الشهري هو X,XXX دولار." عبر العديد من المستندات في المجموعة.

يجب أن يستخدم نموذج التضمين السياقي الجيد السياق من جميع أنحاء المستند لتحديد المستند الصحيح واسترجاع كل من الإجابة وجملها الداعمة. يتيح ذلك للمستخدم أو وكيل البحث التحقق بسرعة من الإجابة والتأكد من أنها تأتي من المستند الصحيح.

لكل استعلام، نقوم بتسمية جمل "الإجابة" و"الأدلة" في المستند المستهدف. يجتاز النموذج اختبار "كفاية القارئ" الخاص بنا إذا قام باسترجاع جملة إجابة جنباً إلى جنب مع جملة واحدة على الأقل من كل مجموعة أدلة. توفر هذه الجمل معاً سياقاً كافياً للقارئ للتحقق من الإجابة بأدلة داعمة.

عندما تؤدي نماذج التضمين السياقي هذا بشكل جيد، يمكنها تقليل عدد الرموز التي يحتاج وكلاء البحث إلى مراجعتها بشكل كبير فضلاً عن تسهيل الأمر بشكل كبير على الشخص لتأكيد بسرعة أنه عثر على الإجابة الصحيحة لاستعلامه الأصلي دون الحاجة إلى قراءة المستند بأكمله.

يجب استرجاع كل مجموعة أدلة، ولكن أي بديل واحد من بدائل المجموعة يكفي لاسترجاعها. من الشائع رؤية نفس الحقيقة مذكورة في عدة أماكن عبر هذه المستندات الطويلة. استرجاع جملة واحدة فقط من كل مجموعة أدلة يلبي معايير كفاية القارئ وعلى هذا النحو سيتم قبوله كاسترجاع مثالي للأدلة.

يتم تقطيع كل مستند إلى جمل، وتُستخدم نفس الحدود لجميع النماذج. يتم اختبار شرطين لنماذج التضمين غير السياقية: أحدهما يتم فيه تضمين كل جملة بشكل مستقل والآخر يتم فيه تضمين المستند بأكمله كجزء واحد.

نستخدم شرط مستوى الجملة لقياس استرجاع الإجابات واسترجاع الأدلة. إنه يختبر ما إذا كان النموذج غير السياقي يمكنه تحديد الإجابة الصحيحة والأدلة الداعمة عندما يتم تضمين كل جملة دون الوصول إلى المستند المحيط. هذا أمر صعب عن قصد. في العديد من الاستعلامات، تفتقر جملة الإجابة وحدها إلى التفاصيل اللازمة لتمييزها عن جمل مماثلة في مكان آخر من النص.

نستخدم شرط مستوى المستند كخط أساس لاسترجاع المستندات. إنه يختبر ما إذا كانت تضمينات الجمل الدقيقة توفر ميزة استرجاع كافية لتبرير تكلفة التخزين الإضافية مقارنة بتخزين متجه واحد لكل مستند. ينشئ الفهرس على مستوى الجملة متجهات أكثر بكثير من الفهرس على مستوى المستند، لذا يجب أن يتفوق على خط أساس المتجه الواحد لكل مستند لتبرير هذه التكلفة.

تستخدم جميع التقييمات الترتيب الشامل مقابل جميع 2,458,072 جزءاً. لذلك تعكس الاختلافات بين النماذج التمثيلات وليست تكوين الفهرس. نركز على ثلاثة مقاييس رئيسية:

يُعرّف Document@K على النحو التالي:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

حيث $d^{*}$ هو المستند الأعلى تصنيفاً في $D_q$ .

يُعرّف Answer@K على النحو التالي:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

حيث $C_K(q)$ هي أعلى $K$ أجزاء عبر النص بأكمله و $A_{q}$ هي مجموعة أجزاء الإجابات المقبولة.

يتم قياس Evidence Recall@K داخل $d^{*}$ على النحو التالي: ترتيب جمل $d^{*}$ حسب التشابه، وإزالة جملة الإجابة ذات الترتيب الأعلى، وترك $R_K(q)$ كـ $K$ الأعلى التي تبقى. لمجموعات الأدلة $G_q=\{g_1,\ldots,g_m\}$ ، يتم استرجاع المجموعة $g_j$ إذا كان هناك بديل $E\in g_j$ يرضي $E\subseteq R_K(q)$ ، و

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

يسأل Document@K عما إذا كان السياق يسمح للمستند الصحيح بالتفوق على الأشقاء والمشتتات التي تتشارك مع مفرداتها.

يسأل Answer@K عما إذا كانت جملة الإجابة نفسها تصنف ضمن الأجزاء العليا.

يسأل Evidence Recall@K عن مقدار السياق الداعم الذي يتم استرجاعه بين أفضل K أجزاء للمستند الصحيح، بعد استبعاد جزء الإجابة الأعلى رتبة. تؤدي إزالة الإجابة إلى منع استرجاع الأدلة من حساب ما يقيسه Answer@K بالفعل، وتترك جميع فتحات $K$ للسياق الداعم. يتطلب أن يكون المستند الذهبي في أعلى 10 مستندات مسترجعة، مما يعني عدم تلقي أي نموذج رصيد أدلة لمستند لم يكن ليظهره. نبلغ أيضاً عن All-Evidence@K، وهو جزء الاستعلامات مع استعادة كل مجموعة.

معاً، تحلل هذه المقاييس التحديات التي تواجه نماذج التضمين السياقي: إيجاد المستند المناسب، وإيجاد الإجابة الصحيحة، واسترجاع الحد الأدنى من السياق الذي يوضح سبب صحة الإجابة.

يوضح الشكل 3 المقاييس مع مثال إدارة العقارات.

كيف يتم تسجيل مستند context-bench والإجابة واسترجاع الأدلة — الشكل 3: مقاييس context-bench موضحة باستعلام إيجار. يختبر Document@K استرجاع المستند الصحيح؛ ويختبر Answer@K استرجاع جزء الإجابة الخاص به؛ يقيس Evidence Recall@K استعادة مجموعات الأدلة الداعمة داخل المستند المستهدف. في هذا المثال، يتطلب التحقق من الإيجار أدلة العنوان وسنة الإيجار. يستبعد استرجاع الأدلة جزء الإجابة العلوي ويتطلب تصنيف المستند المستهدف في أعلى 10.

نقيم نموذجنا مقابل نماذج التضمين السياقية وغير السياقية على أربع جبهات.

خطوط الأساس السياقية الخاصة بنا هي pplx-embed-context-v1-4B وvoyage-context-4. خطوط الأساس غير السياقية الخاصة بنا هي voyage-4-large وNemotron-3-Embed-8B-BF16 من NVIDIA، والتي تقوم بترميز الأجزاء بشكل مستقل. تختلف مجموعة خطوط الأساس حسب التجربة، كما هو موضح في كل شكل.

نبدأ بـ context-bench، الذي يختبر مباشرة القدرات التي تحفز هذا العمل، ثم نبلغ عن النتائج على ConTEB، المعيار العام القياسي للتضمينات السياقية. للتحقق من أن هذه المكاسب لا تأتي على حساب جودة الاسترجاع العام، نقوم أيضاً بتقييم معايير استرجاع المستندات والأجزاء الخاصة بالمدى التي بنيناها من مجموعات البيانات العامة. أخيراً، ندرس خاصيتين عمليتين للنشر: جودة الاسترجاع مقابل تكاليف التخزين لكل متجه، والحساسية تجاه حجم الجزء المستخدم في وقت الفهرسة. تقوم جميع التقييمات بترميز مستندات تصل إلى 32,768 رمزاً في تمريرة واحدة.

كما هو موضح في الشكل 1 في المقدمة، فإن معاينتنا تتصدر في Answer@K وEvidence Recall@K في كل حد مقبلا، بالإضافة إلى All-Evidence@10. عند K = 10، تحقق 45.5% استرجاع الإجابات، و40.6% استرجاع الأدلة، و31.1% استرجاع جميع الأدلة. كما أنها تتصدر في Document@1 وDocument@10، حيث تصل إلى 15.2% و61.6% على التوالي. عند K = 10، تتجاوز معاينتنا voyage-context-4 بمقدار 14.4 نقطة مئوية في استرجاع الإجابات و5.0 نقاط في استرجاع الأدلة.

يحقق نموذج المعاينة الخاص بنا أعلى متوسط nDCG@10 بين النماذج المعروضة على ConTEB في الشكل 4. إنه لا يتصدر في كل مهمة: يحصل pplx-context-v1-4B على درجات أعلى في NarrativeQA، بينما يحصل Nemotron-3-8B على أعلى الدرجات في COVID-QA. كما أشار المؤلفون الرئيسيون أيضاً في ورقة ConTEB، يتضمن COVID-QA في الغالب أزواج استعلام إلى جزء استخراجية للغاية ويمكن إرضاؤها بمطابقة سطحية بسيطة للمفردات على المصطلحات الطبية الفنية. ونتيجة لذلك، يكون فهم السياق أقل فائدة لهذه المهمة وتتفوق النماذج غير السياقية عادةً على النماذج السياقية.

nDCG على مستوى المهمة عند 10 على ConTEB — الشكل 4: nDCG@10 على مستوى المهمة على ConTEB في إعداد الاستعلام إلى الجزء. المتوسط هو المتوسط غير المرجح عبر المهام الثماني.

تجاوزاً للمعايير المصممة للتضمينات السياقية، نقيم الأداء الخاص بالمجال لنموذجنا.

تستخدم مجموعة الاستعلام إلى الجزء (Q2C) مهام MTEB مثل LegalBench وFinanceBench جنباً إلى جنب مع مهام استرجاع إضافية قمنا بتنظيمها من مجموعات بيانات عامة. داخل كل مستند ذي صلة، يُصنف الجزء بأنه ذو صلة إذا كان يحتوي على نطاق الإجابة الدقيق عندما توفر المهمة واحداً، وإلا بواسطة LLM يحكم على صلته بالاستعلام. تستخدم مجموعة الاستعلام إلى المستند (Q2D) نفس المهام وتسجل ما إذا تم استرجاع المستند ذي الصلة.

يحقق نموذجنا أعلى متوسط درجات في استرجاع الأجزاء في الشكل 5 ويتصدر في المجالات القانونية والتقنية والصحية. إنه لا يتصدر في كل مجال: يحصل voyage-context-4 على درجات أعلى في التمويل والاسترجاع متعدد اللغات، ويحصل Nemotron-3-8B على أعلى الدرجات في استرجاع المحادثات. في استرجاع المستندات في الشكل 6، يسجل نموذجنا درجات أقل بقليل من voyage-context-4 في المتوسط، بينما يتصدر في المجال التقني. يسجل خط الأساس pplx-context-v1-4B درجات أقل في المتوسط في كلا المجموعتين، وهو ما يتسق مع تدريبه فقط على مجموعة تدريب ConTEB، مما يظهر أن الإشراف المرتبط بأجزاء معيار واحد ينتقل بشكل سيء إلى مجالات أخرى.

درجات استرجاع الاستعلام إلى الجزء حسب المجال — الشكل 5: متوسط nDCG@10 على مهام الاستعلام إلى الجزء (Q2C)، مجمعة حسب المجال. أعمدة المجال هي متوسطات غير مرجحة لدرجات مستوى المهمة في هذا المجال؛ المتوسط العام هو متوسط غير المرجح عبر جميع المهام المعروضة.

درجات استرجاع الاستعلام إلى المستند حسب المجال — الشكل 6: متوسط درجة الاسترجاع على مهام الاستعلام إلى المستند (Q2D)، مجمعة حسب المجال. كل عمود في المجال هو المتوسط غير المرجح لدرجاته الرئيسية على مستوى المهمة؛ المتوسط العام هو متوسط غير المرجح عبر جميع المهام المعروضة.

ينتج نموذج التضمين السياقي متجهاً واحداً لكل جزء، لذا فإن الفهرس المبني بنموذجنا يحتوي تماماً على عدد المتجهات مثل الفهرس التقليدي على مستوى الجزء بنفس استراتيجية التقطيع. يغير التسييق السياقي ما يرمزه كل متجه، وليس عدد المتجهات المخزنة. وبالتالي يتحكم في بصمة التخزين حجم كل متجه. يوفر النموذج طريقتين لتقليله: اقتطاع التضمين من 2048 إلى 1024 بُعداً وتكميمه إلى int8.

يوضح الشكل 7 مقايضة مواتية بين جودة الاسترجاع وتخزين المتجهات. عند 1024 بُعداً، تستهلك تضمينات int8 الخاصة بنا 1 كيلوبايت لكل متجه مع تجاوز درجة استرجاع الأجزاء لـ voyage-context-4 طفيفاً عند 2048 بُعداً في float32، والذي يستهلك 8 كيلوبايت لكل متجه. تؤدي زيادة حجم التضمين إلى 2048 بُعداً إلى رفع جودة الاسترجاع أكثر عند 2 كيلوبايت لكل متجه. تشير أرقام التخزين هذه إلى المتجهات وحدها، وليس بقية الفهرس.

جودة استرجاع الأجزاء مقابل التخزين لكل متجه — الشكل 7: جودة استرجاع الأجزاء (متوسط nDCG@10) كدالة للتخزين لكل متجه. تشير الخطوط المتصلة إلى float32 والخطوط المتقطعة إلى int8؛ وتعطي التسميات أبعاد التضمين.

يظهر الشكل 8 تغييراً طفيفاً فقط في جودة الاسترجاع مع زيادة حجم الجزء من 64 إلى 512 رمزاً: ينخفض المتوسط من 81.0% إلى 79.9%، بانخفاض قدره 1.1 نقطة مئوية. يشير هذا إلى أن النموذج يظل فعالاً عبر أحجام الأجزاء المختبرة، مما يمنح مسارات الفهرسة مرونة في كيفية تقسيم المستندات.

حساسية حجم الجزء: درجات الاسترجاع للأجزاء من 64 إلى 512 رمزاً — الشكل 8: حساسية حجم الجزء لنموذجنا. كل نقطة هي متوسط nDCG@10 غير المرجح عبر 74 مهمة MTEB، مع فهرست المستندات بحجم الجزء المحدد.

تحتفظ turbopuffer بجميع النصوص والاستعلامات والتصنيفات الخاصة بـ context-bench بشكل خاص وتبلغ عن النتائج للنماذج المُرسلة. إن وجود معيار عام من هذا النوع يشجع على التدريب المباشر على استعلاماته ومستنداته، مما يؤدي تدريجياً إلى تشبعه وتقليل قيمته في تتبع التقدم بمرور الوقت. إذا كنت ترغب في تقييم نموذجك على المعيار، يُرجى التواصل مع turbopuffer عبر البريد الإلكتروني contextbench@turbopuffer.com.

نسخة معاينة من نموذجنا متاحة على Hugging Face، وجميع النتائج في هذا المنشور تم الإبلاغ عنها لهذه المعاينة. نعمل على إتاحة النموذج من خلال واجهة برمجة تطبيقات Perplexity، وعلى تحسين الاسترجاع عبر المستندات الطويلة جنباً إلى جنب مع turbopuffer.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

مقدمة

لماذا يهم السياق للاسترجاع

قيود الإشراف على الجزء الذهبي

نهج جديد للتعلم السياقي

دالة الخسارة

خسارة تباينية على مستوى المستند

خسارة التقطير على مستوى الجزء

الخسارة المجمعة

بيانات التدريب

إعداد التدريب

معيار جديد للاسترجاع على مستوى الجزء

المستندات والاستعلامات

تصنيفات الإجابات والأدلة

المقاييس

نتائج التقييم

Context-bench

ConTEB

جودة الاسترجاع العامة عبر المجالات

جودة الاسترجاع وتكاليف التخزين

حساسية حجم الجزء

الإصدار

اقتباس