গোল্ড প্যাসেজের বাইরে প্রাসঙ্গিক এম্বেডিং

প্রাসঙ্গিক এম্বেডিংগুলি সম্পূর্ণ নথির প্রেক্ষিতে প্রতিটি প্যাসেজ বা চাঙ্কের অর্থ ক্যাপচার করে। তাদের প্রশিক্ষণ এবং মূল্যায়ন সাধারণত প্রতি কোয়েরিতে একটি একক প্রাসঙ্গিক চাঙ্কের অনুমান করে, যা “গোল্ড প্যাসেজ” নামে পরিচিত। যাইহোক, অনুশীলনে একটি গোল্ড প্যাসেজ প্রায়শই যথেষ্ট হয় না। এতে উত্তর থাকতে পারে কিন্তু এটি বুঝতে বা যাচাই করার জন্য প্রয়োজনীয় সহায়ক প্রসঙ্গের অভাব থাকতে পারে, যা বিচ্ছিন্নভাবে এটিকে দ্ব্যর্থক করে তোলে।

আমরা পরিচয় করিয়ে দিচ্ছি pplx-embed-v2-context-9b-preview, আমাদের নতুন প্রাসঙ্গিক এম্বেডিং মডেল। মডেলটি একটি অভিনব দৃষ্টিভঙ্গি দিয়ে প্রশিক্ষিত যা শিক্ষক হিসেবে Perplexity-এর প্ৰসঙ্গ কম্প্রেশন মডেল ব্যবহার করে। আমরা এর টোকেন-স্তরের পূর্বাভাসগুলিকে চাঙ্ক-স্তরের প্রাসঙ্গিকতা স্কোরে একত্রিত করি, যা এম্বেডিং মডেলকে একক গোল্ড চাঙ্কের পরিবর্তে উত্তর চাঙ্ক এবং সহায়ক প্রসঙ্গ উভয়ই পুনরুদ্ধার করতে শেখায়। মডেলটি কোনো অতিরিক্ত ইনফারেন্স খরচ ছাড়াই প্রতি চাঙ্ক একটি এম্বেডিং তৈরি করে এবং 1024-মাত্রিক এবং int8 এম্বেডিং সমর্থন করে।

এটি context-bench-এ অত্যাধুনিক ফলাফল অর্জন করে, যা প্রসঙ্গ-সচেতন পুনরুদ্ধারের জন্য একটি নতুন বেঞ্চমার্ক যা turbopuffer দ্বারা তৈরি এবং ব্যক্তিগতভাবে রাখা হয়েছে, এবং একটি ব্যাপকভাবে ব্যবহৃত পাবলিক বেঞ্চমার্ক ConTEB-এ। আমাদের মডেলটি context-bench থেকে স্বাধীনভাবে বিকশিত হয়েছিল এবং একটি অন্ধ জমা হিসেবে মূল্যায়ন করা হয়েছিল।

Context-bench-এ ২১টি ডোমেনে ৩৮,৮৯৪টি দীর্ঘ নথির ওপর ২,০৯৯টি কোয়েরি রয়েছে এবং এটি প্রাসঙ্গিক এম্বেডিংয়ের তিনটি ক্ষমতা মূল্যায়ন করে: প্রায়-ডুপ্লিকেট নথির মধ্যে নথি দ্ব্যর্থতা দূরীকরণ, গোল্ড চাঙ্ক পুনরুদ্ধার যার অর্থ দূরবর্তী প্রসঙ্গের উপর নির্ভর করে এবং একটি উত্তর যাচাই করার জন্য প্রয়োজনীয় সহায়ক প্রমাণের স্মরণ।

মডেলটির একটি প্রিভিউ Hugging Face-এ সর্বজনীনভাবে উপলব্ধ। ট্রেনিং দূষণের ঝুঁকি কমাতে এবং অগ্রগতি পরিমাপের জন্য এর মান সংরক্ষণ করতে বেঞ্চমার্কটি turbopuffer দ্বারা ব্যক্তিগতভাবে রাখা হয়েছে। মূল্যায়নের অনুরোধ করতে, অনুগ্রহ করে contextbench@turbopuffer.com-এ turbopuffer-এর সাথে যোগাযোগ করুন।

context-bench-এ নথি, উত্তর এবং প্রমাণ পুনরুদ্ধারের ফলাফল — চিত্র ১: context-bench-এ Answer@K, Document@K, Evidence Recall@K, এবং All-Evidence@10, যা Perplexity v2 প্রিভিউ 9B-এর সাথে Voyage Context 4, Voyage 4 Large, এবং Perplexity context v1 4B-এর তুলনা করে।

পুনরুদ্ধার সিস্টেমগুলি সাধারণত দীর্ঘ নথিগুলিকে ছোট ছোট চাঙ্কে বিভক্ত করে যা স্বাধীনভাবে সূচীবদ্ধ এবং অনুসন্ধান করা যেতে পারে। অনুশীলনে চাঙ্কিং সুবিধাজনক, তবে এটি সেই প্রসঙ্গটিকে সরিয়ে দেয় যেখানে প্রতিটি চাঙ্ক মূলত উপস্থিত হয়েছিল, তথ্য সংকোচনের দানাদারতা (granularity) এবং এনকোডিংয়ের সময় ব্যবহৃত প্রসঙ্গের মধ্যে একটি আপস তৈরি করে। একটি চাঙ্ক পূর্বে প্রবর্তিত কোনো সত্তাকে নির্দেশ করতে পারে, কোনো বিভাগ শিরোনাম থেকে এর অর্থ উত্তরাধিকারসূত্রে পেতে পারে, অথবা নথির অন্য কোথাও অবস্থিত সংজ্ঞার উপর নির্ভর করতে পারে। একবার এক্সট্রাক্ট করা হলে, এতে নির্ভরযোগ্যভাবে কোনো কোয়েরির সাথে মেলানোর জন্য পর্যাপ্ত তথ্য নাও থাকতে পারে। সম্পূর্ণ নথিটিকে একটি একক ভেক্টর হিসাবে এনকোড করা এটি সমাধান করে না, যেহেতু একটি পুলেড প্রতিনিধিত্ব বিশ্বস্তভাবে দীর্ঘ নথির প্রতিটি দিক ক্যাপচার করতে পারে না।

প্রাসঙ্গিক এম্বেডিং মডেলগুলি প্রতিটি চাঙ্ককে তার আশেপাশের বিষয়বস্তুর প্রেক্ষিতে উপস্থাপন করে এই সীমাবদ্ধতা সমাধান করে, যা সাধারণত লেট চাঙ্কিং-এর মাধ্যমে করা হয়: নথিটি একটি একক পাসে এনকোড করা হয় এবং চাঙ্ক উপস্থাপনাগুলি পরবর্তীতে পুলেড করা হয়, যাতে প্রতিটি চাঙ্ক ভেক্টর সম্পূর্ণ নথিটিকে নজরে রেখে গণনা করা হয়। পূর্ববর্তী কাজ, যেমন ConTEB এবং আমাদের নিজস্ব pplx-embed-context-v1, দেখিয়েছে যে প্রাসঙ্গিক চাঙ্ক উপস্থাপনাগুলি স্বাধীনভাবে এনকোড করা চাঙ্কগুলির তুলনায় পুনরুদ্ধারকে যথেষ্ট পরিমাণে উন্নত করে, বিশেষ করে দীর্ঘ নথিতে।

প্রাসঙ্গিক এম্বেডিং মডেলগুলির প্রশিক্ষণের জন্য এমন সুপারভিশন প্রয়োজন যা শনাক্ত করে যে নথির কোন অংশগুলি নির্দিষ্ট কোয়েরির সাথে প্রাসঙ্গিক। একটি সাধারণ দৃষ্টিভঙ্গি হলো গোল্ড-চাঙ্ক অ্যানোটেশন: প্রতিটি কোয়েরির জন্য, একজন অ্যানোটেটর, সাধারণত একটি বড় ভাষা মডেল (LLM), নথির সেই চাঙ্কটি চিহ্নিত করে যা এর উত্তর দেয়।

প্রশিক্ষণ সাধারণত দুটি কনট্রাস্টিভ লস একত্রিত করে: একটি ক্রস-ডকুমেন্ট লস যা গোল্ড চাঙ্কটিকে অন্যান্য নথির চাঙ্কের সাথে বিপরীত করে, এবং একটি ডকুমেন্ট-মধ্যস্থ লস যা এটিকে একই নথির অন্যান্য চাঙ্কের সাথে বিপরীত করে।

এই দৃষ্টিভঙ্গির কিছু সীমাবদ্ধতা রয়েছে:

শুধুমাত্র একটি চাঙ্ক প্রাসঙ্গিক। এটি নথির অন্য প্রতিটি চাঙ্ককে নেগেটিভ হিসেবে বিবেচনা করে, যার মধ্যে দরকারী সহায়ক তথ্য রয়েছে এমনগুলিও অন্তর্ভুক্ত। নথি-স্তরের সুপারভিশন অন্য চরমে কাজ করে। এটি নথির ভেতরের কোন চাঙ্কগুলি গুরুত্বপূর্ণ তা নির্দিষ্ট না করেই নথিটিকে প্রাসঙ্গিক হিসেবে চিহ্নিত করে। অনুশীলনে, প্রাসঙ্গিকতা প্রায়ই এই চরমগুলির মধ্যে থাকে। উত্তর-বহনকারী চাঙ্কটি কয়েকটি সহায়ক চাঙ্কের উপর নির্ভর করতে পারে যা কোনো সত্তা প্রবর্তন করে, কোনো রেফারেন্স সমাধান করে বা একটি পরিপূরক তথ্য সরবরাহ করে, যেখানে নথির বাকি অংশটি অপ্রাসঙ্গিক। তাই মডেলটিকে নির্বাচনের সঠিক স্তরটি শিখতে হবে: একটি একক গোল্ড চাঙ্কের চেয়ে বিস্তৃত, কিন্তু সম্পূর্ণ হিসাবে নথির চেয়ে বেশি ফোকাসড।
কোর্স সুপারভিশন। যেহেতু প্রতিটি অ্যানোটেশন নথিতে প্রাসঙ্গিকতার ডিগ্রি ক্যাপচার করার পরিবর্তে একটি একক গোল্ড চাঙ্ক চিহ্নিত করে, তাই এটি এটি তৈরি করার জন্য ব্যয় করা কম্পিউট পরিমাণের জন্য সীমিত ট্রেনিং সিগন্যাল প্রদান করে।
স্কেল করতে ব্যয়বহুল। প্রতিটি প্রশিক্ষণ জোড়ার জন্য নথিটি পড়তে এবং প্রাসঙ্গিক চাঙ্ক নির্বাচন করতে একটি LLM প্রয়োজন, তাই অ্যানোটেশনের খরচ ট্রেনিং সেটের আকারের সাথে রৈখিকভাবে বৃদ্ধি পায় এবং ট্রেনিং ডেটা কতটা এবং কতটা বৈচিত্র্যময় হতে পারে তা সীমিত করে।
চাঙ্ক সীমানার প্রতি সংবেদনশীল। লেবেলগুলি টীকা দেওয়ার সময় ব্যবহৃত চাঙ্ক সীমানার সাথেও যুক্ত। একটি নির্দিষ্ট টোকেন-আকারের উইন্ডোতে নির্ধারিত গোল্ড লেবেলটি নির্দিষ্ট করে না যে কোন ছোট বাক্য বা বড় অনুচ্ছেদগুলি প্রাসঙ্গিক। অতএব, ইনডেক্সিংয়ের সময় ডকুমেন্টগুলি কীভাবে বিভক্ত হয় তার প্রতি মজবুতি উন্নত করতে চাঙ্কিং কৌশল পরিবর্তন করা বা একাধিক চাঙ্কিং জুড়ে প্রশিক্ষণ দেওয়ার জন্য কর্পাসটি পুনরায় টীকা দেওয়ার প্রয়োজন হতে পারে।

আমরা একটি কোয়েরি-সচেতন প্রসঙ্গ কম্প্রেশন মডেল থেকে প্রাসঙ্গিকতা বিচার ডিস্টিল করার মাধ্যমে গোল্ড-চাঙ্ক সুপারভিশনের সীমাবদ্ধতাগুলি সমাধান করি। এই মডেলটি একজন শিক্ষক হিসেবে কাজ করে: এটি কোয়েরি এবং নথি একসাথে পড়ে এবং প্রতিটি নথি টোকেনকে একটি প্রাসঙ্গিকতা স্কোর বরাদ্দ করে। এর পূর্বাভাসগুলি প্রাসঙ্গিক এম্বেডিং প্রশিক্ষণের জন্য বেশ কয়েকটি সুবিধা প্রদান করে:

নমনীয় চাঙ্ক সীমানা। টোকেন-স্তরের প্রাসঙ্গিকতা স্কোরগুলি যেকোনো নির্বাচিত চাঙ্ক সীমানার ওপর একত্রিত করা যেতে পারে, যা পুনঃ-অ্যানোটেশন ছাড়াই একই শিক্ষক পূর্বাভাসকে বিভিন্ন চাঙ্কিং তত্ত্বাবধান করতে দেয়।
ক্রমাগত প্রাসঙ্গিকতা। বাইনারি গোল্ড-চাঙ্ক লেবেলের বিপরীতে, শিক্ষক অবিচ্ছিন্ন স্কোর প্রদান করেন যা প্রাসঙ্গিকতার মাত্রা ক্যাপচার করে যা স্বাভাবিকভাবে উত্তর-বহনকারী চাঙ্ক, সহায়ক প্রসঙ্গ এবং অপ্রাসঙ্গিক বিষয়বস্তুকে আলাদা করে।
কম টীকা খরচ। শিক্ষক মডেলটি কমপ্যাক্ট এবং প্রাসঙ্গিকতা স্কোরে বিশেষায়িত, যার ফলে সাধারণ-উদ্দেশ্যমূলক এলএলএম-এর তুলনায় বৃহৎ পরিসরে এর তত্ত্বাবধান করা অনেক সস্তা।

আমরা কোয়েরি-নথির জোড়ার ব্যাচগুলির ওপর নথি-স্তরের কনট্রাস্টিভ লস এবং চাঙ্ক-স্তরের ডিস্টিলেশন লস-এর একটি ওজনযুক্ত যোগফল দিয়ে আমাদের মডেলকে প্রশিক্ষণ দিই। প্রতিটি কোয়েরির জন্য, জোড়া বাঁধা নথিটি পজিটিভ হিসেবে কাজ করে, অন্যদিকে একই ব্যাচের বাকি নথিগুলি নেগেটিভ হিসেবে কাজ করে।

প্রতিটি ব্যাচের জন্য, আমরা এলোমেলোভাবে একটি চাঙ্কিং কৌশল নির্বাচন করি, সেই অনুযায়ী নথিগুলি বিভক্ত করি এবং চাঙ্কগুলির মধ্যে সেপারেটর টোকেন সন্নিবেশ করি। তারপরে আমরা একটি একক ফরওয়ার্ড পাসে প্রতিটি নথি প্রক্রিয়াজাত করি এবং প্রাসঙ্গিক চাঙ্ক এম্বেডিং পেতে প্রতিটি চাঙ্কের মধ্যে টোকেন উপস্থাপনাগুলিকে গড়-পুল করি। কোয়েরিগুলি আলাদাভাবে এনকোড করা হয়, তাদের টোকেন উপস্থাপনার ওপর গড় পুর্লিং সহ। পরিশেষে, আমরা ব্যাচের প্রতিটি কোয়েরি এম্বেডিং এবং প্রতিটি চাঙ্ক এম্বেডিংয়ের মধ্যে কোসাইন সাদৃশ্য গণনা করি।

যদিও আমাদের এম্বেডিং মডেল শুধুমাত্র চাঙ্ক-স্তরের সাদৃশ্য তৈরি করে, আমরা প্রাকৃতিকভাবে সেগুলি থেকে নথি-স্তরের সাদৃশ্য প্রাপ্ত করতে পারি। আমরা একটি নথি d-কে একটি কোয়েরি q-এর কাছে এর সবচেয়ে প্রাসঙ্গিক চাঙ্কের মতো প্রাসঙ্গিক বলে মনে করি। এই স্করিং নিয়মটি ColBERT-এর MaxSim অপারেশন দ্বারা অনুপ্রাণিত, যা এখানে টোকেনের পরিবর্তে চাঙ্কে প্রয়োগ করা হয়।

বিশেষ করে, এম্বেডিং q সহ একটি কোয়েরি q এবং এম্বেডিং c সহ চাঙ্কের একটি অর্ডার করা তালিকা হিসাবে একটি নথি d দেওয়া থাকলে, আমরা নথি-স্তরের সাদৃশ্যটিকে এভাবে সংজ্ঞায়িত করি:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

এই নথি-স্তরের সাদৃশ্যগুলি দেওয়া থাকলে, আমরা ইন-ব্যাচ নেগেটিভের ওপর একটি নথি-স্তরের InfoNCE উদ্দেশ্য তৈরি করতে পারি।

একটি কোয়েরি q-এর জন্য, d⁺ কে এর প্রাসঙ্গিক নথি এবং 𝒟 কে ব্যাচের নথি হতে দিন। পাঠযোগ্যতার জন্য তাপমাত্রা বাদ দিয়ে কনট্রাস্টিভ লস নিম্নরূপ:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

কনট্রাস্টিভ লস মডেলটিকে শেখায় কোন নথিটি কোনো কোয়েরির সাথে প্রাসঙ্গিক। ডিস্টিলেশন লস এটিকে শেখায় যে সেই নথির মধ্যে প্রাসঙ্গিকতা কোথায় রয়েছে, যা একটি প্রাসঙ্গিক মডেলের জন্য অপরিহার্য।

প্রশিক্ষণের সময়, আমরা প্রতিটি পজিটিভ কোয়েরি-নথির জোড়াকে আমাদের প্রসঙ্গ কম্প্রেশন মডেলে পাস করি, যা নথির প্রতিটি টোকেনকে একটি প্রাসঙ্গিকতা স্কোর বরাদ্দ করে। নথি-স্তরের স্করিংয়ের মতো, আমরা এর সবচেয়ে প্রাসঙ্গিক বিষয়বস্তু থেকে প্রতিটি চাঙ্কের প্রাসঙ্গিকতা প্রাপ্ত করি। আউটলায়ার টোকেনের প্রতি সংবেদনশীলতা কমাতে, যার মধ্যে চাঙ্ক সীমানার টোকেনগুলিও অন্তর্ভুক্ত, আমরা চাঙ্ক-স্তরের প্রাসঙ্গিকতাকে চাঙ্কের মধ্যে শীর্ষ n টোকেন স্কোরের গড় হিসাবে সংজ্ঞায়িত করি।

প্রতিটি কোয়েরির জন্য, আমরা লক্ষ্য বন্টন পেতে পজিটিভ নথির মধ্যে শিক্ষকের চাঙ্ক-স্তরের প্রাসঙ্গিকতা স্কোরে একটি তাপমাত্রা-স্কেলড softmax প্রয়োগ করি। অন্যান্য নথির চাঙ্কগুলি ব্যাচে শূন্য লক্ষ্য সম্ভাবনা পায়। আমরা ব্যাচের সমস্ত চাঙ্কের ওপর লক্ষ্য এবং এর ভবিষ্যদ্বাণী করা বন্টনের মধ্যে ফরওয়ার্ড KL ডাইভারজেন্স কমিয়ে এই লক্ষ্যের সাথে মিল করার জন্য এম্বেডিং মডেলকে প্রশিক্ষণ দিই:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

এখানে, সুপারস্ক্রিপ্ট T এবং S শিক্ষক এবং ছাত্রকে নির্দেশ করে, এবং rⱼ হলো পজিটিভ নথি d⁺-এ চাঙ্ক cⱼ-এর জন্য শিক্ষকের প্রাসঙ্গিকতা স্কোর। শিক্ষকের লক্ষ্য বন্টন ব্যাচের অন্যান্য সমস্ত নথির চাঙ্কগুলিতে শূন্য সম্ভাবনা বরাদ্দ করে।

একটি একক গোল্ড-চাঙ্ক লেবেলের বিপরীতে, এই লক্ষ্যটি প্রাসঙ্গিকতার মাত্রা ক্যাপচার করে। সহায়ক চাঙ্কগুলি নেগেটিভ হিসেবে বিবেচিত হওয়ার পরিবর্তে শিক্ষকের স্কোর অনুযায়ী ওজন পায়, যা মডেলটিকে উত্তরের পাশাপাশি সহায়ক প্রসঙ্গ পুনরুদ্ধার করতে শেখায়।

আমাদের সংযুক্ত ট্রেনিং উদ্দেশ্য হলো নথি-স্তরের কনট্রাস্টিভ লস এবং চাঙ্ক-স্তরের ডিস্টিলেশন লসের একটি ওজনযুক্ত যোগফল। আমরা কোয়েরি-নথির জোড়ার ব্যাচের ওপর এই ওজনযুক্ত লসটি গড় করি।

চিত্র ২ আমাদের প্রশিক্ষণ দৃষ্টিভঙ্গি চিত্রিত করে। প্রসঙ্গ কম্প্রেসর শুধুমাত্র প্রশিক্ষণের সময় শিক্ষক হিসেবে কাজ করে। ইনফারেন্সের সময়ে, এম্বেডিং মডেল প্রতি চাঙ্ক একটি প্রাসঙ্গিক এম্বেডিং তৈরি করে, কোনো অতিরিক্ত সংকোচন বা রীর্যাঙ্কিং পর্যায় ছাড়াই। এই দৃষ্টিভঙ্গি সূচক স্টোরেজ বৃদ্ধি না করে বা পুনরুদ্ধারের সময় শিক্ষক-মডেল লেটেন্সি যোগ না করে প্রাসঙ্গিক এম্বেডিংগুলি কীভাবে শেখা হয় তা উন্নত করে।

প্রাসঙ্গিক এম্বেডিং ডিস্টিলেশনের জন্য ট্রেনিং সেটআপ — চিত্র ২: আমাদের মডেলের ট্রেনিং সেটআপ। প্রাসঙ্গিক এনকোডার (ছাত্র, বাম) নথিগুলি প্রসেস করে, যার প্রতিটিতে বেশ কয়েকটি চাঙ্ক থাকে। প্রতিটি চাঙ্ক এর আশেপাশের নথি প্রসঙ্গের সাপেক্ষে এম্বেড করা হয়। কোয়েরি A হলো নথি A-এর জন্য একটি পরিচিত ম্যাচ এবং পূর্বাভাসিত সাদৃশ্য পেতে সমস্ত নথির চাঙ্কের বিপরীতে স্কোর করা হয়। এই চাঙ্ক-স্তরের স্কোরগুলি নথি-স্তরের স্কোরে সর্বোচ্চ-পুল করা হয়। আমরা লক্ষ্য বন্টনের সাথে মেলানোর জন্য চাঙ্ক-স্তরের পূর্বাভাস এবং নথি স্তরের পূর্বাভাসকে প্রশিক্ষণ দিই (ডান)। চাঙ্ক-স্তরের লক্ষ্যটি পরিচিত প্রাসঙ্গিক নথির মধ্যে প্রসঙ্গ কম্প্রেসরের পূর্বাভাস হিসাবে প্রশিক্ষণের সময় গণনা করা হয় এবং পরিচিত অপ্রাসঙ্গিক নথির মধ্যে শূন্যে সেট করা হয়। নথি-স্তরের লক্ষ্য বন্টনটি পরিচিত প্রাসঙ্গিক নথিতে ওয়ান-হোট হতে সেট করা হয়।

প্রশিক্ষণের ডেটাটিতে ৫০টিরও বেশি ভাষা কভার করে প্রায় ৪৩০টি পাবলিক এবং ইন-হাউস কোয়েরি-ডকুমেন্ট ডেটাসেট রয়েছে।

আমরা PII-ফিল্টার করা প্রোডাকশন ডেটা থেকে এবং দীর্ঘ নথির ওপর প্রাসঙ্গিক কোয়েরি সংশ্লেষণ করে ইন-হাউস জোড়া ডেটাসেট তৈরি করি। প্রতিটি ফরওয়ার্ড পাসের জন্য, আমরা একটি ডেটাসেট নির্বাচন করি এবং ইন-ব্যাচ নেগেটিভের অসুবিধা বাড়াতে এবং শর্টকাট লার্নিং এড়াতে সেখান থেকে একটি সম্পূর্ণ ব্যাচ স্যাম্পল করি। আমাদের প্রশিক্ষণের কোনো ডেটাসেটেই চাঙ্ক-স্তরের অ্যানোটেশন নেই: সমস্ত ডকুমেন্ট-মধ্যস্থ সুপিরভিশন কম্প্রেশন মডেল থেকে আসে, এবং প্রশিক্ষণের জন্য কোনো ConTEB ডেটা ব্যবহার করা হয় না। তদুপরি, মডেল বিকাশের সময় কোনো context-bench ডেটা উপলব্ধ ছিল না।

মডেলটি একটি ইন-হাউস, 9B-প্যারামিটার ColBERT রিট্রিভাল মডেল দিয়ে শুরু হয় এবং একটি লিনিয়ার প্রজেকশন লেয়ারের মাধ্যমে 2048-মাত্রিক এম্বেডিং তৈরি করে। আমরা একটি শেখানো <|chunk_sep|> টোকেন দিয়ে চাঙ্কের সীমানা চিহ্নিত করি এবং এর টোকেন এম্বেডিংগুলোর গড় করে প্রতিটি চাঙ্ক এম্বেডিং তৈরি করি। কোয়েরিগুলি একই মডেল দ্বারা এনকোড করা হয়, যার টোকেন এম্বেডিংগুলি একটি একক ভেক্টরে গড় করা হয়।

আমরা 1024- এবং 2048-মাত্রিক উভয় এম্বেডিং সমর্থন করার জন্য Matryoshka ট্রেনিং ব্যবহার করি, এবং নেটিভ int8 এম্বেডিং সমর্থন করার জন্য কোয়ান্টাইজেশন-সচেতন ট্রেনিং ব্যবহার করি। প্রশিক্ষণের সময়, আমরা ধীরে ধীরে লার্নিং রেট বাড়াই, এটিকে ধ্রুবক রাখি, এবং তারপর কমিয়ে দিই।

প্রকাশিত মডেলটি হলো একটি মডেল সূপ যা একই ট্রেনিং রান থেকে বেশ কয়েকটি চেকপয়েন্টের ওজন গড় করে।

ConTEB-এর মতো পাবলিক প্রাসঙ্গিক-উদ্ধার (contextual-retrieval) বেঞ্চমার্কগুলি গোল্ড-চাঙ্ক সুপারভিশনের পিছনের অনুমানটি শেয়ার করে: প্রতিটি কোয়েরির একটি একক প্রাসঙ্গিক চাঙ্ক থাকে এবং শুধুমাত্র সেই চাঙ্কটিকে প্রথমে স্থান দেওয়ার জন্যই একটি মডেলকে পুরস্কৃত করা হয়। তারা এর সীমাবদ্ধতাগুলিও উত্তরাধিকারসূত্রে পায়।

প্রথমে, ConTEB এমন কাজগুলিতে পুনরুদ্ধার পরীক্ষা করে যেখানে আশেপাশের প্রসঙ্গ ছাড়া একটি চাঙ্ক দ্ব্যর্থক হয়। এই কাজগুলিতে, প্রাসঙ্গিক মডেলগুলি এমন মডেলগুলিকে ছাড়িয়ে গেছে যা প্রতিটি চাঙ্ককে স্বাধীনভাবে এনকোড করে। যাইহোক, এটি জিজ্ঞাসা করে না যে কোনো মডেল নথির অন্যান্য অংশগুলিও পৃষ্ঠে আনে কিনা যা চাঙ্কটিকে বোধগম্য করে তোলে।

দ্বিতীয়ত, এটি পদ্ধতিগতভাবে পরীক্ষা করে না যে একই কর্পাসের প্রায় অভিন্ন নথিপত্র শুধুমাত্র অন্যথায় একটি অভিন্ন বাক্যকে ঘিরে থাকা প্রসঙ্গের ক্ষেত্রে আলাদা হলে সঠিক নথিটি খুঁজে পাওয়া যায় কিনা।

একটি সার্চ এজেন্ট বা ব্যবহারকারী যখন সম্পূর্ণ নথির পরিবর্তে কয়েকটি পুনরুদ্ধার করা বাক্য থেকে একটি উত্তর বুঝতে এবং যাচাই করতে হয় তখন উভয় ক্ষমতাই গুরুত্বপূর্ণ। অতএব আমরা context-bench তৈরি করেছি, দীর্ঘ নথির ওপর পুনরুদ্ধারের জন্য একটি নিয়ন্ত্রিত বেঞ্চমার্ক, যা সাধারণ পুনরুদ্ধারের গুণমান থেকে নথি প্রসঙ্গের ব্যবহারকে আলাদা করার জন্য ডিজাইন করা হয়েছে। এটি পরীক্ষা করে যে প্রাসঙ্গিক এম্বেডিংগুলি তিনটি ক্ষমতা সমর্থন করার জন্য নথির অন্য কোথাও থেকে তথ্য ব্যবহার করে কিনা: যথা উপসংহার, অনুসন্ধান এবং যাচাইকরণ।

নথি দ্ব্যর্থতা দূরীকরণ: প্রায়-অভিন্ন বিকল্পগুলির মধ্যে সঠিক নথিটি চিহ্নিত করুন।
উত্তর পুনরুদ্ধার: উত্তর বহনকারী চাঙ্কগুলি পুনরুদ্ধার করুন যার অর্থ নথির অন্য কোথাও বিশদ বিবৃতির উপর নির্ভর করে।
প্রমাণ পুনরুদ্ধার: সহায়ক চাঙ্কগুলি পুনরুদ্ধার করুন যা উত্তরটিকে স্পষ্ট বা প্রতিপাদন করে।

Context-bench-এ ২,০৯৯টি কোয়েরি এবং ৩৮,৮৯৪টি নথি রয়েছে। বাক্য দৈর্ঘ্যের চাঙ্ক ব্যবহার করা হয়, যার ফলে মোট ২,৪৫৮,০৭২টি চাঙ্ক হয়। কোয়েরিগুলি কর্পোরেট ফাইলিং, ক্লিনিকাল গবেষণা, ভ্রমণ, বিনোদন, শিক্ষা, সরকার, আইনি চুক্তি এবং সফ্টওয়্যার ডকুমেন্টেশন সহ ২১টি ডোমেন কভার করে।

প্রতিটি কোয়েরি বারোটি প্রাসঙ্গিক ক্ষমতার একটি পরীক্ষা করার জন্য ডিজাইন করা হয়েছে। প্রাথমিক লক্ষ্য নথিগুলি ইচ্ছাকৃতভাবে দীর্ঘ: ১,১৯৭টি স্বতন্ত্র প্রাথমিক লক্ষ্য নথির মধ্যে ১,০৬১টিতে অন্তত ২০০টি বাক্য রয়েছে, যার মাঝারি দৈর্ঘ্য প্রায় ৬,১০০ টোকেন। কর্পাসে প্রতিটি কোয়েরির ঠিক একটি সঠিক উত্তর থাকে। যেখানে একই তথ্য একটি গোল্ড নথিতে একাধিকবার বলা হয়েছে, উদাহরণস্বরূপ একটি সারসংক্ষেপ বাক্যে এবং একটি টেবিল সারিতে, সেই বাক্যগুলির যেকোনো একটি উত্তর হিসেবে গৃহীত হয়।

একটি উত্তর রুট হলো একটি উত্তর চাঙ্ক এবং এটি ব্যাখ্যা বা যাচাই করার জন্য প্রয়োজনীয় সহায়ক প্রমাণের একটি বৈধ সমন্বয়। ২,০৯৯টি কোয়েরি জুড়ে, প্রাথমিক লক্ষ্য-নথি উত্তর রুটে ৯৬৪টি কোয়েরির জন্য একটি প্রমাণ গোষ্ঠী, ৭৩৫টির জন্য দুটি, ৩৩২টির জন্য তিন বা ততোধিক এবং ৬৮টির জন্য কোনোটিই নেই। বিকল্প বৈধ উত্তর রুটগুলির জন্য বিভিন্ন প্রমাণ গোষ্ঠীর প্রয়োজন হতে পারে।

টেবিল ১: বেঞ্চমার্ক পরিসংখ্যান।

পরিসংখ্যান	মান
কোয়েরি	২,০৯৯
নথিপত্র	৩৮,৮৯৪
বাক্য চাঙ্ক	২,৪৫৮,০৭২
মাঝারি প্রাথমিক লক্ষ্য নথি দৈর্ঘ্য	৬,১০০ টোকেন
ডোমেন	২১
প্রতি কোয়েরিতে প্রমাণ গোষ্ঠী (প্রাথমিক লক্ষ্য-নথি উত্তর রুট)	১: ৯৬৪; ২: ৭৩৫; ৩+: ৩৩২; কোনটিই নয়: ৬৮

সারণি ২: কনটেক্সট-বেঞ্চে পরীক্ষা করা বারোটি প্রাসঙ্গিক সক্ষমতা, উদাহরণসহ।

ক্ষমতা	উদাহরণ কোয়েরি	উত্তর চাঙ্ক	প্রয়োজনীয় নথি প্রসঙ্গ
১. সত্তার পরিচয়	নর্থলেক শেয়ার পুনর্কেনার পেছনে কত খরচ করেছে? ওষুধের দোকানে কত খরচ হয়েছে? ওষুধের দোকানে কত খরচ হয়েছে?	কোম্পানিটি ১২.৮ বিলিয়ন ডলারের শেয়ার পুনর্কিনেছে।	ভূমিকাটিতে নর্থলেককে “কোম্পানি” হিসেবে চিহ্নিত করা হয়েছে। সাউথলেকের অনুরূপ কোনো প্রতিবেদন প্রাসঙ্গিক নয়।
২. কাল বা সংস্করণ	কোন কার্টিজটি M40 রিভিশন B-এর সাথে মানানসই?	KC-42 কার্টিজ ইনস্টল করুন।	প্রযোজ্যতা বিভাগ বলে যে এই নির্দেশিকাগুলি রিভিশন C নয়, বরং রিভিশন B কভার করে।
৩. সংজ্ঞা এবং অ্যালিয়াস	১৫ মিলিগ্রাম দলের প্রত্যাহারের হার কত ছিল?	জিটার প্রত্যাহারের হার ছিল ১২.৭%।	প্রতিবেদনে জিটাকে ১৫ মিলিগ্রাম গোষ্ঠী হিসেবে সংজ্ঞায়িত করা হয়েছে। সেই সংজ্ঞা ছাড়া, চাঙ্কটি অনুরোধ করা গোষ্ঠীকে চিহ্নিত করে না।
৪. টেবিল গঠন	Max মডেলের ব্যাটারির ক্ষমতা কত?	সাধারণ ক্ষমতা: ৪,২৫০ \| ৪,৭০০ \| ৫,১৫০।	টেবিলের শিরোনামটি Mini \| Base \| Max প্রতিষ্ঠা করে, যা mAh এ পরিমাপ করা হয়। তাই উত্তরটি ৫,১৫০ mAh।
৫. শর্ত এবং ব্যতিক্রম	বাণিজ্যিক ব্যবহারের জন্য ব্যাটারির কভারেজ কত দীর্ঘ?	ব্যাটারির কভারেজ ১৮ মাস স্থায়ী হয়।	একটি বিভাগের ভূমিকা এই কভারেজটিকে বাণিজ্যিক ইনস্টলেশনের মধ্যে সীমাবদ্ধ করে; গৃহস্থালীর ইনস্টলেশনের একটি ভিন্ন ওয়ারেন্টি রয়েছে।
৬. রেফারেন্স এবং সর্বনাম	মারা কবে ডেপুটি মেয়র হন?	তিনি ২০২১ সালে দায়িত্ব গ্রহণ করেন।	পূর্ববর্তী বিবরণ প্রতিষ্ঠিত করে যে “তিনি” বলতে মারার কথা বোঝানো হয়েছে, এলিনের নয়, যাকে নিয়েও আলোচনা করা হয়েছে।
৭. তালিকার ক্রম এবং অবস্থান	কোন গানটি এনকোর দিয়ে শুরু হয়েছিল?	১৪. লণ্ঠন রোড (Lantern Road)।	অন্যত্র একটি নোটে বলা হয়েছে যে ১৪-১৬ গানগুলি এনকোর গঠন করেছিল। তাই ট্র্যাক ১৪ হল এর উদ্বোধনী গান।
৮. বিভাগের পরিধি	চলচ্চিত্রটির চিত্রগ্রহণের জন্য কোন লেন্স ব্যবহার করা হয়েছিল?	পুরো সময় জুড়ে একটি ৩৫ মিমি প্রাইম ব্যবহার করা হয়েছিল।	এই অংশটি “প্রধান ফটোগ্রাফি”-এর অন্তর্গত, প্রচারমূলক ফটোগ্রাফ সম্পর্কে পৃথক বিভাগের নয়।
৯. বক্তার atribusyon	মেয়র কী পুনর্নির্ধারিত তারিখের প্রতিশ্রুতি দিয়েছিলেন?	আমরা ১২ জুন পুনরায় খুলব।	ট্রান্সক্রিপ্টটি মেয়রকে বক্তা হিসেবে চিহ্নিত করে। একজন ঠিকাদারের একই কথা মেয়রের প্রতিশ্রুতি প্রমাণ করবে না।
১০. সময়ের সাথে পরিবর্তন	মে মাসের সংশোধনের পর কোন নোটিশ সময়সীমা প্রযোজ্য ছিল?	নোটিশের সময়সীমা এখন ৪৫ দিন।	সংশোধনের ইতিহাস স্থাপন করে যে এই পরিবর্তনটি মে মাসে কার্যকর হয়েছিল, যা পূর্বের ৩০ দিনের নিয়মটিকে প্রতিস্থাপন করেছে।
১১. কারণগত সম্পর্ক	পশ্চিমের পাম্পটি কেন বন্ধ হয়ে গেল?	সেই ত্রুটির কারণে শাটডাউন ঘটেছিল।	তদন্তে “সেই ত্রুটি” কে পশ্চিম পাম্পের একটি জ্যাম হয়ে যাওয়া বেয়ারিং হিসেবে চিহ্নিত করা হয়েছে এবং এটিকে একটি সম্পর্কহীন ইনলেট অবস্ট্রাকশন থেকে আলাদা করা হয়েছে।
১২. রূপক বা আন্তঃভাষিক অর্থ	রূপক: কবিতায় “শীতের ঘর” কী প্রতীকী অর্থ বহন করে? আন্তঃভাষিক: ফরাসি নির্দেশিকা টেকনিশিয়ানকে কোন উপাদানটি সরাতে বলে?	রূপক: এটি কোনো শারীরিক ঘরের পরিবর্তে নির্বাসনকে প্রতিনিধিত্ব করে। আন্তঃভাষিক: Retirez le capot. (কভারটি সরান।)	রূপক: ভাষ্যটিতে “এটি” কে কবিতার পুনরাবৃত্তিমূলক “শীতের ঘর” চিত্রকল্প হিসেবে চিহ্নিত করা হয়েছে। আন্তঃভাষিক: গাইডের গ্লসারি নির্দিষ্ট করে যে “capot” বলতে সুরক্ষামূলক মোটর হুডকে বোঝায়, শিপিং কভারকে নয়।

কোয়েরি, নথিপত্র এবং পরীক্ষাধীন ক্ষমতাগুলি turbopuffer-এর গ্রাহকদের সাথে কথোপকথন দ্বারা অনুপ্রাণিত।

একটি উদাহরণ দিতে, একটি সম্পত্তি ব্যবস্থাপনা ফার্মের অনুসন্ধানের প্রয়োজনীয়তা বিবেচনা করুন। এই ফার্মগুলির শত শত, কখনও কখনও হাজার হাজার লিজ চুক্তি রয়েছে যা শুধুমাত্র ভাড়াটেদের নাম, তারিখ এবং অন্যান্য কয়েকটি মূল বিবৃতির ক্ষেত্রে আলাদা। সেই ডেটাসেটের জন্য একটি সাধারণ কোয়েরি হতে পারে “when does 5 park avenue’s lease end and what is the current rent?”। লিজ চুক্তিগুলি দীর্ঘও হতে পারে এবং সমালোচনামূলক দ্ব্যর্থতা দূরকারী উপাদানগুলি যা নিশ্চিত করবে যে আপনি সঠিক নথিটি পুনরুদ্ধার করেছেন (যেমন তারিখ, ঠিকানা, ভাড়াটের নাম ইত্যাদি) প্রায়শই মাসিক লিজ পরিশোধের পরিমাণ ধারণকারী মূল উত্তর বাক্য থেকে অনেক দূরে হতে পারে। অনুশীলনে, “Monthly rent is $X,XXX.”-এর মতো অভিন্ন বাক্যগুলি কর্পাসের অনেক নথিতে উপস্থিত হতে পারে।

একটি ভালো প্রাসঙ্গিক এম্বেডিং মডেলের উচিত সঠিক নথিটি সনাক্ত করতে এবং উত্তর এবং এর সহায়ক বাক্য উভয়ই পুনরুদ্ধার করতে পুরো নথির প্রসঙ্গ ব্যবহার করা। এটি একজন ব্যবহারকারী বা সার্চ এজেন্টকে দ্রুত উত্তর যাচাই করতে এবং এটি সঠিক নথি থেকে এসেছে কিনা তা নিশ্চিত করতে দেয়।

প্রতিটি কোয়েরির জন্য, আমরা লক্ষ্য নথিতে “উত্তর” এবং “প্রমাণ” বাক্য চিহ্নিত করি। কোনো মডেল যদি একটি উত্তর বাক্য এবং প্রতিটি প্রমাণ গোষ্ঠী থেকে অন্তত একটি বাক্য একসাথে পুনরুদ্ধার করে তবে এটি আমাদের “পাঠক পর্যাপ্ততা” (reader sufficiency) পরীক্ষায় পাস করে। একসাথে, এই বাক্যগুলি একজন পাঠককে সহায়ক প্রমাণের সাথে উত্তরটি যাচাই করার জন্য যথেষ্ট প্রসঙ্গ সরবরাহ করে।

যখন প্রাসঙ্গিক এম্বেডিং মডেলগুলি এটি ভালোভাবে করে, তখন তারা সার্চ এজেন্টদের পর্যালোচনা করার জন্য প্রয়োজনীয় টোকেনের সংখ্যা নাটকীয়ভাবে হ্রাস করতে পারে এবং সেইসাথে সম্পূর্ণ নথি না পড়েই কোনো ব্যক্তির পক্ষে তাদের মূল কোয়েরির সঠিক উত্তর দ্রুত সনাক্ত করা নিশ্চিত করা অনেক সহজ করে তুলতে পারে।

প্রতিটি প্রমাণ গোষ্ঠী পুনরুদ্ধার করতে হবে, তবে একটি গোষ্ঠীর যেকোনো একটি বিকল্পই এটি পুনরুদ্ধারের জন্য যথেষ্ট। এই দীর্ঘ নথি জুড়ে বিভিন্ন স্থানে একই তথ্য বলা হয়েছে তা দেখা সাধারণ। প্রতিটি প্রমাণ গোষ্ঠী থেকে মাত্র একটি বাক্য পুনরুদ্ধার করা পাঠক পর্যাপ্ততার মানদণ্ড পূরণ করে এবং এর ফলে নিখুঁত প্রমাণ স্মরণ (evidence recall) হিসাবে গ্রহণ করা হবে।

প্রতিটি নথি বাক্যে বিভক্ত করা হয়, এবং সমস্ত মডেলের জন্য একই সীমানা ব্যবহার করা হয়। অ-প্রাসঙ্গিক এম্বেডিং মডেলগুলির জন্য দুটি শর্ত পরীক্ষা করা হয়: একটি যেখানে প্রতিটি বাক্য স্বাধীনভাবে এম্বেড করা হয় এবং অন্যটি যেখানে সম্পূর্ণ নথিটি একটি একক চাঙ্ক হিসাবে এম্বেড করা হয়।

আমরা উত্তর স্মরণ এবং প্রমাণ স্মরণ পরিমাপ করতে বাক্য-স্তরের শর্ত ব্যবহার করি। এটি পরীক্ষা করে যে কোনো অ-প্রাসঙ্গিক মডেল সঠিক উত্তর এবং সহায়ক প্রমাণ শনাক্ত করতে পারে কিনা যখন প্রতিটি বাক্য আশেপাশের নথিতে অ্যাক্সেস ছাড়াই এম্বেড করা হয়। এটি ইচ্ছাকৃতভাবে চ্যালেঞ্জিং। অনেক কোয়েরিতে, কর্পাসের অন্য কোথাও অনুরূপ বাক্য থেকে এটিকে আলাদা করার জন্য প্রয়োজনীয় বিশদ বিবৃতির অভাব থাকে শুধুমাত্র উত্তর বাক্যটিতে।

আমরা নথি-স্তরের শর্তটিকে একটি নথি স্মরণ বেসলাইন হিসাবে ব্যবহার করি। এটি পরীক্ষা করে যে সূক্ষ্ম দানাদার (fine-grained) বাক্য এম্বেডিং প্রতি নথি একটি ভেক্টর সংরক্ষণ করার তুলনায় তাদের অতিরিক্ত স্টোরেজ খরচ ন্যায্যতা প্রমাণ করার জন্য যথেষ্ট পুনরুদ্ধারের সুবিধা প্রদান করে কিনা। একটি বাক্য-স্তরের সূচক (index) একটি নথি-স্তরের সূচকের চেয়ে উল্লেখযোগ্যভাবে বেশি ভেক্টর তৈরি করে, তাই সেই খরচের ন্যায্যতা প্রমাণ করার জন্য এটি প্রতি-নথি-একটি-ভেক্টর বেসলাইনকে ছাড়িয়ে যাওয়া উচিত।

সমস্ত মূল্যায়নে সমস্ত ২,৪৫৮,০৭২টি চাঙ্কের বিরুদ্ধে নিঃশেষিত র‍্যাঙ্কিং (exhaustive rankings) ব্যবহার করা হয়। তাই মডেলগুলির মধ্যে পার্থক্যগুলি প্রতিনিধিত্বকে প্রতিফলিত করে, সূচক কনফিগারেশনকে নয়। আমরা তিনটি মূল মেট্রিকের উপর ফোকাস করি:

Document@K-কে এভাবে সংজ্ঞায়িত করা হয়:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

যেখানে $d^{*}$ হলো $D_q$ -এর মধ্যে সর্বোচ্চ স্থানপ্রাপ্ত নথি।

Answer@K-কে এভাবে সংজ্ঞায়িত করা হয়:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

যেখানে $C_K(q)$ হলো পুরো কর্পাসের ওপর শীর্ষ $K$ চাঙ্ক এবং $A_{q}$ হলো গৃহীত উত্তর চাঙ্কগুলির সেট।

Evidence Recall@K $d^{*}$ -এর মধ্যে নিম্নরূপ পরিমাপ করা হয়: সাদৃশ্যের ভিত্তিতে $d^{*}$ -এর বাক্যগুলিকে র‍্যাঙ্ক করুন, সর্বোচ্চ র‍্যাঙ্কপ্রাপ্ত উত্তর বাক্যটি সরিয়ে দিন এবং $R_K(q)$ কে অবশিষ্ট শীর্ষ $K$ হতে দিন। প্রমাণ গোষ্ঠী $G_q=\{g_1,\ldots,g_m\}$ -এর জন্য, গোষ্ঠী $g_j$ পুনরুদ্ধার করা হয় যদি কোনো বিকল্প $E\in g_j$ $E\subseteq R_K(q)$ সন্তুষ্ট করে, এবং

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K জিজ্ঞাসা করে যে প্রাসঙ্গিককরণ সঠিক নথিটিকে তার শব্দভান্ডার শেয়ার করে এমন সহোদর এবং বিভ্রান্তিকর বিষয়গুলিকে (distractors) হারাতে দেয় কিনা।

Answer@K জিজ্ঞাসা করে যে উত্তর বাক্যটি নিজেই শীর্ষ চাঙ্কগুলির মধ্যে স্থান পায় কিনা।

Evidence Recall@K জিজ্ঞাসা করে যে সর্বোচ্চ র‍্যাঙ্কপ্রাপ্ত উত্তর চাঙ্ক বাদ দেওয়ার পরে, সঠিক নথির শীর্ষ K চাঙ্কের মধ্যে কতটা সহায়ক প্রসঙ্গ পুনরুদ্ধার করা হয়। উত্তরটি সরিয়ে দিলে প্রমাণ স্মরণ Answer@K ইতিমধ্যে যা পরিমাপ করে তা ডাবল-গণনা করা থেকে বিরত রাখে এবং সহায়ক প্রসঙ্গের জন্য সমস্ত $K$ স্লট খালি রাখে। গোল্ড নথিটিকে শীর্ষ ১০টি পুনরুদ্ধার করা নথির মধ্যে থাকতে হবে এমন শর্ত দেওয়ার অর্থ হলো কোনো মডেল এমন একটি নথির জন্য কোনো প্রমাণ ক্রেডিট পায় না যা এটি পৃষ্ঠে আনত না। আমরা All-Evidence@K-ও রিপোর্ট করি, যা প্রতিটি গোষ্ঠী পুনরুদ্ধার করা কোয়েরির ভগ্নাংশ।

একসাথে, এই মেট্রিকগুলি প্রাসঙ্গিক-এম্বেডিং (contextual-embedding) মডেলগুলির মুখোমুখি হওয়া চ্যালেঞ্জগুলিকে ভেঙে দেয়: সঠিক নথি খুঁজে বের করুন, সঠিক উত্তর খুঁজে বের করুন এবং ন্যূনতম প্রসঙ্গটি পুনরুদ্ধার করুন যা দেখায় কেন উত্তরটি সঠিক।

চিত্র ৩ সম্পত্তি ব্যবস্থাপনা উদাহরণ দিয়ে মেট্রিকগুলি চিত্রিত করে।

কীভাবে context-bench নথি, উত্তর এবং প্রমাণ পুনরুদ্ধার স্কোর করা হয় — চিত্র ৩: একটি লিজ কোয়েরি দিয়ে চিত্রিত context-bench মেট্রিকস। Document@K সঠিক নথির পুনরুদ্ধার পরীক্ষা করে; Answer@K এর উত্তর চাঙ্কের পুনরুদ্ধার পরীক্ষা করে; Evidence Recall@K লক্ষ্য নথির মধ্যে সহায়ক প্রমাণ গোষ্ঠীর পুনরুদ্ধার পরিমাপ করে। এই উদাহরণে, ভাড়া যাচাই করার জন্য ঠিকানা এবং লিজ-বছর উভয় প্রমাণেরই প্রয়োজন। প্রমাণ স্মরণ শীর্ষ উত্তর চাঙ্ক বাদ দেয় এবং লক্ষ্য নথিটিকে শীর্ষ ১০-এ র‍্যাঙ্ক করার প্রয়োজন করে।

আমরা চারটি মোর্চায় প্রাসঙ্গিক এবং অ-প্রাসঙ্গিক এম্বেডিং মডেলগুলির বিরুদ্ধে আমাদের মডেলের মূল্যায়ন করি।

আমাদের প্রাসঙ্গিক বেসলাইনগুলি হলো pplx-embed-context-v1-4B এবং voyage-context-4। আমাদের অ-প্রাসঙ্গিক বেসলাইনগুলি হলো voyage-4-large এবং NVIDIA-এর Nemotron-3-Embed-8B-BF16, যা স্বাধীনভাবে চাঙ্ক এনকোড করে। প্রতিটি চিত্রে নির্দেশিত হিসাবে, বেসলাইন সেটটি পরীক্ষা অনুযায়ী পরিবর্তিত হয়।

আমরা context-bench দিয়ে শুরু করি, যা সরাসরি এই কাজের পিছনের ক্ষমতাগুলি পরীক্ষা করে, এবং তারপর ConTEB-এর ফলাফল রিপোর্ট করি, যা প্রাসঙ্গিক এম্বেডিংয়ের জন্য মানক পাবলিক বেঞ্চমার্ক। এই লাভগুলি সাধারণ পুনরুদ্ধারের গুণমানের মূল্যে আসছে না তা পরীক্ষা করার জন্য, আমরা পাবলিক ডেটাসেট থেকে তৈরি করা ডোমেন-নির্দিষ্ট নথি এবং চাঙ্ক পুনরুদ্ধার বেঞ্চমার্কগুলিরও মূল্যায়ন করি। পরিশেষে, আমরা মোতায়েনের জন্য দুটি ব্যবহারিক বৈশিষ্ট্য পরীক্ষা করি: পুনরুদ্ধার গুণমান বনাম প্রতি ভেক্টর স্টোরেজ খরচ, এবং ইনডেক্সিংয়ের সময় ব্যবহৃত চাঙ্ক আকারের প্রতি সংবেদনশীলতা। সমস্ত মূল্যায়নে একক পাসে 32,768 টোকেন পর্যন্ত নথি এনকোড করা হয়।

ভূমিকার চিত্র ১-এ দেখানো হয়েছে, আমাদের প্রিভিউ রিপোর্ট করা প্রতিটি কাটঅফে Answer@K এবং Evidence Recall@K-এর পাশাপাশি All-Evidence@10-এ নেতৃত্ব দেয়। K = 10-এ, এটি ৪৫.৫% উত্তর স্মরণ, ৪০.৬% প্রমাণ স্মরণ এবং ৩১.১% সমস্ত-প্রমাণ স্মরণ অর্জন করে। এটি Document@1 এবং Document@10-এও নেতৃত্ব দেয়, যথাক্রমে ১৫.২% এবং ৬১৬% এ পৌঁছায়। K = 10-এ, আমাদের প্রিভিউ উত্তর স্মরণে voyage-context-4 কে ১৪.৪ শতাংশ পয়েন্ট এবং প্রমাণ স্মরণে ৫.০ পয়েন্টে ছাড়িয়ে গেছে।

চিত্র ৪-এ ConTEB-এ প্রদর্শিত মডেলগুলির মধ্যে আমাদের প্রিভিউ মডেল সর্বোচ্চ গড় nDCG@10 অর্জন করে। এটি প্রতিটি কাজে নেতৃত্ব দেয় না: NarrativeQA-তে pplx-context-v1-4B বেশি স্কোর করে, অন্যদিকে COVID-QA-তে Nemotron-3-8B সর্বোচ্চ স্কোর করে। প্রধান লেখকরাও যেমন ConTEB গবেষণাপত্রে উল্লেখ করেছেন, COVID-QA-তে বেশিরভাগ কোয়েরি-চাঙ্ক জোড়া রয়েছে যা অত্যন্ত এক্সট্র্যাক্টিভ এবং প্রযুক্তিগত চিকিৎসা পদের ওপর সাধারণ পৃষ্ঠের লেক্সিকাল ম্যাচিংয়ের মাধ্যমে সন্তুষ্ট করা যেতে পারে। ফলস্বরূপ, এই কাজের জন্য প্রসঙ্গ বোঝাপড়া কম উপযোগী এবং অ-প্রাসঙ্গিক মডেলগুলি সাধারণত প্রাসঙ্গিক মডেলগুলিকে ছাড়িয়ে যায়।

ConTEB-এ ১০-এ টাস্ক-স্তরের nDCG — চিত্র ৪: কোয়েরি-থেকে-চাঙ্ক সেটিংয়ে ConTEB-এ টাস্ক-স্তরের nDCG@10। গড় হলো আটটি কাজের ওপর ওজনহীন গড় (unweighted mean)।

প্রাসঙ্গিক এম্বেডিংয়ের জন্য ডিজাইন করা বেঞ্চমার্কগুলির বাইরে, আমরা আমাদের মডেলের ডোমেন-নির্দিষ্ট কার্যকারিতা মূল্যায়ন করি।

আমাদের কোয়েরি-থেকে-চাঙ্ক (Q2C) স্যুট LegalBench এবং FinanceBench-এর মতো MTEB কাজগুলি ব্যবহার করে এবং সাথে পাবলিক ডেটাসেট থেকে আমাদের কিউরেট করা অতিরিক্ত পুনরুদ্ধার কাজগুলি ব্যবহার করে। প্রতিটি প্রাসঙ্গিক নথির মধ্যে, একটি চাঙ্ক প্রাসঙ্গিক হিসেবে লেবেল করা হয় যদি এতে সঠিক উত্তর স্প্যান থাকে যখন কোনো কাজ প্রদান করে, অন্যথায় কোয়েরির সাথে এর প্রাসঙ্গিকতা বিচারকারী একটি LLM দ্বারা। কোয়েরি-থেকে-নথি (Q2D) স্যুট একই কাজগুলি ব্যবহার করে এবং প্রাসঙ্গিক নথিটি পুনরুদ্ধার করা হয়েছে কিনা তা স্কোর করে।

চিত্র ৫-এ চাঙ্ক পুনরুদ্ধারে আমাদের মডেল সর্বোচ্চ গড় স্কোর অর্জন করে এবং আইনি, প্রযুক্তিগত এবং স্বাস্থ্য ডোমেনে নেতৃত্ব দেয়। এটি প্রতিটি ডোমেনে নেতৃত্ব দেয় না: finance এবং বহুভাষিক পুনরুদ্ধারে voyage-context-4 বেশি স্কোর করে এবং কথোপকথন পুনরুদ্ধারে Nemotron-3-8B সর্বোচ্চ স্কোর করে। চিত্র ৬-এ নথি পুনরুদ্ধারে, আমাদের মডেল গড়ে voyage-context-4-এর ঠিক নিচে স্কোর করে, অন্যদিকে প্রযুক্তিগত ডোমেনে নেতৃত্ব দেয়। pplx-context-v1-4B বেসলাইনটি উভয় স্যুটে গড়ে কম স্কোর করে, যা এটি শুধুমাত্র ConTEB ট্রেনিং সেটে প্রশিক্ষিত হওয়ার সাথে সামঞ্জস্যপূর্ণ, যা দেখায় যে একটি বেঞ্চমার্কের গোল্ড চাঙ্কের সাথে আবদ্ধ সুপারভিশন অন্যান্য ডোমেনে খারাপভাবে স্থানান্তরিত হয়।

ডোমেন অনুযায়ী কোয়েরি-থেকে-চাঙ্ক পুনরুদ্ধারের স্কোর — চিত্র ৫: কোয়েরি-থেকে-চাঙ্ক (Q2C) কাজগুলিতে গড় nDCG@10, ডোমেন অনুযায়ী গ্রুপিং করা। ডোমেন বারগুলি হলো সেই ডোমেনে টাস্ক-স্তরের স্কোরের ওজনহীন গড়; সামগ্রিক গড় হলো সমস্ত প্রদর্শিত কাজের একটি ওজনহীন গড়।

ডোমেন অনুযায়ী কোয়েরি-থেকে-নথি পুনরুদ্ধারের স্কোর — চিত্র ৬: কোয়েরি-থেকে-নথি (Q2D) কাজগুলিতে গড় পুনরুদ্ধার স্কোর, ডোমেন অনুযায়ী গ্রুপিং করা। একটি ডোমেনের প্রতিটি বার হলো এর টাস্ক-স্তরের মূল স্কোরগুলির ওজনহীন গড়; সামগ্রিক গড় হলো সমস্ত প্রদর্শিত কাজের একটি ওজনহীন গড়।

একটি প্রাসঙ্গিক এম্বেডিং মডেল প্রতি চাঙ্ক একটি ভেক্টর তৈরি করে, তাই আমাদের মডেল দিয়ে তৈরি একটি সূচকে ঠিক ততগুলি ভেক্টর থাকে যতটা একই চাঙ্কিং কৌশল সহ একটি প্রচলিত চাঙ্ক-স্তরের সূচকে থাকে। প্রাসঙ্গিককরণ প্রতিটি ভেক্টর কী এনকোড করে তা পরিবর্তন করে, কতগুলি ভেক্টর সংরক্ষিত হয় তা নয়। তাই স্টোরেজ ফুটপ্রিন্ট প্রতিটি ভেক্টরের আকার দ্বারা নিয়ন্ত্রিত হয়। মডেলটি এটি হ্রাস করার দুটি উপায় অফার করে: এম্বেডিংকে 2048 থেকে 1024 মাত্রায় ট্রাঙ্কেট করা এবং এটিকে int8-এ কোয়ান্টাইজ করা।

চিত্র ৭ পুনরুদ্ধারের গুণমান এবং ভেক্টর স্টোরেজের মধ্যে একটি অনুকূল ট্রেডঅফ দেখায়। 1024 মাত্রায়, আমাদের int8 এম্বেডিং প্রতি ভেক্টর 1 KB ব্যবহার করে যখন float32-এ 2048 মাত্রায় voyage-context-4-এর চাঙ্ক-রিট্রিভাল স্কোরকে সামান্য ছাড়িয়ে যায়, যা প্রতি ভেক্টর 8 KB ব্যবহার করে। আমাদের এম্বেডিংয়ের আকার 2048 মাত্রায় বৃদ্ধি করলে প্রতি ভেক্টর 2 KB-এ পুনরুদ্ধারের গুণমান আরও বাড়ে। এই স্টোরেজ ফিগারগুলি শুধুমাত্র ভেক্টরগুলিকে বোঝায়, সূচকের বাকি অংশকে নয়।

চাঙ্ক পুনরুদ্ধারের গুণমান বনাম প্রতি ভেক্টর স্টোরেজ — চিত্র ৭: প্রতি ভেক্টর স্টোরেজের ফাংশন হিসাবে চাঙ্ক পুনরুদ্ধারের গুণমান (গড় nDCG@10)। কঠিন রেখাগুলি float32 এবং ড্যাশযুক্ত রেখাগুলি int8 নির্দেশ করে; লেবেলগুলি এম্বেডিং মাত্রা দেয়।

চিত্র ৮ চাঙ্কের আকার 64 থেকে 512 টোকেনে বৃদ্ধি পাওয়ার সাথে সাথে পুনরুদ্ধারের গুণমানে শুধুমাত্র একটি মাঝারি পরিবর্তন দেখায়: গড় স্কোর ৮১.০% থেকে কমে ৭৯.৯% হয়, যা ১.১ শতাংশ পয়েন্টের হ্রাস। এটি পরামর্শ দেয় যে মডেলটি পরীক্ষিত চাঙ্ক আকার জুড়ে কার্যকর থাকে, যা নথিপত্র কীভাবে বিভক্ত করা হয় তাতে ইনডেক্সিং পাইপলাইনগুলিকে নমনীয়তা দেয়।

চাঙ্ক-আকারের সংবেদনশীলতা: 64 থেকে 512 টোকেনের চাঙ্কের জন্য পুনরুদ্ধার স্কোর — চিত্র ৮: আমাদের মডেলের চাঙ্ক-আকারের সংবেদনশীলতা। প্রদত্ত চাঙ্ক আকারে সূচীবদ্ধ নথি সহ প্রতিটি বিন্দু হলো ৭৪টি MTEB কাজ জুড়ে ওজনহীন গড় nDCG@10।

turbopuffer context-bench-এর সম্পূর্ণ কর্পাস, কোয়েরি এবং লেবেলগুলি গোপন রাখে এবং জমা দেওয়া মডেলগুলির ফলাফল রিপোর্ট করে। এই ধরনের একটি পাবলিক বেঞ্চমার্ক এর কোয়েরি এবং নথিপত্রগুলিতে সরাসরি প্রশিক্ষণের আমন্ত্রণ জানায়, যা ধীরে ধীরে এটিকে স্যাচুরেট করবে এবং সময়ের সাথে সাথে অগ্রগতি ট্র্যাক করার ক্ষেত্রে এর মান ক্ষুণ্ন করবে। আপনি যদি বেঞ্চমার্কে আপনার মডেলের মূল্যায়ন করাতে চান, তবে অনুগ্রহ করে contextbench@turbopuffer.com-এ turbopuffer-এর সাথে যোগাযোগ করুন।

আমাদের মডেলের একটি প্রিভিউ Hugging Face-এ উপলব্ধ, এবং এই পোস্টের সমস্ত ফলাফল এই প্রিভিউয়ের জন্য রিপোর্ট করা হয়েছে। আমরা Perplexity API-এর মাধ্যমে মডেলটিকে উপলব্ধ করতে এবং turbopuffer-এর সাথে দীর্ঘ নথির ওপর পুনরুদ্ধার আরও উন্নত করার জন্য কাজ করছি।

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

ভূমিকা

কেন প্রসঙ্গ পুনরুদ্ধারের জন্য গুরুত্বপূর্ণ

গোল্ড-চাঙ্ক সুপারভিশনের সীমাবদ্ধতা

প্রাসঙ্গিক শেখার একটি অভিনব দৃষ্টিভঙ্গি

লস ফাংশন

নথি-স্তরের কনট্রাস্টিভ লস

চাঙ্ক-স্তরের ডিস্টিলেশন লস

সংযুক্ত লস

প্রশিক্ষণের ডেটা

প্রশিক্ষণ সেটআপ

চাঙ্ক-স্তরের পুনরুদ্ধারের জন্য একটি নতুন বেঞ্চমার্ক

নথি এবং কোয়েরি

উত্তর এবং প্রমাণ লেবেল

মেট্রিকস

মূল্যায়ন ফলাফল

Context-bench

ConTEB

ডোমেন জুড়ে সাধারণ পুনরুদ্ধারের গুণমান

পুনরুদ্ধারের গুণমান এবং স্টোরেজ খরচ

চাঙ্ক আকারের সংবেদনশীলতা

রিলিজ

উদ্ধৃতি