Q2D-Web: বৃহৎ পরিসরে প্রথম-ধাপের রিট্রিভারের মূল্যায়ন

আজ, আমরা এজেন্টিক RAG সিস্টেমে রিট্রিভাল মূল্যায়নের জন্য একটি প্রাইভেট বেঞ্চমার্ক এবং পাবলিক লিডারবোর্ড, Q2D-Web (Query2Doc-Web) அறிமுகப்படுத்துகிறோம்। Q2D-Web আমাদের মূল Q2D বেঞ্চমার্ক-কে একটি বৃহৎ-স্কেল কর্পাস, একটি বৃহত্তর কুয়েরি সেট এবং গভীর বিচার অ্যানোটেশনে প্রসারিত করে।

Q2D-Web বৃহৎ মাপের ওয়েব সার্চে এমবেডিং মডেল মূল্যায়নের জন্য তৈরি করা হয়েছে। এটি নয় মাসের PII-মুক্ত প্রোডাকশন সার্চ ট্রাফিক থেকে স্যাম্পল করা দশটি ভাষায় ১৯০ মিলিয়ন ওয়েব ডকুমেন্ট এবং ৬৯,৭২১টি এজেন্ট-সংশোধিত কুয়েরি নিয়ে গঠিত।

এই স্কেলে, কুয়েরি-ডকুমেন্ট স্তরে প্রাসঙ্গিকতা সিগন্যাল অনিবার্যভাবেই বিক্ষিপ্ত। একটি উৎসকে গ্রাউন্ড ট্রুথ হিসেবে বিবেচনা করার পরিবর্তে, আমরা এজেন্ট সাইটেশন, প্রোডাকশন ওয়েব র‍্যাঙ্কিং এবং পূর্বে মূল্যায়ন না করা জোড়ার জন্য অতিরিক্ত LLM বিচার থেকে প্রাপ্ত তিনটি প্রাসঙ্গিকতা-বিচার সেট প্রদান করি। একাধিক উৎস যেকোনো একক লেবেলিং পাইপলাইন থেকে পক্ষপাত কমায়, অন্যদিকে গভীর অ্যানোটেশন ফলস নেগেটিভ কমায়।

আমাদের লিডারবোর্ড সর্বজনীনভাবে প্রকাশিত রিট্রিভাল মডেলগুলোর ফলাফল রিপোর্ট করে, যা একটি সামঞ্জস্যপূর্ণ ইনডেক্সিং, রিট্রিভাল এবং স্কোরিং পাইপলাইন ব্যবহার করে সরাসরি বেঞ্চমার্কের বিপরীতে মূল্যায়ন করা হয়। আমাদের অনুরোধ ফর্ম এর মাধ্যমে একটি মূল্যায়ন জমা দেওয়া যেতে পারে।

বাস্তবসম্মত রিট্রিভাল মূল্যায়নের চ্যালেঞ্জ

প্রতিটি কুয়েরির জন্য, একটি প্রোডাকশন-স্কেল রিট্রিভাল সিস্টেম বিলিয়ন বিলিয়ন ওয়েব পেজের একটি কর্পাস অনুসন্ধান করে এবং হাজার হাজার প্রার্থী ডকুমেন্ট ফিরিয়ে দেয়। এই প্রার্থীগুলো নির্ধারণ করে ডাউনস্ট্রিম সিস্টেম কোন উৎসগুলো দেখতে পাবে, যা সরাসরি এজেন্টের কাছে উপলব্ধ প্রমাণের রূপ দেয়।

অতএব, এই প্রথম ধাপের বাস্তবসম্মত মূল্যায়নের জন্য এমন বেঞ্চমার্কের প্রয়োজন যা তিনটি মাত্রায় স্কেল করে: কর্পাসে ডকুমেন্টের সংখ্যা, বিচারকৃত কুয়েরির সংখ্যা এবং প্রতি কুয়েরিতে প্রাসঙ্গিকতা বিচারের সংখ্যা।

বড় কর্পাস কঠিন নেগেটিভ—এমন ডকুমেন্ট যা কুয়েরির সাথে শব্দগতভাবে মিল রাখে কিন্তু অনুরোধ করা তথ্য প্রদান করে না—প্রবর্তন করে বেঞ্চমার্ককে আরও বৈষম্যমূলক করে তুলতে পারে। রিট্রিভারগুলোকে এই সম্ভাব্য মিলগুলোকে প্রাসঙ্গিক ডকুমেন্ট থেকে আলাদা করতে হবে। পরিচিত প্রাসঙ্গিক ডকুমেন্টগুলো ধরে রেখে কর্পাস ছোট করলে এই ডিসট্র্যাক্টরগুলো দূর হতে পারে এবং রিকল বৃদ্ধি পেতে পারে, যেমন আমাদের নীচের সাবস্যাম্পলিং পরীক্ষাগুলো দেখায়।

আরও বিচারকৃত কুয়েরি কার্যকারিতার অনুমানগুলোকে আরও নির্ভরযোগ্য করে তোলে। একটি ছোট কুয়েরি সেটের সাথে, বেঞ্চমার্কের ফলাফল মূলত কোন কুয়েরিগুলো স্যাম্পল করা হয়েছিল তার ওপর নির্ভর করে, যা প্রতিটি মডেলের কার্যকারিতা সঠিকভাবে অনুমান করা এবং মডেলগুলোর মধ্যে আত্মবিশ্বাসের সাথে পার্থক্য করা আরও কঠিন করে তোলে।

গভীর বিচার মূল্যায়নে ফলস নেগেটিভ কমায়। স্পার্স লেবেলের মাধ্যমে, একটি রিট্রিভার প্রাসঙ্গিক ডকুমেন্ট সামনে আনতে পারে যা বিচারহীন এবং সেই কারণে ভুলভাবে অ-প্রাসঙ্গিক হিসেবে গণনা করা হয়। এটি মূল্যায়নকে কম নির্ভরযোগ্য করে তোলে। MS MARCO হলো তথ্য পুনরুদ্ধারের প্রধান বৃহৎ-স্কেল উন্মুক্ত ডেটাসেট এবং এটি নিউরাল রিট্রিভাল মডেলের বিকাশকে রূপ দিয়েছে। সেখানে, ম্যানুয়ালি পরিদর্শন করা শীর্ষ-উদ্ধৃত কিন্তু লেবেলবিহীন প্যাসেজগুলোর ৭০% আসলে প্রাসঙ্গিক ছিল।

বিদ্যমান বেঞ্চমার্কগুলো এই মাত্রাগুলোর কেবল এক বা দুটিতে স্কেল করার ঝোঁক রাখে: ওয়েব-স্কেল সংগ্রহগুলোতে সাধারণত তুলনামূলকভাবে কম বিচারকৃত কুয়েরি থাকে, যেখানে অনেক কুয়েরি বিশিষ্ট বেঞ্চমার্কগুলো সাধারণত অনেক ছোট কর্পাস এবং স্পার্সি লেবেল ব্যবহার করে। তদুপরি, বেশিরভাগ বেঞ্চমার্ক মানব-লিখিত কুয়েরি ব্যবহার করে, যেখানে এজেন্টিক RAG সিস্টেমগুলো এজেন্ট-সংশোধিত কুয়েরি দিয়ে অনুসন্ধান করে যা শব্দচয়ন, গঠন এবং সুনির্দিষ্টতার ক্ষেত্রে আলাদা হতে পারে।

Q2D-Web সমস্ত তিনটি মাত্রা জুড়ে স্কেল করে। এতে রয়েছে ১৯০ মিলিয়ন ওয়েব ডকুমেন্ট, ৬৯,৭২১টি এজেন্ট-সংশোধিত কুয়েরি, এবং এর সম্মিলিত বিচার সেটে প্রতি কুয়েরিতে গড়ে ৯৯.৬টি ইতিবাচক প্রাসঙ্গিকতা বিচার। সবচেয়ে কাছের পাবলিক তুলনা হলো MS MARCO Web Search, যা MS MARCO-এর ওয়েব-স্কেল সংস্করণ। এতে রয়েছে ১০১.৯ মিলিয়ন ডকুমেন্ট, ৯,৩৭৪টি টেস্ট কুয়েরি, এবং প্রতি কুয়েরিতে একটি ক্লিক-উদ্ধৃত ইতিবাচক লেবেল।

আমরা যেভাবে Q2D-Web তৈরি করেছি

বড় করুন

কুয়েরি

Q2D-Web নয় মাসের সময়কালে সংগৃহীত দশটি ভাষা এবং ডজনখানেক ডোমেনের ২৩,০০০ PII-মুক্ত প্রোডাকশন সার্চের ওপর তৈরি।

একটি সার্চ হলো ব্যবহারকারীর বার্তার প্রতিক্রিয়ায় কোনো এজেন্ট যে সমস্ত ওয়েব সার্চ টুল কল করে থাকে। প্রতিটি টুল কলে এক বা একাধিক কুয়েরি থাকে। প্রতিটি কুয়েরি ব্যবহারকারীর অনুরোধ, পূর্ববর্তী কথোপকথন এবং—যে ক্ষেত্রে প্রযোজ্য—একই সার্চে পূর্বে সংগৃহীত ডকুমেন্ট থেকে নতুনভাবে তৈরি করা হয়। প্রতিটি প্রোডাকশন সার্চে একটি প্রাইমারি কুয়েরি থাকে, যা ব্যবহারকারীর তথ্যের প্রয়োজনকে নতুনভাবে উপস্থাপন করে, এবং শূন্য বা তার বেশি সাপোর্ট কুয়েরি থাকে, যা বিকল্প শব্দচয়ন, পটভূমির তথ্য বা সম্পর্কিত এনটিটিগুলো অনুসন্ধান করে। যদিও এগুলো একই ধরনের বৃহত্তর অনুরোধের সমাধান করে, তবে তাদের ভিন্ন ডকুমেন্টের প্রয়োজন হতে পারে, তাই Q2D-Web প্রতিটি কুয়েরিকে তার নিজস্ব প্রাসঙ্গিকতা বিচারের মাধ্যমে স্বাধীনভাবে মূল্যায়ন করে।

বড় করুন

বড় করুন

আমরা সমস্ত অন্তর্ভুক্ত কুয়েরির জন্য কঠোর গোপনীয়তা ফিল্টারিং প্রয়োগ করি। কুয়েরিগুলো এমন ব্যবহারকারীদের কাছ থেকে আসতে হবে যারা তাদের ডেটা ব্যবহারের অনুমতি দিয়েছেন, এবং perplexity-ai/pplx-pii-masking ব্যবহার করে PII সনাক্তকরণ ব্যক্তিগত তথ্য ধারণকারী কুয়েরিগুলোকে বাদ দেয়। আমরা সঠিক ডুপ্লিকেট, খুব সংক্ষিপ্ত কুয়েরি এবং site: বা উদ্ধৃত বাক্যাংশের মতো সার্চ অপারেটর ধারণকারী কুয়েরিগুলোও সরিয়ে দিই।

বেঞ্চমার্কটি দশটি ভাষা কভার করে। ইংরেজি কুয়েরির ৬৫.৮% গঠন করে, তারপরে রয়েছে স্প্যানিশ, রাশিয়ান, জার্মান, ফ্রেঞ্চ, পর্তুগিজ, ইতালিয়ান, কোরিয়ান, জাপানি এবং চীনা। কুয়েরি বন্টন কনজিউমার পণ্য, প্রোগ্রামিং, আইন, স্বাস্থ্য, ব্যবসা, বিজ্ঞান, শিক্ষা, প্রযুক্তি, অর্থ, ভ্রমণ, বিনোদন, রাজনীতি, স্থানীয় তথ্য এবং সংবাদ সহ ডোমেনের একটি বিস্তৃত মিশ্রণ জুড়ে বিস্তৃত।

কর্পাস

প্রতিটি কুয়েরির জন্য, আমরা একটি প্রোডাকশন রিট্রিভাল সিস্টেমের মাধ্যমে শীর্ষ ৫,০০০ ডকুমেন্ট রিট্রিভ করি এবং এই ফলাফল সেটগুলোর ইউনিয়ন গ্রহণ করি। তারপরে আমরা MinHash–LSH ব্যবহার করে কর্পাস ডুপ্লিকেট দূর করি, এমন ডকুমেন্টগুলোকে ক্লাস্টার করি যাদের টোকেন ৫-গ্রাম সেটের জ্যাকার্ড সাদৃশ্য কমপক্ষে ০.৯৭৫।

সংগ্রহটি ইচ্ছাকৃতভাবে কোনো এলোমেলো ওয়েব নমুনা নয়। প্রতিটি ডকুমেন্টকে অন্তত একটি বেঞ্চমার্ক কুয়েরির জন্য একটি সম্ভাব্য ফলাফল হিসেবে বিবেচনা করা হয়েছিল। এটি কঠিন ডিসট্র্যাক্টরের একটি ঘন সেট তৈরি করে: এমন পেজ যা কোনো কুয়েরির বিষয় বা ভাষার সাথে মেলে কিন্তু প্রয়োজনীয় তারিখ, এনটিটি, সংস্করণ, পরিমাণ বা দিক বাদ পড়তে পারে।

বড় করুন

বিচারসমূহ

বৃহৎ পরিসরে প্রাসঙ্গিকতা লেবেলগুলো স্বভাবতই অসম্পূর্ণ। প্রতিটি সম্ভাব্য কুয়েরি-ডকুমেন্ট জোড়াকে লেবেল করা অসম্ভব, এবং বিচারের প্রতিটি উৎস ভিন্ন পক্ষপাত বহন করে।

একক পক্ষপাত থেকে কষ্ট না পেয়ে অ্যানোটেশনের গভীরতা বাড়াতে Q2D-Web কোনো একক উৎসকে গ্রাউন্ড ট্রুথ হিসেবে বিবেচনা করার পরিবর্তে তিনটি প্রাসঙ্গিকতা সেট ব্যবহার করে।

Citation কোনো এজেন্টের প্রতিক্রিয়ায় কোনো ডকুমেন্ট উদ্ধৃত করার সময় সেটিকে প্রাসঙ্গিক হিসেবে লেবেল করে। এটি ডাউনস্ট্রিম ব্যবহারের সবচেয়ে কাছের সিগন্যাল: এজেন্ট কোনো দাবির প্রমাণ হিসেবে ডকুমেন্টটি বেছে নিয়েছে। কিন্তু সাইটেশন হলো গঠনগতভাবে উচ্চ নির্ভুলতা এবং কম রিকল। একবার এজেন্টের কাছে পর্যাপ্ত সমর্থন থাকলে, অন্য প্রতিটি প্রাসঙ্গিক পেজ উদ্ধৃত করার তার সামান্যই কারণ থাকে।

Web র‍্যাঙ্কিং-এ প্রতি কুয়েরিতে ৫০টি পর্যন্ত ডকুমেন্ট থাকে (গড়ে ৪৩.১), যা প্রথম ধাপে BM25 এবং ডেন্স রিট্রিভাল ব্যবহার করে একটি অভ্যন্তরীণ রিট্রিভাল স্ট্যাক দ্বারা চিহ্নিত করা হয়, তারপরে ক্রস-এনকোডার রর‍্যাঙ্কিং করা হয়। এটি এমন ডকুমেন্টগুলোকে ধরে রাখে যা উপযোগী কিন্তু উদ্ধৃত নয়।

Combined + LLM-Judged Citation এবং Web র‍্যাঙ্কিংয়ের ইউনিয়ন গ্রহণ করে, তারপরে ফলস নেগেটিভের সংখ্যা কমানোর লক্ষ্য নিয়ে পূর্বে বিচার না করা প্রার্থীদের জন্য LLM বিচার যোগ করে। আমরা BM25, ColBERTv2, এবং ১ জানুয়ারি, ২০২৫-এর আগে প্রকাশিত সাতটি ডেন্স রিট্রিভার থেকে ফলাফল একত্রিত করি, reciprocal rank fusion (RRF) ব্যবহার করে তাদের র‍্যাঙ্কিং একীভূত করি, শীর্ষ ৫০০ বিচারহীন ডকুমেন্ট নির্বাচন করি এবং DeepSeek-V4-Flash ব্যবহার করে একটি কঠোর বাইনারি প্রাসঙ্গিকতা বিচার প্রয়োগ করি।

এই তিনটি সেট আমাদের মূল্যায়ন করতে দেয় যে মডেলের কার্যকারিতা প্রাসঙ্গিকতার সংজ্ঞার ওপর নির্ভর করে কি না। এগুলো একটি মাত্র লেবেলিং স্ট্যাকের ওপর নির্ভরতাও কমায়, যা অন্যথায় লেবেল তৈরি করতে ব্যবহৃত সিস্টেমের অনুরূপ রিট্রিভারগুলোর পক্ষ নিতে পারত।

বড় করুন

সাবস্যাম্পলিং: বৃহৎ পরিসরে দক্ষ মূল্যায়ন

সম্পূর্ণ-কর্পাস মূল্যায়ন ব্যয়বহুল এবং ধীরগতির। pplx-embed-v1-4b সহ Q2D-Web-এ একটি একক মূল্যায়নের জন্য ৪,৬০৮ H200 GPU-ঘণ্টা প্রয়োজন, যেখানে EmbeddingGemma-300M-এর মতো একটি ছোট মডেলের জন্যও প্রায় ২০০ H200 GPU-ঘণ্টা প্রয়োজন।

মূল্যায়ন ব্যবহারিক রাখতে, আমরা কর্পাসের একটি সাবসিম্পল করা সংস্করণ তৈরি করি।

সম্পূর্ণ-কর্পাসের আচরণের প্রতিফলন ঘটায় এমন একটি ছোট সাবকর্পাস তৈরি করতে আমরা স্যাম্পলিং কৌশল জুড়ে একটি বিস্তৃত অ্যাবলেশন চালাই। প্রতিটি কৌশল ইতিবাচকভাবে বিচার করা সমস্ত ডকুমেন্ট সংরক্ষণ করে এবং শুধুমাত্র বিচারহীন ডিসট্র্যাক্টরগুলো কীভাবে নির্বাচন করা হয় তার ওপর ভিত্তি করে পরিবর্তিত হয়। গুরুত্বপূর্ণ ডিসট্র্যাক্টরগুলো হলো এমন যেগুলো কোনো রিট্রিভার একটি প্রাসঙ্গিক ডকুমেন্টের ওপরে র‍্যাংক করার সম্ভাবনা রাখে, কারণ সেগুলো মডেলের স্কোর এবং র‍্যাঙ্কিংয়ে এর অবস্থান পরিবর্তন করে।

আমরা ইউনিফর্ম র‍্যান্ডম স্যাম্পলিং, কনস্ট্রাকশন রিট্রিভার জুড়ে একটি নির্দিষ্ট ডেপথে পুলিং, এবং বিভিন্ন ডেপথ জুড়ে প্রতি-কোয়েরি RRF এর তুলনা করেছি। RRF-ভিত্তিক স্যাম্পলিং পূর্ণ কর্পাসের মাত্র ৩১.৭% ডকুমেন্ট ব্যবহার করে। এটি কম্বিন্ড জাজমেন্টের অধীনে পূর্ণ-কর্পাসের মডেল র‍্যাঙ্কিং বজায় রাখে, পাশাপাশি পরম স্কোরের কাছাকাছি থাকে এবং একই সাইজে র‍্যান্ডম স্যাম্পলিংয়ের ১২.৮ পয়েন্টের তুলনায় গড় Recall@1000 ৫.২ পয়েন্ট বৃদ্ধি করে।

বড় করুন

এটি মূল্যায়নের খরচকে সম্পূর্ণ-কর্পাসের খরচের প্রায় এক তৃতীয়াংশে কমিয়ে দেয়। RRF-ভিত্তিক সাবকর্পাস ব্যবহার করে, pplx-embed-v1-4b-এর প্রায় ১,৫০০ H200 GPU-ঘণ্টা এবং EmbeddingGemma-300M-এর ৭০ ঘণ্টার কম সময় লাগে।

প্রতিটি জমা দেওয়া কাজ প্রথমে স্যাম্পল করা সাবকর্পাস সংস্করণে মূল্যায়ন করা হয়। জমা দেওয়া কাজগুলো মোট প্যারামিটার গণনা দ্বারা দুটি গ্রুপে বিভক্ত: ১B পর্যন্ত এবং ১B-এর ওপরে। স্যাম্পল করা সাবকর্পাসে তার গ্রুপের শীর্ষ দশে পৌঁছানো একটি মডেল তখন সম্পূর্ণ কর্পাসে মূল্যায়ন করা হয়। তাদের গ্রুপের শীর্ষ ১০-এর বাইরে র‍্যাংক করা মডেলগুলো শুধুমাত্র স্যাম্পল করা সাবকর্পাস লিডারবোর্ডে প্রকাশিত হবে।

মূল্যায়নের ফলাফল

মূল্যায়ন করা মডেলগুলো জুড়ে, Q2D-Web এর ৩টি ভিন্ন প্রাসঙ্গিকতা সেটে ওয়েব স্কেলে রিট্রিভাল কার্যকারিতার একটি সামঞ্জস্যপূর্ণ দৃশ্য প্রদান করে। লিডারবোর্ড এই পরিপূরক দৃশ্যগুলোকে পাশাপাশি উপলব্ধ করে, যা ব্যবহারকারীদের সংকীর্ণ সাইটেশন-ভিত্তিক লেবেল এবং বৃহত্তর প্রাসঙ্গিকতা বিচারের অধীনে মডেলগুলো কীভাবে পারফর্ম করে তা পরীক্ষা করার অনুমতি দেয়।

আমরা আমাদের প্রাথমিক মেট্রিক হিসেবে Recall@1000-কে ফোকাস করি কারণ প্রথম ধাপের রিট্রিভারের শুধুমাত্র প্রার্থী পুলে প্রাসঙ্গিক ডকুমেন্ট রাখতে হয়, যেখানে পরবর্তী রর‍্যাঙ্কিং তাদের চূড়ান্ত ক্রম নির্ধারণ করে।

বড় করুন

টেবিল ১। Citation, Web Ranking এবং Combined রিলিভেন্স সেট জুড়ে তেরোটি রিট্রিভারের জন্য ফুল-কর্পাস Recall@1000 এবং nDCG@10। উচ্চ স্কোর ভালো।

pplx-embed-v1-4b তিনটি জাজমেন্ট সেটেই সবচেয়ে বেশি Recall@1000 পেয়েছে: Citation (৮৫.০৩), Web Ranking (৬৫.৭৩) এবং Combined (৭০.০০)। Combined Recall@100 এবং nDCG@10-এ, Nemotron-3-Embed-8B (৩০.৩২ এবং ৪৫.৬৫) pplx-embed-v1-4b (৩০.১৭ এবং ৪৪.১২)-এর চেয়ে এগিয়ে রয়েছে।

একই ফ্যামিলির মধ্যে, বড় মডেলগুলো Combined Recall@1000-এ বেশি স্কোর করে। Qwen3-Embedding ৫৮.৬৮ (০.৬বি) থেকে বেড়ে ৬৫.৩২ (৮বি) হয়, Nemotron-3-Embed ৬২.৪৪ (১বি) থেকে বেড়ে ৬৯.৩৩ (৮বি) হয় এবং pplx-embed-v1 ৬৭.৯১ (০.৬বি) থেকে বেড়ে ৭০.০০ (৪বি) হয়।

Perplexity মডেলগুলো অন্য সব জমা দেওয়া মডেলের মতো একই পাইপলাইন ব্যবহার করে মূল্যায়ন করা হয়। তবে, যেহেতু Q2D-Web Perplexity প্রোডাকশন ট্রাফিক থেকে উদ্ভূত, এই মডেলগুলো ইন-ডিস্ট্রিবিউশন সুবিধার সুবিধা পেতে পারে। যদিও বেঞ্চমার্কের মূল্যায়ন কুয়েরি এবং কর্পাস মডেল প্রশিক্ষণ থেকে বাদ দেওয়া হয়েছিল, এই সম্ভাব্য সুবিধার কথা মাথায় রেখে ফলাফলগুলোর ব্যাখ্যা করা উচিত।

লিডারবোর্ডে কীভাবে জমা দেবেন

একটি মূল্যায়নের অনুরোধ করতে, আমাদের মূল্যায়ন অনুরোধ ফর্ম এর মাধ্যমে সর্বজনীনভাবে উপলব্ধ Hugging Face মডেল জমা দিন।

মডেল-নির্দিষ্ট ইনফারেন্স সেটিংসের জন্য আমরা জমা দেওয়া রিপোজিটরির মডেল কার্ড অনুসরণ করি, যার মধ্যে প্রস্তাবিত কুয়েরি এবং ডকুমেন্ট নির্দেশাবলী বা প্রিফিক্স, পুলিং, নরমালাইজেশন এবং সাদৃশ্য ফাংশন অন্তর্ভুক্ত রয়েছে। নির্দেশাবলী, প্রিফিক্স এবং বিশেষ টোকেন সহ সমস্ত কুয়েরি এবং ডকুমেন্ট মডেলের নিজস্ব টোকেনাইজার দিয়ে ৫১২ টোকেনে ট্রাঙ্কেট করা হয়, তাই দীর্ঘ সমর্থিত কনটেক্সট কোনো সুবিধা দেয় না। অনুগ্রহ করে নিশ্চিত করুন যে মডেল কার্ডটি উদ্দেশ্যপ্রণোদিত রিট্রিভাল সেটআপ পুনরুৎপাদনের জন্য সম্পূর্ণ, দ্ব্যর্থহীন নির্দেশাবলী প্রদান করে।

উপযুক্ত মডেলগুলোকে স্ট্যান্ডার্ড transformers বা sentence-transformers API-এর মাধ্যমে লোড হতে হবে। যে মডেলগুলো trust_remote_code=False দিয়ে চলে না সেগুলোর মূল্যায়নের আগে কাস্টম কোড এবং জমাদানকারীর ম্যানুয়াল পর্যালোচনার প্রয়োজন হয়, যার জন্য উল্লেখযোগ্যভাবে বেশি সময় লাগে। প্রাইভেট বা গেটেড রিপোজিটরি উপযুক্ত নয়।

পদ্ধতি এবং ফলাফল সম্পর্কে আরও জানতে আমাদের প্রযুক্তিগত প্রতিবেদন পড়ুন।

উদ্ধৃতি

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}