DRACO বেঞ্চমার্কের মাধ্যমে প্রকৃত পরিবেশে গভীর গবেষণা পারফরম্যান্স মূল্যায়ন করা

আজ আমরা ডিপ রিসার্চ অ্যাকুরেসি, কমপ্লিটনেস অ্যান্ড অবজেক্টিভিটি (DRACO) বেঞ্চমার্ক প্রকাশ করছি, যা ব্যবহারকারীরা যেভাবে জটিল গবেষণামূলক কাজের জন্য প্রকৃত অর্থে এআই ব্যবহার করেন তার ওপর ভিত্তি করে তৈরি গভীর গবেষণা এজেন্টদের মূল্যায়ন করার জন্য একটি ওপেন বেঞ্চমার্ক। DRACO-কে ওপেন সোর্স করার মাধ্যমে, আমাদের লক্ষ্য বৃহত্তর এআই সম্প্রদায়কে এমন গবেষণা সরঞ্জাম তৈরি করতে সহায়তা করা যা বাস্তব ব্যবহারকারীর চাহিদা আরও ভালোভাবে মেটায়।

DRACO সিন্থেটিক কাজ সমাধান করা এবং প্রকৃত গবেষণার চাহিদা মেটানোর মধ্যকার ব্যবধান তুলে ধরে। মূল্যায়ন হার্নেসটি মডেল-অজ্ঞাতাবাদী: আরও শক্তিশালী এজেন্টিক এলএলএম আবির্ভূত হওয়ার সাথে সাথে, আমরা মূল্যায়ন পুনরায় চালাব এবং আপডেট করা ফলাফল প্রকাশ করব। এবং আমরা যখন Perplexity.ai-তে গভীর গবেষণা-এ উন্নতিসাধন করব, ব্যবহারকারীরা পণ্য পারফরম্যান্স এবং বেঞ্চমার্ক স্কোর উভয়ের মধ্যেই সেই অগ্রগতি দেখতে পাবেন।

অত্যাধুনিক গভীর গবেষণা

Perplexity গভীর গবেষণা শীর্ষস্থানীয় বাহ্যিক বেঞ্চমার্কগুলিতে শীর্ষস্থানীয় পারফরম্যান্স অর্জন করে, যার মধ্যে রয়েছে Google DeepMind-এর DeepSearchQA এবং Scale AI-এর ResearchRubrics।

বড় করুন

বড় করুন

এই ফলাফলগুলি উপলব্ধ সেরা মডেলগুলিকে Perplexity-এর উদ্দেশ্যমূলকভাবে তৈরি এজেন্টিক ক্ষমতার সাথে একত্রিত করার মাধ্যমে এসেছে: প্রোপোলিটরি অনুসন্ধান সরঞ্জাম, ব্রাউজার অবকাঠামো এবং কোড এক্সিকিউশন। একত্রে, এগুলি বাস্তব বিশ্বের তথ্য পুনরুদ্ধার, সংশ্লেষণ এবং সেগুলির ওপর যুক্তি প্রদর্শনের জন্য এন্ড-টু-এন্ড অপ্টিমাইজ করা একটি সিস্টেম গঠন করে।

এই পণ্যটি তৈরির প্রক্রিয়ায়, আমরা বুঝতে পেরেছি যে বাহ্যিক বেঞ্চমার্কগুলি মডেলগুলির তুলনার জন্য দরকারী হলেও, প্রায়শই বহুমুখী প্রশ্ন এবং সংশ্লেষণের দাবিগুলিকে ধারণ করতে পারে না যা প্রকৃত ব্যবহারকারীরা প্রতিদিন জিজ্ঞাসা করেন। আজ, আমরা DRACO বেঞ্চমার্ক ওপেন-সোর্স করছি, যা দশটি ডোমেন জুড়ে মিলিয়ন মিলিয়ন প্রোডাকশন টাস্ক দ্বারা অনুপ্রাণিত হয়ে মানুষ যেভাবে প্রকৃত অর্থে গভীর গবেষণা ব্যবহার করে তার ওপর ভিত্তি করে তৈরি একটি বেঞ্চমার্ক।

বড় করুন

প্রোডাকশন-ভিত্তিক মূল্যায়ন কেন গুরুত্বপূর্ণ

বিদ্যমান বেঞ্চমার্কগুলি প্রায়শই বিচ্ছিন্নভাবে সংকীর্ণ দক্ষতা পরীক্ষা করে: একটি একক তথ্য পুনরুদ্ধার করা, একটি ট্রিভিয়া প্রশ্নের উত্তর দেওয়া, বা একটি সুনির্দিষ্ট সমস্যার সমাধান করা। কিন্তু বাস্তব গবেষণার প্রশ্নগুলির জন্য উৎস জুড়ে সংশ্লেষণ, সূক্ষ্ম বিশ্লেষণ এবং কার্যকরী নির্দেশনার প্রয়োজন হয়, পাশাপাশি তথ্যের সঠিকতা এবং সঠিক উদ্ধৃতি বজায় রাখা হয়।

DRACO বেঞ্চমার্কটিতে শিক্ষাক্ষেত্র, অর্থায়ন, আইন, চিকিৎসা, প্রযুক্তি, সাধারণ জ্ঞান, ইউএক্স ডিজাইন, ব্যক্তিগত সহকারী, শপিং/পণ্য তুলনা এবং নিডল ইন এ হেস্ট্যাক—এই সমস্ত ক্ষেত্রে ছড়িয়ে থাকা ১০০টি সাবধানে কিউরেট করা কাজ রয়েছে, প্রতিটির সাথে রয়েছে বিশেষজ্ঞের তৈরি মূল্যায়ন রুব্রিক যা গড়ে প্রায় ~৪০টি মূল্যায়নের মানদণ্ড বহন করে।

এই কাজগুলি Perplexity গভীর গবেষণা-এর প্রকৃত ব্যবহারকারীর অনুরোধ থেকে উদ্ভূত, যা লক্ষ লক্ষ প্রোডাকশন অনুরোধ থেকে নমুনা নেওয়া হয়েছে এবং তারপরে পদ্ধতিগতভাবে পুনর্বিন্যাস, পরিবর্ধন এবং পাঁচটি ধাপের পাইপলাইনের মাধ্যমে ফিল্টার করা হয়েছে: আমরা ব্যক্তিগতভাবে সনাক্তযোগ্য তথ্য সরাই, প্রসঙ্গ এবং সুযোগ যোগ করি, উদ্দেশ্যমূলকতা এবং অসুবিধার জন্য ফিল্টার করি এবং ডোমেন বিশেষজ্ঞদের দ্বারা চূড়ান্ত পর্যালোচনা পরিচালনা করি। এর ফলে এমন একটি বেঞ্চমার্ক তৈরি হয় যা সিন্থেটিক ব্যায়াম বা বিশেষজ্ঞের কিউরেট করা কাজের পরিবর্তে প্রকৃত ব্যবহারকারীর চাহিদাকে প্রতিফলিত করে।

DRACO বেঞ্চমার্ক যেভাবে কাজ করে

বড় করুন

বেঞ্চমার্কের প্রতিটি কাজ একটি কঠোর রুব্রিক উন্নয়ন প্রক্রিয়ার মধ্য দিয়ে গেছে। Perplexity একটি ডেটা জেনারেশন পার্টনার, The LLM Data Company-এর সাথে কাজ করেছে, যাতে এই সেটের জন্য মূল্যায়ন রুব্রিক তৈরি এবং চাপ পরীক্ষা করা যায়। বিষয় বিশেষজ্ঞরা এলএলএম টুলের সাহায্যে প্রাথমিক রুব্রিক তৈরি করেছিলেন, তারপর পিয়ার রিভিউ এবং ক্যালিব্রেশনের মাধ্যমে পুনরাবৃত্তি করেছিলেন। খারাপভাবে নির্দিষ্ট করা এবং অত্যধিক লেনিভ রুব্রিকগুলিকে সংশোধনের জন্য ফেরত পাঠানো হয়েছিল, এই প্রক্রিয়ার মাধ্যমে প্রায় ৪৫% রুব্রিক অন্তত একবার পরিমার্জিত করা হয়েছিল। ফলাফল হল এমন মূল্যায়ন মানদণ্ড যা প্রকৃত অর্থেই সিস্টেমের ক্ষমতাকে আলাদা করে।

রুব্রিকগুলি চারটি মাত্রা মূল্যায়ন করে: তথ্যের সঠিকতা (সমস্ত মানদণ্ডের প্রায় অর্ধেক), বিশ্লেষণের প্রস্থ এবং গভীরতা, উপস্থাপনার মান এবং প্রাথমিক উত্সের উদ্ধৃতি। প্রতিটি মানদণ্ড তার গুরুত্ব প্রতিফলিত করে একটি ওজন পায় এবং কিছু মানদণ্ড নেতিবাচক হয়, যা হ্যালুসিনেশন বা অসমর্থিত দাবির মতো ত্রুটিগুলির জন্য জরিমানা করে।

প্রতিক্রিয়াগুলি একটি LLM-as-judge প্রোটোকল ব্যবহার করে গ্রেড করা হয়, যেখানে প্রতিটি মানদণ্ড একটি বাইনারি রায় পায়। এই পদ্ধতিটি তথ্যের সঠিকতার মূল্যায়নের জন্য অত্যন্ত উপযুক্ত কারণ রুব্রিকগুলি অনুসন্ধানের ফলাফল থেকে প্রাপ্ত বাস্তব বিশ্বের ডেটাতে বিচারককে ভিত্তি করে, বিষয়ভিত্তিক মূল্যায়নকে যাচাইযোগ্য তথ্য-পরীক্ষায় রূপান্তরিত করে। আমরা তিনটি বিচারক মডেল জুড়ে নির্ভরযোগ্যতা যাচাই করেছি এবং দেখেছি যে পরম স্কোর পরিবর্তিত হলেও, আপেক্ষিক সিস্টেম র‍্যাঙ্কিং ধারাবাহিক থাকে।

বড় করুন

টুলসেট এবং মূল্যায়ন পরিবেশ

বেঞ্চমার্কটি একটি কোড এক্সিকিউশন স্যান্ডবক্স এবং ব্রাউজার ক্ষমতা সহ একটি সম্পূর্ণ গবেষণা টুলসেটে অ্যাক্সেস রয়েছে এমন এজেন্টদের মূল্যায়ন করার জন্য ডিজাইন করা হয়েছে।

আমরা যা পেয়েছি

ডোমেন অনুযায়ী পারফরম্যান্স। আমরা পাসের হার পরিমাপ করে (মূল্যায়নের মানদণ্ড পূরণ হওয়ার শতাংশ) ১০টি জ্ঞান ডোমেন জুড়ে চারটি গভীর গবেষণা সিস্টেম মূল্যায়ন করেছি। গভীর গবেষণা সমস্ত ডোমেন জুড়ে সর্বোচ্চ পাসের হার অর্জন করেছে, বিশেষ করে আইন (৮৯.৪%) এবং শিক্ষাক্ষেত্রে (৮২.৪%) শক্তিশালী পারফরম্যান্স দেখিয়েছে।

বড় করুন

ব্যবহারকারীদের জন্য, এর অর্থ হলো আরও নির্ভরযোগ্য উত্তর আপনি একটি আইনি সংক্ষিপ্ত বিবরণ প্রস্তুত করছেন, সাহিত্য পর্যালোচনা করছেন বা চিকিৎসা সংক্রান্ত চিকিৎসার বিকল্পগুলির তুলনা করছেন। জটিল যুক্তির কাজগুলিতে পারফরম্যান্সের ব্যবধান উল্লেখযোগ্যভাবে প্রশস্ত হয়েছে: পার্সোনালাইজড অ্যাসিস্ট্যান্ট এবং নিডল ইন এ হেস্ট্যাক পরিস্থিতিতে, Perplexity সর্বনিম্ন স্কোরিং সিস্টেমকে ২০টিরও বেশি পার্সেন্টেজ পয়েন্ট দ্বারা ছাড়িয়ে গেছে। এই ডোমেনগুলি ব্যক্তিগতকৃত সুপারিশ এবং বড় নথিতে লুকিয়ে থাকা নির্দিষ্ট তথ্য খুঁজে পাওয়ার মতো বাস্তব ব্যবহারকারীর চাহিদাকে প্রতিফলিত করে।

বড় করুন

মূল্যায়নের দিক অনুযায়ী পারফরম্যান্স। চারটি মূল মূল্যায়ন মাত্রার মধ্যে, গভীর গবেষণা তিনটিতে এগিয়ে ছিল: তথ্যের সঠিকতা, বিশ্লেষণের প্রস্থ এবং গভীরতা এবং উদ্ধৃতির মান। আসল সিদ্ধান্তের জন্য যখন আপনার গবেষণাকে বিশ্বাস করার প্রয়োজন হয় তখন এই মাত্রাগুলি সবচেয়ে বেশি গুরুত্বপূর্ণ, আপনি কোনও ক্লায়েন্টকে পরামর্শ দিচ্ছেন, বিনিয়োগ করছেন বা আপনার নাম সম্বলিত কোনও প্রতিবেদন লিখছেন। উপস্থাপনার মানের ক্ষেত্রে শুধুমাত্র অন্য একটি সিস্টেম Perplexity গভীর গবেষণা-এর সাথে তুলনামূলক পারফরম্যান্স দেখিয়েছে, যা ইঙ্গিত করে যে গভীর গবেষণায় কঠিন সমস্যাগুলি ফরম্যাটিং সম্পর্কে নয় বরং তথ্য সঠিক করা এবং বিশ্লেষণ সম্পূর্ণ করা সম্পর্কে।

বড় করুন

গুণমান এবং দক্ষতা। বিশেষ করে, শীর্ষ পারফরম্যান্সকারী সিস্টেমটি সর্বনিম্ন লেটেন্সিও অর্জন করেছে (প্রতিযোগীদের জন্য ৫৯২ থেকে ১৮০৮ সেকেন্ডের তুলনায় ৪৫৯.৬ সেকেন্ড)। ব্যবহারকারীদের জন্য, এর অর্থ হলো আপনাকে পুঙ্খানুপুঙ্খ গবেষণা এবং দ্রুত উত্তর পাওয়ার মধ্যে কোনো একটি বেছে নিতে হবে না। এটি উল্লম্বভাবে সমন্বিত, এন্ড-টু-এন্ড অবকাঠামোর সুবিধাকে প্রতিফলিত করে: আরও ভালো অনুসন্ধান¹ [আমাদের সার্চ এপিআই-এর ফুডনোট লিঙ্ক] এবং অপ্টিমাইজ করা এক্সিকিউশন এনভায়রনমেন্ট সহ ব্রাউজার ইন্টিগ্রেশন সরাসরি দ্রুত, আরও সঠিক গবেষণায় রূপান্তরিত হয়।

এর পরে কী

Perplexity-এর গভীর গবেষণা হার্নেসটি মডেল-অজ্ঞাতাবাদী: আরও শক্তিশালী এজেন্টিক এলএলএম আবির্ভূত হওয়ার সাথে সাথে, আমরা মূল্যায়ন পুনরায় চালাব এবং আপডেট করা ফলাফল প্রকাশ করব। এবং আমরা যখন Perplexity.ai-তে গভীর গবেষণা-এ উন্নতিসাধন করব, ব্যবহারকারীরা পণ্য পারফরম্যান্স এবং বেঞ্চমার্ক স্কোর উভয়ের মধ্যেই সেই অগ্রগতি দেখতে পাবেন।

বেঞ্চমার্কটি বর্তমানে দশটি ডোমেন জুড়ে শুধুমাত্র ইংরেজি, একক-টার্ন মিথস্ক্রিয়া মূল্যায়ন করে। ভবিষ্যতের সংস্করণগুলি ভাষাগত বৈচিত্র্য প্রসারিত করবে, মাল্টি-টার্ন মূল্যায়ন যোগ করবে এবং ডোমেন কভারেজ প্রসারিত করবে।

DRACO বেঞ্চমার্কের সাহায্যে আরও ভালো গবেষণা এজেন্ট তৈরি করুন

DRACO বেঞ্চমার্ক এখন সম্পূর্ণ ওপেন সোর্স। গভীর গবেষণা সিস্টেম তৈরি করে এমন যেকোনো টিম সিন্থেটিক একাডেমিক ধাঁধার পরিবর্তে বাস্তব বিশ্বের গবেষণার কাজের বিরুদ্ধে তাদের মডেলগুলি মূল্যায়ন করতে পারে। আমরা সম্পূর্ণ বেঞ্চমার্ক, সমস্ত রুব্রিক এবং বিচারক প্রম্পট প্রকাশ করছি।

পদ্ধতি এবং বিস্তারিত ফলাফল সম্পর্কে আরও জানতে, সম্পূর্ণ প্রযুক্তিগত প্রতিবেদনটি পড়ুন: DRACO বেঞ্চমার্ক এবং Hugging Face-এ ডেটাসেটটি অন্বেষণ করুন।

উদ্ধৃতি

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}