WANDR বেঞ্চমার্ক: ওয়াইড এবং ডিপ অনুসন্ধান করতে হবে এমন গবেষণা এজেন্টদের মূল্যায়ন

আজ আমরা প্রকাশ করছি WANDR (Wide ANd Deep Research), যা জ্ঞানভিত্তিক কাজের জন্য ৫০০টি বাস্তবসম্মত, চ্যালেঞ্জিং ডেটা সংগ্রহের টাস্কের চারপাশে তৈরি একটি ওপেন বেঞ্চমার্ক এবং ইভালুয়েশন হারনেস। WANDR হলো আমাদের গভীর গবেষণার জন্য DRACO বেঞ্চমার্ক-এর প্রশস্ত সহোদর। DRACO জানতে চায় কোনো এজেন্ট নির্ভুল, সম্পূর্ণ এবং উদ্দেশ্যমূলক দীর্ঘ প্রতিবেদন তৈরি করতে পারে কিনা; আর WANDR জানতে চায় এটি একটি বড় সংগ্রহ তৈরি করতে পারে কিনা এবং প্রতিটি সদস্যকে নির্দিষ্ট প্রমাণ দিয়ে সমর্থন করতে পারে কিনা।

এগুলো হলো সেই ধরণের কাজ যা মানুষ ইতিমধ্যেই গবেষণা এজেন্টদের হাতে সঁপে দেয়: প্রতিযোগিতামূলক ম্যাপিং, ডিউ ডিলিজেন্স, লিটারেচার রিভিউ, বাজার বিশ্লেষণ, পণ্য তুলনা, ট্যালেন্ট সোর্সিং এবং আরও অনেক কিছু। টাস্কগুলোর পরিধি হলো ডজন থেকে শুরু করে হাজার হাজার স্বাধীনভাবে যাচাইযোগ্য রেকর্ড। এমনকি উচ্চ প্রচেষ্টার সেটিংয়েও, আমাদের মূল্যায়নে সবচেয়ে শক্তিশালী সিস্টেমটি কেবল ০.৩৬৩ সফট F1 এবং ০.১৩৩ হার্ড F1 অর্জন করে। ওয়াইড-অ্যান্ড-ডিপ গবেষণা এখনও সমাধান হওয়া থেকে অনেক দূরে রয়েছে।

বড় করুন

কেন ওয়াইড-অ্যান্ড-ডিপ গবেষণা গুরুত্বপূর্ণ

অনেক দরকারী গবেষণার কাজ কোনো এজেন্ট একটি উত্তর খুঁজে পাওয়ার মাধ্যমেই শেষ হয় না। একজন বাজার বিশ্লেষকের প্রতিটি যোগ্য প্রতিযোগীর প্রয়োজন হতে পারে, যার প্রতিটির জন্য একই প্রমাণ থাকতে হবে। একটি ডিউ ডিলিজেন্স টিমের ডজন ডজন কোম্পানির প্রয়োজন হতে পারে, তারপর তাদের প্রতিটির জন্য মালিকানা, নির্বাহী, অর্থায়ন এবং নিয়ামক বা নিয়ন্ত্রক অবস্থা প্রয়োজন হতে পারে। এটি দুটি আলাদা চাহিদার সৃষ্টি করে:

প্রশস্ত (Wide): যোগ্য সত্তার একটি বড় এবং প্রায়শই উন্মুক্ত সেট আবিষ্কার করা।

গভীর (Deep): প্রমাণের সাথে প্রতিটি অনুরোধ করা দাবিকে সমর্থন করার জন্য প্রতিটি সত্তাকে যথেষ্ট গভীরভাবে তদন্ত করা।

উভয়কে একত্রিত করা সমস্যাটিকে বদলে দেয়। কিছু বাধ্যতামূলক উদাহরণই যথেষ্ট নয়, এবং অসম্পূর্ণ গবেষণার ওপর তৈরি কোনো পরিপাটি বিবরণীও যথেষ্ট নয়। এজেন্টকে এক রেকর্ড থেকে অন্য রেকর্ডের সত্যতার গুণগত মান না কমিয়ে বিস্তৃত আবিষ্কার বজায় রাখতে হবে।

WANDR একটি নমনীয়, কম্পোজযোগ্য কোয়ালিফিকেশন কি হায়ারার্কি-এর সাহায্যে সেই কাঠামো ধারণ করে। একটি টাস্কের জন্য বলা হতে পারে

company(n) → employee(m) → url(k)

এর অর্থ হলো nটি যোগ্য কোম্পানি খুঁজে বের করা, প্রতিটি কোম্পানিতে m জন যোগ্য কর্মচারী খুঁজে বের করা এবং প্রতিটি কর্মচারীর জন্য kটি সমর্থনকারী পৃষ্ঠা খুঁজে বের করা। ট্রি-এর মধ্য দিয়ে যাওয়া প্রতিটি সম্পূর্ণ পথ স্বাধীনভাবে যাচাই করা যেতে পারে। একই মৌলিক কাঠামো একটি সমতল তালিকা, একটি নেস্টেড অনুসন্ধান, একটি ম্যাট্রিক্স বা একাধিক প্রমাণের শাখা সহ একটি টাস্ক উপস্থাপন করতে পারে। এই প্যাটার্নগুলো একত্রিতও করা যেতে পারে, যার ফলে একটি উপস্থাপনা বিস্তৃত বাস্তব-বিশ্বের ব্যবহারের কেসগুলোকে কভার করতে পারে।

বড় করুন

প্রকাশিত একটি টাস্ক অনুশীলনে এই কাঠামোটি চিত্রিত করে।

ceo_cfo_appointments

প্রাথমিক টাস্ক। মার্কিন যুক্তরাষ্ট্র-ভিত্তিক কমপক্ষে ৭০টি কোম্পানি খুঁজুন যাদের প্রধান নির্বাহী কর্মকর্তা (CEO) বা প্রধান আর্থিক কর্মকর্তা (CFO) পদে প্রথম নিয়োগের ঘোষণা ১ মার্চ এবং ৩০ এপ্রিল, ২০২৬-এর মধ্যে দেওয়া হয়েছিল। প্রতিটি কোম্পানির জন্য একটি প্রামাণিক নিয়োগের পৃষ্ঠা প্রদান করুন যা কোম্পানি এবং নিয়োগপ্রাপ্ত ব্যক্তিকে চিহ্নিত করে, ভূমিকা এবং ঘোষণার তারিখ স্থাপন করে এবং যা ইস্যুকারী, কোনো ফাইলিং, নিউজওয়্যার বা সরাসরি দায়ী করা প্রথম হাতের ব্যবসায়িক সাংবাদিকতা থেকে আসে।

প্রাথমিক হায়ারার্কি। company(70) → company_appointee(1) → url(1)।

কোম্পানি-তালিকাভুক্তির সাবটাস্ক। একই কোম্পানিগুলোর জন্য, একটি মার্কিন জাতীয় সিকিউরিটিজ এক্সচেঞ্জে তালিকাভুক্তি বা মার্কিন-ডোমিসিলড SEC এক্সচেঞ্জ অ্যাক্ট রিপোর্টিং ইস্যুকারী হিসাবে স্ট্যাটাস প্রদর্শনকারী একটি স্বীকৃত তালিকাভুক্তি-কর্তৃপক্ষের পৃষ্ঠা প্রদান করুন।

সাবটাস্ক হায়ারার্কি। company(70) → url(1)।

প্রয়োজনীয় রেকর্ড। ১৪০টি: ৭০টি নিয়োগের রেকর্ড এবং ৭০টি তালিকার রেকর্ড।

প্রতিটি পথ একটি পৃষ্ঠায় এবং এমন অংশবিশেষে শেষ হয় যা গ্রেডার পুনরায় পরীক্ষা করতে পারে। শেয়ার করা কোম্পানির কি নিয়োগ এবং তালিকাভুক্তির শাখাকে সারিবদ্ধ করে, তাই তালিকাভুক্তির স্থিতি সম্পর্কিত পৃথক প্রমাণ ছাড়া একটি নিয়োগ এখনও সেই কোম্পানিটিকে অসম্পূর্ণ রেখে দেয়।

বাস্তবসম্মত টাস্ক, স্কেলে জেনারেট করা

WANDR সিন্থেটিক প্রম্পটের পরিবর্তে প্রোডাকশন ব্যবহারে পরিলক্ষিত ডি-আইডেন্টিফাইড প্যাটার্ন থেকে শুরু হয়। এটি বেঞ্চমার্ককে মানুষের প্রকৃত অর্পিত কাজের কাছাকাছি রাখে: উন্মুক্ত আবিষ্কার, পুনরাবৃত্ত সমৃদ্ধকরণ, ক্রস-সোর্স চেক এবং পেশাদার স্কেলে কাঠামোগত তুলনা। একটি আংশিক স্বয়ংক্রিয় পাইপলাইন সেই প্যাটার্নগুলোকে টাস্কে রূপান্তর করে, সম্পূর্ণ উত্তরের টীকা দেওয়ার পরিবর্তে মান নিয়ন্ত্রণের জন্য মানুষের প্রচেষ্টাকে সংরক্ষণ করে।

পাইপলাইনের চারটি পর্যায় রয়েছে। সিডিং (Seeding) একটি পুনঃব্যবহারযোগ্য ওয়াইড-গবেষণা প্যাটার্নের জন্য ডি-আইডেন্টিফাইড পণ্য অনুরোধগুলোকে মাইন করে। অথরিং (Authoring) একটি ইন্টারলিভড অথর-ক্রিটিক লুপ চালায়: এজেন্টরা ডিজাইন স্কেচ এবং স্ট্রেস-টেস্ট করে, টাস্ক স্পেসিফিকেশন এবং জাজ লেখে, ফিক্সচার রেকর্ড তৈরি করে এবং সবকিছু সারিবদ্ধ রাখতে একটি মেকানিক্যাল লিন্টার ব্যবহার করে। অ্যাডমিশন (Admission) ১০-১২টি অথরিং রোলআউট একত্রিত করে লক্ষ্য ভলিউম পৌঁছানো যায় কিনা তা পরীক্ষা করে, টাস্ক-নির্দিষ্ট জাজ অডিট করে এবং ঐচ্ছিকরূপে মানুষের সাইন-অফ যোগ করে। কিউরেশন (Curation) অনুমোদিত টাস্কগুলোকে লেবেল করে এবং বিষয়, স্কেল, টপোলজি এবং অসুবিধা জুড়ে একটি ভারসাম্যপূর্ণ চূড়ান্ত সেট নির্বাচন করে।

বড় করুন

মধ্যম কাজটিতে ৫০ জন সদস্য, প্রতি সদস্যে চারটি রেকর্ড এবং মোট ২৪৫টি রেকর্ড দরকার। সব মিলিয়ে, ৫০০টি কাজের জন্য উৎস-সমর্থিত ১,৭০,৪৯৫টি রেকর্ড প্রয়োজন। আমরা ঐতিহাসিক ডিজাইন-পর্যায়ের রোলআউট থেকে কঠিনতার মাত্রা নির্ধারণ করি, তারপর কাজগুলোকে র‌্যাঙ্ক অনুযায়ী ১৬৭টি নিম্ন-, ১৬৬টি মধ্যম-, এবং ১৬৭টি উচ্চ-কঠিনতার উদাহরণে ভাগ করি। নিচের চিত্রটি দেখায় যে কঠিনতা শুধু স্কেলের ওপর নির্ভর করে না; এটি প্রতিটি রেকর্ডের জন্য প্রয়োজনীয় কাজের ওপরও নির্ভর করে।

বড় করুন

রেফারেন্স-মুক্ত, প্রমাণ-যাচাইকৃত গ্রেডিং

একটি নির্দিষ্ট উত্তর কি উন্মুক্ত গবেষণার সাথে ভালোভাবে মেলে না। এটি তৈরি করতে ব্যয়বহুল, দ্রুত পুরানো হয়ে যায় এবং এমন প্রশ্নগুলোকে খারাপভাবে উপস্থাপন করে যার উত্তর সময়ের সাথে সাথে পরিবর্তিত হয়। WANDR এর পরিবর্তে এজেন্ট যে প্রমাণ উদ্ধৃত করে তার বিরুদ্ধে প্রতিটি জমা দেওয়া দাবি গ্রেড করে।

প্রতিটি রেকর্ডে একটি আইটেম, একটি URL, নির্বাচিত অংশবিশেষ এবং একটি উত্তর থাকে। গ্রেডার পৃষ্ঠাটি পুনরায় ফেচ করে এবং এটি ব্যবহারযোগ্য কিনা, দাবিটি স্পষ্ট এবং পরিসরের মধ্যে রয়েছে কিনা, অংশবিশেষগুলো বিশ্বস্তভাবে পৃষ্ঠায় উপস্থিত হয়েছে কিনা এবং পৃষ্ঠা এবং অংশবিশেষ উভয়ই প্রতিটি প্রয়োজনীয়তাকে সমর্থন করে কিনা তা পরীক্ষা করে।

এই বাইনারি রেকর্ড ভারডিক্টগুলো হায়ারার্কির মাধ্যমে ওপরে ওঠে। প্রিসিশন সিস্টেম যা জমা দিয়েছে তার গুণমান পরিমাপ করে। রিকল অনুরোধকৃত ভলিউমের বিপরীতে গুণমান-সমন্বিত সমাপ্তি পরিমাপ করে, যেকোনো ঘাটতি শূন্য দিয়ে পূরণ করে। F1 উভয়কে ভারসাম্যপূর্ণ করে। সফট স্কোর অসম্পূর্ণ সদস্যদের আংশিক ক্রেডিট দেয়; হার্ড স্কোর শুধুমাত্র সেই সদস্যদের গণনা করে যাদের সম্পূর্ণ প্রয়োজনীয় সাবট্রি সঠিক। রোগ নির্ণয়ের জন্য, WANDR একটি শুধুমাত্র-রিট্রিভাল ভারডিক্টও রিপোর্ট করে যা বৈধতা এবং জমা দেওয়া অংশবিশেষের ওপর আরও কঠোর চেক যোগ করার আগে ফেচ করা পৃষ্ঠাটি টাস্ককে সন্তুষ্ট করে কিনা তা জিজ্ঞাসা করে।

এটি ত্রুটিগুলোকে বোধগম্য এবং স্থানীয়করণযোগ্য করে তোলে। কম রিকল সহ উচ্চ প্রিসিশন সাধারণত বোঝায় যে সিস্টেমটি কিছু ভালো সদস্য পেয়েছে কিন্তু পর্যাপ্ত নয়। একটি বড় সফট-থেকে-হার্ড ড্রপ মানে এটি আংশিক অগ্রগতি করেছে কিন্তু সম্পূর্ণ ক্রেডিট অর্জনের জন্য প্রয়োজনীয় প্রতিটি শাখা খুব কমই সম্পূর্ণ করেছে। স্কোর ট্রি ক্ষতিকে আবিষ্কার, সমৃদ্ধকরণ, পরিচয় হ্যান্ডলিং, পৃষ্ঠা যোগ্যতা বা প্রমাণ নিষ্কাশনে স্থানীয়করণ করতে পারে।

বড় করুন

আমরা যা পেয়েছি

আমরা ছয়টি প্রোডাকশন সিস্টেমের তুলনা করেছি: হোস্ট করা টাস্ক এবং সার্চ API, সাধারণ ওয়েব-এজেন্ট API, একটি গভীর গবেষণার পণ্য এবং আমাদের প্রোগ্রাম্যাটিক সার্চ-অরচেস্ট্রেশন সিস্টেম, Search as Code (SaC)। প্রতিটি একটি পিন করা কনফিগারেশনের অধীনে সমস্ত ৫০০টি টাস্কে সময় নির্ধারিত হয়েছিল, তারপরে একই ফেচ, জাজ, পরিচয়-রেজোলিউশন এবং স্কোরিং পাইপলাইনের মধ্য দিয়ে গেছে।

Perplexity Search as Code ০.৩৬৩ সফট F1 এবং ০.১৩৩ হার্ড F1-এ নেতৃত্ব দিচ্ছে। অ্যানথ্রপিক ০.২৪৯ এবং ০.০৭২ নিয়ে দ্বিতীয় স্থানে রয়েছে; অন্য প্রতিটি সিস্টেম ০.১২১ সফট F1 এবং ০.০৩৫ হার্ড F1-এ শীর্ষস্থান অধিকার করে। কোনো সিস্টেমই গুণমান এবং দক্ষতা উভয় ক্ষেত্রেই আধিপত্য বিস্তার করে না। পারপ্লেক্সিটি প্রতি টাস্কে ৫.২০ ডলারে খরচ সীমার মাঝখানে অবস্থান করে, যেখানে ১৪.৯ মিনিটের মধ্যবর্তী সমাধান সময় এবং প্রতি টাস্কে ৩.৮২ মিলিয়ন রিপোর্ট করা টোকেন রয়েছে। OpenAI এবং Exa দ্রুত এবং সস্তা কিন্তু অনেক কম স্কোর করে। অ্যানথ্রপিক গুণমানের দিক থেকে সবচেয়ে কাছাকাছি আসে, তবে উল্লেখযোগ্যভাবে বেশি সময়, অর্থ এবং টোকেন ব্যবহার করে।

বড় করুন

বড় করুন

আমরা একই ৪৫-টাস্ক সাবসেটে প্রতিটি উপলব্ধ প্রচেষ্টার সেটিংও মূল্যায়ন করেছি। আরও প্রচেষ্টা প্রতি ধাপে Perplexity, Gemini এবং Exa-কে উন্নত করে; Perplexity xhigh-এ ০.৪৪৭ সফট F1 এবং ০.২২৪ হার্ড F1 এ পৌঁছায়। তবে, উচ্চ প্রচেষ্টা সমানভাবে ভালো নয়: OpenAI high-এ শীর্ষস্থান অর্জন করে, এবং ultra2x ও ultra4x-এর মধ্যে Parallel-এর হার্ড F1 সামান্য হ্রাস পায়। খরচ চারটিরও বেশি অর্ডারের মাত্রায় বিস্তৃত, Exa low-এর জন্য প্রতি টাস্কে $০.০৩ থেকে শুরু করে Gemini max-এর জন্য $৩২৪.৮৩ পর্যন্ত।

বড় করুন

বড় করুন

চারটি ফলাফল বিশিষ্ট হয়ে ওঠে।

আংশিক অগ্রগতি সাধারণ; সম্পূর্ণ কভারেজ সাধারণ নয়। প্রতিটি সিস্টেমের জন্য সফট রিকল সফট প্রিসিশনের নিচে থাকে, যার অর্থ হল সম্পূর্ণ অনুরোধকৃত ভলিউম ডিনোমিনেটরে প্রবেশ করলে কর্মক্ষমতা হ্রাস পায়। Perplexity ০.৩৮৯ প্রিসিশন থেকে ০.৩৫৭ রিকল ধরে রাখে, যা সর্বনিম্ন ব্যবধান; Anthropic ০.৩৫৪ থেকে কমে ০.২২২-এ নেমে আসে। সফট-থেকে-হার্ড রূপান্তর আরও কঠোর। Perplexity ০.৩৬৩ সফট F1 থেকে কমে ০.১৩৩ হার্ড F1-এ নেমে আসে, এবং Anthropic ০.২৪৯ থেকে কমে ০.০৭২-এ নেমে আসে। সেরা হার্ড প্রিসিশন হলো ০.১৫০ এবং সেরা হার্ড রিকল হলো ০.১৩৪: এমনকি শীর্ষস্থানীয় সিস্টেমটিও তার জমা দেওয়া প্রায় প্রতি সাতজন সদস্যের মধ্যে একজনের জন্য এবং টাস্ক যে সাতজন সদস্যের জন্য বলে তার মধ্যে একজনের জন্য সম্পূর্ণ ক্রেডিট অর্জন করে।

স্কেল সমস্যাটিকে জটিল করে তোলে। ক্ষুদ্রতম থেকে বৃহত্তম লক্ষ্য-ভলিউম বিন পর্যন্ত, Perplexity-এর হার্ড প্রিসিশন ০.২৩৫ থেকে কমে ০.০৯৬ এবং এর হার্ড রিকল ০.২১৯ থেকে কমে ০.০৭৯-এ নেমে আসে। Anthropic ০.২০৫ থেকে ০.১১৩ এবং ০.১২৭ থেকে ০.০৪২-এ নেমে আসে; OpenAI ০.১০৯ থেকে ০.০৩৪ এবং ০.১০২ থেকে ০.০১৬-এ নেমে আসে। রিকল সাধারণত প্রিসিশনের চেয়ে দ্রুত কমে: কোনো সিস্টেম অনুরোধকৃত সেটের কম অংশ কভার করার সময় সম্পূর্ণ সদস্যদের একটি ছোট পকেট ধরে রাখতে পারে।

গভীর হায়ারার্কিগুলো আরও কঠোর। কোনো মধ্যবর্তী কি না থাকা থেকে তিন বা ততোধিক যাওয়ার ক্ষেত্রে, Perplexity-এর হার্ড প্রিসিশন ০.৩৯২ থেকে কমে ০.০১৯ এবং হার্ড রিকল ০.৩৭৮ থেকে কমে ০.০১৭-এ নেমে আসে; Anthropic ০.৩১১ থেকে কমে ০.০৪৯ এবং ০.২২৯ থেকে কমে ০.০২২-A নেমে আসে; OpenAI ০.১৩৬ থেকে কমে ০.০১২ এবং ০.১২০ থেকে কমে ০.০১১-এ নেমে আসে। প্রতিটি যোগ করা শাখা এমন একটি অন্য জায়গার সৃষ্টি করে যেখানে একজন সদস্য অল-অর-নাথিং হার্ড স্কোর মিস করতে পারে। খরচ এবং ল্যাটেন্সি কোনো সাধারণ মনোটোনিক প্যাটার্ন অনুসরণ করে না।

বড় করুন

গুণমান বিচার করার আগেই, আবিষ্কার হলো প্রথম কাঠামোগত বাধা। শুধুমাত্র কাঁচা, প্রি-কোলাপ্স গণনার দিকে তাকালে, গড় শীর্ষ-স্তরের আবিষ্কার সমাপ্তি ০.৬১১ থেকে ০.৯৫১ পর্যন্ত বিস্তৃত। শর্তসাপেক্ষ সমৃদ্ধকরণ ০.৭৬৭–০.০৬৭ এ শক্তিশালী, এবং একবার কোনো সদস্য এবং এর সমৃদ্ধকরণের পথ বিদ্যমান থাকলে টার্মিনাল প্রমাণ-স্লট সমাপ্তি ০.৯৭৯–০.৯৯৪ এ পৌঁছায়। Perplexity ০.৯৫১ এ আবিষ্কার এবং ০.৯৬৭ এ সমৃদ্ধকরণে নেতৃত্ব দেয়, তবে টার্মিনাল প্রমাণ স্লটে OpenAI সামান্য এগিয়ে রয়েছে (০.৯৯৪ বনাম ০.৯৯১)। ছয়টি সম্পূর্ণ রান জুড়ে ডুপ্লিকেট কোলাপ্স গণনা ক্ষতির মাত্র ০.০১৭–০.২০৫ শতাংশ পয়েন্টের জন্য দায়ী, তাই কম ডেলিভারি, পরিচয় একত্রীকরণ নয়, প্রধান সামগ্রিক ব্যাখ্যা। বৃহত্তম কাঁচা কাঠামোগত ক্ষতি চূড়ান্ত URL সংযুক্ত হওয়ার আগেই ঘটে।

বড় করুন

একটি ব্যবহারযোগ্য পৃষ্ঠা খুঁজে পাওয়া সাধারণত সহজ; সম্পূর্ণ প্রমাণ খুঁজে পাওয়া কঠিন। পাঁচটি সিস্টেমের জন্য, জমা দেওয়া পৃষ্ঠার মাত্র ৩.২%–৮.৯% ব্যবহার অনুপযুক্ত; OpenAI হলো ২৩.১% এর ব্যতিক্রম। অবৈধ বা ভুল-প্রকার রেকর্ডগুলোও ৪.২%–১৭.৪% এ তুলনামূলকভাবে অস্বাভাবিক। প্রধান ক্ষতিগুলো পরবর্তীতে আসে: জমা দেওয়া পৃষ্ঠার ৩৩.৬%–৬৮.৩% অন্তত একটি সাবস্টান্টিভ টাস্কের প্রয়োজনীয়তা পূরণে ব্যর্থ হয়, এবং জমা দেওয়া অংশবিশেষের ৫৭.৫%–৮৬.৬% রেকর্ড যা দাবি করে তার সবকিছুর সমর্থনে ব্যর্থ হয়। Perplexity-এর হার হলো ৪১৪% এবং ৫৭.৫%। শুধুমাত্র-রিট্রিভাল চেকের অধীনে এর সফট F1 ০.৫৩১ থেকে কমে ০.৩৬৩-এ নেমে আসে, যা শুধুমাত্র পৃষ্ঠাটি প্রতিটি সাবস্টান্টিভ প্রয়োজনীয়তা পূরণ করে কিনা তা জিজ্ঞাসা করে, এবং সম্পূর্ণ ভারডিক্টের অধীনেও সার্বজনীন চেক, টাস্ক-নির্দিষ্ট বৈধতা এবং সম্পূর্ণ অংশবিশেষ সমর্থনের প্রয়োজন হয়। হার্ড F1 ও একইভাবে ০.২৪৫ থেকে কমে ০.১৩৩-এ নেমে আসে। কঠিন অংশটি কেবল একটি বিশ্বাসযোগ্য পৃষ্ঠায় পৌঁছানো নয়; সেই পৃষ্ঠাকে সম্পূর্ণ দাবির জন্য পর্যাপ্ত প্রমাণে রূপান্তর করাই কঠিন।

বড় করুন

Search as Code এই টাস্ক আকৃতির সাথে বেশ ভালোভাবে মিলে যায়। একটি মডেল রিট্রিভাল, ফিল্টারিং, ফ্যান-আউট, রেন্ডারিং, জয়েন, ডুপ্লিকেশনেশন এবং স্টপিং লজিককে একটি প্রোগ্রাম হিসেবে প্রকাশ করতে পারে, অন্যদিকে ডিটারমিনিস্টিক কম্পিউট মডেল Context-এর বাইরে বারবার হওয়া অপারেশনগুলো পরিচালনা করে। সেই প্রোফাইলটি Perplexity-এর শক্তিশালী ব্রেড্থ রিটেনশন এবং অংশবিশেষ নির্মাণের সাথে সামঞ্জস্যপূর্ণ, যদিও এটি প্রতিটি স্তরে নেতৃত্ব দেয় না: Anthropic-এর পৃষ্ঠার প্রয়োজনীয়তা ব্যর্থতার হার সবচেয়ে কম।

এরপর কী

WANDR একক লিডারবোর্ড স্কোরের চেয়েও বেশি কিছু প্রদান করে। এর সাধারণ টাস্ক কাঠামো এবং আংশিক স্বয়ংক্রিয় পাইপলাইন বিভিন্ন, উচ্চ-ভলিউম টাস্ক জেনারেশনকে সমর্থন করে, যেখানে প্রতি-রেকর্ড ভারডিক্ট এবং হায়ারার্কি-স্তরের স্কোরগুলো দেখায় কোথায় একটি রান ব্যর্থ হয়: আবিষ্কার, সমৃদ্ধকরণ, পরিচয় হ্যান্ডলিং, সেমান্টিক যোগ্যতা বা প্রমাণ নির্মাণ। প্রকাশিত টাস্ক, ভেরিফায়ার এবং কাঠামোগত ডায়াগনস্টিকগুলো ব্যাপক অনুসন্ধান সিস্টেম উন্নত করার এবং সেই লাভগুলো স্কেলে বজায় থাকে কিনা তা পরীক্ষা করার একটি ভিত্তি প্রদান করে।

WANDR-কে রেইনফোর্সমেন্ট লার্নিংয়ের জন্যও দরকারী করে তুলতে পারে একই কাঠামো। একক স্পার্স টার্মিনাল রিওয়ার্ডের ওপর নির্ভর করার পরিবর্তে, একজন ট্রেইনার রেকর্ড- এবং শাখা-স্তরের বিচার ব্যবহার করতে পারেন, আবিষ্কার এবং সমৃদ্ধকরণ অগ্রগতির জন্য আংশিক ক্রেডিট বরাদ্দ করতে পারেন এবং সময়ের সাথে সাথে প্রয়োজনীয় গণনা বাড়িয়ে একটি কারিকুলাম তৈরি করতে পারেন। পাইপলাইনটি গোল্ড অ্যানসার গণনা না করেই ডোমেন, হায়ারার্কি আকৃতি, প্রমাণের নিয়ম এবং ব্রেড্থ-ডেপথ সেটিং জুড়ে হোল্ড-আউট সিব্লিং টাস্ক জেনারেট করতে পারে। এটি কেবল সঠিক তথ্য খুঁজে বের করার জন্যই নয়, বরং কভারেজের পরিকল্পনা করা, অনুপস্থিত শাখা সনাক্ত করা এবং থামার আগে পুনরুদ্ধার করার জন্য এজেন্টদের প্রশিক্ষণ দেওয়ার একটি পথ তৈরি করে।

বেঞ্চমার্ক টাস্ক, ইভালুয়েশন হারনেস এবং সম্পূর্ণ প্রযুক্তিগত প্রতিবেদন GitHub-এ উপলব্ধ।

উদ্ধৃতি

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}