Search API: আরও ভালো এক্সট্রাকশন, ডায়নামিক বেঞ্চমার্ক

সেপ্টেম্বরে, আমরা Perplexity Search API আর্কিটেকচারের একটি টেকনিক্যাল ওভারভিউ প্রকাশ করেছি এবং এজেন্টিক ওয়ার্কফ্লোতে সার্চ API বেঞ্চমার্ক করার জন্য আমাদের ওপেন সোর্স ইভালুয়েশন ফ্রেমওয়ার্ক search_evals প্রকাশ করেছি। তখন থেকে, সবচেয়ে উল্লেখযোগ্য বিনিয়োগ করা হয়েছে স্নিপেটের মানের পেছনে, যা দুটি মাত্রায় অপ্টিমাইজ করা হয়েছে: প্রাসঙ্গিকতা এবং আকার। সঠিক পরিমাণে সঠিক কন্টেন্ট ফিরিয়ে দেওয়া সরাসরি ডাউনস্ট্রিম উত্তরের নির্ভুলতা এবং টোকেন দক্ষতা নির্ধারণ করে। সেখানে পৌঁছানোর কাজের মধ্যে এক্সট্রাকশন, স্প্যান-লেভেল লেবেলিং এবং ইভালুয়েশনের জন্য নতুন সিস্টেম তৈরি করা অন্তর্ভুক্ত ছিল, যার মধ্যে সবচেয়ে উল্লেখযোগ্য হল একটি স্প্যান-লেবেলিং পাইপলাইন যা শনাক্ত করে যে উৎস নথির কোন সেগমেন্টগুলি প্রদত্ত কোয়েরির সাপেক্ষে কাজ করে।

স্প্যান স্তরে স্নিপেট মূল্যায়ন করা

সিস্টেম্যাটিকভাবে স্নিপেটের মান উন্নত করতে, আমরা একটি নতুন ইভালুয়েশন সিস্টেম তৈরি করেছি। একটি নির্দিষ্ট কোয়েরি এবং নথির জন্য, সিস্টেমটি কোয়েরির সাথে তাদের সম্পর্কের ভিত্তিতে নথির মধ্যে স্প্যান চিহ্নিত করে এবং লেবেল করে: "গুরুত্বপূর্ণ" স্প্যান যা স্নিপেটে অন্তর্ভুক্ত করা আবশ্যক, "অপ্রাসঙ্গিক" স্প্যানের বিভিন্ন শ্রেণি যা বাদ দেওয়া উচিত, ডুপ্লিকেট এবং অন্যান্য বিভাগ। এই স্প্যান-লেভেল লেবেলিং আমাদের এমন একটি নির্ভুলতার স্তরের সাথে স্নিপেটের মান মূল্যায়ন করতে দেয় যা আগে সম্ভব ছিল না, যা সঠিকভাবে কী অন্তর্ভুক্ত করা হয়েছে এবং কী সঠিকভাবে বাদ দেওয়া হয়েছে তা পরিমাপ করে।

practise-এ, এই উন্নতিগুলি আমাদের ছোট স্নিপেট তৈরি করতে দেয় যা কোয়েরির সাথে আরও বেশি প্রাসঙ্গিক। আমাদের সেলফ-ইম্প্রুভিং কন্টেন্ট আন্ডারস্ট্যান্ডিং পাইপলাইন এখন টেবিল, নেস্টেড লিস্ট এবং গতিশীলভাবে রেন্ডার করা কন্টেন্ট সহ কাঠামোগত ডেটা ফর্ম্যাটের একটি বিস্তৃত পরিসর পরিচালনা করে যা পূর্ববর্তী নিয়মাবলী নির্ভরযোগ্যভাবে পার্স করতে ব্যর্থ হয়েছিল।

এই উন্নতিগুলি আমাদের নিজস্ব প্রোডাকশন সিস্টেম থেকে এসেছে। আমাদের অভ্যন্তরীণ গবেষণা যেহেতু স্নিপেটের প্রাসঙ্গিকতা এবং আকার বাড়াতে সাহায্য করেছে, অভ্যন্তরীণ মূল্যায়নে দেখা গেছে যে এক সিরিজ মানের উন্নতির পরে ছোট কন্টেন্ট বাজেট আসলে আরও সঠিক ফলাফল তৈরি করেছে। আমরা আমাদের ফলাফলগুলিকে প্রতিফলিত করার জন্য আমাদের ডিফল্ট কনফিগারেশনে কিছু পরিবর্তন করেছি, প্রতি ফলাফলে আরও দরকারী কন্টেন্ট প্রদান করার সাথে সাথে রেসপন্স পেলোডের আকার এবং লেটেন্সি কমিয়েছি। ডেভেলপারদের জন্য, ছোট, আরও প্রাসঙ্গিক স্নিপেট সরাসরি কম টোকেন খরচ এবং ডাউনস্ট্রিম LLM-গুলির জন্য আরও ভালো কন্টেন্ট ম্যানেজমেন্টে রূপান্তরিত হয়।

SEAL: সময়-সংবেদনশীল রিট্রিভাল বেঞ্চমার্কিং 

SEAL বেঞ্চমার্ক পরীক্ষা করে যে একটি রিট্রিভাল সিস্টেম এমন প্রশ্নের উত্তর দিতে পারে কিনা যার সঠিক প্রতিক্রিয়া সময়ের সাথে সাথে পরিবর্তিত হয়। নির্ভরযোগ্যভাবে উত্তর দেওয়ার জন্য রিয়েল-টাইম ইনডেক্স ফ্রেশনেশ, বিভিন্ন ক্রমাগত আপডেট হওয়া ডেটা সোর্স থেকে স্মার্ট স্নিপেট এক্সট্রাকশন এবং পার্সিং প্রয়োজন যা ঐতিহাসিক মানের পরিবর্তে বর্তমান মান চিহ্নিত করতে পারে।

Claude Sonnet 4.5 ব্যবহার করে যখন আমরা 22 ফেব্রুয়ারি SEAL রিলিজের বিরুদ্ধে search_evals চালাই, তখন অন্যান্য প্রদানকারীরা SEAL-Hard-এ হ্রাস পেলেও Perplexity স্কোর বৃদ্ধি পেয়েছে:

বড় করুন

আমাদের সেপ্টেম্বর মাসের পোস্টে রিপোর্ট করা বেঞ্চমার্কগুলির পাশাপাশি SEAL-কে অন্তর্ভুক্ত করতে আমরা আমাদের search_evals ফ্রেমওয়ার্ক প্রসারিত করেছি। আপডেট করা ফলাফল এবং পদ্ধতি GitHub-এর আপডেট করা রিপোজিটরিতে উপলব্ধ।

মাল্টি-কোয়েরি সমর্থন

API এখন একটি একক অনুরোধে ৫টি পর্যন্ত কোয়েরি সমর্থন করে। ফলাফলগুলি যে অর্ডারে জমা দেওয়া হয়েছিল একই অর্ডারে প্রতি কোয়েরি অনুযায়ী গ্রুপিং করে ফেরত দেওয়া হয়। এটি এমন অ্যাপ্লিকেশনগুলির জন্য রাউন্ড ট্রিপ কমিয়ে দেয় যেগুলির সমান্তরালে সম্পর্কিত অনুসন্ধান জারি করার প্রয়োজন হয়, যেমন এজেন্ট যারা একটি জটিল প্রশ্নকে একাধিক রিট্রিভাল সাব-টাস্কে বিভক্ত করে।

প্রসারিত ফিল্টারিং

ডোমেন ফিল্টারিং (অ্যালাওলিস্ট এবং ডিনাইলিস্ট, ২০টি ডোমেন পর্যন্ত) এবং রেনেসেন্সি ফিল্টারিং ছাড়াও, API এখন ISO 639-1 কোড দ্বারা ভাষা ফিল্টারিং এবং ISO দেশ কোড দ্বারা আঞ্চলিক অনুসন্ধান সমর্থন করে। ফলাফলগুলিকে নিখুঁতভাবে স্কোপ করার জন্য এগুলিকে একত্রিত করা যেতে পারে, উদাহরণস্বরূপ জার্মান ডোমেন থেকে ইংরেজি ভাষার ফলাফলে সীমাবদ্ধ করা।

SDK এবং উপলব্ধতা

Python SDK (pip install perplexityai) এখন এজেন্ট API এবং Sonar API-এর পাশাপাশি সার্চ API-এর জন্য নেটিভ সাপোর্ট প্রদান করে। 

সম্পূর্ণ ডকুমেন্টেশন এখানে রয়েছে docs.perplexity.ai