একটি এআই-প্রথম Search API আর্কিটেকচার এবং মূল্যায়ন করা

একটি স্কেলেবল, এআই-মুখী সার্চ এপিআই তৈরি করা তথ্য পুনরুদ্ধার, এআই এবং সিস্টেম ডিজাইনের সংযোগস্থলে অনন্য গবেষণা চ্যালেঞ্জ উপস্থাপন করে। সীমিত ডেটার উপর কাজ করে এমন ঐতিহ্যবাহী পরিষেবাগুলির বিপরীতে, একটি সার্চ এপিআইকে অবশ্যই বিলিয়ন বিলিয়ন ডকুমেন্ট ক্রমাগত ইনডেক্স করতে হবে, ভাষা ও ডোমেন জুড়ে কোয়েরির উদ্দেশ্য বুঝতে হবে এবং মিলি সেকেন্ডের মধ্যে প্রাসঙ্গিক ফলাফল প্রদান করতে হবে। এআই এজেন্টদের বিশ্বে, এআই মডেলগুলি যাতে সর্বোত্তমভাবে পারফর্ম করে এবং সর্বোচ্চ নির্ভুল তথ্য অন্তর্ভুক্ত করে তা নিশ্চিত করার জন্য একটি সার্চ এপিআইকে ডেভেলপারদের মডেলগুলিতে সরবরাহ করা প্রেক্ষাপট সতর্কতার সাথে তৈরি করতে হবে। কার্যকর প্রেক্ষাপট প্রকৌশলের জন্য এপিআই-এর কেবল ডকুমেন্ট-স্তরের প্রাসঙ্গিকতা ক্যাপচার করাই প্রয়োজন নয়, বরং ডকুমেন্টের পৃথক বিভাগ এবং স্প্যানগুলিকে তাদের নিজস্ব অধিকারে প্রথম-শ্রেণীর একক হিসেবে বিবেচনা করাও প্রয়োজন।

এই নিবন্ধে, আমরা Perplexity Search API এর ডিজাইন এবং মূল্যায়ন উপস্থাপন করছি। আমরা প্রথমে আমাদের প্রোডাকশন সার্চ অবকাঠামোর পেছনের আর্কিটেকচার এবং প্রধান প্রযুক্তিগত সিদ্ধান্তগুলি অন্বেষণ করি যা প্রতিদিন ২০ কোটি কোয়েরি প্রক্রিয়া করে। আমাদের আর্কিটেকচার হাইব্রিড রিট্রিভাল মেকানিজম, মাল্টি-স্টেজ র‍্যাঙ্কিং পাইপলাইন, ডিস্ট্রিবিউটেড ইনডেক্সিং এবং একটি স্ব-উন্নয়নশীল কন্টেন্ট আন্ডারস্ট্যান্ডিং মডিউলের মাধ্যমে ডাইনামিক পার্সিং একত্রিত করে।

এরপর আমরা একটি নতুন ওপেন-সোর্সড মূল্যায়ন কাঠামোর মাধ্যমে সার্চ এপিআই কর্মক্ষমতা অভিজ্ঞতালব্ধভাবে মূল্যায়নের আমাদের দৃষ্টিভঙ্গি বর্ণনা করি। বিদ্যমান বাণিজ্যিক এপিআইগুলির পাশাপাশি ব্যাপক বেঞ্চমার্কিংয়ের মাধ্যমে, আমরা গুণমান এবং লেটেন্সি উভয় ক্ষেত্রেই অত্যাধুনিক কর্মক্ষমতা প্রদর্শন করি। Perplexity Search API আজ থেকেই বিশ্বজুড়ে ডেভেলপারদের জন্য উপলব্ধ।

[GitHub-এ search_evals খুঁজুন]

এআই মডেলের জন্য অপ্টিমাইজ করা একটি সার্চ সিস্টেম তৈরি করা

আমাদের প্রতিষ্ঠার পর থেকেই, আমরা বুঝতে পেরেছিলাম যে আমরা যে ক্যাটাগরি-সংজ্ঞায়িত এআই পণ্যগুলি প্রকাশ করতে চেয়েছিলাম তা সক্ষম করার জন্য শক্তিশালী সার্চ ক্ষমতাগুলি অত্যন্ত গুরুত্বপূর্ণ হবে। মূলত, আমরা আশা করেছিলাম যে এই ক্ষমতাগুলি ইতিমধ্যে সর্বজনীনভাবে উপলব্ধ ফর্মে বিদ্যমান ছিল। আমরা ২০২২ সালের শেষের দিকে উপলব্ধ সার্চ এপিআইয়ের পোর্টফোলিও নিয়ে পরীক্ষা-নিরীক্ষা করেছি, এবং Perplexity-এর উত্তর ইঞ্জিনের একেবারে প্রথম সংস্করণটি আসলে এই অফারগুলির কিছু অন্তর্ভুক্ত করেছিল। বিশেষ করে, আমরা ব্যবহারকারীর কোয়েরি বিশ্লেষণ করতাম, এই এপিআইগুলিতে অনুরোধ তৈরি করে পাঠাতাম এবং আমাদের ডাউনস্ট্রিম জেনারেশন পাইপলাইনের জন্য প্রেক্ষাপট হিসেবে ফলাফল সংগ্রহ করতাম।

যাহোক, ব্যবহারকারীরা যখন Perplexity-এ ভিড় জমান, তখন আমরা দ্রুত বুঝতে পেরেছিলাম যে এই এপিআইগুলি আমাদের বৃদ্ধির সাথে স্কেল করতে যাচ্ছে না। আমরা যে দামগুলির মুখোমুখি হয়েছিলাম তা ছিল আকাশচুম্বী, যেখানে একজন শীর্ষস্থানীয় এপিআই প্রদানকারী প্রতি হাজার কোয়েরির জন্য ২০০ ডলার চার্জ করছিল। তবে আরও মারাত্মকভাবে, এই উত্তরাধিকার এপিআইগুলি সীমান্ত এআই সিস্টেমগুলি দ্বারা প্রবর্তিত নতুন পুনরুদ্ধার প্যারাডাইমগুলির জন্য ডিজাইন করা হয়নি।

বড় করুন

শুরু করার জন্য, এই উত্তরাধিকার এপিআইগুলির অনুরোধ এবং প্রতিক্রিয়া বিন্যাসগুলি এমন একটি বিশ্বের জন্য ডিজাইন করা হয়েছিল যেখানে মানুষ হবে সার্চ ফলাফলের একচেটিয়া গ্রাহক। ফলস্বরূপ, উপ-ডকুমেন্ট ইউনিট দ্বারা প্রকাশিত আরও সূক্ষ্ম তথ্যের খরচে এই এপিআইগুলি ডকুমেন্ট-স্তরের ফলাফলগুলিকে অগ্রাধিকার দিয়েছে। একটি এআই মডেলের সাফল্য প্রদত্ত প্রেক্ষাপটের গুণমান এবং সংক্ষিপ্ততার উপর নির্ভর করে, এবং আমরা প্রথম হাতে দেখেছি কিভাবে অতিরিক্ত বিস্তৃত পুনরুদ্ধার এআই মডেলগুলিকে লাইনচ্যুত করতে পারে, পুনরুদ্ধার করা ডকুমেন্টগুলি সামগ্রিকভাবে যতই প্রাসঙ্গিক মনে হোক না কেন। অসঠিক ফলাফলের উপর নির্ভুলতা জোর করার আমাদের প্রচেষ্টা সীমিত সাফল্যের সাথে পূরণ হয়েছিল।

আমরা এও লক্ষ্য করেছি যে উত্তরাধিকার এপিআইগুলি হয় খুব পুরনো বা খুব ধীরগতির ছিল। স্বাধীনভাবে বিকশিত সার্চ এপিআইগুলি এমন ইনডেক্সের উপর নির্ভর করে যা অসম্পূর্ণ এবং খুব কম আপডেট করা হয়। স্ক্র্যাপিং-ভিত্তিক এপিআইগুলি, যেমন Google Search-এর বিভিন্ন অনানুষ্ঠানিক SERP এপিআই, একটি আরও ব্যাপক ইনডেক্স থেকে উপকৃত হয়েছে কিন্তু একটি তৃতীয় পক্ষের সার্চ ইঞ্জিন কোয়েরি করার সহজাত অদক্ষতার কারণে অগ্রহণযোগ্যভাবে উচ্চ লেটেন্সি অফার করেছে। উচ্চ লেটেন্সির কারণে এপিআইগুলিকে ব্যবহারকারী-মুখী অ্যাপ্লিকেশনগুলির জন্য অনুপযুক্ত করে তুলেছে, অন্যদিকে পুরানো হওয়া ফলাফল সেটগুলিকে নিখুঁত এবং বিশ্বাসযোগ্য হওয়ার আশা করে এমন যেকোনো এআই সিস্টেমের জন্য অনুপযুক্ত করে তুলেছে।

অবশেষে, আমরা এআই ইকোসিস্টেমকে আভিধানিক সার্চ এবং শব্দার্থিক সার্চের মধ্যে বিভক্ত হতে লক্ষ্য করেছি, এমন সিস্টেমগুলি আবির্ভূত হয়েছে যেগুলি অন্যটির চেয়ে একটি মডালিটির জন্য অতিরিক্ত অপ্টিমাইজ করা হয়েছিল। আমরা ভেক্টর ডাটাবেসের উত্থান দেখেছি যা সাধারণ বুলিয়ান ফিল্টারগুলিকেও পর্যাপ্তভাবে সমর্থন করতে পারেনি। ঐতিহ্যগত সার্চ ব্যাকএন্ডগুলি সামান্য ভালো করেছে, এআই দ্বারা আনলক করা শব্দার্থিক র‍্যাঙ্কিং এবং পুনরুদ্ধারের সুযোগগুলির জন্য আদিম সমর্থন সহ।

যেহেতু আমরা বুঝতে পেরেছিলাম যে Perplexity-কে আরও উন্নত করতে আমাদের নিজস্ব ডেডিকেটেড সার্চ অবকাঠামো তৈরি করতে হবে, তাই আমরা আমাদের পর্যবেক্ষণগুলিকে তিনটি মূল মানদণ্ডে পরিশ্রুত করেছি:

সম্পূর্ণতা, সতেজতা এবং গতি: সার্চ ইনডেক্স অবশ্যই ব্যাপক, ক্রমাগত আপডেট করা এবং রিয়েল-টাইম লেটেন্সির জন্য প্রকৌশলী হতে হবে।

সূক্ষ্ম-দানাদার বিষয়বস্তু বোঝাপড়া: এআই মডেলের ভঙ্গুরতা এবং সীমিত প্রেক্ষাপট উইন্ডোগুলির জন্য সার্চ ফলাফলগুলি সবচেয়ে দানাদার স্তরে উপস্থাপন এবং র‍্যাঙ্ক করা প্রয়োজন।

হাইব্রিড পুনরুদ্ধার এবং র‍্যাঙ্কিং: ফলাফলগুলি এআই-এর জন্য দরকারী হতে হলে পুনরুদ্ধার এবং র‍্যাঙ্কিং পাইপলাইন উভয়কেই আভিধানিক এবং শব্দার্থিক সংকেত অন্তর্ভুক্ত করতে হবে।

বড় করুন

ক্রলিং এবং ইনডেক্সিং অবকাঠামো

Perplexity স্কেলে অপারেটিং করার জন্য এমন অবকাঠামো প্রয়োজন যা ওয়েবকে ব্যাপকভাবে ম্যাপ করতে পারে এবং এর ধ্রুবক বিবর্তনে সাড়া দিতে পারে। আমাদের সার্চ ইনডেক্স ২০০ বিলিয়ন অনন্য URL ট্র্যাক করে, আরও শত শত বিলিয়ন ট্র্যাক করার ক্ষমতা সহ।

আমাদের ইনডেক্স ইন্টারনেটের যথেষ্ট ব্যাপক অংশ কভার করে এবং প্রতিটি ডকুমেন্ট সর্বশেষ অবস্থা প্রতিফলিত করে তা নিশ্চিত করা একটি কঠিন কাজ। সম্পূর্ণতা এবং সতেজতার মধ্যে একটি সহজাত দ্বন্দ্ব রয়েছে: একটি নির্দিষ্ট ইনডেক্সিং বাজেটের জন্য, বিদ্যমান পৃষ্ঠাগুলির জন্য রিফ্রেশ অপারেশনগুলিকে নতুন অদর্শিত পৃষ্ঠাগুলির জন্য ইনডেক্সিং অপারেশনের সাথে প্রতিযোগিতা করতে হবে। আমরা স্কেলিং (যা ইনডেক্সিং বাজেট বাড়িয়ে অপ্টিমাইজেশন সীমাবদ্ধতাকে শিথিল করে) এবং এমএল-চালিত অগ্রাধিকারকরণের (যা নিশ্চিত করে যে প্রতিটি ইনডেক্সিং অপারেশন সামগ্রিকভাবে ইনডেক্সের জন্য সর্বাধিক মূল্যবান) সংমিশ্রণের মাধ্যমে এই উত্তেজনাকে ভারসাম্যপূর্ণ করি।

আমরা একটি এক্সাবাইট-স্কেল ইনডেক্স এবং ক্রলিং যন্ত্রপাতি তৈরি করেছি যা আকার এবং কোয়েরি ভলিউম উভয় ক্ষেত্রেই অনুভূমিকভাবে স্কেল করে। Perplexity-এর ক্রলার এবং ইনডেক্সিং ফ্লিটগুলিতে সম্মিলিতভাবে দশ হাজারেরও বেশি সিপিইউ এবং শত শত টেরাবাইট র‍্যাম রয়েছে, যা আরও স্কেলিংয়ের জন্য যথেষ্ট হেডরুম সহ। আমরা এই কম্পিউট অবকাঠামোটিকে ঠান্ডা এবং গরম সঞ্চয়ের ভারসাম্যের সাথে যুক্ত করি। কোন ডকুমেন্টগুলি হট রাখা উচিত তা নির্ধারণ করতে আমরা শেখা মডেল এবং টিউন করা হিউরিস্টিকস উভয়ই ব্যবহার করি, কর্তৃত্বপূর্ণ ডোমেনগুলির ডকুমেন্ট, অবমূল্যায়িত বিষয়গুলি জড়িত ডকুমেন্ট এবং আমাদের ইনডেক্সকে সমৃদ্ধ করার জন্য অতিরিক্ত সম্ভাবনাময় অন্যান্য বিভাগগুলিকে অগ্রাধিকার দিই।

এই অবকাঠামো Perplexity-কে প্রতি সেকেন্ডে দশ হাজার ইনডেক্সিং অপারেশন প্রক্রিয়া করতে সক্ষম করে। কিন্তু এই তুলনামূলকভাবে উদার বাজেট সত্ত্বেও, ঘন ঘন এবং পুনরাবৃত্তিমূলক ভিত্তিতে প্রতিটি একক URL ইনডেক্স করার জন্য ইন্টারনেটের স্কেল অত্যন্ত বিশাল। এখানেই এমএল আসে। প্রদত্ত যেকোনো প্রার্থী URL ইনডেক্স করার প্রয়োজন আছে কিনা তা ভবিষ্যদ্বাণী করার জন্য আমরা একটি এমএল মডেল প্রশিক্ষণ দিই। প্রশিক্ষণ উদ্দেশ্য নিশ্চিত করার জন্য তৈরি করা হয়েছে যে আমরা নির্দিষ্ট URL-এর গুরুত্ব এবং সম্ভাব্য আপডেট ফ্রিকোয়েন্সি উভয় ক্ষেত্রেই আমাদের ইনডেক্সিং সিদ্ধান্ত ক্যালিট্রেট করি। ইনডেক্সিং অপারেশন কখন সময় নির্ধারণ করতে হবে তা আমাদের নিখুঁতভাবে বলার জন্য আমরা এমএল-এর উপরও নির্ভর করি। রুটিন প্রকাশনা এবং রিফ্রেশ ক্যাডেন্স সহ সাইটগুলির জন্য, এটি আমাদের এমন একটি বিন্দুতে অপারেশন স্থগিত করতে দেয় যেখানে সেগুলির সবচেয়ে বেশি দরকারী হওয়ার সম্ভাবনা থাকে। এই এমএল মডেলগুলির ক্রমাগত পরিমার্জনের মাধ্যমে, আমরা সম্পূর্ণতা এবং সতেজতা উভয় ক্ষেত্রেই চিহ্ন পূরণ করে এমন একটি ইনডেক্স বজায় রাখতে সক্ষম।

যদিও আমাদের ক্রলিং অবকাঠামো সহজেই অনুভূমিকভাবে স্কেল করে, আমরা সচেতন যে ওয়েবসাইট অপারেটররা বিভিন্ন প্রযুক্তিগত সীমাবদ্ধতার মুখোমুখি হন। আমরা যেকোনো নির্দিষ্ট ডোমেনে অনুরোধের একটি অনুমানযোগ্য এবং পরিচালনাযোগ্য হার বজায় রাখতে যত্নশীল। PerplexityBot, আমাদের সার্চ ক্রলার, robots.txt ফাইলে নির্ধারিত স্পষ্ট সীমা মেনে চলে, অথবা ডোমেন-নির্দিষ্ট সীমার অনুপস্থিতিতে, অনুরোধের হার সম্পর্কিত শিল্প-মান স্ট্যান্ডার্ডগুলি মেনে চলে। যখন আমরা সাইটের অনুপলব্ধতা সনাক্ত করি তখন আমরা আমাদের ক্রলিং আচরণও সামঞ্জস্য করি। আমাদের ডিস্ট্রিবিউটেড সিস্টেমটি দশ হাজারেরও বেশি সমসাময়িক অপারেশনেও এই সীমাগুলি প্রয়োগ করার জন্য আর্কিটেক্ট করা হয়েছে।

ইন্টারনেট স্কেলে স্ব-উন্নয়নশীল বিষয়বস্তু বোঝাপড়া

গ্রহের অন্যতম বৃহত্তম এবং সবচেয়ে সতেজ সার্চ ইনডেক্স থাকা সত্ত্বেও, প্রতিটি কোয়েরির ফলাফল গুণমান প্রতিটি ডকুমেন্টের বিষয়বস্তু সম্পর্কে আমাদের সিস্টেমের বোঝার উপর নির্ভর করে। এখানে, আমরা একটি মৌলিক চ্যালেঞ্জের মুখোমুখি হই: ওয়েব একটি অগোছালো জায়গা। কোনো নির্দিষ্ট পার্সিং নিয়ম সমগ্র ইন্টারনেট জুড়ে পাওয়া লেআউট, কাঠামো এবং শৈলীর অসীম বৈচিত্র্য পরিচালনা করতে পারে না।

আমরা একটি কন্টেন্ট আন্ডারস্ট্যান্ডিং মডিউল তৈরি করে এই চ্যালেঞ্জটি সমাধান করেছি যা ওয়েবসাইট পার্স করে এবং ডাইনামিক রুলসেট ব্যবহার করে শব্দার্থগতভাবে অর্থপূর্ণ বিষয়বস্তু বের করে। তালিকা বা টেবিল আকারে সুগঠিত ডেটা সমৃদ্ধ একটি ওয়েবসাইট আরও ফর্মুলাটিক পার্সিং এবং এক্সট্রাকশন নিয়ম থেকে উপকৃত হতে পারে, যেখানে মূলত ফ্রিফর্ম ব্যবহারকারী-জেনারেটেড কন্টেন্ট বৈশিষ্ট্যযুক্ত অন্য একটি ওয়েবসাইটের জন্য একটি ঢিলেঢালা রুলসেটের প্রয়োজন হতে পারে। যেহেতু ওয়েব ছোট সময়ের ফ্রেম জুড়ে বেশিরভাগ স্ট্যাটিক, আমরা দেখতে পাই যে একটি নির্দিষ্ট নিয়মের জীবনকাল তুলনামূলকভাবে দীর্ঘ। কিন্তু সময়ের সাথে সাথে সাইটগুলি বিকশিত হওয়ার সাথে সাথে এবং তথ্য বের করার সেরা উপায়গুলি সম্পর্কে আমরা আরও জানতে পারি, আমাদের রুলসেটগুলিরও ক্রমাগত গার্ডেনিং প্রয়োজন হয়।

এই গতিশীল অভিযোজন সহজতর করার জন্য, আমরা (অবশ্যই) এআই-এর দিকে ঝুঁকছি। Perplexity-এর স্কেলে, আমরা প্রতি ঘন্টায় লক্ষাধিক ব্যবহারকারীর কোয়েরি পরিবেশন করার সময় ওয়েবের একটি অবিশ্বাস্যভাবে সমৃদ্ধ ক্রস-সেকশন পর্যবেক্ষণ করি। এটি একটি পুনরাবৃত্তিমূলক স্ব-উন্নয়ন লুপের ভিত্তি তৈরি করে। আমরা আমাদের কোয়েরি মহাবিশ্ব জুড়ে আমাদের বর্তমান রুলসেটগুলির পার্সিং আচরণ এবং নিষ্কাশিত আউটপুটগুলি পর্যবেক্ষণ করি। তারপরে আমরা দুটি প্রাথমিক মাত্রায় কর্মক্ষমতা মূল্যায়ন করতে ফ্রন্টিয়ার এলএলএম ব্যবহার করি:

সম্পূর্ণতা: আমাদের ইনডেক্স যতটা সম্ভব শব্দার্থগতভাবে অর্থপূর্ণ বিষয়বস্তু গ্রহণ করা উচিত, একই সাথে তথ্যহীন বা অর্থহীন বিষয়ের অপ্রয়োজনীয় নিষ্কাশন এড়ানো উচিত।

গুণমান: আমাদের ইনডেক্স এমন বিষয়বস্তুর উপর নির্ভর করে যা পদার্থ এবং ফর্ম উভয় ক্ষেত্রেই উচ্চ মানের। আসল বিষয়বস্তুর কাঠামো এবং লেআউট সংরক্ষণ করে এমনভাবে তথ্য ক্যাপচার করা উচিত।

#{@}নোট করুন যে সম্পূর্ণতা এবং গুণমান আরেকটি অন্তর্নিহিত উত্তেজনা উপস্থাপন করে: গুণমানের জন্য ম্যানুয়ালি অপ্টিমাইজ করা সম্ভব, তবে ফলস্বরূপ পার্সিং নিয়মগুলি সমালোচনামূলক বিষয়বস্তু ক্যাপচার করতে ব্যর্থ হতে পারে। একইভাবে, আমরা অনুমোদিত নিয়মগুলি হ্যান্ডকোড করতে পারি যা কাঁচা বিষয়বস্তুতে ন্যূনতম ফিলারিং প্রয়োগ করে, যা সম্পূর্ণতা উন্নত করতে পারে তবে গুণমানের খরচে। এই কারণেই আমরা আমাদের রুলসেটকে এমনভাবে বিকশিত করতে এআই-চালিত স্ব-উন্নয়নের দিকে ঝুঁকছি যা ডোমেন-অভিযোজিত উপায়ে একযোগে উভয়টির জন্য অপ্টিমাইজ করতে পারে।

সুনির্দিষ্টভাবে বলতে গেলে, পার্সিং পারফরম্যান্সের প্রতিটি এলএলএম-চালিত মূল্যায়নের পরে, আমাদের সিস্টেম সবচেয়ে উল্লেখযোগ্য ত্রুটি ক্লাসগুলিকে সমাধান করার জন্য প্রস্তাবিত রুলসেট পরিবর্তনের একটি সেট প্রণয়ন করে। এই রুলসেটগুলি আরও বৈধকরণের মধ্য দিয়ে যায়, যার পরে আমরা আমাদের ইনডেক্সারে নতুন সংস্করণ স্থাপন করি। পার্সিং এবং এক্সট্রাকশন লজিকে উন্নতি শুধুমাত্র ভবিষ্যতের ইনডেক্সিং অপারেশনগুলিকে উপকৃত করতে পারে তা বিবেচনা করে, এমএল-অপ্টিমাইজড পুনরায় ইনডেক্সিংয়ে আমাদের বিনিয়োগগুলি বিশেষভাবে গুরুত্বপূর্ণ: এই লজিকে সর্বশেষ সংস্করণ ব্যবহার করে উচ্চ-ট্রাফিক ডকুমেন্টগুলি ক্রমাগত রিফ্রেশ করা একটি আঁটসাঁট স্ব-উন্নয়ন লুপ নিশ্চিত করে।

এই নিয়মগুলি কেবল বেডলাইন পার্সিং পারফরম্যান্সের জন্যই নয় বরং উপ-ডকুমেন্ট ইউনিটগুলিতে বিভাজনের জন্যও গুরুত্বপূর্ণ। যখন ফ্রন্টিয়ার এলএলএম-এর কথা আসে, তখন প্রেক্ষাপটের প্রতিটি টোকেন মূল্যবান। পূর্ববর্তী কাজের একটি বড় অংশ নথিভুক্ত করেছে যে কীভাবে প্রেক্ষাপটের আকারের বৃদ্ধি এবং অপ্রাসঙ্গিক তথ্যের সাথে প্রেক্ষাপটের দূষণের সাথে এলএলএম পারফরম্যান্স হ্রাস পায়। সুগঠিত, ব্যাপক পার্সিং থাকা আমাদের ডকুমেন্টগুলিকে স্বয়ংসম্পূর্ণ স্প্যানে পচাতে দেয়, যার প্রতিটিকে কোয়েরির সময়ে পৃথকভাবে পুনরুদ্ধার এবং র‍্যাঙ্ক করা যেতে পারে।

পুনরুদ্ধার এবং র‍্যাঙ্কিং পাইপলাইন

আধুনিক সার্চের জন্য একটি আঁটসাঁট লেটেন্সি বাজেটের অধীনে সম্পূর্ণতা এবং প্রাসঙ্গিকতা উভয়ই নিশ্চিত করা প্রয়োজন। Perplexity-এর পুনরুদ্ধার এবং র‍্যাঙ্কিং পাইপলাইন ক্রমবর্ধমান পরিশীলিত মডিউলের একটি সিরিজের সাথে প্রগতিশীলভাবে ফলাফল পরিমার্জন করে এমন একটি মাল্টি-স্টেজ আর্কিটেকচারের মাধ্যমে এটি অর্জন করে। আমরা সম্ভাব্য বাধাগুলির জন্য সম্ভাব্য যেকোনো চোকপয়েন্টকে সর্বাধিক পরিমাণে অনুভূমিকভাবে স্কেল করে সমাধান করি।

পাইপলাইনটি আমাদের ইনডেক্স থেকে পুনরুদ্ধার করে শুরু হয়। আমরা আভিধানিক এবং শব্দার্থিক পুনরুদ্ধারের মধ্যে একটি পছন্দ জোর করি না। বরং, আমরা উভয় মডালিটির মাধ্যমে সার্চ ইনডেক্স কোয়েরি করি এবং ফলাফলগুলিকে একটি হাইব্রিড প্রার্থী সেটে মার্জ করি। এই পর্যায়ে, অগ্রাধিকার নির্ভুলতার চেয়ে ব্যাপকতা - পাইপলাইনের পরবর্তী পর্যায়গুলি নির্ভুলতার জন্য অপ্টিমাইজ করবে।

পাইপলাইনটি প্রিফিল্টারিং পর্যায়গুলির সাথে চলতে থাকে, যেখানে আমরা প্রার্থী সেট থেকে পরিষ্কারভাবে অ-প্রতিক্রিয়াশীল বা পুরানো বিষয়বস্তু সরাতে মৌলিক হিউরিস্টিকস এবং প্রথম-কাট ফিল্টার প্রয়োগ করি।

তারপরে আমরা ক্রমবর্ধমানভাবে উন্নত র‍্যাঙ্কিংয়ের একাধিক পর্যায় নিয়োগ করি। আগের পর্যায়গুলি গতির জন্য অপ্টিমাইজ করা আভিধানিক এবং এমবেডিং-ভিত্তিক স্কোরারদের উপর নির্ভর করে। প্রার্থী সেটটি ধীরে ধীরে উইনাউড ডাউন হওয়ার সাথে সাথে, আমরা তখন ফলাফল সেটের চূড়ান্ত ভাস্কর্য সম্পাদন করতে আরও শক্তিশালী ক্রস-এনকোডার রেরংকার মডেল ব্যবহার করি। ইনফারেন্স পারফরম্যান্সে আমাদের অসংখ্য বিনিয়োগের জন্য ধন্যবাদ, আমরা সামগ্রিক র‍্যাঙ্কিং লেটেন্সি কম রেখে এই পরবর্তী পর্যায়গুলির জন্য অত্যাধুনিক মডেল আর্কিটেকচারগুলি লাভ করতে সক্ষম।

এই পাইপলাইন জুড়ে, আমরা ডকুমেন্ট এবং উপ-ডকুমেন্ট উভয় স্তরেই ফলাফল পুনরুদ্ধার এবং স্কোর করি। উপরে আলোচনা করা হয়েছে, এআই-এর জন্য সতর্ক প্রেক্ষাপট প্রকৌশল প্রয়োজন। আমাদের পাইপলাইনটি মডেলটিতে সর্বাধিক পারমাণবিক ইউনিটগুলি প্রকাশ করার জন্য ডিজাইন করা হয়েছে, যাতে ডাউনস্ট্রিম গ্রাহকরা উত্স ডকুমেন্টের অন্য জায়গা থেকে অপ্রাসঙ্গিক প্রেক্ষাপট টান না দিয়ে সেই সুনির্দিষ্ট ইউনিটগুলিকে অন্তর্ভুক্ত করতে পারে।

এই পাইপলাইনের প্রতিটি পর্যায়ে উচ্চ গুণমান নিশ্চিত করা কেবল Perplexity-এর পণ্যের পোর্টফোলিওর সাথে সহ-ডিজাইনের মাধ্যমেই সম্ভব। র‍্যাঙ্কিং স্ট্যাকের প্রতিটি বিবরণ দিনের প্রতি ঘন্টায় আমরা পরিবেশন করা লক্ষাধিক ব্যবহারকারীর অনুরোধ দ্বারা উৎপাদিত সমৃদ্ধ সংকেত ব্যবহার করার জন্য ডিজাইন করা হয়েছে। এই সংকেতের বিশাল সংখ্যাগরিষ্ঠ অংশ স্বয়ংক্রিয়, প্রতিটি জেনারেট করা Perplexity উত্তর একটি লাইভ এজেন্টিক ওয়ার্কফ্লোতে ব্যবহৃত সার্চ গুণমানের উপর একটি অভিজ্ঞতালব্ধ ডেটাপয়েন্ট প্রদান করে। আমাদের এমবেডিং এবং র‍্যাঙ্কিং মডেলগুলির জন্য প্রশিক্ষণের ডেটা সমৃদ্ধ করতে আমরা লাইভ মানব প্রতিক্রিয়ার সাথে এআই-চালিত মূল্যায়নগুলিকে একত্রিত করি যা ম্যানুয়ালি নির্মিত যেকোনো ডেটাসেট অফার করতে পারে তার চেয়ে অনেক বেশি।

সার্চ এবং পণ্যের মধ্যে এই সমন্বয় Perplexity-এর জন্য অনন্য। লিগ্যাসি সার্চ ইঞ্জিনগুলি ব্লু-লিংক টেলিমেট্রি দ্বারা সরবরাহিত স্থূল সংকেতের মধ্যে সীমাবদ্ধ। নতুন সার্চ অফারগুলি এই এআই-মুখী ধারণাগুলির কিছু বাস্তবায়ন করার চেষ্টা করেছে, তবে তাদের বাস্তব বিশ্বের পরিবেশের অভাব রয়েছে যা সার্চ গুণমানের বৈধতা দিতে পারে এবং দ্রুত উন্নতি লুপগুলির জন্য প্রয়োজনীয় সংকেতের সমৃদ্ধি প্রদান করতে পারে। আমরা অনুপস্থিত উপাদানটি পাওয়ার জন্য ভাগ্যবান: সার্চ গুণমানের জন্য একটি লাইভ প্রুভিং গ্রাউন্ড, ফ্রন্টিয়ার এলএলএম দ্বারা চালিত এবং বিশ্বজুড়ে লক্ষ লক্ষ কৌতূহলী ব্যবহারকারীর দ্বারা ক্রমাগত যুদ্ধ-পরীক্ষিত।

গুণমান এবং কর্মক্ষমতার জন্য একটি নতুন সীমান্ত স্থাপন

বিশ্বজুড়ে ডেভেলপারদের কাছে আমাদের সার্চ অবকাঠামো উপলব্ধ করার জন্য Perplexity Search API এবং SDK তৈরি করার পরে, আমরা বুঝতে চেয়েছিলাম যে বিভিন্ন বাণিজ্যিক এপিআই অফারগুলি বাস্তব-বিশ্বের এআই ব্যবহারের ক্ষেত্রে কীভাবে পরিমাপ করা হয়। এআই মডেলগুলিকে নিজেদের মূল্যায়ন করা সাধারণ হয়ে উঠেছে, তবে আমাদের এই প্যাটার্নে একটি মোচড় দরকার ছিল: এআই মডেল দ্বারা আমন্ত্রিত হলে সার্চ এপিআইগুলির গুণমান মূল্যায়ন করা।

পূর্ববর্তী শিল্প বুঝতে আমরা প্রথমে ওপেন-সোর্স ইকোসিস্টেমের দিকে তাকালাম। আমরা কঠোর মূল্যায়নের জন্য অনেক মূল উপাদান খুঁজে পেয়েছি, কিন্তু এমন কোনো কাঠামো নেই যা এই উপাদানগুলিকে একটি প্লাগ-এন্ড-প্লে বেঞ্চমার্কিং সমাধানে একীভূত করে। তাই আমরা একটি মূল্যায়ন কাঠামো তৈরি করতে শুরু করি যা কেবল Perplexity দ্বারা নয়, বরং যেকোনো গবেষক বা ডেভেলপার যারা সার্চ এপিআই বেঞ্চমার্ক করতে চান তাদের দ্বারা ব্যবহার করা যেতে পারে।

এই মূল্যায়ন কাঠামো ব্যবহার করে, আমরা অন্যান্য অফারগুলির পাশাপাশি কঠোরভাবে Perplexity Search API বেঞ্চমার্ক করেছি। সার্চ পারফরম্যান্স অপ্টিমাইজ করা জটিল, গুণমান এবং গতির মধ্যে অনেক সূক্ষ্ম ট্রেডঅফ সহ। ডেভেলপারদের জন্য একটি জয়ে, আমরা দেখতে পেয়েছি যে Perplexity Search API গুণমান এবং লেটেন্সি উভয় ক্ষেত্রেই একটি নতুন অত্যাধুনিক অবস্থা নির্ধারণ করে। ডেভেলপারদের আর ব্লেজিং-ফাস্ট অ্যাপ্লিকেশন তৈরি করা এবং উচ্চমানের ফলাফল নিশ্চিত করার মধ্যে বেছে নিতে হবে না: Perplexity-এর সাহায্যে, তারা উভয়ই পেতে পারেন।

বড় করুন

এজেন্টিক সার্চ ওয়ার্কফ্লোগুলির জন্য নির্ভরযোগ্য মূল্যায়ন ডিজাইন করা

আমরা আমাদের মূল্যায়ন কাঠামোর জন্য তিনটি নির্দেশক নীতি সংজ্ঞায়িত করে শুরু করেছি:

জটিলতার বর্ণালী: মূল্যায়ন কাঠামোটি সরাসরি এবং জটিল এজেন্টিক এআই ব্যবহারের ক্ষেত্রে উভয় ক্ষেত্রেই কর্মক্ষমতা পরিমাপ করা উচিত।

নিরপেক্ষতা: মূল্যায়ন কাঠামোটি সমান ফুটিংয়ে সমস্ত এপিআই মূল্যায়ন করা উচিত।

সরলতা: যদিও কিছু ব্যবহারের ক্ষেত্রে জটিল হতে পারে, কাঠামোটি নিজেই যতটা সম্ভব সহজ হওয়া উচিত যাতে অন্যরা এটি বুঝতে পারে, ফলাফলগুলি পুনরুত্পাদন করতে পারে এবং ন্যূনতম ক্লান্তি সহ কাঠামোটি প্রসারিত করতে পারে।

আমাদের হালকা ওজনের মূল্যায়ন কাঠামো, search_evals, একটি সাধারণ মডুলার ডিজাইনের মাধ্যমে এই লক্ষ্যগুলি অর্জন করে। আমরা ক্লাসিক্যাল একক-শট সার্চ ব্যবহারের ক্ষেত্রে এবং উন্নত এজেন্টিক ওয়ার্কফ্লো উভয়ই ক্যাপচার করতে দুটি এআই এজেন্ট হারনেস তৈরি করেছি (ভোক্তা বাজারে ব্যাপকভাবে উপলব্ধ বিভিন্ন "গভীর গবেষণা" পণ্য দ্বারা উদাহরণস্বরূপ)। উভয় হারনেস এমন একটি সহজ উপায়ে প্রয়োগ করা হয়েছিল যা লুকানো সুবিধার জন্য খুব কম জায়গা রাখে।

আমাদের মূল্যায়ন চালানোর জন্য, আমরা চারটি বেঞ্চমার্ক গ্রহণ করেছি: একক-পদক্ষেপ সার্চের জন্য SimpleQA এবং FRAMES, গভীর গবেষণার জন্য BrowseComp এবং HLE এর সাথে। সম্মিলিতভাবে, এই বেঞ্চমার্কগুলি জ্ঞান এজেন্টদের জন্য সু-গৃহীত ইয়ার্ডস্টিক সরবরাহ করে। প্রতিষ্ঠিত কনভেনশন অনুসরণ করে, আমরা মূল কাজে ব্যবহৃত একই প্রম্পটেড ক্লাসিফায়ার পদ্ধতি ব্যবহার করে সমস্ত বেঞ্চমার্ক গ্রেড করি। সুনির্দিষ্ট বেঞ্চমার্ক বাস্তবায়ন (গ্রিডার লজিক সহ) আমাদের GitHub রেপোতে পর্যালোচনা করা যেতে পারে।

আমরা পুনরুত্পাদনযোগ্যতা এবং সম্প্রসারণযোগ্যতা মাথায় রেখে কাঠামোটি ডিজাইন করেছি। টাস্ক-স্তরের স্কোর এবং অন্তর্নিহিত এজেন্ট আউটপুট উভয়ই প্রতিটি চালানোর সাথে সংরক্ষণ করা হয়। অতিরিক্ত হারনেস, বেঞ্চমার্ক এবং সার্চ এপিআই অফার সহজে একত্রিত করা যেতে পারে। গবেষক এবং ডেভেলপাররা আপনার সুনির্দিষ্ট প্রয়োজনগুলি সমাধান করার জন্য কাঠামোটি প্রসারিত করার বিষয়ে আরও তথ্যের জন্য আমাদের GitHub ডক্স পড়তে পারেন।

মূল্যায়ন ফলাফল

এই মূল্যায়ন কাঠামোর সাথে সশস্ত্র, আমরা অন্যান্য এপিআই অফারগুলির তুলনায় আমাদের Search API মূল্যায়ন করতে সেট আউট করেছি। সমস্ত পরীক্ষিত বেঞ্চমার্ক জুড়ে, Perplexity বাজারের সবচেয়ে দ্রুততম এবং সর্বোচ্চ মানের এপিআই উভয় হিসাবে দাঁড়িয়েছে।

বড় করুন

আমরা দেখতে পেয়েছি যে ইনডেক্স, পুনরুদ্ধার এবং র‍্যাঙ্কিং দক্ষতার ক্ষেত্রে আমাদের উপরে বর্ণিত বিনিয়োগগুলি সুন্দরভাবে পরিশোধ করেছে। Perplexity-এর মিডিয়ান লেটেন্সি ৩৫৮ মিলি সেকেন্ডে ঘড়ি বাজে, দ্বিতীয়-দ্রুততম প্রদানকারীর চেয়ে ১৫০ মিলি সেকেন্ডেরও বেশি এগিয়ে। ৯৫ তম-শতাংশ লেটেন্সি আরামে ৮০০ মিলি সেকেন্ডের নিচে থাকে। আজকের ফ্রন্টিয়ার মডেলগুলির দীর্ঘ টিটিএফটি (টাইম-টু-ফার্স্ট-টোকেন) মেট্রিক্সের সাথে, আনন্দদায়ক ব্যবহারকারীর অভিজ্ঞতা তৈরিতে প্রতি মিলি সেকেন্ড গুরুত্বপূর্ণ। আমরা আমাদের নিজস্ব ব্যবহারকারীদের জন্য লেটেন্সি অপ্টিমাইজ করতে গত দুই বছর ব্যয় করেছি, এবং আমরা আনন্দিত যে সেই একই বিনিয়োগগুলি এখন ডেভেলপার সম্প্রদায়কেও উপকৃত করবে।

সার্চ এপিআই লেটেন্সি

(AWS us-east-1 থেকে শুরু করা অনুরোধ)

AWS us-east-1 থেকে শুরু হওয়া অনুরোধগুলোর জন্য Search API ল্যাটেন্সির পার্সেন্টাইল।

* অনেক সার্চ এপিআই বিক্রেতা তাদের ফলাফলের ভিত্তি হিসেবে SERP স্ক্র্যাপিং ব্যবহার করেন। এই ধরনের পদ্ধতির কর্মক্ষমতা ক্যাপচার করতে, আমরা Tavily দ্বারা প্রদত্ত একটি প্রতিনিধি Google SERP-ভিত্তিক এপিআই ব্যবহার করি।

এই গতির সুবিধা গুণমানের খরচে আসে না। Perplexity Search API একক-পদক্ষেপ সার্চ এবং গভীর গবেষণা সেটিংস উভয় ক্ষেত্রেই অত্যাধুনিক কর্মক্ষমতা প্রদান করে। প্রতিটি পরীক্ষিত বেঞ্চমার্কে, Perplexity উচ্চ-মানের ফলাফল প্রদানের ক্ষেত্রে প্যাকের নেতৃত্ব দেয় যা বিভিন্ন জটিলতার এআই ওয়ার্কফ্লোকে শক্তিশালী করতে পারে। Perplexity এবং সেরা বিকল্পের মধ্যে মার্জিনটি SimpleQA এবং HLE-তে বিশেষভাবে স্পষ্ট, যা ইঙ্গিত করে যে এই ফলাফলগুলি টাস্ক জটিলতার বর্ণালী জুড়ে শক্তিশালী।

বড় করুন

লেটেন্সির মতো, সার্চ গুণমানে আমাদের নেতৃত্ব আনন্দদায়ক, অত্যন্ত ট্রাফিকযুক্ত এআই পণ্য তৈরির ক্ষেত্রে আমাদের নেতৃত্বের ডাউনস্ট্রিম প্রবাহিত হয়। আমাদের লক্ষাধিক ব্যবহারকারী কল্পনাযোগ্য প্রতিটি বিষয়ে তাদের কৌতূহল মেটাতে Perplexity ব্যবহার করে, এবং ফলস্বরূপ গুণমান এবং প্রাসঙ্গিকতা সংকেত আমাদের সার্চ মডেলগুলিকে প্রতিটি অতিবাহিত ঘন্টার সাথে উন্নতি করতে দেয়।

সার্চ এপিআই গুণমান বেঞ্চমার্ক

SimpleQA, FRAMES, BrowseComp, এবং HLE-এ Search API-এর গুণগত স্কোর।

আমরা এখনও এআই-নেটিভ সার্চ ইঞ্জিনের প্রাথমিক দিনগুলিতে আছি, এবং পরিমাপের শিল্প ও বিজ্ঞান নিঃসন্দেহে বিকশিত হবে। আমরা সম্প্রদায়কে এআই এজেন্টদের যুগে সার্চ ইঞ্জিন মূল্যায়নের জন্য কঠোর এবং সৃজনশীল পদ্ধতি বিকাশ করে অবদান রাখার জন্য আমন্ত্রণ জানাই।

এআই-এর পরবর্তী অধ্যায়ের জন্য বিল্ডিং ব্লক

এজেন্টিক সিস্টেম এবং বুদ্ধিমান সহকারীদের ভবিষ্যত বিশ্বের যৌথ জ্ঞানের মধ্যে সমৃদ্ধ প্রোগ্রাম্যাটিক ইন্টারফেসের উপলব্ধতার উপর নির্ভর করবে। আজকের লিগ্যাসি সার্চ ইঞ্জিনগুলি প্রতিদিন প্রায় ১০¹⁰ কোয়েরিতে ব্যবহারে স্যাচুরেটেড হয়েছে, যা সম্ভবত শীর্ষে পৌঁছেছে। সার্চ এবং পুনরুদ্ধারের পরবর্তী প্রজন্ম মাত্রার আদেশ আরও বেশি অনুরোধ পরিবেশন করবে, কারণ এআই এজেন্টদের একটি সর্বদা বর্ধমান মহাবিশ্ব সঠিক রিয়েল-টাইম তথ্যের জন্য তাদের উপর নির্ভর করে।

আজ পর্যন্ত আমাদের প্রচেষ্টা আমাদের এপিআই এর মাধ্যমে অ্যাক্সেসযোগ্য দ্রুততম, সর্বাধিক পারফর্মেন্ট সার্চ ইঞ্জিন হিসাবে অবস্থান করেছে। কিন্তু এআই-এর পরবর্তী অধ্যায়কে আমাদের জ্বালানি দেওয়ার জন্য আরও বেশি উচ্চাভিলাষী উদ্ভাবনের প্রয়োজন হবে। ক্রমবর্ধমান চাহিদার মুখে আমরা কীভাবে এই সিস্টেমগুলিকে দক্ষতার সাথে স্কেল করব? প্রেক্ষাপট প্রকৌশল এবং পোস্টট্রেনিংয়ের অভিনব দৃষ্টিভঙ্গির আলোকে এই সার্চ সিস্টেমগুলিকে কীভাবে অপ্টিমাইজ করা যেতে পারে? এবং সম্পূর্ণতা, সাম্প্রতিকতা এবং লেটেন্সির মধ্যে সর্বব্যাপী উত্তেজনা আমরা কীভাবে নেভিগেট করব? এগুলি উন্মুক্ত প্রশ্ন যা Perplexity, আমাদের পণ্য ফুটপ্রিন্ট, স্কেল এবং প্রযুক্তিগত প্রতিভার সংমিশ্রণে, মোকাবেলা করার জন্য অনন্যভাবে অবস্থান করছে।

উদ্ধৃতি

@online{perplexity2025ArchitectingAndEvaluatingAnAiFirstSearchApi,
  author = {{Perplexity} and Aleksandr Bogutskii and Aleksandr Nikolenko and Aleksei Bykov and Alexander Pecheny and Alexandr Yarats and Arsenii Shevchenko and Denis Bykov and Dmitry Pervukhin and Ismail Gadzhiev and James Liounis and Kevin Hu and Kirill Priemko and Maksim Gaiduk and Maksim Morozov and Marko Kevac and Michael Liang and Mikhail Galanin and Nandor Licker and Nataliya Pevgova and Nikita Kireev and Nikolai Tretiak and Paul Schofield and Saif Ali Raja and Saleh Alghusson and Sebastian Sepulveda and Sergei Miller and Svyatoslav Feldsherov and Vitalii Polshkov and Vladimir Zaytsev and Denis Yarats},
  title = {{Architecting and evaluating an AI-first Search API}},
  date = {2025-09-25},
  url = {https://www.perplexity.ai/hub/blog/architecting-and-evaluating-an-ai-first-search-api}
}