Context API যেকোনো ওয়েব পেজ থেকে পূর্ণ কনটেক্সট সংগ্রহ করে

ক্যাশ করা বা লাইভ ওয়েব পেজ থেকে AI এজেন্টদের পরিচ্ছন্ন Markdown, লিংক ও প্রাসঙ্গিক অংশ দিতে Perplexity Context API ব্যবহার করুন।

Context API artwork with a luminous mineral cross-section and geometric lines.

কেউ যখন কোনো চ্যাটবটকে প্রশ্ন করে, তখন উত্তর দেওয়ার জন্য একটি AI এজেন্টকে একাধিক ওয়েব পেজ পড়তে হতে পারে। সাধারণ সার্চ রেজাল্টে প্রায়ই শুধু স্নিপেট পাওয়া যায়। সরাসরি কোনো পেজ ফেচ করলে অপরিশোধিত HTML পাওয়া যেতে পারে, যা নেভিগেশন, কুকি ব্যানার আর বিজ্ঞাপনে ভরা থাকে। এজেন্টদের দরকার পেজের কনটেক্সট এমন ফরম্যাটে, যা একটি মডেল ব্যবহার করতে পারে, আর ডেভেলপারদের দরকার সেই কনটেক্সট কতটা সাম্প্রতিক হতে হবে তা নিয়ন্ত্রণ করার উপায়।

আজ আমরা Perplexity Context API চালু করছি, যা সর্বোচ্চ ১০টি URL পড়ে প্রতিটি পেজের জন্য পরিচ্ছন্ন markdown, HTML, লিংক এবং কোয়েরি-ভিত্তিক স্নিপেট ফেরত দেয়। এই তথ্য আসে Perplexity-এর বিশাল ওয়েব ইনডেক্স অথবা লাইভ ফেচ থেকে। এজেন্টরা প্রতিটি রিকোয়েস্টের তথ্য কতটা সাম্প্রতিক হবে তা নির্দিষ্ট করতে পারে এবং প্রতিটি ফলাফলের উৎস যাচাই করতে পারে।

Context API নানা ধরনের ফরম্যাট সমর্থন করে

এজেন্টরা URL-এর একটি তালিকা দিয়ে এবং আউটপুট ফরম্যাট নির্দিষ্ট করে একটি রিকোয়েস্ট শুরু করতে পারে। API একই ক্রমে প্রতিটি URL-এর জন্য একটি করে ফলাফল ফেরত দেয়।

Context API নানা ধরনের রেসপন্স ফরম্যাট সমর্থন করে:

  • Markdown: পরিচ্ছন্ন Markdown হিসেবে পেজের কনটেন্ট, যা একটি মডেলের কনটেক্সটে রাখার জন্য প্রস্তুত।
  • HTML: পেজের HTML, সেইসব অ্যাপ্লিকেশনের জন্য যেগুলো নিজেরাই পার্সিং করে।
  • লিংক: পেজে থাকা লিংকগুলো অ্যাবসোলিউট URL হিসেবে, ডুপ্লিকেট ছাড়া এবং পেজের ক্রম অনুযায়ী, যাতে একটি এজেন্ট ঠিক করতে পারে এরপর কোথায় যাবে।
  • স্নিপেট: প্রদত্ত কোয়েরির সঙ্গে সবচেয়ে প্রাসঙ্গিক পেজের অংশগুলো, প্রতিটি পেজের জন্য ডেভেলপারের নির্ধারিত টোকেন সীমার মধ্যে।

Context API সারসংক্ষেপ তৈরি না করে প্রতিটি পেজ থেকে কোয়েরির সঙ্গে প্রাসঙ্গিক অংশগুলো বেছে নেয়। ফলে মডেল পেজের মূল শব্দচয়নই পায়, তবে শুধু বাছাই করা অংশগুলো, তাই প্রসেস করার মতো টেক্সট কম থাকে।

প্রতিটি সফল ফলাফলে শিরোনাম, বিবরণ, ভাষা, লেখক ও প্রকাশের তারিখের মতো মেটাডেটা এবং পেজের Open Graph ট্যাগও থাকে। Markdown তৈরি করতে Context API একটি পেজকে বিভিন্ন ব্লকে ভাগ করে, আর একটি মডেল প্রতিটি ব্লক মূল কনটেন্ট নাকি বয়লারপ্লেট, সে অনুযায়ী স্কোর দেয়। শুধু কনটেন্ট ব্লকগুলোই রাখা হয়।

পূর্ণাঙ্গ চিত্র প্রয়োজন এমন কাজের জন্য অপরিহার্য

একটি কাজ সম্পন্ন করার জন্য শুধু প্রাসঙ্গিক পেজ খুঁজে পাওয়াই সবসময় যথেষ্ট নয়। Context API ব্যবহার করে এজেন্টরা জটিল কাজ সম্পন্ন করতে বাছাই করা URL থেকে প্রয়োজনীয় কনটেন্ট সংগ্রহ করতে পারে।

  • API ইন্টিগ্রেশন বাস্তবায়ন: একটি সার্চ রেজাল্ট হয়তো সঠিক ডকুমেন্টেশন চিহ্নিত করতে পারে, কিন্তু তাতে প্রয়োজনীয় প্যারামিটার, অথেনটিকেশনের নির্দেশনা বা এরর কেস না-ও থাকতে পারে। Context API একটি কোডিং এজেন্টকে ডকুমেন্টেশন ও API রেফারেন্স সংগ্রহ করতে সাহায্য করতে পারে, যাতে সে ওই বিবরণের ভিত্তিতে একটি ইন্টিগ্রেশন লিখতে পারে।
  • বর্তমান দাম তুলনা: তালিকাভুক্ত কোনো দাম ব্যবহারের সীমা, বিলিংয়ের শর্ত বা যোগ্যতার শর্তের ওপর নির্ভর করতে পারে, যা সার্চের উদ্ধৃতাংশে থাকে না। একটি এজেন্ট বাছাই করা প্রাইসিং পেজের লাইভ ফেচের অনুরোধ করে তুলনা করার আগে সেই শর্তগুলো পড়ে নিতে পারে।
  • নীতিমালা-সংক্রান্ত প্রশ্নের উত্তর: রিটার্ন পলিসির কোনো উদ্ধৃতাংশে হয়তো সাধারণ রিটার্নের সময়সীমা উল্লেখ থাকে, কিন্তু নির্দিষ্ট পণ্য বা অঞ্চলের ব্যতিক্রমগুলো বাদ পড়ে যায়। একটি সাপোর্ট এজেন্ট পলিসি পেজটি সংগ্রহ করতে পারে, যাতে তার উত্তরে সেই ব্যতিক্রমগুলোও বিবেচনায় থাকে।
  • একাধিক উৎস জুড়ে গবেষণা: সার্চের কোনো উদ্ধৃতাংশে হয়তো একটি গবেষণালব্ধ ফলাফল উঠে আসে, কিন্তু তার পদ্ধতি, সীমাবদ্ধতা বা প্রাসঙ্গিক যুক্তি থাকে না। একটি গবেষণা এজেন্ট বাছাই করা আর্টিকেল ও রিপোর্ট সংগ্রহ করে শুধু উদ্ধৃতাংশের ওপর নির্ভর না করে প্রমাণগুলো তুলনা করতে পারে।

তথ্যের সাম্প্রতিকতা নিয়ন্ত্রণ করুন এবং নির্ভরযোগ্যভাবে URL পরিচালনা করুন

ডিফল্টভাবে Context API প্রথমে Perplexity-এর ওয়েব ইনডেক্সে গত দুই দিনের মধ্যে ফেচ করা পেজটির কোনো কপি আছে কি না তা দেখে। না থাকলে এটি পেজটি লাইভ ফেচ করে। দাম, খেলার স্কোর ও ব্রেকিং নিউজের মতো ক্ষেত্রে সবসময় লাইভ পেজ পড়তে ডেভেলপাররা max_age_seconds-এর মান 0 করে দিতে পারেন। কদাচিৎ পরিবর্তিত হয় এমন রেফারেন্স ম্যাটেরিয়ালের জন্য তারা এটি বাড়াতে পারেন। যেসব ওয়ার্কলোডে কখনোই লাইভ রিকোয়েস্ট হওয়া উচিত নয়, সেগুলোর জন্য cache_only true-তে সেট করুন।

প্রতিটি ফলাফলে উল্লেখ থাকে কনটেন্টটি সংরক্ষিত কপি থেকে এসেছে নাকি লাইভ ফেচ থেকে, এবং কখন এটি ফেচ করা হয়েছিল।

একটি রিকোয়েস্টের URL-গুলো সমান্তরালভাবে ফেচ করা হয়, এবং প্রতিটির নিজস্ব সময়সীমা ও নিজস্ব স্ট্যাটাস থাকে। একটি ধীরগতির বা ভাঙা পেজের কারণে বাকিগুলো ব্যর্থ হয় না। স্ট্যাটাস জানায় প্রতিটি URL-এর ক্ষেত্রে কী ঘটেছে, ফলে একটি এজেন্ট শুধু টাইম-আউট হওয়া পেজগুলো আবার চেষ্টা করতে এবং বাকিগুলো রেখে দিতে পারে।

Context API ব্যবহারযোগ্য ও সম্পূর্ণ কনটেন্ট ফেরত দেয়

আসল এজেন্ট ফেচ রিকোয়েস্ট থেকে নমুনা হিসেবে নেওয়া ১,০০০টি URL-এ আমরা Firecrawl, Exa, Parallel, Keenable ও Context.dev-এর সঙ্গে Context API-এর তুলনামূলক পরীক্ষা করেছি। এই সেটে ৭১৫টি সাইট রয়েছে, যার মধ্যে সরকারি ও একাডেমিক উৎস এবং ইংরেজি নয় এমন ভাষার পেজও আছে। এরপর একটি আলাদা মূল্যায়নকারী মডেল কোন প্রোভাইডার কোন আউটপুট তৈরি করেছে তা না জেনেই আউটপুটগুলোকে স্কোর দিয়েছে।

চার্টটি তিনটি মানদণ্ডে পারফরম্যান্স পরিমাপ করে:

  • ব্যবহারযোগ্যতা: এরর পেজ বা ফাঁকা ফলাফলের বদলে পেজের আসল কনটেন্টসহ ফেরত আসা URL-এর অনুপাত।
  • তথ্য রিকল: মূল্যায়নকারী মডেল সব প্রোভাইডারের আউটপুট থেকে একটি পেজে পাওয়া মূল তথ্যগুলো সংগ্রহ করে, তারপর প্রতিটি আউটপুটে সেগুলোর কোনগুলো আছে তা যাচাই করে। ব্যর্থ ফেচের স্কোর শূন্য।
  • কনটেন্ট যথার্থতা: ফেরত আসা টেক্সটের কত অংশ পৃষ্ঠার আসল কনটেন্ট (কুকি নোটিশ, নেভিগেশন বা বিজ্ঞাপন নয়), তার অনুপাত; সব URL-এর গড় হিসেবে গণনা করা হয়। কোনো ফেচ ব্যর্থ হলে স্কোর শূন্য ধরা হয়।

এই মূল্যায়নে Context API ৯২.৩% URL-এর জন্য ব্যবহারযোগ্য কনটেন্ট ফেরত দিয়েছে, মূল তথ্যগুলোর ৮৭.৯% পুনরুদ্ধার করেছে এবং কনটেন্ট যথার্থতায় ৮০.৩% স্কোর করেছে।

মূল্য

Context API-এর খরচ প্রতি ১,০০০টি ফেচ করা URL-এর জন্য $১। ডেভেলপাররা ok ফেরত দেওয়া প্রতিটি URL-এর জন্য অর্থ প্রদান করেন। যেসব URL ব্যর্থ হয়, সেগুলোর জন্য বিল করা হয় না।

শুরু করুন

bash
curl --request POST https://api.perplexity.ai/v1/context \ --header "Authorization: Bearer $PERPLEXITY_API_KEY" \ --header "Content-Type: application/json" \ --data '{ "urls": ["https://info.cern.ch/hypertext/WWW/TheProject.html"], "formats": ["markdown"] }'

প্রতিটি ফলাফলের সঙ্গে আসে পেজের Markdown, কোয়েরির সঙ্গে মেলে এমন অংশগুলো, পেজের মেটাডেটা এবং একটি স্ট্যাটাস। কোনো ফলাফলের কনটেন্ট ব্যবহার করার আগে তার স্ট্যাটাস যাচাই করুন।

Context API ডকুমেন্টেশন পড়ুন অথবা API রেফারেন্স দেখুন।

  1. Orchestrator: নির্ভরযোগ্য ইনফারেন্সের জন্য একটি APIডেভেলপার১৭ নভে, ২০২৬
  2. পরিচয় করিয়ে দিচ্ছি Perplexity-এর Monitor APIডেভেলপার১৬ নভে, ২০২৬