NVIDIA H100-এর সাথে Llama 2 70B-কে টার্বোচার্জ করা

Perplexity-এর অ্যানসার ইঞ্জিনে পারফরম্যান্স অর্জনের তাগিদ আমাদের NVIDIA এবং AWS-এর সর্বাধুনিক প্রযুক্তি গ্রহণ করতে উদ্বুদ্ধ করে। এই ব্লগে আমরা আমাদের সাম্প্রতিক পরীক্ষার ফলাফল শেয়ার করতে পেরে আনন্দিত: বিভিন্ন হার্ডওয়্যার ও সফটওয়্যার সেটিংসে Llama 2 70B ইনফারেন্সের একটি তুলনা।

আমাদের LLM ইনফারেন্স প্ল্যাটফর্ম, pplx-api, ওপেন-সোর্স লাইব্রেরি দ্বারা চালিত একটি অত্যাধুনিক স্ট্যাকের ওপর তৈরি। অক্টোবরে pplx-api-এর পাবলিক বিটা শুরুর পর থেকে, আমরা স্কেলিং সংক্রান্ত চ্যালেঞ্জগুলোর মোকাবিলা করছি এবং বিশাল স্কেল অর্জনের জন্য কীভাবে আমাদের কনফিগারেশন সেরা উপায়ে টিউন করা যায় তা শিখছি। এর ফলে আমরা নিম্নলিখিত নির্দেশক প্রশ্নগুলোর সাহায্যে পরীক্ষা পরিচালনা করেছি:

অন্যান্য সমস্ত সেটিংস একই রেখে, আমাদের জিপিইউগুলো NVIDIA A100 থেকে NVIDIA H100-এ পরিবর্তন করার ফলে কাঁচা পারফরম্যান্স কতটা বৃদ্ধি পায়?눴

H100 যাতে নেটিভভাবে সমর্থন যোগ করে, সেই 8-বিট ফ্লোটিং পয়েন্ট (fp8) কোয়ান্টাইজেশনের কার্যকারিতা কতটা বৃদ্ধি পায়? এই কোয়ান্টাইজেশনের নির্ভুলতার খরচ কত?눴

টেনসর প্যারালালিজম এবং ব্যাচ সাইজ কীভাবে ল্যাটেন্সি এবং টোকেন থ্রুপুটকে প্রভাবিত করে?눴

উপরের বিষয়গুলো বিবেচনা করে, কোন কনফিগারেশনের ফলে পারফরম্যান্স এবং খরচ-দক্ষতার সবচেয়ে স্কেলেবল ভারসাম্য তৈরি হয়?눴

পরীক্ষামূলক সেটআপ

নেটওয়ার্ক ল্যাটেন্সি এড়াতে আমরা নিম্নলিখিত পরীক্ষাটি স্থানীয় বেঞ্চমার্কের একটি সিরিজ হিসেবে পরিচালনা করেছি।눴

মূল মেট্রিকস:

ল্যাটেন্সি: ইনফারেন্স সার্ভারের তার সম্পূর্ণ প্রতিক্রিয়া তৈরি করতে মোট যে সময় লাগে।눴

থ্রুপুট: সমস্ত ব্যবহারকারী এবং অনুরোধ জুড়ে ইনফারেন্স সার্ভার প্রতি সেকেন্ডে, প্রতি জিপিইউতে যে আউটপুট টোকেনগুলো জেনারেট করতে পারে তার সংখ্যা।눴

ধ্রুবকসমূহ:

নিম্নলিখিত কারণগুলো মূল মেট্রিকসকে প্রভাবিত করবে, তাই পরীক্ষার বিভিন্ন ট্রায়ালে আমরা সেগুলোকে সামঞ্জস্যপূর্ণ রেখেছি।눴

AI মডেল

LLM-এর আকারের সাথে পারফরম্যান্স স্কেল করে। আরও বেশি প্যারামিটারের জন্য আরও বেশি গণনার প্রয়োজন হয় যার ফলে ধীরগতির ইনফারেন্স ঘটে। উদাহরণস্বরূপ, অন্যান্য সেটিংস সমান থাকলে Llama 2 13B, Llama 2 70B-এর চেয়ে দ্রুতগতির হয়। আমরা এই পরীক্ষায় Llama 2 70B-তেই আটকে আছি কারণ আমরা সবচেয়ে সক্ষম ওপেন সোর্স মডেলগুলোর পরিবেশন অপ্টিমাইজ করতে চাই।눴

ইনপুট/আউটপুট টোকেন ডেটাসেট

প্রতিটি স্যাম্পল অনুরোধ/প্রতিক্রিয়া জোড়ায় ইনপুট এবং আউটপুট টোকেনের পরিমাণ পারফরম্যান্স পরিমাপকে প্রভাবিত করতে পারে। সাধারণত, আউটপুট টোকেন তৈরি সামগ্রিক প্রতিক্রিয়ার সময়কে প্রাধান্য দেয়। যখন স্যাম্পলিং ডেটা কেবল LLM থেকে “হ্যাঁ/না” প্রতিক্রিয়া প্ররোচিত করে, তখন LLM-কে প্রবন্ধ লিখতে বলা হয় এমন স্যাম্পলের তুলনায় প্রতিক্রিয়া দ্রুত হয়। আমাদের ডেটাসেটটি 512টি আউটপুট টোকেন প্ররোচিত করে এমন 1024টি ইনপুট টোকেনসহ সিন্থেটিক অনুরোধ দ্বারা গঠিত। Llama2 70B-এর আমাদের পাবলিক ডিপ্লয়মেন্টে ট্রাফিকের পরিলক্ষিত বিতরণের সাথে মিল রাখার জন্য এই বন্টনটি বেছে নেওয়া হয়েছিল।눴

সফটওয়্যার সংস্করণ

NVIDIA TensorRT-LLM (রিলিজ v0.5.0) হল LLM ইনফারেন্স অপ্টিমাইজ করার জন্য একটি ওপেন-সোর্স লাইব্রেরি। 2023 সালের শেষের দিকে রিলিজ হওয়া, এটি NVIDIA-র অনেক ইনফারেন্স অপ্টিমাইজেশান সংশ্লেষ করে এবং এই পরীক্ষার মূল প্যারামিটারগুলোর জন্য কাস্টমাইজেশনের একটি নমনীয় স্তর সরবরাহ করে: ব্যাচ সাইজ, কোয়ান্টাইজেশন এবং টেনসর প্যারালালিজম।눴

ভেরিয়েবলসমূহ

আমরা কনফিগারেশনের 4টি অক্ষ জুড়ে পরীক্ষা করেছি: টেনসর প্যারালালিজম, জিপিইউ আর্কিটেকচার, কোয়ান্টাইজেশন এবং সর্বোচ্চ ব্যাচ সাইজ। এই অক্ষগুলো আন্তঃসংযুক্ত কারণ জিপিইউ মেমরির সমালোচনামূলক বটleneck সম্পদের সাপেক্ষে প্রতিটি একটি ট্রেডঅফ উপস্থাপন করে।눴

জিপিইউ আর্কিটেকচার

নবম-প্রজন্মের হপার (H100-HBM3-80GB / p5.48xlarge) জিপিইউ আর্কিটেকচার তার পূর্বসূরী অ্যাম্পিয়ারের (A100-SXM4-80GB / p4de.24xlarge) তুলনায় 2x-6x গণনার হার এবং প্রায় 2x জিপিইউ মেমরি ব্যান্ডউইথ সহ বিশাল একটি তালিকা বৈশিষ্ট্য প্যাক করে। জিপিইউ মেমরি ব্যান্ডউইথ ইনফারেন্সের জন্য একটি গুরুত্বপূর্ণ মেট্রিক কারণ ইনফারেন্সের ম্যাট্রিক্স গুণনের একটি প্রাথমিক ল্যাটেন্সি বটleneck জিপিইউ মেমরি থেকে কম্পিউট রেজিস্টারে মডেল ডেটা লোড করা থেকে আসে। এই পরিসংখ্যানগুলোর উপর ভিত্তি করে, আমরা অনুমান করেছি যে NVIDIA H100 এবং A100-এর অ্যাপল-টু-অ্যাপল তুলনায় ল্যাটেন্সি এবং থ্রুপুট উভয় ক্ষেত্রেই 2x উন্নতি দেখা যাবে।눴},{

NVIDIA H100 এবং A100-এর মধ্যে আরেকটি মূল পার্থক্য হল যে H100 টেনসর কোর নেটিভভাবে 8-বিট ফ্লোটিং পয়েন্ট (fp8) নির্দেশনার জন্য সমর্থন যোগ করে, যা নিচে বিশদভাবে বর্ণিত আরও অপ্টিমাইজেশনের পথ উন্মুক্ত করে। এই কারণেই আমরা বিশেষভাবে H100-এর জন্য fp8 এবং fp16 ব্যবহার করি।

এই পরীক্ষায় প্রতি-জিপিইউ মেমরি সামঞ্জস্যপূর্ণ রাখতে, আমরা আমাদের NVIDIA A100 এবং H100 উভয়ের জন্যই 8x80GB জিপিইউ মেমরি সহ নোডগুলোতে আটকে ছিলাম। উচ্চ ব্যাচ সাইজ সক্ষম করার পাশাপাশি, জিপিইউ মেমরি গুরুত্বপূর্ণ কারণ দ্রুত অ্যাক্সেসের জন্য সার্ভার শুরুর সময় মডেলের প্যারামিটারগুলো জিপিইউ মেমরিতে লোড করা হয়। উদাহরণস্বরূপ, আমাদের মডেলের 70 বিলিয়ন প্যারামিটারের প্রতিটি যদি একটি 16-বিট ফ্লোটিং পয়েন্ট নম্বর হয়, তবে মডেলটির আকার প্রায় 140GB, যা একটি একক জিপিইউতে ধরে না। তাই টেনসর প্যারালালিজমের প্রয়োজন, যা আমরা নিচে ব্যাখ্যা করেছি।

টেনসর প্যারালালিজম

টেনসর প্যারালালিজম বলতে ইনফারেন্স সার্ভার চালানোর জন্য ব্যবহৃত জিপিইউ ডিভাইসের সংখ্যা বোঝায়। যখন আমরা বেশ কয়েকটি জিপিইউ বরাদ্দ করি, তখন TensorRT-LLM Llama2 70B চালানোর জন্য ন্যূনতম প্রয়োজনীয় মেমরি বাজেট পৌঁছাতে আমাদের সাহায্য করার জন্য তাদের সম্পদগুলোকে একত্রিত করে। আমাদের অনুমান হল যে উচ্চ টেনসর প্যারালালিজমের তুলনায় কম টেনসর প্যারালালিজমের ফলে উচ্চ ল্যাটেন্সি (প্রতিটি ব্যাচ সন্তুষ্ট করতে কম সম্পদ ব্যবহারের কারণে) দেখা দেবে কিন্তু প্রতি জিপিইউতে উচ্চ থ্রুপুট (ভাল ব্যবহারের কারণে) পাওয়া যাবে।

কোয়ান্টাইজেশন

কোয়ান্টাইজেশন হল নিউরাল নেটওয়ার্ক দ্বারা ব্যবহৃত ওজন এবং অ্যাক্টিভেশনে নির্ভুলতার হ্রাস। আমরা যখন fp16 থেকে fp8-এ সুইচ করি তখন জিপিইউ মেমরি ব্যবহার অর্ধেক করতে এই কৌশলটি ব্যবহার করি। এটি কম মোট জিপিইউ মেমরি ব্যবহার করে একই মডেল চালানো সম্ভব করে তোলে, যা নিম্ন টেনসর প্যারালালিজম সক্ষম করে, যা থ্রুপুট বাড়িয়ে তোলে।

কোয়ান্টাইজেশনের বাস্তবায়নগুলোর নির্ভুলতা হ্রাস করার সম্ভাবনা রয়েছে। সুতরাং, আমরা WikiText কর্পাসে প্রতিটি পরবর্তী টোকেন একটি বাক্যে কতটা ভালোভাবে ভবিষ্যদ্বাণী করে তার একটি পরিমাপ, তাদের পারপ্লেক্সিটি পরিসংখ্যান তুলনা করে বিভিন্ন নির্ভুলতার জন্য নির্ভুলতা মূল্যায়ন করেছি। 8-বিট ফ্লোটিং পয়েন্ট এবং 8-বিট ওয়েট উইথ 8-বিট অ্যাক্টিভেশন এবং SmoothQuant (w8a8 SQ)-এর জন্য, WikiText-এ fp16-এর তুলনায় পারপ্লেক্সিটিতে কোনো উল্লেখযোগ্য পরিবর্তন (< 1%) ছিল না, তাই আমরা এগিয়ে যাওয়ার বিষয়ে আত্মবিশ্বাসী বোধ করেছি। যাইহোক, w4a16 পারপ্লেক্সিটিতে একটি উল্লেখযোগ্য 7% পরিবর্তন প্রদর্শন করেছে, যা সম্ভাব্যভাবে আরও কম নির্ভুলতা এবং int4 এবং fp16-এর মধ্যে প্রয়োজনীয় গতিশীল রূপান্তরগুলোর কারণে হতে পারে।

ব্যাচ সাইজ

সম্পদ-সীমাবদ্ধ সিস্টেম থেকে পারফরম্যান্স বের করার জন্য ব্যাচিংয়ের মাধ্যমে প্যারালালিজম একটি ক্লাসিক কৌশল। নিউরাল নেটওয়ার্কের মাধ্যমে প্রতিটি ফরওয়ার্ড পাসে একাধিক অনুরোধ প্রক্রিয়াকরণ করে, ব্যাচিং কিছু ল্যাটেন্সির মূল্যে থ্রুপুট বৃদ্ধি করতে পরিচিত। ব্যাচিং উচ্চ জিপিইউ মেমরি খরচও বহন করে কারণ KV ক্যাশের আকার যা অ্যাটেনশন মেকানিজম পরিচালনা করে তা ব্যাচ সাইজের সাথে রৈখিকভাবে বৃদ্ধি পায়।

বড় করুন

Llama 2 70B-এর ক্ষেত্রে (যার 80টি স্তর রয়েছে), 4096 কনটেক্সট সাইজের জন্য ব্যাচ সাইজ 32 সহ fp16, KV ক্যাশের আকার একটি উল্লেখযোগ্য 40 GB হয়ে দাঁড়ায়। এটি শেষ পর্যন্ত Llama 2 70B fp16-কে, যার ওজন একা 140GB নেয়, টেনসর প্যারালালিজম 2 (TP-2)-এ উপলব্ধ 160GB জিপিইউ মেমরির মধ্যে আরামে ফিট হতে বাধা দেয়।

ফলাফল

আমরা পরীক্ষার 4টি ভেরিয়েবলের সামঞ্জস্যপূর্ণ সংমিশ্রণগুলো স্ক্যান করেছি এবং নিচে সবচেয়ে অন্তর্দৃষ্টিপূর্ণ প্রবণতাগুলো উপস্থাপন করছি।

বড় করুন

H100 fp16 থেকে fp8 এবং A100 fp16 থেকে w8a8 উইথ SmoothQuant তুলনা করার সময় কোয়ান্টাইজেশনের ল্যাটেন্সি উন্নতি প্রায় 10%-এর কাছাকাছি। যাইহোক, মিশ্র নির্ভুলতা w4a16 আসলে কম ব্যাচ সাইজে ভালো পারফর্ম করে এবং fp16-এর তুলনায় উচ্চ ব্যাচ সাইজে খারাপ পারফর্ম করে। এটি কম অপ্টিমাইজড কম্পিউট কার্নেল, int4 এবং fp16-এর মধ্যে কাস্টিং সময় এবং এই সত্যটি সহ বেশ কয়েকটি কারণের কারণে হতে পারে যে w4a16 এখনও অ্যাক্টিভেশনের জন্য 16-বিট ফ্লোটিং পয়েন্ট ব্যবহার করে, যার ফলে KV ক্যাশের মাপে কোনো সাশ্রয় হয় না। যেহেতু w4a16 কম নির্ভুলতাও প্রদর্শন করেছে, আমরা সিদ্ধান্ত নিই যে আমাদের A100-এর জন্য w8a8 SQ এবং H100-এর জন্য fp8-এ আটকে থাকা উচিত।

বড় করুন

আমাদের প্রথম দুটি চিত্রে, আমরা শুধুমাত্র TP-8-এর কনফিগারেশনগুলো উপস্থাপন করছি। যখন উভয়ই fp16 / BS-128 / TP-8 ব্যবহার করে তখন H100 A100-এর তুলনায় 54% ল্যাটেন্সি এবং 184% থ্রুপুট অর্জন করে, যা H100-এ fp8 ব্যবহার করার সময় 49% ল্যাটেন্সি এবং 202% থ্রুপুটে উন্নত হয়। পারফরম্যান্সের এই উন্নতি H100 এবং A100-এর মধ্যে গণন ক্ষমতা এবং মেমরি ব্যান্ডউইথের বৃদ্ধিকে দায়ী করা যেতে পারে। উল্লেখযোগ্যভাবে, কম ব্যাচ সাইজের অধীনে পার্থক্যটি কম উচ্চারিত হয় যেখানে ব্যবহার কম হতে পারে।

আমরা যখন আমাদের প্ল্যাটফর্ম তৈরি করি, তখন আমরা থ্রুপুট সর্বাধিক করার সাথে সাথে আমাদের ব্যবহারকারীদের জন্য নির্দিষ্ট ল্যাটেন্সি প্রয়োজনীয়তাগুলোকে সম্মান করতে চাই। সুতরাং, একই ব্যাচ সাইজে A100 বনাম H100 তুলনা করার পরিবর্তে, এটি আসলে আমাদের জন্য শুধুমাত্র এমন কনফিগারেশনের অধীনে তাদের থ্রুপুট তুলনা করা বেশি বোধগম্য করে যেখানে তারা একটি ল্যাটেন্সি প্রয়োজনীয়তা পূরণ করে। আমরা 512 আউটপুট টোকেন সম্পূর্ণ করার জন্য 25600ms ল্যাটেন্সিতে একটি কাটঅফ সেট করেছি এবং দেখতে পেয়েছি যে H100 / TP-8 / fp8 / BS-128 A100 / TP-8 / fp16 / BS-64-এর তুলনায় 251% থ্রুপুট দেয়, যেহেতু এটি কম ল্যাটেন্সিতে দ্বিগুণ ব্যাচ সাইজ প্রক্রিয়াকরণ করতে সক্ষম। প্রদত্ত যে কোয়ান্টাইজেশন জিপিইউ মেমরি সাশ্রয় করে, এখন আমাদের মূল্যায়ন করতে হবে কীভাবে টেনসর প্যারালালিজম অপ্টিমাইজেশনের পরবর্তী স্তর যোগ করতে পারে।

বড় করুন

যখন কোয়ান্টাইজেশন এবং আর্কিটেকচারের কথা আসে, তখন স্পষ্ট বিজয়ী রয়েছে: H100 A100-কে ছাড়িয়ে যায় এবং হ্রাসকৃত-নির্ভুলতা কোয়ান্টাইজেশন মেমরি ব্যবহার, ল্যাটেন্সি এবং থ্রুপুট উন্নত করে। যাইহোক, ব্যাচ সাইজ এবং টেনসর প্যারালালিজম আমাদের মূল মেট্রিকগুলোতে একটি ট্রেডঅফ উপস্থাপন করে। একটি বৃহত্তর ব্যাচ সাইজ বর্ধিত ল্যাটেন্সি এবং মেমরি খরচের মূল্যে থ্রুপুট অপ্টিমাইজ করে। অন্যদিকে, উচ্চ টেনসর প্যারালালিজম উপলব্ধ মেমরির সামগ্রিক পুল বৃদ্ধি করে এবং ল্যাটেন্সির জন্য অপ্টিমাইজ করে, কিন্তু বিতরণ করা ম্যাট্রিক্স গুণের সিঙ্ক্রোনাইজেশন খরচের কারণে এবং আরও জিপিইউ সম্পদ লক আপ করার গুণের কারণে থ্রুপুটের সাথে ট্রেডঅফ করে।

বড় করুন

আমাদের পরীক্ষার থ্রুপুট-সর্বোচ্চকরণ কনফিগারেশন হল H100 / fp8 / TP-2 / BS-128, প্রতি জিপিইউতে প্রতি সেকেন্ডে 767 আউটপুট টোকেনে। এটি A100 / fp16 / TP-8 / BS-64-এর তুলনায় একটি 460% উন্নতি। যাইহোক, এটি দ্বিগুণ ল্যাটেন্সির খরচে আসে - 512 আউটপুট টোকেনের জন্য প্রায় 42000ms এর কাছাকাছি - তাই এটি একটি উৎপাদন কনফিগারেশন হিসাবে অনুপযুক্ত হতে পারে। TP-4 BS-128 (26188ms প্রতিক্রিয়া সময়ে 626 tok/sec/gpu) এবং TP-2 BS-32 (18821ms প্রতিক্রিয়া সময়ে 435 tok/sec/gpu)-এর ফলাফল আমাদের মূল মেট্রিকগুলোতে আরও ভালো ট্রেডঅফ উপস্থাপন করতে পারে।

উপসংহার

আমাদের ফলাফলগুলো প্রদর্শন করে যে:

একই কনফিগারেশন দেওয়া হলে A100-এর তুলনায় H100 ব্যবহার করে আমরা 54% ল্যাটেন্সি এবং 184% থ্রুপুট পৌঁছাই, যা H100 যখন fp8-এর জন্য এর নেটিভ সমর্থন সুবিধা নেয় তখন যথাক্রমে 49% এবং 202%-এ উন্নত হয়।

একটি ল্যাটেন্সি সীমাবদ্ধতার সাপেক্ষে থ্রুপুট সর্বাধিক করার সময়, H100 / fp8 / TP-8 / BS-128 A100 / TP-8 / fp16 / BS-64-এর তুলনায় 251% থ্রুপুট দেয়, কারণ এটি দ্রুত গতিতে দ্বিগুণ ব্যাচ প্রক্রিয়াকরণ করতে পারে।

fp8 সহ TP-2 সহ H100-এর সুবিধা নিয়ে, আমরা ল্যাটেন্সিতে 10%-এর কম বৃদ্ধিসহ, A100 / fp16 / TP-8 / BS-128-এর 373% থ্রুপুট অর্জন করতে পারি।

ব্যাচ সাইজ এবং টেনসর প্যারালালিজম একটি LLM ইনফারেন্স সিস্টেমের অপারেটরের কাছে থ্রুপুট এবং ল্যাটেন্সির মধ্যে একটি ট্রেডঅফ উপস্থাপন করে।

এই ফলাফলগুলো আমাদের পূর্বে A100 চালিত হার্ডওয়্যার স্ট্যাকে H100 জিপিইউতে সম্পূর্ণ রূপান্তর সম্পর্কে আত্মবিশ্বাসী করে তোলে। আমরা NVIDIA দ্বারা বিজ্ঞাপনী পারফরম্যান্স লাভ নিশ্চিত করতে পেরে আনন্দিত এবং ত্বরান্বিত হার্ডওয়্যারে তাদের পরবর্তী সাফল্যের প্রত্যাশা করছি।

সামনে কী আছে

অপ্টিমাইজেশনের জন্য আমাদের পরবর্তী সীমান্ত হল স্ট্রাকচার্ড স্পারসিটি এবং int4 নির্ভুলতার নির্ভুলতা এবং পারফরম্যান্সের প্রভাব পরীক্ষা করা, যা Llama 2 70B-এর জিপিইউ মেমরি ফুটপ্রিন্ট উল্লেখযোগ্যভাবে হ্রাস করতে পারে এবং ল্যাটেন্সিতে 2x পর্যন্ত উন্নতি করতে পারে। আমরা দ্রুত গতির ইনফারেন্সের যাত্রা চালিয়ে যেতে পেরে আনন্দিত এবং আমাদের প্ল্যাটফর্মের উপরে শক্তিশালী অ্যাপ্লিকেশন তৈরি করতে আমাদের ব্যবহারকারীদের ক্ষমতা প্রদান করার আশা করছি।

স্বল্প মেয়াদে, pplx-api রেট সীমা তুলে নেবে এবং তথ্যের জন্য গ্রাউন্ডিং সহ একটি ইন্টারনেট-চালিত LLM সহ আরও কাস্টম Perplexity LLM অফার করবে।

perplexity.ai/pro-এ Perplexity Pro-এর জন্য সাইন আপ করুন। আমাদের অত্যাধুনিক pplx-api-এ অ্যাক্সেস পান, এবং আপনার প্রকল্পগুলোতে এই উন্নত ক্ষমতাগুলো ব্যবহার করুন। আমাদের ব্লগে pplx-api সম্পর্কে আরও আবিষ্কার করুন।

AI-এর ভবিষ্যৎ গঠনে আগ্রহী? আমরা নিয়োগ করছি! বিশাল-স্কেল, জেনারেটিভ LLM পরিকাঠামো চালনা করে এমন একটি দলের অংশ হোন। Perplexity Careers-এ সুযোগগুলো অন্বেষণ করুন।

লেখকবৃন্দ:

আরাশ হেইদারি, গ্রিগোরি আলেক্সেইভ, কেভিন হু, ডেনিস ইয়ারাটস