Blackwell-এ Qwen হোস্ট করা

NVIDIA GB200 NVL72 র্যাকসমূহ, যেগুলিতে NVIDIA Blackwell জিপিইউ রয়েছে এবং যা ৭২-মুখী NVLink-এর মাধ্যমে পরস্পরের সাথে যুক্ত, বড় আকারের মিক্সচার-অব-এক্সপার্টস (MoE) মডেল ডিপ্লয় করার জন্য বিশেষভাবে উপযুক্ত। এই ব্লগ পোস্টে, আমরা এমন একটি ইনফারেন্স সেটআপের বর্ণনা দিচ্ছি যা পোস্ট-ট্রেনড Qwen3 235B মডেল পরিবেশন করে এবং Perplexity-এর ট্রাফিকের একটি অংশ পরিচালনা করে। আমরা দেখাই যে কীভাবে আমরা আমাদের ইন-হাউস ইনফারেন্স ইঞ্জিনকে অভিযোজিত করেছি NVIDIA Blackwell জিপিইউ-এর উন্নত টেনসর কোর এবং হাই-স্পিড ইন্টারকানেক্ট ব্যবহার করার জন্য। এই হার্ডওয়্যারের সাহায্যে, আমরা মূল মডেলগুলির নির্ভুলতা বজায় রেখেই কম খরচে আরও বেশি ট্রাফিক পরিচালনা করি।

GB200 NVL72-এ ডিপ্লয় করা

GB200 NVL72 র্যাকগুলি ১৮টি নোড নিয়ে গঠিত, যার প্রতিটিতে রয়েছে ২টি ARM-ভিত্তিক NVIDIA Grace সিপিইউ এবং ৪টি Blackwell-ভিত্তিক জিপিইউ, এবং প্রতিটিতে ১৮০GB HBM রয়েছে। ৭২টি জিপিইউ NVLink এবং ১৮টি NVLink Switch ASIC-এর মাধ্যমে পরস্পরের সাথে যুক্ত, যা যেকোনো দুটি পিয়ারের মধ্যে ১৮০০ GB/s ব্যান্ডউইথ প্রদান করে এবং ট্রিলিয়ন প্যারামিটারের মডেল হোস্ট করার জন্য পর্যাপ্ত মেমরি শেয়ার করে। অতিরিক্তভাবে, ConnectX-7 InfiniBand অ্যাডাপ্টারগুলি একটি র্যাকের নোডের মধ্যে এবং পার্শ্ববর্তী র্যাকগুলি জুড়ে অতিরিক্ত ৪০০ Gb/s ব্যান্ডউইথ প্রদান করে।

ট্রাফিক পরিচালনার জন্য, আমরা Qwen মডেলগুলিকে পোস্ট-ট্রেন এবং পরিবেশন করার সিদ্ধান্ত নিয়েছি। এই ব্লগ পোস্টে, আমরা Qwen3 235B-এর উপর ফোকাস করছি, তবে আলোচিত পরিবেশন কৌশল এবং কর্মক্ষমতার বৈশিষ্ট্যগুলির অনেকগুলোই নতুন Qwen3.5 397B এবং 122B মডেলগুলির অনুরূপ, যেগুলিতে আমরা মাইগ্রেট করছি। সমান্তরালকরণের (parallelism) ক্ষেত্রে, লিনিয়ার অ্যাটেনশন সম্পূর্ণ সেল্ফ অ্যাটেনশনের অনুরূপ এবং বিদ্যমান MoE লেয়ার বাস্তবায়ন নতুন গেট টার্মগুলিকে সামঞ্জস্য করার জন্য সহজেই মানিয়ে নেওয়া যেতে পারে। থ্রুপুট সর্বোচ্চ করার সাথে সাথে একটি সামঞ্জস্যপূর্ণ ডিকোডিং হার বজায় রাখতে, আমরা প্রফিলকে ডিকোডের থেকে আলাদা (disaggregate) করার সিদ্ধান্ত নিয়েছি, যেখানে দুই ধরনের নোডের জন্য ভিন্ন সমান্তরালকরণ কৌশল ডিপ্লয় করা হয়েছে। প্রফিলার থেকে ডিকডার যোগাযোগ InfiniBand-এর মাধ্যমে পরিচালিত হয়, যেখানে NVLink ব্যান্ডউইথ প্রফিলার এবং ডিকডারদের মধ্যে যোগাযোগের জন্য সংরক্ষিত থাকে। এই ব্লগ পোস্টে অন্বেষণ করা ম্যাট্রিক্স মাল্টিপ্লিকেশন এবং ডিভাইস-মধ্যবর্তী যোগাযোগের সময় Blackwell ডিভাইসের কর্মক্ষমতার বৈশিষ্ট্যগুলি ব্যবহৃত শার্ডিং কৌশলগুলি নির্ধারণ করে। NVIDIA Hopper জিপিইউ-র তুলনায়, আমরা স্ট্রিমিং মাল্টিপ্রসেসরের উচ্চ সংখ্যা, বর্ধিত মেমরি ব্যান্ডউইথ এবং কম পিয়ার-টু-পিয়ার লেটেন্সির কারণে কার্নেল-ওয়ার্ক অনুযায়ী উন্নতি দেখতে পাই।

বড় করুন

আমাদের TransferEngine, যা ডিস্যাগ্রিগেটেড প্রফিল বাস্তবায়ন করে, প্রফিলার এবং ডিকডার জুড়ে নির্বিচার এবং সম্ভাব্য অমিল থাকা শার্ডিং পরিচালনা করেছে। KV ক্যাচগুলি মেমরিতে HND ক্রমে সাজানো থাকে, যেখানে লিডিং ডাইমেনশনে হেড থাকে এবং টোকেনগুলিকে পর্যায়ক্রমে রাখা হয়, যাতে ডিকডার নোডে স্থানান্তরের সময় প্রফিলারের একটি শার্ড করা KV ক্যাচকে আরও বিভাজিত বা একত্রিত করা যায়।

প্রফিলার

প্রফিলার নোডগুলি একটি অনুরোধের ইনপুট টোকেনগুলি গ্রহণ করে, KV ক্যাচগুলি পপুলেট করে এবং টেক্সট জেনারেশন চালিয়ে যাওয়ার জন্য সেগুলিকে ডিকডারদের কাছে স্থানান্তর করে। প্রফিল কম্পিউটেশনালি ইন্টেনসিভ, কারণ একটি সিকোয়েন্সের অন্তর্ভুক্ত হাজার হাজার টোকেন একই সময়ে প্রসেস করা হয়।

ফলস্বরূপ, আমরা দেখতে পেয়েছি যে একটি টেনসর প্যারালাল ডিপ্লয়মেন্ট উপযুক্ত, যেখানে একটি একক GB200 নোডের মধ্যে ৪টি জিপিইউ জুড়ে মডেল শার্ড করা থাকে এবং প্রজেকশন ও এক্সপার্ট শার্ড করা থাকে (TP=4, EP=4)। যেহেতু অ্যাটেনশন এবং MLP উভয়ই কম্পিউট-বাউন্ড, তাই উভয়ই সমান্তরালকরণ থেকে উপকৃত হয়, যা আলাদা র‍্যাংক জুড়ে এক্সপার্ট এবং অ্যাটেনশন হেডগুলিকে বিতরণ করে। অতিরিক্ত সমান্তরালকরণ হ্রাসমান রিটার্ন (diminishing returns) প্রদান করত, কারণ প্রতিটি র‍্যাঙ্কে কম এক্সপার্ট হোস্ট করা থেকে থ্রুপুটের উন্নতি (৩২-এর বিপরীতে ১৬) ৮-মুখী অল-রিডিউসের অতিরিক্ত খরচ এবং দুটি নোড জুড়ে হোস্ট-সাইড কোড বিভক্ত করার ওভারহেডকে অফসেট করত না, যার জন্য ইথারনেটের মাধ্যমে যোগাযোগের প্রয়োজন হতো।

Qwen3 235B-তে মাত্র ৪টি কি-ভ্যালু হেড রয়েছে, যার ফলে যদি ৮টি ডিভাইস ব্যবহার করা হয় তবে k এবং v প্রজেকশনগুলিকে র‍্যাঙ্কের জোড়ার মধ্যে রেপ্লিকেট (replicate) করার প্রয়োজন হয়। প্রতিটি র‍্যাঙ্কে ওয়েট স্টোর করার জন্য প্রয়োজনীয় মেমরির পরিমাণ কমাতে এবং KV ক্যাচে আরও বেশি টোকেনের জন্য স্পেস খালি করতে আমরা আরও আক্রমণাত্মক শার্ডিং বিবেচনা করতে পারতাম। তবে, আমরা দেখেছি যে একটি বৃহত্তর ডিপ্লয়মেন্ট মূল্যবান ছিল না।

প্রায় ৬০০০ টোকেনের ইনপুট দৈর্ঘ্য ধরে নিলে, ১২৮টি এক্সপার্টের প্রতিটিতে প্রায় 6000 * 8 / 128 = 375টি টোকেন রাউট করা হয়, যা MoE GEMM-এর জন্য একটি ডেন্স সমস্যার নিশ্চয়তা দেয়। যেহেতু এটি ইতিমধ্যেই ডিভাইসের কম্পিউটেশনাল থ্রুপুটকে স্যাচুরেট করে, তাই প্রফিলের জন্য ডেটা প্যারালালিজমের প্রয়োজন হয় না।

অ্যাটেনশনের দ্বিঘাতভাবে (quadratically) বর্ধমান খরচ সত্ত্বেও, প্রফিলাররা সামঞ্জস্যপূর্ণ থ্রুপুট প্রদান করে, যা এক সেকেন্ডে একটি নোড দ্বারা প্রসেস করা যেতে পারে এমন ইনপুট টোকেনের সংখ্যার একটি আনুমানিক হিসাব করতে দেয়। অনুরোধগুলি থেকে মোট ইনপুট টোকেনের সংখ্যা ট্র্যাক করে এমন মেট্রিকগুলির উপর নির্ভর করে, সামগ্রিক প্রফিল থ্রুপুট যাতে সেই অনুযায়ী মাপা হয় তা নিশ্চিত করতে প্রফিলার নোডের সংখ্যা স্কেল আপ করা যেতে পারে। কিউইং (queuing) এড়াতে, প্রফিলার রেপ্লিকার সংখ্যা প্রাপ্ত মোট ইনপুট টোকেনের সংখ্যার সাথে মেলানো হয়।

ডিকডার

ডিকডার নোডগুলি প্রফিলারদের থেকে KV ক্যাচ গ্রহণ করে এবং একে একে টোকেন জেনারেট করে। ডিকোড সাধারণত মেমরি বাউন্ড: অল্প সংখ্যক ইনপুট টোকেনের সাথে, ম্যাট্রিক্স মাল্টিপ্লিকেশন সম্পূর্ণভাবে HBM থেকে টেনসর কোরে ওয়েট লোড করার খরচের উপর নির্ভরশীল। একটি ভিন্ন শার্ডিং কৌশল ব্যবহার করা ছাড়াও, কম্পিউটেশন এবং মেমরি অ্যাক্সেসকে আরও ভালোভাবে প্যারালাল করার জন্য বেশ কয়েকটি কার্নেল পরিবর্তন করতে হয়।

প্রফিলের বিপরীতে, শার্ডিং অ্যাটেনশন আর উপকারী নয়: একাধিক ডিভাইস জুড়ে অ্যাটেনশন হেড বিভক্ত করার অর্থ হবে একক ডিভাইসের মধ্যে প্যারালালিজমের সুযোগ কম থাকে। ফলস্বরূপ, শুধুমাত্র ডেটা প্যারালালিজম এবং এক্সপার্ট প্যারালালিজম ব্যবহার করা হয়: এক্সপার্টগুলিকে একাধিক ডিভাইস জুড়ে শার্ড করা হয়, তবে প্রতিটি ডিভাইস তার নিজস্ব KV ক্যাচ এবং অনুরোধ পরিচালনা করে। টেনসর প্যারালালিজম ছাড়া, একটি ডিভাইসে প্রতি-টোকেন KV ক্যাচের আকার বড় হয়। তবে, একটি একক নোডে কম এক্সপার্ট রেখে মেমরিতে স্পেস খালি করা হয়। Hoppper-এর বিপরীতে, যেখানে আমরা একটি ৮-জিপিইউ নোডের মধ্যে একটি একক NVLink ডোমেইনের মধ্যে টেনসর প্যারালালিজম সীমাবদ্ধ রেখেছিলাম, Blackwell-এ আমরা দেখতে পেয়েছি যে ১৬টি পর্যন্ত ডিভাইস ব্যবহার করে একটি ডোমেইনের মধ্যে একাধিক নোড জুড়ে প্রসারিত করা উপকারী।

থ্রুপুট সর্বোচ্চ করার জন্য, ডিকডারগুলি একসাথে বড় সংখ্যক অনুরোধ প্রসেস করে। অতিরিক্ত অনুরোধগুলির ফলে MoE লেয়ার এবং অন্যান্য প্রজেকশনে সামান্য ওভারহেড দেখা দিলেও, এগুলি অ্যাটেনশনের খরচ অসামঞ্জস্যপূর্ণভাবে বাড়িয়ে দেয়। একটি যুক্তিসঙ্গত ন্যূনতম ডিকোডিং গতি বজায় রাখতে, প্রতি-ডিকডার ব্যাচ সাইজ একটি নির্দিষ্ট সীমার নিচে রাখতে ডিকডার নোডের সংখ্যা স্কেল করা হয়।

পূর্ববর্তী Hopper ডিপ্লয়মেন্টের অনুরূপ, আমরা ডিকোডিং হার বাড়াতে ইন-হাউস ট্রেন করা MTP লেয়ার সহ স্পেকুলেটিভ ডিকোডিং ব্যবহার করি। ভাগ্যক্রমে, দুটি আর্কিটেকচারের মধ্যে বাস্তবায়ন সম্পূর্ণরূপে শেয়ার করার জন্য অন্তর্নিহিত হার্ডওয়্যার এবং প্রোগ্রামিং ফ্রেমওয়ার্কগুলি যথেষ্ট সাদৃশ্যপূর্ণ।

নোডের অভ্যন্তরীণ এবং নোড-মধ্যবর্তী যোগাযোগ

GB200 NVL72 এবং পূর্ববর্তী Hopper নোডের মধ্যে প্রধান পার্থক্য হলো বড় NVLink ডোমেইন, যা ৮টি ডিভাইসের পূর্ববর্তী সীমার বাইরে পিয়ার-টু-পিয়ার যোগাযোগ সক্ষম করে। যদিও Blackwell ডিভাইসগুলি ৮-জিপিইউ নোডে ডিপ্লয় করা হয়েছে, ধীরগতির InfiniBand নেটওয়ার্কের তুলনায় NVLink-এর মাধ্যমে একাধিক নোড জুড়ে স্কেল করার ক্ষেত্রে অনেক মূল্য রয়েছে।

প্রফিলার নোডগুলিতে, আমরা অ্যাটেনশন লেয়ারের মধ্যে অল-রিডিউস যোগাযোগের উপর এবং একটি এক্সপার্ট প্যারালাল রিডাকশনের উপর নির্ভর করি যা অল-রিডিউসের সাথে অত্যন্ত সাদৃশ্যপূর্ণ। ৪টি জিপিইউ জুড়ে, আমরা NVLink এবং NVIDIA SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) উভয়ই ব্যবহার করি: পিয়ার-টু-পিয়ার ব্যান্ডউইথ ছাড়াও, আমরা লেটেন্সি আরও কমাতে এবং দ্রুত ব্রডকাস্ট বাস্তবায়ন করতে NVLink Switch-এর রিডাকশনগুলিও কাজে লাগাই। ডিকডার নোডগুলিতে, NVLink-এর মাধ্যমে একটি কাস্টম অল-টু-অল ডিসপাচ এবং কম্বাইন বাস্তবায়ন ব্যবহার করা হয়। CuTeDSL এবং cuMem ম্যাপিং বা মাল্টিকাস্ট ম্যাপিং ব্যবহার করে কার্নেলগুলি ইন-হাউস বাস্তবায়িত করা হয়েছে।

অল-রিডিউস

প্রফিলাররা অ্যাটেনশন লেয়ারের আউটপুট প্রজেকশনে একটি অল-রিডিউস অপারেশন সম্পাদন করে, অংশগ্রহণকারী র‍্যাংক জুড়ে শার্ড করা হেডগুলির অবদান যোগ করে। অল-রিডিউস ওভারহেডের খরচ যখন ছোট ম্যাট্রিক্স মাল্টিপ্লিকেশন সমস্যার হ্রাসকৃত লেটেন্সি দ্বারা অফসেট হয় কেবল তখনই টেনসর প্যারালালিজম কার্যকর হয়। এই অনুমানটি সাধারণত প্রফিলের জন্য প্রযোজ্য।

ডেটাসেন্টার-গ্রেডের NVIDIA HGX H200 এবং GB200 NVL72 সিস্টেমে, জিপিইউগুলি সাধারণত NVLink Switch-এর মাধ্যমে সংযুক্ত থাকে। রাউটিং ছাড়াও, সুইচগুলি SHARP-এর মাধ্যমে সংযুক্ত ডিভাইসগুলিতে রিডাকশন অপারেশন সম্পাদন করতে পারে। মেমরি ম্যাপিং তৈরি করার এবং CUDA API ব্যবহার করে সেগুলিকে একটি মাল্টিকাস্ট গ্রুপে রেজিস্টার করার পরে, কার্নেলগুলি সুইচের মাধ্যমে মান একত্রিত এবং ব্রডকাস্ট করতে multicast.ld_reduce এবং multicast.st ব্যবহার করতে পারে। একটি ভিত্তি এবং পুনঃব্যবহারযোগ্য উপাদান তৈরি করার জন্য যেগুলিকে অন্যান্য কার্নেলে ফিউজ করা যেতে পারে, আমরা অভ্যন্তরীণভাবে এই প্রিমিটিভগুলি ব্যবহার করে একটি CuTeDSL অল-রিডিউস কার্নেল বজায় রাখি।

একটি সিস্টেমে যেখানে Nটি জিপিইউ B বাইট রিডিউস করছে, একটি সাধারণ বাস্তবায়নে একটি পিয়ার সমস্ত অন্যান্য পিয়ার থেকে মান লোড করবে, যার মোট রিড ট্রাফিকের পরিমাণ N * (N - 1) * B বাইট। একটি আরও দক্ষ বাস্তবায়নে রিডিউস করার ডেটাকে পিয়ারগুলির মধ্যে বিভক্ত করা হবে, যেখানে প্রত্যেকে ইনপুটের একটি অংশ রিডিউস করবে, তারপরে বাকি অংশে ব্রডকাস্ট করবে। এর ফলে একটি পিয়ারে (N - 1) * (B / N) বাইট পড়া হয় এবং বাকি অংশে ব্রডকাস্ট করা হয়, যার মোট রিড এবং রাইটের পরিমাণ (N - 1) * B * 2 বাইট, যা সুইচের উপর ট্রাফিক কমায়।

বড় করুন

SHARP-এর সাথে, রিডাকশন এবং ব্রডকাস্ট আরও দক্ষতার সাথে সম্পাদন করা যেতে পারে: স্থানীয়ভাবে জমানোর জন্য একটি ডিভাইসে (N - 1) * (B / N) বাইট পড়ার পরিবর্তে, সুইচ থেকে মাত্র B / N সরানো হয়, কারণ এটি পিয়ারগুলির ডেটা ব্যবহার করে নিজেই রিডাকশন সম্পাদন করে। ব্রডকাস্টের জন্য, একটি অনুরূপ উন্নতি রয়েছে, কারণ NVLink চ্যানেলের মাধ্যমে একটি জিপিইউ এবং সুইচের মধ্যে লেনদেনের সংখ্যা ব্যাপকভাবে হ্রাস পায়। SHARP ছাড়া, জমাদানকারী ডিভাইসটি সুইচের সাথে NVLink-এর মাধ্যমে (N - 1) * (B / N) লেনদেন করবে, যেখানে সুইচটি পিয়ারগুলি থেকে সমপরিমাণ ডেটা পড়বে, যার মোট লেনদেন 2 * (N - 1) * (B / N)। SHARP-এর সাথে, জিপিইউ এবং সুইচের মধ্যে B / N লেনদেন সম্পাদিত হয় এবং পিয়ারগুলির সাথে আরও (N - 1) * (B / N) লেনদেন সম্পাদিত হয়, যার মোট লেনদেন B।

এর সরলতার কারণে, SHARP একটি মূল্যবান হাতিয়ার, কারণ এটি একটি অ্যালগরিদমের জন্য একটি সহজ হার্ডওয়্যার বাস্তবায়ন প্রদান করে। যদিও ট্রান্সফারগুলো তাত্ত্বিক N / (2 * (N - 1)) ভগ্নাংশ দ্বারা হ্রাস করা হয় (যা ৪ জন পিয়ারের সাথে ৩৩% মূল্যায়ন করে), অনুশীলনে আমরা H200 এবং GB200 NVL72 উভয় সিস্টেমে প্রিফিল এবং ডিকোড লেটেন্সি উভয় ক্ষেত্রেই ১০% উন্নতি লক্ষ্য করি।

বড় করুন

MoE ডিসপাচ - কম্বাইন

MoE মডেলগুলির জন্য, ডিসপাচ এবং কম্বাইন কার্নেলগুলি পরবর্তী MoE GEMM সমস্যার জন্য পিয়ারগুলির মধ্যে টোকেনগুলি সরায় এবং গ্রুপিং করে, পরবর্তীতে কম্বাইনে একটি ওয়েটেড অ্যাকুমুলেশন সম্পাদন করে। আমরা আমাদের বিদ্যমান ডিসপাচ এবং কম্বাইন কার্নেলগুলিকে CuTeDSL-এ পোর্ট করে, ব্লক অ্যালকোহলেশন টিজ করে এবং প্রফিল ও ডিকোডের মধ্যে সেগুলিকে আক্রমণাত্মকভাবে বিশেষায়িত করে Blackwell-এ অভিযোজিত করেছি।

এক্সপার্ট প্যারালাল

এক্সপার্ট প্যারালাল (EP) কার্নেলটি প্রফিলারগুলিতে ব্যবহৃত হয়। যেহেতু এর ইনপুটগুলি সমস্ত র‍্যাঙ্কে রেপ্লিকেট করা থাকে, তাই ডিসপাচ কার্নেলের শুধুমাত্র বর্তমান র‍্যাঙ্কে এক্সপার্টদের কাছে রাউট করা টোকেনগুলি নির্বাচন করতে হয়। এটি রাউটিং তথ্য একত্রিত করে এবং MoE GEMM-এর ইনপুট হিসেবে ব্যবহৃত বাফারে টোকেন প্রস্তুত করে। কম্বাইন কার্নেলটি প্রথমে বর্তমান র‍্যাঙ্কে এক্সপার্টদের কাছে রাউট করা টোকেনগুলির অবদানের মধ্যে একটি স্থানীয় অ্যাকুমুলেশন সম্পাদন করে, তারপরে এটি সমস্ত র‍্যাঙ্ক জুড়ে একটি অল-রিডিউস সম্পাদন করে।

ডিকোডের জন্য, পুরো কার্নেলটি একটিতে ফিউজ করা হয়। প্রফিল কার্নেলটি একাধিক কার্নেলে বিভক্ত হয়, কারণ রাউটিং এবং অল-রিডিউসের জন্য স্থানীয় কম্বাইন ধাপের তুলনায় কম ব্লকের প্রয়োজন হয়। CuTeDSL-এর সাহায্যে, আমরা SHARP এবং NVLink অল-রিডিউস উভয়ের জন্য এবং পিয়ার-টু-পিয়ার সিঙ্ক্রোনাইজেশনের জন্য একটি সাধারণ লাইব্রেরি তৈরি করতে পারি, এটিকে অল-রিডিউস এবং এক্সপার্ট প্যারালাল কার্নেল উভয়ের মধ্যেই কম্পোজ করতে পারি।

বড় করুন

কর্মক্ষমতার দিক থেকে, আমরা দেখতে পেয়েছি যে উন্নত ট্রান্সফার গতি, উচ্চ মেমরি ব্যান্ডউইথ এবং উন্নত কম্পিউটেশনাল থ্রুপুটের কারণে Blackwell, Hopper-এর তুলনায় উল্লেখযোগ্যভাবে দ্রুত। ৮টি ডিভাইসে এবং GB200-এ একাধিক নোড জুড়ে শার্ড করা হলে (EP=8), কার্নেলগুলি দ্রুত হয়ে ওঠে কারণ স্থানীয় অ্যাকুমুলেশন প্রতিটি ডিভাইসে অনেক কম টোকেনে চলে এবং SHARP-এর সাথে, আরও র‍্যাংক জুড়ে রিডাকশনের খরচ আরও ভালোভাবে স্কেল করে। তবে, অনুশীলনে, আমরা প্যারালালিজম ৪টি ডিভাইসে সীমাবদ্ধ রাখি, কারণ এই স্পিডআপগুলি সমস্ত কার্নেলে সার্বজনীন নয়।

ডেটা প্যারালাল এবং এক্সপার্ট প্যারালাল

ডেটা প্যারালাল এবং এক্সপার্ট প্যারালাল (DP-EP) কার্নেলটি ডেটা প্যারালাল ডিকডারগুলিতে ব্যবহৃত হয়। এটি সমস্ত র‍্যাঙ্ক থেকে বিভিন্ন টোকেন এক্সপার্টদের কাছে ব্রডকাস্ট করে, ফলাফলগুলিকে মূল র‍্যাঙ্কে স্থানান্তর করে এবং সেগুলিকে জমা করে। যেহেতু এটি একটি স্পার্স অল-টু-অল সমস্যা বাস্তবায়ন করে, তাই এটি শুধুমাত্র NVLink-এর উপর নির্ভর করে।

Hopper-এ, এই কার্নেলটি একটি একক নোডের NVLink ডোমেইনের মধ্যে ৮টি ডিভাইসে সীমাবদ্ধ। তবে, GB200 সিস্টেমে আমরা এটিকে একটি সম্পূর্ণ র্যাক জুড়ে স্কেল করতে পারি। বেশিরভাগ কোডই পুনরায় ব্যবহার করা হয়। একমাত্র পার্থক্য হলো প্রাথমিক সেটআপের জন্য IMEX-এর মাধ্যমে পিয়ার তথ্য আদান-প্রদান করতে fabric হ্যান্ডেল ব্যবহার করা।

বড় করুন

যেহেতু ডিকোডের সময় সংঘটিত ট্রান্সফার সাইজ ছোট হয়, তাই এগুলি NVLink ব্যান্ডউইথ স্যাচুরেট করার থেকে অনেক দূরে থাকে এবং পরিবর্তে লেটেন্সি-সীমাবদ্ধ হয়। লেটেন্সি দশ মাইক্রোসেকেন্ডের মধ্যে থাকে এবং পিয়ারের সংখ্যা বাড়ার সাথে সাথে তুলনামূলকভাবে স্থিতিশীল থাকে, যা আমাদের উল্লেখযোগ্য অতিরিক্ত লেটেন্সি ছাড়াই একটি বড় সংখ্যক ডিভাইস জুড়ে একটি ডিপ্লয়মেন্ট প্রসারিত করতে দেয়।

MoE GEMM

MoE মডেলগুলি এক্সপার্ট প্যারালালিজম থেকে উপকৃত হয়, কারণ সমস্ত টোকেনকে সমস্ত এক্সপার্টের সাথে গুণ করার খরচ একাধিক ডিভাইস জুড়ে সহজেই প্যারালাল করা যায়। প্রফিলারগুলিতে টেনসর প্যারালালিজমের সাথে, ডেন্স সমস্যাগুলিতে সুবিধাটি বেশ সহজবোধ্য, কারণ প্রতিটি র‍্যাঙ্ককে এখন কম কম্পিউটেশন সম্পাদন করতে হয়। ডিকোড কেসে, এক্সপার্ট প্যারালালিজমের উপরে ডেটা প্যারালালিজম একটি অতিরিক্ত সুবিধা প্রদান করে, কারণ সমান্তরাল অনুরোধের বৃহত্তর সংখ্যা প্রতিটি এক্সপার্টে আরও বেশি টোকেন রাউট করে, সমস্যাগুলিকে ঘন (densifying) করে তোলে।

আমাদের বাস্তবায়নে, আমরা বর্তমানে ম্যাট্রিক্স মাল্টিপ্লিকেশনের জন্য CUTLASS CUDA/C++ কার্নেলগুলির উপর নির্ভর করি। ডিকডারদের জন্য সর্বোত্তম শার্ডিং কৌশল নির্ধারণ করার জন্য আমরা বিভিন্ন কোয়ান্টাইজেশন স্কিম এবং প্যারালালিজমের মাত্রা সহ স্পার্স ডিকোড ইনপুটে এগুলির বেঞ্চমার্ক করেছি। নীচের বেঞ্চমার্কগুলিতে, সমস্ত এক্সপার্ট একটি একক টোকেন দিয়ে অ্যাক্টিভেট করা হয়।

বড় করুন

আমরা দেখতে পেয়েছি যে ১৬টির বেশি র‍্যাঙ্ক জুড়ে ১২৮টি এক্সপার্ট স্কেল করা CUTLASS-এর সাথে হ্রাসমান রিটার্ন (diminishing returns) প্রদান করে, কারণ ২টি এক্সপার্টকে গুণ করার খরচ ৪টি এক্সপার্টকে গুণ করার চেয়ে উল্লেখযোগ্যভাবে কম নয়। উপ-সর্বোত্তম ব্লক স্কেলিং কৌশলেও Hopper-এর তুলনায় Blackwell-এ একটি স্পষ্ট উন্নতি রয়েছে। যেহেতু ডিসপাচ/কম্বাইনের EP=8 এবং EP=16-এর মধ্যে প্রায় ৫ মাইক্রোসেকেন্ডের লেটেন্সি বৃদ্ধি GEMM-এর খরচে ১০ মাইক্রোসেকেন্ডের বেশি হ্রাসের দ্বারা অফসেট হয়, GB200 সিস্টেমে, ১৬টি র‍্যাংক জুড়ে শার্ড করা ডিকডারগুলি ন্যায্য, যা এন্ড-টু-এন্ড বেঞ্চমার্ক দ্বারাও নিশ্চিত করা হয়েছে।

কোয়ান্টাইজেশন

Blackwell নতুন ৮-বিট এবং ৪-বিট কোয়ান্টাইজেশন স্কিমের জন্য হার্ডওয়্যার সমর্থন প্রবর্তন করে। Hopper-এর বিপরীতে, যা প্রতি-টেনসর বা প্রতি-ব্লক স্কেলিং ফ্যাক্টরের উপর নির্ভর করত, Blackwell-এর সেরা প্রফিল এবং ডিকোড থ্রুপুট অর্জনের জন্য মাইক্রোস্কেলিংয়ের প্রয়োজন হয়। DeepSeek বা Kimi-র মতো মডেলগুলির জন্য ব্যবহৃত ব্লক স্কেলিং স্কিম উপলব্ধ থাকলেও, মাইক্রোস্কেলিং বেশি দক্ষ।

আমরা মডেলটি ফাইন-টিউন করার পরে স্ট্যাটিক্যালি ওয়েট রূপান্তর করে MXFP8 কোয়ান্টাইজেশন স্কিম সহ Qwen3 235B ডিপ্লয় করেছি। নির্ভুলতার প্রভাব স্টোকাস্টিক কোয়ান্টাইজেশন সহ ব্লক স্কেলিংয়ের প্রভাবের অনুরূপ ছিল, তবে প্রদত্ত কর্মক্ষমতা অনেক উন্নত ছিল, যা MoE GEMM মাইক্রোবেঞ্চমার্ক দ্বারা চিত্রিত হয়েছে। আমরা MXFP4 এবং NVFP4 কোয়ান্টাইজেশন স্কিমগুলিও বিবেচনা করেছি, যদিও কোয়ান্টাইজেশন-অ্যাওয়ার ট্রেনিং ছাড়া নির্ভুলতার প্রভাব Hopper থেকে Blackwell-এ প্রাথমিক রূপান্তরের জন্য খুব বেশি উল্লেখযোগ্য ছিল। আমরা ভবিষ্যতের কাজে এই ফরম্যাটগুলি আরও পুঙ্খানুপুঙ্খভাবে অন্বেষণ করার পরিকল্পনা করছি।

এন্ড-টু-এন্ড কর্মক্ষমতা

আমরা Blackwell Qwen3 235B ডিপ্লয়মেন্টের ডিকডারগুলির বেঞ্চমার্ক করেছি এবং সেগুলিকে আমাদের পূর্ববর্তী Hopper ডিপ্লয়মেন্টের সাথে তুলনা করেছি। এই সেটআপে, প্যারালালিজমের প্রভাবের উপর ফোকাস করার জন্য আমরা উভয় ডিপ্লয়মেন্ট জুড়েই ব্লক স্কেলিং বিবেচনা করেছি। ডিকোড কর্মক্ষমতা বিচ্ছিন্ন করার জন্য উভয় আর্কিটেকচারের জন্যই TP=4 প্রফিলার আলাদা করা হয়েছিল। নীচের চিত্রটি আমাদের MTP লেয়ার দ্বারা প্রদত্ত একটি বাস্তবসম্মত ড্রাফ্ট গ্রহণযোগ্যতা হার ধরে নিয়ে ডিকোডিং থ্রুপুট চিত্রিত করে।

বড় করুন

Hopper-এ, ৮টির বেশি জিপিইউ জুড়ে ডিপ্লয়মেন্ট শার্ড করা কার্যকর নয়, কারণ InfiniBand-এর লেটেন্সি, বিশেষ করে EFA অ্যাডাপ্টারে, উল্লেখযোগ্যভাবে ধীরগতির। তবে, Blackwell-এ, আমরা বড় NVLink ডোমেইনের সুবাদে উল্লেখযোগ্যভাবে উচ্চ থ্রুপুট অর্জন করি।

আমরা বিদ্যমান Hopper কার্নেলগুলিকে সাধারণীকরণ করে এবং NVLink-ভিত্তিক কার্নেলগুলির কর্মক্ষমতা বাড়িয়ে একটি প্রাথমিক Blackwell বাস্তবায়ন অর্জন করেছি। পাইপলাইনের অন্যান্য কার্নেলগুলির কোয়ান্টাইজেশন উন্নত করে এবং ডিকোড কর্মক্ষমতা ও প্রফিল থ্রুপুট ফাইন-টিউন করে আমরা Qwen পরিবেশনের খরচ আরও কমাব।

রেফারেন্স

Transfer Engine ব্লগ পোস্ট

CuTeDSL ব্লগ পোস্ট

Prefill-Disagg ব্লগ পোস্ট

Speculative Decoding ব্লগ পোস্ট

CUTLASS

NVLink

উদ্ধৃতি

@online{perplexity2026HostingQwenOnBlackwell,
  author = {{Perplexity} and Nandor Licker and Kevin Hu and Bex Brooker and Erin McKnight},
  title = {{Hosting Qwen on Blackwell}},
  date = {2026-05-12},
  url = {https://www.perplexity.ai/hub/blog/hosting-qwen-on-blackwell}
}