Blackwell पर Qwen को होस्ट करना

NVIDIA Blackwell GPU से लैस NVIDIA GB200 NVL72 रैक, जिन्हें 72-वे NVLink के माध्यम से इंटरकनेक्ट किया गया है, बड़े मिश्रण-के-विशेषज्ञ (MoE) मॉडल को तैनात करने के लिए विशिष्ट रूप से उपयुक्त हैं। इस ब्लॉग पोस्ट में, हम उन पोस्ट-ट्रेन्ड Qwen3 235B मॉडलों की इन्फरेंस सेटअप का वर्णन करते हैं जो Perplexity के ट्रैफ़िक का एक हिस्सा संभालते हैं। हम दिखाते हैं कि हमने NVIDIA Blackwell GPU के उन्नत टेंसर कोर और हाई-स्पीड इंटरकनेक्ट का लाभ उठाने के लिए अपने इन-हाउस इन्फरेंस इंजन को कैसे अनुकूलित किया। इस हार्डवेयर के साथ, हम अंतर्निहित मॉडलों की सटीकता से समझौता किए बिना कम लागत पर अधिक ट्रैफ़िक संभालते हैं।

GB200 NVL72 पर परिनियोजन

GB200 NVL72 रैक 18 नोड्स से बने होते हैं जिनमें 2 ARM-आधारित NVIDIA Grace CPU और 4 Blackwell-आधारित GPU होते हैं, जिनमें से प्रत्येक 180GB HBM से लैस होता है। 72 GPU NVLink और 18 NVLink स्विच ASIC के माध्यम से जुड़े होते हैं, जो किन्हीं दो पीयर के बीच 1800 GB/s बैंडविड्थ प्रदान करते हैं और ट्रिलियन-पैरामीटर मॉडल को होस्ट करने के लिए पर्याप्त मेमोरी साझा करते हैं। इसके अतिरिक्त, ConnectX-7 InfiniBand एडेप्टर रैक के नोड्स के भीतर और पड़ोसी रैक के बीच 400 Gb/s की अतिरिक्त बैंडविड्थ प्रदान करते हैं।

ट्रैफ़िक संभालने के लिए, हमने Qwen मॉडल को पोस्ट-ट्रेन और सर्व करने का विकल्प चुना। इस ब्लॉग पोस्ट में, हम Qwen3 235B पर ध्यान केंद्रित करते हैं, लेकिन चर्चा की गई कई सर्विंग तकनीकें और प्रदर्शन विशेषताएँ नए Qwen3.5 397B और 122B मॉडलों के समान हैं, जिन पर हम माइग्रेट कर रहे हैं। समानांतरवाद के संदर्भ में, रैखिक अटेंशन पूर्ण सेल्फ अटेंशन के समान है और मौजूदा MoE लेयर कार्यान्वयन को नए गेट टर्म्स को समायोजित करने के लिए आसानी से अनुकूलित किया जा सकता है। थ्रूपुट को अधिकतम करते हुए एक सुसंगत डिकोडिंग दर बनाए रखने के लिए, हमने प्रीफिल को डिकोड से अलग करने का विकल्प चुना है, जो दो प्रकार के नोड्स के लिए अलग-अलग समानांतर रणनीतियों को तैनात करता है। प्रीफेलर-से-डिकोडर संचार InfiniBand पर नियंत्रित किया जाता है, जबकि NVLink बैंडविड्थ प्रीफेलर और डिकोडर के भीतर संचार के लिए आरक्षित है। इस ब्लॉग पोस्ट में खोजे गए मैट्रिक्स गुणन और डिवाइस-मध्य संचार करते समय Blackwell डिवाइस की प्रदर्शन विशेषताएँ, उपयोग की जाने वाली शार्डिंग रणनीतियों को निर्धारित करती हैं। NVIDIA Hopper GPU की तुलना में, हम स्ट्रीमिंग मल्टीप्रोसेसर की अधिक संख्या, बढ़ी हुई मेमोरी बैंडविड्थ और कम पीयर-टू-पीयर लेटेंसी के कारण कर्नेल-दर-कर्नेल सुधार देखते हैं।

बड़ा करें

हमारा TransferEngine, जो अलग-थलग प्रीफिल को लागू करता है, ने प्रीफेलर और डिकोडर के बीच मनमाने और संभवतः बेमेल शार्डिंग को संभाला। KV कैश को मेमोरी में HND क्रम में रखा जाता है, जिसमें हेड्स अग्रणी आयाम में होते हैं और टोकन निरंतर रखे जाते हैं, ताकि प्रीफेलर पर एक शार्ड किए गए KV कैश को डिकोडर नोड में स्थानांतरण के दौरान आगे विभाजित या कॉन्कैटिनेट किया जा सके।

प्रीफेलर

प्रीफेलर नोड्स एक अनुरोध के इनपुट टोकन प्राप्त करते हैं, KV कैश को पॉप्युलेट करते हैं और टेक्स्ट जनरेशन जारी रखने के लिए उन्हें डिकोडर में स्थानांतरित करते हैं। प्रीफिल गणना-गहन है, क्योंकि एक अनुक्रम से संबंधित हजारों टोकन एक ही समय में संसाधित किए जाते हैं।

नतीजतन, हमने पाया कि एक टेंसर समानांतर परिनियोजन उपयुक्त है, जिसमें मॉडल को एक एकल GB200 नोड के भीतर 4 GPU पर शार्ड किया गया है और प्रोजेक्शन और एक्सपर्ट्स को शार्ड किया गया है (TP=4, EP=4)। चूंकि अटेंशन और MLP दोनों ही गणना-बाधित हैं, दोनों समानांतरवाद से लाभान्वित होते हैं, जो अलग-अलग रैंकों में एक्सपर्ट्स और अटेंशन हेड्स को वितरित करते हैं। आगे का समानांतरवाद कम लाभ देता, क्योंकि प्रत्येक रैंक पर कम एक्सपर्ट्स (32 के बजाय 16) को होस्ट करने से थ्रूपुट में सुधार 8-वे ऑल-रिड्यूस की अतिरिक्त लागत और ईथरनेट पर संचार की आवश्यकता वाले दो नोड्स के बीच होस्ट-साइड कोड को विभाजित करने के ओवरहेड की भरपाई नहीं कर पाता।

Qwen3 235B में केवल 4 key-value heads हैं, इसलिए यदि 8 devices का उपयोग किया जाए, तो k और v projections को ranks के जोड़ों में replicated करना आवश्यक है। हमने weights को प्रत्येक rank पर स्टोर करने के लिए आवश्यक memory की मात्रा को कम करने, और KV cache में अधिक tokens के लिए जगह खाली करने हेतु अधिक aggressive sharding पर विचार किया हो सकता था। हालांकि, हमने पाया कि अधिक व्यापक deployment लाभदायक नहीं था।

लगभग 6000 टोकन की इनपुट लंबाई मानते हुए, 128 एक्सपर्ट्स में से प्रत्येक के पास लगभग 6000 * 8 / 128 = 375 टोकन रूट किए जाते हैं, जो MoE GEMM के लिए एक सघन समस्या सुनिश्चित करते हैं। चूंकि यह पहले से ही डिवाइस के कम्प्यूटेशनल थ्रूपुट को संतृप्त करता है, इसलिए प्रीफिल के लिए डेटा समानांतरवाद की आवश्यकता नहीं है।

अटेंशन की द्विघातीय बढ़ती लागत के बावजूद, प्रीफेलर सुसंगत थ्रूपुट प्रदान करते हैं, जिससे एक सेकंड में एक नोड द्वारा संसाधित किए जा सकने वाले इनपुट टोकन की संख्या का अनुमान लगाया जा सकता है। अनुरोधों से इनपुट टोकन की कुल संख्या को ट्रैक करने वाले मेट्रिक्स पर भरोसा करते हुए, यह सुनिश्चित करने के लिए प्रीफेलर नोड्स की संख्या को बढ़ाया जा सकता है कि समग्र प्रीफिल थ्रूपुट तदनुसार आकार का हो। कतार से बचने के लिए, प्रीफेलर प्रतिकृतियों की संख्या प्राप्त इनपुट टोकन की कुल संख्या से मेल खाती है।

डिकोडर

डिकोडर नोड्स प्रीफेलर से KV कैश प्राप्त करते हैं और एक-एक करके टोकन उत्पन्न करते हैं। डिकोड आम तौर पर मेमोरी-बाधित होता है: कम इनपुट टोकन के साथ, मैट्रिक्स गुणन पूरी तरह से HBM से टेंसर कोर में वजन लोड करने की लागत से बाधित होता है। एक अलग शार्डिंग रणनीति को नियोजित करने के अलावा, गणनाओं और मेमोरी एक्सेस को बेहतर ढंग से समानांतर करने के लिए कई कर्नेल को ट्विक करना पड़ता है।

prefill के विपरीत, attention को sharding करना अब लाभकारी नहीं है: attention heads को कई devices में विभाजित करने का अर्थ होगा कि एक ही device के भीतर parallelism के अवसर कम रह जाते हैं। परिणामस्वरूप, केवल data parallelism और expert parallelism का उपयोग किया जाता है: experts को कई devices में sharded किया जाता है, लेकिन प्रत्येक device अपने KV caches और requests को स्वयं manage करता है। tensor parallelism के बिना, किसी device पर per-token KV cache size बड़ा होता है। हालांकि, एक ही node पर कम experts रखकर memory में space खाली हो जाता है। Hopper के विपरीत, जहाँ हमने 8-GPU node में single NVLink domain के भीतर tensor parallelism को सीमित किया था, Blackwell पर हमने पाया कि domain के भीतर कई nodes में, अधिकतम 16 devices का उपयोग करते हुए, विस्तार करना लाभकारी है।

थ्रूपुट को अधिकतम करने के लिए, डिकोडर एक साथ अधिक संख्या में अनुरोधों को संसाधित करते हैं। भले ही अतिरिक्त अनुरोध MoE लेयर्स और अन्य प्रोजेक्शन में न्यूनतम ओवरहेड उत्पन्न करते हैं, वे अटेंशन की लागत को असमान रूप से बढ़ाते हैं। एक उचित न्यूनतम डिकोडिंग गति बनाए रखने के लिए, प्रति-डिकोडर बैच आकार को एक निश्चित सीमा से नीचे रखने के लिए डिकोडर नोड्स की संख्या को बढ़ाया जाता है।

पिछले Hopper परिनियोजन के समान, हम डिकोडिंग दरों को बढ़ावा देने के लिए इन-हाउस प्रशिक्षित MTP लेयर्स के साथ सट्टा डिकोडिंग का उपयोग करते हैं। सौभाग्य से, अंतर्निहित हार्डवेयर और प्रोग्रामिंग फ्रेमवर्क दोनों आर्किटेक्चर के बीच कार्यान्वयन को पूरी तरह से साझा करने के लिए पर्याप्त समान हैं।

इंट्रा-नोड और इंटर-नोड संचार

GB200 NVL72 और पिछले Hopper नोड्स के बीच मुख्य अंतर बड़ा NVLink डोमेन है, जो 8 डिवाइसों की पिछली सीमा से परे पीयर-टू-पीयर संचार को सक्षम बनाता है। भले ही Blackwell डिवाइस 8-GPU नोड्स में तैनात किए गए हैं, धीमी InfiniBand नेटवर्क की तुलना में NVLink पर कई नोड्स में स्केलिंग में बहुत अधिक मूल्य है।

प्रीफेलर नोड्स पर, हम अटेंशन लेयर्स के भीतर ऑल-रिड्यूस संचार और एक एक्सपर्ट समानांतर रिडक्शन पर भरोसा करते हैं जो ऑल-रिड्यूस से मिलता-जुलता है। 4 GPU पर, हम NVLink और NVIDIA SHARP (स्केलेबल पदानुक्रमित एकत्रीकरण और रिडक्शन प्रोटोकॉल) दोनों का लाभ उठाते हैं: पीयर-टू-पीयर बैंडविड्थ के अलावा, हम लेटेंसी को और कम करने और तेज़ प्रसारण लागू करने के लिए NVLink स्विच में रिडक्शन का भी शोषण करते हैं। डिकोडर नोड्स पर, NVLink पर एक कस्टम ऑल-टू-ऑल डिस्पैच और कंबाइन कार्यान्वयन का उपयोग किया जाता है। कर्नेल को CuTeDSL और cuMem मैपिंग या मल्टीकास्ट मैपिंग का उपयोग करके इन-हाउस लागू किया गया है।

ऑल-रिड्यूस

प्रीफेलर अटेंशन लेयर के आउटपुट प्रोजेक्शन में एक ऑल-रिड्यूस ऑपरेशन करते हैं, जो भाग लेने वाले रैंकों में शार्ड किए गए हेड्स के योगदान को जोड़ते हैं। टेंसर समानांतरवाद केवल तब प्रभावी होता है जब ऑल-रिड्यूस ओवरहेड की लागत छोटी मैट्रिक्स गुणन समस्याओं की कम लेटेंसी द्वारा ऑफसेट होती है। यह धारणा आमतौर पर प्रीफिल के लिए सही होती है।

डेटासेंटर-ग्रेड NVIDIA HGX H200 और GB200 NVL72 सिस्टम पर, GPU आमतौर पर NVLink स्विच के माध्यम से जुड़े होते हैं। रूटिंग के अलावा, स्विच SHARP के माध्यम से जुड़े डिवाइसों में रिडक्शन ऑपरेशन कर सकते हैं। CUDA API का उपयोग करके मेमोरी मैपिंग बनाने और उन्हें मल्टीकास्ट समूह में पंजीकृत करने के बाद, कर्नेल स्विच के माध्यम से मानों को एकत्रित और प्रसारित करने के लिए multicast.ld_reduce और multicast.st का उपयोग कर सकते हैं। एक आधार और पुन: प्रयोज्य घटक बनाने के लिए जिन्हें अन्य कर्नेल में फ्यूज किया जा सकता है, हम आंतरिक रूप से इन प्रिमिटिव्स का उपयोग करके एक CuTeDSL ऑल-रिड्यूस कर्नेल बनाए रखते हैं।

N GPU वाले सिस्टम में B बाइट्स को कम करते हुए, एक सामान्य कार्यान्वयन में पीयर को सभी अन्य पीयर से मान लोड करने होंगे, जो कुल N * (N - 1) * B बाइट्स रीड ट्रैफ़िक के लिए होगा। एक अधिक कुशल कार्यान्वयन डेटा को पीयर में विभाजित करेगा, प्रत्येक इनपुट के एक हिस्से को कम करेगा, फिर इसे बाकी हिस्सों में प्रसारित करेगा। इसका परिणाम पीयर में रीड किए गए (N - 1) * (B / N) बाइट्स और बाकी हिस्सों में प्रसारण में होता है, जो कुल (N - 1) * B * 2 रीड और राइट के लिए होता है, जो स्विच पर ट्रैफ़िक को कम करता है।

बड़ा करें

SHARP के साथ, रिडक्शन और प्रसारण को अधिक कुशलता से किया जा सकता है: स्थानीय संचय के लिए डिवाइस में (N - 1) * (B / N) बाइट्स रीड करने के बजाय, स्विच से केवल B / N बाइट्स ले जाए जाते हैं, क्योंकि यह पीयर के डेटा का उपयोग करके रिडक्शन खुद करता है। प्रसारण के लिए, एक समान सुधार है, क्योंकि NVLink चैनलों पर GPU और स्विच के बीच लेनदेन की संख्या बहुत कम हो जाती है। SHARP के बिना, संचय करने वाला डिवाइस स्विच के साथ NVLink पर (N - 1) * (B / N) लेनदेन करेगा, स्विच पीयर से डेटा की समान मात्रा रीड करेगा, जो कुल 2 * (N - 1) * (B / N) लेनदेन के लिए होगा। SHARP के साथ, GPU और स्विच के बीच B / N लेनदेन किए जाते हैं, और पीयर के साथ एक और (N - 1) * (B / N) लेनदेन, जो कुल B लेनदेन के लिए होता है।

अपनी सादगी के कारण, SHARP एक मूल्यवान उपकरण है, क्योंकि यह एक एल्गोरिथ्म के लिए एक सीधा हार्डवेयर कार्यान्वयन प्रदान करता है। भले ही स्थानांतरण एक सैद्धांतिक N / (2 * (N - 1)) अंश (जो 4 पीयर के साथ 33% तक होता है) से कम हो जाते हैं, व्यवहार में हम H200 और GB200 NVL72 दोनों सिस्टम पर प्रीफिल और डिकोड लेटेंसी दोनों में 10% का सुधार देखते हैं।

बड़ा करें

MoE डिस्पैच - कंबाइन

MoE मॉडलों के लिए, डिस्पैच और कंबाइन कर्नेल पीयर के बीच बाद की MoE GEMM समस्याओं के लिए टोकन को स्थानांतरित और समूहबद्ध करते हैं, बाद में कंबाइन में एक भारित संचय करते हैं। हमने अपने मौजूदा डिस्पैच और कंबाइन कर्नेल को Blackwell के लिए अनुकूलित किया है, उन्हें CuTeDSL में पोर्ट करके, ब्लॉक आवंटन को ट्विक करके और प्रीफिल और डिकोड के बीच उन्हें आक्रामक रूप से विशेषीकृत करके।

एक्सपर्ट समानांतर

एक्सपर्ट समानांतर (EP) कर्नेल का उपयोग प्रीफेलर में किया जाता है। चूंकि इसके इनपुट सभी रैंकों में दोहराए जाते हैं, इसलिए डिस्पैच कर्नेल को केवल वर्तमान रैंक पर एक्सपर्ट्स को रूट किए गए टोकन का चयन करने की आवश्यकता होती है। यह रूटिंग जानकारी को एकत्रित करता है और टोकन को MoE GEMM के इनपुट के रूप में उपयोग किए जाने वाले बफ़र्स में तैयार करता है। कंबाइन कर्नेल पहले वर्तमान रैंक पर एक्सपर्ट्स को रूट किए गए टोकन के योगदान के बीच एक स्थानीय संचय करता है, फिर यह सभी रैंकों में एक ऑल-रिड्यूस करता है।

डिकोड के लिए, पूरा कर्नेल एक में फ्यूज हो जाता है। प्रीफिल कर्नेल को कई कर्नेल में विभाजित किया जाता है, क्योंकि रूटिंग और ऑल-रिड्यूस के लिए स्थानीय कंबाइन चरण की तुलना में कम ब्लॉक की आवश्यकता होती है। CuTeDSL के साथ, हम SHARP और NVLink ऑल-रिड्यूस और पीयर-टू-पीयर सिंक्रोनाइज़ेशन दोनों के लिए एक सामान्य लाइब्रेरी बना सकते हैं, इसे ऑल-रिड्यूस और एक्सपर्ट समानांतर कर्नेल दोनों में संयोजित कर सकते हैं।

बड़ा करें

प्रदर्शन-वार, हम देखते हैं कि Blackwell, Hopper की तुलना में काफी तेज़ है, बेहतर स्थानांतरण गति, उच्च मेमोरी बैंडविड्थ और बेहतर कम्प्यूटेशनल थ्रूपुट के कारण। GB200s (EP=8) पर 8 डिवाइसों और कई नोड्स में शार्ड किए जाने पर, कर्नेल तेज़ हो जाते हैं क्योंकि स्थानीय संचय प्रत्येक डिवाइस पर बहुत कम टोकन पर चलता है और, SHARP के साथ, अधिक रैंकों में रिडक्शन की लागत बेहतर पैमाने पर होती है। हालांकि, व्यवहार में, हम समानांतरवाद को 4 डिवाइसों तक सीमित रखते हैं, क्योंकि ये गति सभी कर्नेल में सार्वभौमिक नहीं हैं।

डेटा समानांतर और एक्सपर्ट समानांतर

डेटा समानांतर और एक्सपर्ट समानांतर (DP-EP) कर्नेल का उपयोग डेटा समानांतर डिकोडर में किया जाता है। यह सभी रैंकों से एक्सपर्ट्स को अलग-अलग टोकन प्रसारित करता है, परिणामों को मूल रैंकों में स्थानांतरित करता है और उन्हें संचित करता है। चूंकि यह एक विरल ऑल-टू-ऑल समस्या को लागू करता है, इसलिए यह पूरी तरह से NVLink पर निर्भर करता है।

Hopper पर, यह कर्नेल एक एकल नोड के NVLink डोमेन के भीतर 8 डिवाइसों तक सीमित है। हालांकि, GB200 सिस्टम पर हम इसे पूरे रैक में स्केल कर सकते हैं। अधिकांश कोड का पुन: उपयोग किया जाता है। एकमात्र अंतर प्रारंभिक सेटअप के लिए IMEX पर पीयर जानकारी का आदान-प्रदान करने के लिए fabric हैंडल का उपयोग है।

बड़ा करें

चूंकि डिकोड के दौरान होने वाले स्थानांतरण आकार छोटे होते हैं, वे NVLink बैंडविड्थ को संतृप्त करने से बहुत दूर होते हैं और इसके बजाय लेटेंसी-सीमित होते हैं। लेटेंसी माइक्रोसेकंड के दसवें हिस्से में है और पीयर की संख्या बढ़ने पर अपेक्षाकृत स्थिर रहती है, जिससे हमें महत्वपूर्ण अतिरिक्त लेटेंसी के बिना डिवाइसों की एक बड़ी संख्या में परिनियोजन फैलाने की अनुमति मिलती है।

MoE GEMM

MoE मॉडल एक्सपर्ट समानांतरवाद से लाभान्वित होते हैं, क्योंकि सभी टोकन को सभी एक्सपर्ट्स के साथ गुणा करने की लागत को कई डिवाइसों में आसानी से समानांतर किया जा सकता है। प्रीफेलर पर टेंसर समानांतरवाद के साथ, सघन समस्याओं पर लाभ काफी सीधा है, क्योंकि प्रत्येक रैंक को अब कम गणना करने की आवश्यकता है। डिकोड मामले में, डेटा समानांतरवाद एक्सपर्ट समानांतरवाद के शीर्ष पर एक अतिरिक्त लाभ प्रदान करता है, क्योंकि समानांतर अनुरोधों की बड़ी संख्या प्रत्येक एक्सपर्ट को अधिक टोकन रूट करती है, जिससे समस्याएं सघन हो जाती हैं।

हमारे कार्यान्वयन में, हम वर्तमान में मैट्रिक्स गुणन के लिए CUTLASS CUDA/C++ कर्नेल पर निर्भर हैं। हमने डिकोडर के लिए इष्टतम शार्डिंग रणनीति तय करने के लिए विभिन्न क्वांटाइजेशन योजनाओं और समानांतरवाद के स्तरों के साथ विरल डिकोड इनपुट पर उनका बेंचमार्क किया। नीचे दिए गए बेंचमार्क में, सभी एक्सपर्ट्स को एक टोकन के साथ सक्रिय किया जाता है।

बड़ा करें

हमने पाया कि 128 एक्सपर्ट्स को 16 से अधिक रैंकों में स्केल करने से CUTLASS के साथ कम लाभ मिलता है, क्योंकि 2 एक्सपर्ट्स को गुणा करने की लागत 4 को गुणा करने से काफी कम नहीं है। Blackwell पर Hopper की तुलना में स्पष्ट सुधार है, उप-इष्टतम ब्लॉक स्केलिंग रणनीति पर भी। चूंकि EP=8 और EP=16 के बीच डिस्पैच/कंबाइन की लेटेंसी वृद्धि 5 us है, जो GEMM की लागत में 10 us से अधिक की कमी से कम है, GB200 सिस्टम पर, 16 रैंकों में डिकोडर को शार्ड करना उचित है, जैसा कि एंड-टू-एंड बेंचमार्क द्वारा भी पुष्टि की गई है।

क्वांटाइजेशन

Blackwell नए 8-bit और 4-bit quantization schemes के लिए hardware support प्रदान करता है। Hopper के विपरीत, जो per-tensor या per-block scaling scaling factors पर निर्भर था, Blackwell को सर्वोत्तम prefill और decode throughput प्राप्त करने के लिए microscaling की आवश्यकता होती है। DeepSeek या Kimi जैसे models के लिए उपयोग की जाने वाली block scaling scheme उपलब्ध है, लेकिन microscaling अधिक efficient है।

हमने MXFP8 क्वांटाइजेशन योजना के साथ Qwen3 235B को तैनात किया है, मॉडल को फाइन-ट्यून करने के बाद वजन को स्थिर रूप से परिवर्तित किया है। सटीकता प्रभाव स्टोकेस्टिक क्वांटाइजेशन के साथ ब्लॉक स्केलिंग के प्रभाव के समान था, लेकिन प्रदान किया गया प्रदर्शन बहुत बेहतर था, जैसा कि MoE GEMM माइक्रोबेंचमार्क द्वारा चित्रित किया गया है। हमने MXFP4 और NVFP4 क्वांटाइजेशन योजनाओं पर भी विचार किया है, हालांकि क्वांटाइजेशन-अवेयर ट्रेनिंग के बिना सटीकता प्रभाव Hopper से Blackwell में प्रारंभिक संक्रमण के लिए बहुत महत्वपूर्ण था। हम भविष्य के काम में इन प्रारूपों का अधिक गहनता से पता लगाने की योजना बना रहे हैं।

एंड-टू-एंड प्रदर्शन

हमने Blackwell Qwen3 235B परिनियोजन के डिकोडर को बेंचमार्क किया और उनकी तुलना अपने पिछले Hopper परिनियोजन से की। इस सेटअप में, हमने समानांतरवाद के प्रभाव पर ध्यान केंद्रित करने के लिए दोनों परिनियोजन में ब्लॉक स्केलिंग पर विचार किया। डिकोड प्रदर्शन को अलग करने के लिए दोनों आर्किटेक्चर के लिए TP=4 प्रीफेलर को अलग किया गया था। नीचे दिया गया आंकड़ा हमारी MTP लेयर्स द्वारा प्रदान की गई एक यथार्थवादी ड्राफ्ट स्वीकृति दर को मानते हुए डिकोडिंग थ्रूपुट को दर्शाता है।

बड़ा करें

Hopper पर, 8 GPU से अधिक परिनियोजन को शार्ड करना व्यवहार्य नहीं है, क्योंकि InfiniBand पर लेटेंसी, विशेष रूप से EFA एडेप्टर पर, काफी धीमी है। हालांकि, Blackwell पर, हम बड़े NVLink डोमेन के कारण काफी अधिक थ्रूपुट प्राप्त करते हैं।

हमने मौजूदा Hopper कर्नेल को सामान्य करके और NVLink-आधारित कर्नेल के प्रदर्शन को बढ़ाकर एक प्रारंभिक Blackwell कार्यान्वयन प्राप्त किया। हम क्वांटाइजेशन में सुधार करके और पाइपलाइन में अन्य कर्नेल के डिकोड प्रदर्शन और प्रीफिल थ्रूपुट को फाइन-ट्यून करके Qwen की सर्विंग लागत को और कम करेंगे।

संदर्भ

Transfer Engine ब्लॉग पोस्ट

CuTeDSL ब्लॉग पोस्ट

Prefill-Disagg ब्लॉग पोस्ट

सट्टा डिकोडिंग ब्लॉग पोस्ट

CUTLASS

NVLink

उद्धरण

@online{perplexity2026HostingQwenOnBlackwell,
  author = {{Perplexity} and Nandor Licker and Kevin Hu and Bex Brooker and Erin McKnight},
  title = {{Hosting Qwen on Blackwell}},
  date = {2026-05-12},
  url = {https://www.perplexity.ai/hub/blog/hosting-qwen-on-blackwell}
}