Blackwell இல் Qwen ஐ ஹோஸ்ட் செய்தல்

NVIDIA GB200 NVL72 ரேக்குகளில் Qwen3 235B-க்கு எவ்வாறு சேவை செய்வது, மாதிரி துல்லியத்தைப் பாதுகாக்கும் அதே வேளையில் இன்ஃபரன்ஸ் செலவைக் குறைப்பது.

ஆசிரியர்கள்Perplexity Research

72-வழி NVLink மூலம் இணைக்கப்பட்ட NVIDIA Blackwell GPU-களைக் கொண்ட NVIDIA GB200 NVL72 ரேக்குகள், பெரிய கலவை-நிபுணர் (MoE) மாதிரிகளைப் பயன்படுத்துவதற்கு மிகவும் பொருத்தமானவை. இந்த வலைப்பதிவு இடுகையில், Perplexity-இன் போக்குவரத்தின் ஒரு பகுதியை ஆதரிக்கும் பயிற்சிக்குப் பிந்தைய Qwen3 235B மாதிரிகளுக்கு சேவை செய்யும் இன்ஃபரன்ஸ் அமைப்பை நாங்கள் விவரிக்கிறோம். NVIDIA Blackwell GPU-களின் மேம்பட்ட டென்சர் கோர்கள் மற்றும் உயர் வேக இணைப்பைப் பயன்படுத்த எங்கள் இன்-ஹவுஸ் இன்ஃபரன்ஸ் இன்ஜினை எவ்வாறு மாற்றியமைத்தோம் என்பதைக் காட்டுகிறோம். இந்த வன்பொருள் மூலம், அடிப்படை மாதிரிகளின் துல்லியத்தைத் தியாகம் செய்யாமல் குறைந்த செலவில் அதிக போக்குவரத்தைக் கையாளுகிறோம்.

GB200 NVL72 இல் வரிசைப்படுத்துதல்

GB200 NVL72 ரேக்குகள் 18 முனைகளைக் கொண்டுள்ளன, இதில் 2 ARM அடிப்படையிலான NVIDIA Grace CPU-கள் மற்றும் 4 Blackwell அடிப்படையிலான GPU-கள் உள்ளன, ஒவ்வொன்றும் 180GB HBM-ஐக் கொண்டுள்ளன. 72 GPU-கள் NVLink மற்றும் 18 NVLink Switch ASIC-கள் மூலம் இணைக்கப்பட்டுள்ளன, இது எந்த இரண்டு பியர்களுக்கும் இடையில் 1800 GB/s அலைவரிசையை வழங்குகிறது மற்றும் டிரில்லியன் அளவுரு மாதிரிகளை ஹோஸ்ட் செய்ய போதுமான நினைவகத்தைப் பகிர்ந்து கொள்கிறது. கூடுதலாக, ConnectX-7 InfiniBand அடாப்டர்கள் ஒரு ரேக்கின் முனைகளுக்குள்ளும் மற்றும் அருகிலுள்ள ரேக்குகளிலும் கூடுதல் 400 Gb/s அலைவரிசையை வழங்குகின்றன.

போக்குவரத்தைக் கையாள, நாங்கள் Qwen மாதிரிகளுக்குப் பயிற்சிக்குப் பிந்தைய பயிற்சி அளித்து சேவை செய்யத் தேர்ந்தெடுத்தோம். இந்த வலைப்பதிவு இடுகையில், நாங்கள் Qwen3 235B-ஐ மையமாகக் கொண்டுள்ளோம், ஆனால் விவாதிக்கப்பட்ட பல சேவை நுட்பங்கள் மற்றும் செயல்திறன் பண்புகள் புதிய Qwen3.5 397B மற்றும் 122B மாதிரிகளைப் போன்றது, நாங்கள் இடம்பெயர்கிறோம். இணக்கத்தன்மையைப் பொறுத்தவரை, நேரியல் கவனம் முழு சுய கவனத்தைப் போன்றது மற்றும் புதிய கேட் டெர்ம்களுக்கு இடமளிக்கும் வகையில் ஏற்கனவே இருக்கும் MoE லேயர் செயலாக்கத்தை எளிதாக மாற்றியமைக்க முடியும். செயல்திறனை அதிகரிக்கும் போது நிலையான டிகோடிங் வீதத்தைப் பராமரிக்க, முன்கூட்டியே நிரப்புவதை (prefill) டிகோடிங்கிலிருந்து பிரிக்க நாங்கள் தேர்ந்தெடுத்துள்ளோம், இரண்டு வகையான முனைகளுக்கும் வெவ்வேறு இணக்கத்தன்மை உத்திகளைப் பயன்படுத்துகிறோம். ப்ரீஃபில்லர்-டு-டிகோடர் தொடர்பு InfiniBand வழியாகக் கையாளப்படுகிறது, அதே நேரத்தில் NVLink அலைவரிசையானது ப்ரீஃபில்லர்கள் மற்றும் டிகோடர்களுக்குள்ளான தொடர்புக்காக ஒதுக்கப்பட்டுள்ளது. இந்த வலைப்பதிவு இடுகையில் ஆராயப்பட்ட மேட்ரிக்ஸ் பெருக்கல் மற்றும் சாதனங்களுக்கு இடையேயான தொடர்பைச் செய்யும் போது பிளாக்வெல் சாதனங்களின் செயல்திறன் பண்புகள், பயன்படுத்தப்படும் ஷார்டிங் உத்திகளைத் தீர்மானிக்கின்றன. NVIDIA Hopper GPU-களுடன் ஒப்பிடுகையில், அதிக எண்ணிக்கையிலான ஸ்ட்ரீமிங் மல்டிபிராசசர்கள், அதிகரிக்கப்பட்ட நினைவக அலைவரிசை மற்றும் குறைந்த பியர்-டு-பியர் தாமதங்கள் காரணமாக கர்னல் வாரியாக மேம்பாடுகளைக் காண்கிறோம்.

பிரிப்பான்கள் மற்றும் டிகோடர்களுக்கு இடையில் InfiniBand மற்றும் ஒவ்வொரு deployment-இன் உள்ளேயும் NVLink உடன், பிரிக்கப்பட்ட prefill மற்றும் decode.

பிரிக்கப்பட்ட ப்ரீஃபில்லைச் செயல்படுத்தும் எங்களது TransferEngine, ப்ரீஃபில்லர்கள் மற்றும் டிகோடர்கள் முழுவதும் தன்னிச்சையான மற்றும் பொருந்தாத ஷார்டிங்கைக் கையாண்டது. KV கேச் நினைவகத்தில் HND வரிசையில் அமைக்கப்பட்டுள்ளது, முன்னணி பரிமாணத்தில் ஹெட்களும் டோக்கன்கள் தொடர்ச்சியாகவும் வைக்கப்படுகின்றன, இதனால் ஒரு ப்ரீஃபில்லரில் உள்ள ஷார்டிங் செய்யப்பட்ட KV கேச் டிகோடர் முனனுக்கான பரிமாற்றத்தின் போது விமானத்தில் மேலும் பிரிக்கப்படலாம் அல்லது இணைக்கப்படலாம்.

ப்ரீஃபில்லர்கள்

ப்ரீஃபில்லர் முனைகள் ஒரு கோரிக்கையின் உள்ளீட்டு டோக்கன்களைப் பெறுகின்றன, KV கேச்சுகளை நிரப்புகின்றன மற்றும் உரை உருவாக்கத்தைத் தொடர அவற்றை டிகோடர்களுக்கு மாற்றுகின்றன. ஒரு வரிசைக்குச் சொந்தமான ஆயிரக்கணக்கான டோக்கன்கள் ஒரே நேரத்தில் செயலாக்கப்படுவதால், ப்ரீஃபில் கணினி ரீதியாக தீவிரமானது.

இதன் விளைவாக, டென்சர் இணக்கமான வரிசைப்படுத்தல் பொருத்தமானது என்பதைக் கண்டறிந்தோம், மாடல் ஒரு GB200 முனையில் உள்ள 4 GPU-களில் ஷார்டிங் செய்யப்பட்டுள்ளது மற்றும் கணிப்புகளும் நிபுணர்களும் ஷார்டிங் செய்யப்பட்டுள்ளனர் (TP=4, EP=4). கவனம் மற்றும் MLP-கள் இரண்டும் கணக்கீட்டுடன் பிணைக்கப்பட்டுள்ளதால், இரண்டும் இணக்கத்தன்மையிலிருந்து பயனடைகின்றன, நிபுணர்களையும் கவனம் செலுத்தும் ஹெட்களையும் தனித்த ரேக்குகளில் விநியோகிக்கின்றன. ஒவ்வொரு ரேக்கிலும் குறைவான நிபுணர்களை ஹோஸ்ட் செய்வதன் மூலம் கிடைக்கும் த்ரூபுட் மேம்பாடு (32-க்கு எதிராக 16) 8-வழி ஆல்-ரெடியூஸின் கூடுதல் செலவையும், இரண்டு முனைகளில் ஹோஸ்ட்-சைடு குறியீட்டைப் பிரிப்பதன் மேல்நிலைச் செலவையும் ஈடுகட்டாது என்பதால், மேலும் இணக்கத்தன்மை குறைந்துவரும் வருவாயை அளித்திருக்கும், இதன் மூலம் ஈத்தர்நெட் வழியாகத் தொடர்பு தேவைப்படுகிறது.

Qwen3 235B இல் 4 முக்கிய-மதிப்பு ஹெட்கள் மட்டுமே உள்ளன, 8 சாதனங்கள் பயன்படுத்தப்பட்டால் k மற்றும் v கணிப்புகள் ரேக்குகளின் ஜோடிகளில் நகலெடுக்கப்பட வேண்டும். ஒவ்வொரு ரேக்கிலும் எடைகளைச் சேமிக்கத் தேவையான நினைவகத்தின் அளவைக் குறைக்க மேலும் ஆக்ரோஷமான ஷார்டிங்கைக் கருதியிருக்கலாம், இது KV கேச்சில் அதிக டோக்கன்களுக்கு இடத்தை விடுவிக்கிறது. இருப்பினும், பரந்த வரிசைப்படுத்தல் மதிப்புக்குரியது அல்ல என்பதைக் கண்டறிந்தோம்.

சுமார் 6000 டோக்கன்களின் உள்ளீட்டு நீளத்தைக் கருதி, 128 நிபுணர்களில் ஒவ்வொருவருக்கும் சுமார் 6000 * 8 / 128 = 375 டோக்கன்கள் அனுப்பப்படுகின்றன, இது MoE GEMM-க்கு அடர்த்தியான சிக்கலை உறுதி செய்கிறது. இது ஏற்கனவே சாதனத்தின் கணக்கீட்டுத் த்ரூபுட்டை நிரப்புவதால், ப்ரீஃபில்லுக்கு தரவு இணக்கத்தன்மை தேவையில்லை.

கவனத்தின் இருமடி அதிகரிக்கும் செலவு இருந்தபோதிலும், ப்ரீஃபில்லர்கள் நிலையான த்ரூபுட்டை வழங்குகின்றன, இது ஒரு முனையால் ஒரு வினாடியில் செயலாக்கக்கூடிய உள்ளீட்டு டோக்கன்களின் எண்ணிக்கையின் தோராயமான மதிப்பீட்டை அனுமதிக்கிறது. கோரிக்கைகளிலிருந்து कुल உள்ளீட்டு டோக்கன்களின் எண்ணிக்கையைக் கண்காணிக்கும் மெட்ரிகர்களை நம்பி, ஒட்டுமொத்த ப்ரீஃபில் த்ரூபுட் அதற்கேற்ப அளவிடப்படுவதை உறுதிசெய்ய ப்ரீஃபில்லர் முனைகளின் எண்ணிக்கையை அளவிடலாம். வரிசைப்படுத்துவதைத் தவிர்க்க, பெறப்பட்ட உள்ளீட்டு டோக்கன்களின் மொத்த எண்ணிக்கைக்கு ப்ரீஃபில்லர் பிரதிகளின் எண்ணிக்கை பொருத்தப்படுகிறது.

டிகோடர்கள்

டிகோடட் முனைகள் ப்ரீஃபில்லர்களிடமிருந்து KV கேச்சைப் பெற்று, டோக்கன்களை ஒவ்வொன்றாக உருவாக்குகின்றன. டிகோட் பொதுவாக நினைவகத்தால் கட்டுப்படுத்தப்படுகிறது: சில உள்ளீட்டு டோக்கன்களுடன், மேட்ரிக்ஸ் பெருக்கல் முழுவதுமாக HBM- இலிருந்து டென்சர் கோர்களுக்கு எடைகளை ஏற்றுவதன் செலவால் கட்டுப்படுத்தப்படுகிறது. வெவ்வேறு ஷார்டிங் உத்தியைப் பயன்படுத்துவதைத் தவிர, கணக்கீடுகள் மற்றும் நினைவக அணுகல்களை சிறப்பாக இணையாகச் செய்ய பல கர்னல்கள் ட்வீக் செய்யப்பட வேண்டும்.

ப்ரீஃபில் போலல்லாமல், ஷார்டிங் கவனத்திற்கு இனி பயனில்லை: பல சாதனங்களில் கவனம் செலுத்தும் ஹெட்களைப் பிரிப்பது என்பது ஒற்றை சாதனத்திற்குள் இணக்கத்தன்மைக்கான வாய்ப்புகள் குறைவு என்பதாகும். இதன் விளைவாக, தரவு இணக்கத்தன்மை மற்றும் நிபுணர் இணக்கத்தன்மை மட்டுமே பயன்படுத்தப்படுகின்றன: நிபுணர்கள் பல சாதனங்களில் ஷார்டிங் செய்யப்படுகிறார்கள், ஆனால் ஒவ்வொரு சாதனமும் அதன் சொந்த KV கேச்சுகளையும் கோரிக்கைகளையும் நிர்வகிக்கிறது. டென்சர் இணக்கத்தன்மை இல்லாமல், ஒரு சாதனத்தில் உள்ள பெர்-டோக்கன் KV கேச் அளவு பெரியது. இருப்பினும், ஒற்றை முனையில் குறைவான நிபுணர்களை வைப்பதன் மூலம் நினைவகத்தில் ஸ்பேஸ் விடுவிக்கப்படுகிறாது. 8-GPU முனையில் ஒற்றை NVLink டொமைனுக்குள் டென்சர் இணக்கத்தன்மையை நாங்கள் கட்டுப்படுத்திய Hopper போலல்லாமல், Blackwell-ல் ஒரு டொமைனுக்குள் பல முனைகளில் விரிவுபடுத்துவது, 16 சாதனங்கள் வரை பயன்படுத்துவது பயனுள்ளதாக இருப்பதைக் கண்டோம்.

த்ரூபுட்டை அதிகரிக்க, டிகோடர்கள் அதிக எண்ணிக்கையிலான கோரிக்கைகளை ஒரே நேரத்தில் செயலாக்குகின்றன. கூடுதல் கோரிக்கைகள் MoE லேயர்கள் மற்றும் பிற கணிப்புகளில் குறைந்தபட்ச மேல்நிலையை ஏற்படுத்தினாலும், அவை கவனத்தின் விலையை விகிதாசாரமாக அதிகரிக்கின்றன. நியாயமான குறைந்தபட்ச டிகோடிங் வேகத்தைப் பராமரிக்க, பெர்-டிகோடர் தொகுதி அளவுகளை ஒரு குறிப்பிட்ட வாசலுக்குள் வைத்திருக்க டிகோடட் முனைகளின் எண்ணிக்கை அளவிடப்படுகிறது.

முந்தைய Hopper வரிசைப்படுத்தல்களைப் போலவே, டிகோடிங் விகிதங்களை அதிகரிக்க இன்-ஹவுஸ் பயிற்சி பெற்ற MTP லேயர்களுடன் கூடிய ஸ்பெகுலேட்டிவ் டிகோடிங்கைப் பயன்படுத்துகிறோம். அதிர்ஷ்டவசமாக, அடிப்படை வன்பொருள் மற்றும் நிரலாக்க கட்டமைப்புகள் இரண்டு கட்டமைப்புகளுக்கும் இடையில் செயலாக்கத்தை முழுமையாகப் பகிர்ந்து கொள்ளும் அளவுக்கு ஒத்தவை.

முனைக்குள் மற்றும் முனைகளுக்கு இடையேயான தொடர்பு

GB200 NVL72 மற்றும் முந்தைய Hopper முனைகளுக்கு இடையேயான முக்கிய வேறுபாடு பெரிய NVLink டொமைன் ஆகும், இது முந்தைய 8 சாதனங்களின் வரம்பிற்கு அப்பால் பியர்-டு-பியர் தொடர்பை செயல்படுத்துகிறது. Blackwell சாதனங்கள் 8-GPU முனைகளில் பயன்படுத்தப்பட்டிருந்தாலும், மெதுவான InfiniBand நெட்வொர்க்குடன் ஒப்பிடும்போது NVLink இல் பல முனைகளில் அளவிடுவது நிறைய மதிப்பை அளிக்கிறது.

ப்ரீஃபில்லர் முனைகளில், கவன லேயர்களுக்குள்ளான ஆல்-ரெடியூஸ் தொடர்பையும், ஆல்-ரெடியூஸை உன்னிப்பாகப் ஒத்திருக்கும் ஒரு நிபுணர் இணையான குறைப்பையும் நம்பியுள்ளோம். 4 GPU-களில், நாங்கள் NVLink மற்றும் NVIDIA SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) இரண்டையும் பயன்படுத்துகிறோம்: பியர்-டு-பியர் அலைவரிசைக்கு கூடுதலாக, தாமதங்களை மேலும் குறைக்க மற்றும் வேகமான பிராட்காஸ்ட்களைச் செயல்படுத்த NVLink ஸ்விட்ச்களில் உள்ள குறைப்புகளையும் பயன்படுத்துகிறோம். டிகோடட் முனைகளில், NVLink மீது ஒரு தனிப்பயன் ஆல்-டு-ஆல் டிஸ்பாட்ச் மற்றும் இணைத்தல் செயலாக்கம் பயன்படுத்தப்படுகிறது. CuTeDSL மற்றும் cuMem மேப்பிங்குகள் அல்லது மல்டிகாஸ்ட் மேப்பிங்குகளைப் பயன்படுத்தி கர்னல்கள் இன்-ஹவுஸாக செயல்படுத்தப்பட்டுள்ளன.

ஆல்-ரெடியூஸ்

ப்ரீஃபில்லர்கள் கவன லேயரின் வெளியீட்டு கணிப்பில் ஆல்-ரெடியூஸ் செயல்பாட்டைச் செய்கிறார்கள், பங்கேற்கும் ரேக்குகள் முழுவதும் ஷார்டிங் செய்யப்பட்ட ஹெட்களின் பங்களிப்புகளைச் சேர்க்கிறார்கள். சிறிய மேட்ரிக்ஸ் பெருக்கல் சிக்கல்களின் குறைக்கப்பட்ட தாமதத்தால் ஆல்-ரெடியூஸ் மேல்நிலையின் செலவு ஈடுகட்டப்படும் போது மட்டுமே டென்சர் இணக்கத்தன்மை பயனுள்ளதாக இருக்கும். இந்த அனுமானம் பொதுவாக ப்ரீஃபில்லுக்குப் பொருந்தும்.

டேட்டாக்சென்டர்-கிரேட் NVIDIA HGX H200 மற்றும் GB200 NVL72 அமைப்புகளில், GPU-கள் பொதுவாக NVLink ஸ்விட்ச்கள் மூலம் இணைக்கப்பட்டுள்ளன. ரூட்டிங் தவிர, ஸ்விட்சுகள் SHARP வழியாக இணைக்கப்பட்ட சாதனங்கள் முழுவதும் குறைப்பு செயல்பாடுகளைச் செய்ய முடியும். நினைவக மேப்பிங்குகளை உருவாக்கி, CUDA API-களைப் பயன்படுத்தி மல்டிகாஸ்ட் குழுவில் பதிவு செய்த பிறகு, கர்னல்கள் ஸ்விட்சுகள் மூலம் மதிப்புகளைத் திரட்டவும் பிராட்காஸ்ட் செய்யவும் multicast.ld_reduce மற்றும் multicast.st ஐப் பயன்படுத்தலாம். பிற கர்னல்களில் இணைக்கப்படக்கூடிய ஒரு அடித்தளம் மற்றும் மீண்டும் பயன்படுத்தக்கூடிய கூறுகளை உருவாக்க, இந்த ப்ரிமிடிவ்களைப் பயன்படுத்தி உள்நாட்டில் CuTeDSL ஆல்-ரெடியூஸ் கர்னலைப் பராமரிக்கிறோம்.

B பைட்டுகளைக் குறைக்கும் N GPU-களைக் கொண்ட ஒரு அமைப்பில், ஒரு சாதாரண செயலாக்கம் அனைத்து பிற பியர்களிடமிருந்தும் பியர் லோட் மதிப்புகளைக் கொண்டிருக்கும், மொத்தம் N * (N - 1) * B பைட்டுகள் ரீட் டிராஃபிக். மிகவும் திறமையான செயலாக்கம் குறைக்கப்பட வேண்டிய தரவை பியர்கள் முழுவதும் பிரிக்கும், ஒவ்வொன்றும் உள்ளீட்டின் ஒரு துண்டைக் குறைக்கும், பின்னர் அதை மற்றவைகளுக்கு பிராட்காஸ்ட் செய்யும். இதன் விளைவாக (N - 1) * (B / N) பைட்டுகள் ஒரு பியரில் படிக்கப்பட்டு மற்றவைகளுக்கு பிராட்காஸ்ட் செய்யப்படுகின்றன, மொத்தம் (N - 1) * B * 2 ரீட்கள் மற்றும் ரைட்கள், ஸ்விட்சுகள் மீதான டிராஃபிக்கைக் குறைக்கின்றன.

GPU-பக்கக் கூட்டுத்தொகை மற்றும் switch-உதவிய குறைப்புடன் NVSwitch all-reduce traffic.

SHARP மூலம், குறைப்பு மற்றும் பிராட்காஸ்ட் மிகவும் திறமையாகச் செய்யப்படலாம்: உள்ளூர் குவிப்புக்காக ஒரு சாதனத்தில் (N - 1) * (B / N) பைட்டுகளைப் படிப்பதற்குப் பதிலாக, ஸ்விட்சிலிருந்து B / N மட்டுமே நகர்த்தப்படும், ஏனெனில் அது பியர்களிடமிருந்து தரவைப் பயன்படுத்தி குறைப்பைத் தானே செய்கிறது. பிராட்காஸ்டைப் பொறுத்தவரை, ஒரு GPU மற்றும் NVLink சேனல்கள் வழியாக ஸ்விட்சுக்கும் இடையேயான பரிவர்த்தனைகளின் எண்ணிக்கை கணிசமாகக் குறைக்கப்படுவதால், இதே போன்ற முன்னேற்றம் உள்ளது. SHARP இல்லாமல், திரட்டும் சாதனம் ஸ்விட்சுடன் NVLink மூலம் (N - 1) * (B / N) பரிவர்த்தனைகளைச் செய்யும், ஸ்விட்ச் பியர்களிடமிருந்து அதே அளவு தரவைப் படிக்கும், மொத்தம் 2 * (N - 1) * (B / N) பரிவர்த்தனைகள். SHARP உடன், GPU மற்றும் ஸ்விட்சுக்கும் இடையில் B / N பரிவர்த்தனைகளும், பியர்களுடன் மேலும் (N - 1) * (B / N) பரிவர்த்தனைகளும் செய்யப்படுகின்றன, மொத்தம் B பரிவர்த்தனைகள்.

அதன் எளிமை காரணமாக, SHARP ஒரு மதிப்புமிக்க கருவியாகும், ஏனெனில் இது ஒரு அல்காரிதம்க்கான நேரடியான வன்பொருள் செயலாக்கத்தை வழங்குகிறது. இடமாற்றங்கள் தத்துவார்த்த N / (2 * (N - 1)) பின்னத்தால் (இது 4 பியர்களுடன் 33% என மதிப்பிடப்படுகிறது) குறைக்கப்பட்டாலும், நடைமுறையில் H200 மற்றும் GB200 NVL72 அமைப்புகளில் ப்ரீஃபில் மற்றும் டிகோட் தாமதங்கள் இரண்டிலும் 10% மேம்பாட்டைக் காண்கிறோம்.

TP=4 மற்றும் 16K tokens-இல் H200 மற்றும் GB200-இல் NVLink மற்றும் NVLS dispatch latency.

MoE டிஸ்பாட்ச் - கம்பைன்

MoE மாதிரிகளுக்கு, டிஸ்பாட்ச் மற்றும் கம்பைன் கர்னல்கள் பியர்களுக்கு இடையே உள்ள அடுத்தடுத்த MoE GEMM சிக்கல்களுக்காக டோக்கன்களை நகர்த்தி குழுவாக்குகின்றன, கம்பைனில் பின்னர் எடையிடப்பட்ட திரட்சியைச் செய்கின்றன. எங்கள் ஏற்கனவே உள்ள டிஸ்பாட்ச் மற்றும் கம்பைன் கர்னல்களை CuTeDSL-க்கு போர்ட் செய்வதன் மூலமும், பிளாக் ஒதுக்கீடுகளை ட்வீக் செய்வதன் மூலமும், ப்ரீஃபில் மற்றும் டிகோட்டுக்கு இடையில் அவற்றை ஆக்ரோஷமாகச் சிறப்பு செய்வதன் மூலமும் Blackwell-க்கு மாற்றியமைத்துள்ளோம்.

நிபுணர் இணக்கத்தன்மை

நிபுணர் இணக்கமான (EP) கர்னல் ப்ரீஃபில்லர்களில் பயன்படுத்தப்படுகிறது. அதன் உள்ளீடுகள் அனைத்து ரேக்குகளிலும் நகலெடுக்கப்படுவதால், தற்போதைய ரேக்கில் உள்ள நிபுணர்களுக்கு அனுப்பப்பட்ட டோக்கன்களை டிஸ்பாட்ச் கர்னல் வெறுமனே தேர்ந்தெடுக்க வேண்டும். இது ரூட்டிங் தகவலைத் திரட்டி, MoE GEMM-க்கான உள்ளீடுகளாகப் பயன்படுத்தப்படும் பஃபர்களில் டோக்கன்களைத் தயார் செய்கிறது. கம்பைன் கர்னல் முதலில் தற்போதைய ரேக்கில் உள்ள நிபுணர்களுக்கு அனுப்பப்பட்ட டோக்கன்களின் பங்களிப்புகளுக்கு இடையில் உள்ளூர் திரட்சியைச் செய்கிறது, பின்னர் அது அனைத்து ரேக்குகளிலும் ஆல்-ரெடியூஸ் செய்கிறது.

டிகோட்டுக்கு, முழு கர்னலும் ஒன்றாக இணைக்கப்பட்டுள்ளது. ரூட்டிங் மற்றும் ஆல்-ரெடியூஸுக்கு உள்ளூர் கம்பைன் படியை விட குறைவான பிளாக்குகள் தேவைப்படுவதால், ப்ரீஃபில் கர்னல் பல கர்னல்களாகப் பிரிக்கப்பட்டுள்ளது. CuTeDSL மூலம், SHARP மற்றும் NVLink ஆல்-ரெடியூஸ் மற்றும் பியர்-டு-பியர் ஒத்திசைவு இரண்டிற்கும் ஒரு பொதுவான நூலகத்தை உருவாக்கலாம், அதை ஆல்-ரெடியூஸ் மற்றும் நிபுணர் இணையான கர்னல்கள் இரண்டிலும் ஒருங்கிணைக்கலாம்.

Expert-parallel configurations முழுவதும் H200 மற்றும் GB200-இல் expert-parallel prefill dispatch மற்றும் combine latency.

செயல்திறன் வாரியாக, மேம்பட்ட பரிமாற்ற வேகங்கள், அதிக நினைவக அலைவரிசை மற்றும் சிறந்த கணக்கீட்டுத் த்ரூபுட் காரணமாக பிளாக்வெல் ஹோப்பரை விட கணிசமாக வேகமாக இருப்பதைக் காண்கிறோம். 8 சாதனங்கள் மற்றும் GB200-களில் பல முனைகள் முழுவதும் ஷார்டிங் செய்யப்பட்டுள்ளது (EP=8), உள்ளூர் குவிப்பு ஒவ்வொரு சாதனத்திலும் மிகக் குறைந்த டோக்கன்களில் இயங்குவதால் கர்னல்கள் வேகமடைகின்றன, மேலும் SHARP உடன், அதிக ரேக்குகள் முழுவதும் குறைப்பின் செலவு சிறப்பாக அளவிடப்படுகிறது. இருப்பினும், நடைமுறையில், இந்த வேகமடைதல்கள் அனைத்து கர்னல்களிலும் உலகளாவியவை அல்ல என்பதால், இணக்கத்தன்மையை 4 சாதனங்களாகக் கட்டுப்படுத்துகிறோம்.

தரவு இணக்கத்தன்மை மற்றும் நிபுணர் இணக்கத்தன்மை

தரவு இணையான மற்றும் நிபுணர் இணையான (DP-EP) கர்னல் தரவு இணையான டிகோடர்களில் பயன்படுத்தப்படுகிறது. இது அனைத்து ரேக்குகளிலிருந்தும் வெவ்வேறு டோக்கன்களை நிபுணர்களுக்குப் பிராட்காஸ்ட் செய்கிறது, முடிவுகளை மூல ரேக்குகளுக்கு மாற்றி அவற்றைத் திரட்டுகிறது. இது ஒரு ஸ்பார்ஸ் ஆல்-டு-ஆல் சிக்கலைச் செயல்படுத்துவதால், இது NVLink-ஐ மட்டுமே நம்பியுள்ளது.

Hopper-ல், இந்த கர்னல் ஒரு முடையின் NVLink டொமைனுக்குள்ளான 8 சாதனங்களுக்கு மட்டுமே সীমাবদ্ধ. இருப்பினும், GB200 அமைப்புகளில் இதை முழு ரேக் முழுவதும் அளவிட முடியும். குறியீட்டின் பெரும்பகுதி மீண்டும் பயன்படுத்தப்படுகிறது. ஆரம்ப அமைப்பிற்காக IMEX வழியாக பியர் தகவல்களைப் பரிமாற fabric கைப்பிடிகளைப் பயன்படுத்துவது மட்டுமே ஒரே வித்தியாசம்.

Data-parallel மற்றும் expert-parallel configurations முழுவதும் GB200 dispatch மற்றும் combine latency.

டிகோட்டின் போது ஏற்படும் பரிமாற்ற அளவுகள் சிறியவை என்பதால், அவை NVLink அலைவரிசையை நிறைவு செய்வதிலிருந்து வெகு தொலைவில் உள்ளன மற்றும் அதற்கு பதிலாக தாமதத்தால் வரையறுக்கப்பட்டுள்ளன. தாமதங்கள் பத்தாம் மைக்ரோ விநாடிகளில் உள்ளன மற்றும் பியர்களின் எண்ணிக்கை அதிகரிக்கும் போது ஒப்பீட்டளவில் நிலையானதாக இருக்கும், இது குறிப்பிடத்தக்க கூடுதல் தாமதத்தை ஏற்படுத்தாமல் அதிக எண்ணிக்கையிலான சாதனங்களில் வரிசைப்படுத்துதலைப் பரப்ப அனுமதிக்கிறது.

MoE GEMM

MoE மாதிரிகள் நிபுணர் இணக்கத்தன்மையிலிருந்து பயனடைகின்றன, ஏனெனில் அனைத்து டோக்கன்களையும் அனைத்து நிபுணர்களுடனும் பெருக்குவதற்கான செலவை பல சாதனங்களில் எளிதாக இணையாகச் செய்ய முடியும். ப்ரீஃபில்லர்களில் டென்சர் இணக்கத்தன்மையுடன், அடர்த்தியான சிக்கல்களில் பலன் மிகவும் நேராக முன்னோக்கி உள்ளது, ஏனெனில் ஒவ்வொரு ரேக்கும் இப்போது குறைவான கணக்கீடுகளைச் செய்ய வேண்டும். டிகோட் வழக்கில், தரவு இணக்கத்தன்மை நிபுணர் இணக்கத்தன்மைக்கு மேல் ஒரு கூடுதல் பலனை வழங்குகிறது, ஏனெனில் அதிக எண்ணிக்கையிலான இணையான கோரிக்கைகள் ஒவ்வொரு நிபுணருக்கும் அதிக டோக்கன்களை அனுப்புகின்றன, சிக்கல்களை அடர்த்தியாக்குகின்றன.

எங்கள் செயலாட்டத்தில், நாங்கள் தற்போது மேட்ரிக்ஸ் பெருக்கலுக்கான CUTLASS CUDA/C++ கர்னல்களை நம்பியுள்ளோம். டிகோடர்களுக்கு உகந்த ஷார்டிங் உத்தியைத் தீர்மானிக்க, பல்வேறு குவாண்டைசேஷன் திட்டங்கள் மற்றும் இணக்கத்தன்மை நிலைகளுடன் ஸ்பார்ஸ் டிகோட் உள்ளீடுகளில் அவற்றை பெஞ்ச்மார்க் செய்தோம். கீழே உள்ள பெஞ்ச்மார்க்குகளில், அனைத்து நிபுணர்களும் ஒற்றை டோக்கனுடன் செயல்படுத்தப்படுகிறார்கள்.

H200 மற்றும் GB200-இல் expert-parallel configurations மற்றும் quantization schemes முழுவதும் grouped MoE GEMM latency.

CUTLASS மூலம் 128 நிபுணர்களை 16-க்கும் மேற்பட்ட ரேக்குகளில் அளவிடுவது குறைந்துவரும் வருவாயை அளிக்கிறது என்பதைக் கண்டறிந்தோம், ஏனெனில் 2 நிபுணர்களைப் பெருக்குவதற்கான செலவு 4-ஐப் பெருக்குவதை விட கணிசமாகக் குறைவாக இல்லை. உகந்ததாக இல்லாத பிளாக் ஸ்கேலிங் உத்தியில் கூட, Hopper-ஐ விட Blackwell-ல் தெளிவான முன்னேற்றம் உள்ளது. EP=8 மற்றும் EP=16 இடையேயான டிஸ்பாட்ச்/கம்பைன் தாமத அதிகரிப்பு சுமார் 5 us என்பது GEMM செலவில் 10 us-க்கு மேல் குறைவதால் ஈடுகட்டப்படுவதால், GB200 அமைப்புகளில், டிகோடர்களை 16 ரேக்குகள் முழுவதும் ஷார்டிங் செய்வது நியாயப்படுத்தப்படுகிறது, இது எண்ட்-டு-எண்ட் பெஞ்ச்மார்க்குகள் மூலமாகவும் உறுதிப்படுத்தப்படுகிறது.

குவாண்டைசேஷன்

Blackwell புதிய 8-பிட் மற்றும் 4-பிட் குவாண்டைசேஷன் திட்டங்களுக்கான வன்பொருள் ஆதரவை அறிமுகப்படுத்துகிறது. பெர்-டென்சர் அல்லது பெர்-பிளாக் ஸ்கேலிங் காரணிகளை நம்பியிருந்த Hopper போலல்லாமல், சிறந்த ப்ரீஃபில் மற்றும் டிகோட் த்ரூபுட்டை அடைய Blackwell-க்கு மைக்ரோஸ்கேலிங் தேவைப்படுகிறது. DeepSeek அல்லது Kimi போன்ற மாதிரிகளுக்குப் பயன்படுத்தப்படும் பிளாக் ஸ்கேலிங் திட்டம் கிடைத்தாலும், மைக்ரோஸ்கேலிங் மிகவும் திறமையானது.

மாதிரியை ஃபைன்-டியூன் செய்த பிறகு எடைகளை நிலையாக மாற்றி, MXFP8 குவாண்டைசேஷன் திட்டத்துடன் Qwen3 235B ஐப் பயன்படுத்தியுள்ளோம். துல்லியமான தாக்கம் ஸ்டோகாஸ்டிக் குவாண்டைசேஷன் உடன் பிளாக் ஸ்கேலிங்கின் தாக்கத்தைப் போன்றது, ஆனால் MoE GEMM மைக்ரோபெஞ்ச்மார்க்குகளால் விளக்கப்பட்டபடி வழங்கப்பட்ட செயல்திறன் மிகவும் மேம்படுத்தப்பட்டுள்ளது. Hopper- இலிருந்து Blackwell-க்கு ஆரம்ப மாற்றத்திற்கு Quantization-Aware Training இல்லாத துல்லியமான தாக்கம் மிகவும் குறிப்பிடத்தக்கதாக இருந்தபோதிலும், நாங்கள் MXFP4 மற்றும் NVFP4 குவாண்டைசேஷன் திட்டங்களையும் கருதியுள்ளோம். எதிர்கால வேலையில் இந்த வடிவங்களை மிகவும் முழுமையாக ஆராய திட்டமிட்டுள்ளோம்.

எண்ட்-டு-எண்ட் செயல்திறன்

Blackwell Qwen3 235B வரிசைப்படுத்தல்களின் டிகோடர்களை பெஞ்ச்மார்க் செய்து, அவற்றை எங்கள் முந்தைய Hopper வரிசைப்படுத்தல்களுடன் ஒப்பிட்டோம். இந்த அமைப்பில், இணக்கத்தன்மையின் தாக்கத்தில் கவனம் செலுத்த இரண்டு வரிசைப்படுத்தல்களிலும் பிளாக் ஸ்கேலிங்கைக் கருத்தில் கொண்டோம். டிகோட் செயல்திறனைத் தனிமைப்படுத்த TP=4 ப்ரீஃபில்லர்கள் இரண்டு கட்டமைப்புகளுக்கும் பிரிக்கப்பட்டன. கீழே உள்ள படம் எங்கள் MTP லேயர்களால் வழங்கப்பட்ட யதார்த்தமான டிராஃப்ட் ஏற்பு விகிதத்தைக் கருதி டிகோடிங் த்ரூபுட்டை விளக்குகிறது.

Draft acceptance length 0.8 எனக் கருதி, H200 மற்றும் GB200 expert-parallel configurations முழுவதும் GPU ஒன்றுக்கு Qwen3 235B FP8 decoding speed மற்றும் throughput.

Hopper-ல், 8 GPU-களுக்கு மேல் வரிசைப்படுத்தலை ஷார்டிங் செய்வது சாத்தியமில்லை, ஏனெனில் InfiniBand முழுவதும் உள்ள தாமதங்கள், குறிப்பாக EFA அடாப்டர்களில், கணிசமாக மெதுவாக இருக்கும். இருப்பினும், Blackwell-ல், பெரிய NVLink டொமைன்களுக்கு நன்றி, கணிசமாக அதிக த்ரூபுட்டை அடைகிறோம்.

ஏற்கனவே உள்ள Hopper கர்னல்களைப் பொதுமைப்படுத்துவதன் மூலமும், NVLink அடிப்படையிலான கர்னல்களின் செயல்திறனைத் தள்ளுவதன் மூலமும் ஆரம்பகால Blackwell செயலாக்கத்தை அடைந்தோம். குவாண்டைசேஷனை மேம்படுத்துவதன் மூலமும், பைப்லைனில் உள்ள மற்ற கர்னல்களின் டிகோட் செயல்திறன் மற்றும் ப்ரீஃபில் த்ரூபுட்டை ஃபைன்-டியூன் செய்வதன் மூலமும் Qwen-க்கு சேவை செய்யும் செலவை மேலும் குறைப்போம்.

குறிப்புகள்

Transfer Engine வலைப்பதிவு இடுகை

CuTeDSL வலைப்பதிவு இடுகை

Prefill-Disagg வலைப்பதிவு இடுகை

ஸ்பெகுலேட்டிவ் டிகோடிங் வலைப்பதிவு இடுகை

CUTLASS

NVLink

மேற்கோள்

BibTeX
@online{perplexity2026HostingQwenOnBlackwell,
  author = {{Perplexity} and Nandor Licker and Kevin Hu and Bex Brooker and Erin McKnight},
  title = {{Hosting Qwen on Blackwell}},
  date = {2026-05-12},
  url = {https://www.perplexity.ai/hub/blog/hosting-qwen-on-blackwell}
}