Blackwell жүйесінде Qwen орналастыру

72 жолақты NVLink арқылы өзара байланысқан NVIDIA Blackwell GPU-лары бар NVIDIA GB200 NVL72 тіректері ірі сарапшылар қоспасы (MoE) модельдерін орналастыруға өте қолайлы. Осы блог жазбасында біз Perplexity трафигінің бір бөлігін қолдайтын қосымша оқытылған Qwen3 235B модельдеріне қызмет көрсететін инференс параметрлерін сипаттаймыз. Біз NVIDIA Blackwell GPU-ларының жетілдірілген тензорлық ядролары мен жоғары жылдамдықты өзара байланысын пайдалану үшін меншікті инференс қозғалтқышымызды қалай бейімдегенімізді көрсетеміз. Осы аппараттық құралдың көмегімен біз негізгі модельдердің дәлдігін төмендетпей, төмен бағамен көбірек трафикті өңдейміз.

GB200 NVL72 жүйесінде орналастыру

GB200 NVL72 тіректері әрқайсысы 180 ГБ HBM жадымен жабдықталған 2 ARM негізіндегі NVIDIA Grace CPU және 4 Blackwell негізіндегі GPU бар 18 түйіннен тұрады. 72 GPU NVLink және 18 NVLink Switch ASIC көмегімен өзара байланысып, кез келген екі түйін арасында 1800 ГБ/с өткізу қабілетін қамтамасыз етеді және триллион параметрлі модельдерді орналастыру үшін жеткілікті жадыны бөліседі. Сонымен қатар, ConnectX-7 InfiniBand адаптерлері тірек түйіндері ішінде де, көршілес тіректер арасында да қосымша 400 ГБ/с өткізу қабілетін қамтамасыз етеді.

Трафикті өңдеу үшін біз Qwen модельдерін қосымша оқытып, қызмет көрсетуді таңдадық. Бұл блог жазбасында біз Qwen3 235B үлгісіне назар аударамыз, бірақ талқыланған қызмет көрсету әдістері мен өнімділік сипаттамаларының көбі біз көшіп жатқан жаңа Qwen3.5 397B және 122B модельдеріне ұқсас. Параллелизм тұрғысынан сызықтық назар толық өздігінен назар аударуға ұқсас және қолданыстағы MoE қабатының іске асырылуын жаңа шлюз шарттарына сай етіп оңай бейімдеуге болады. Трафик өткізу қабілетін барынша арттыра отырып, тұрақты декодтау жылдамдығын сақтау үшін біз екі түрлі түйін түрі үшін әртүрлі параллелизм стратегияларын қолдана отырып, алдын ала толтыруды декодтаудан бөлуді таңдадық. Алдын ала толтыру құрылғысынан декодерге байланыс InfiniBand арқылы жүзеге асырылады, ал NVLink өткізу қабілеті алдын ала толтыру құрылғылары мен декодерлер ішіндегі байланыс үшін сақталады. Осы блог жазбасында зерттелген матрицалық көбейту мен құрылғы аралық байланысты орындау кезіндегі Blackwell құрылғыларының өнімділік сипаттамалары қолданылатын бөліктерге бөлу (шардинг) стратегияларын анықтайды. NVIDIA Hopper GPU-ларымен салыстырғанда, ағынды көппроцессорлардың көбірек саны, жоғарылатылған жады өткізу қабілеті және төменірек бірдей деңгейдегі кідірістер арқасында біз ядро ​​бойынша жақсартуларды көреміз.

Ұлғайту

Бөлінген алдын ала толтыруды жүзеге асыратын TransferEngine кірістірілген жүйеміз алдын ала толтыру құрылғылары мен декодерлер арасындағы еркін және мүмкін болатын сәйкес келмейтін шардингті өңдеді. KV кэштері алдын ала толтыру құрылғысындағы бөліктерге бөлінген KV кэшін тасымалдау кезінде одан әрі бөлуге немесе біріктіруге мүмкіндік беру үшін жетекші өлшемде бастары бар және токендер үздіксіз сақталған күйде HND ретімен жадта орналастырылады.

Алдын ала толтыру құрылғылары

Алдын ала толтыру түйіндері сұраудың кіріс токендерін қабылдайды, KV кэштерін толтырады және мәтін генерациясын жалғастыру үшін оларды декодерлерге тасымалдайды. Тізбекке тиесілі мыңдаған токендер бір уақытта өңделетіндіктен, алдын ала толтыру есептеу тұрғысынан ауыр процесс болып табылады.

Нәтижесінде біз модель бір GB200 түйіні ішіндегі 4 GPU арасында бөлінген, ал прожекциялар мен сарапшылар бөліктерге бөлінген (TP=4, EP=4) тензорлық параллель орналастырудың қолайлы екенін анықтадық. Назар аудару да, MLP де есептеулерге тәуелді болғандықтан, екеуі де сарапшылар мен назар аудару басшыларын бөлек рангтерге тарату арқылы параллелизмнен ұтады. Әрі қарайғы параллелизм аз пайда әкелер еді, өйткені әр рангте аз сарапшыларды орналастырудан түсетін өткізу қабілетін жақсарту (32 орнына 16) 8 жолақты all-reduce қосымша құнын және хост жағындағы кодты екі түйінге бөлу шығындарын, яғни Ethernet арқылы байланысты қажет етуді өтей алмас еді.

Qwen3 235B моделінде тек 4 кілт-мәні басшылары бар, егер 8 құрылғы қолданылса, k және v прожекциялары рангтер жұптары арасында қайталануын талап етеді. Әр рангте салмақтарды сақтау үшін қажетті жад мөлшерін азайту және KV кэшіндегі көбірек токендер үшін кеңістік босату үшін агрессивті шардингті қарастыруға болар еді. Дегенмен, біз кеңірек орналастырудың маңызы жоқ екенін анықтадық.

Шамамен 6000 токен кіріс ұзындығын есепке алсақ, 128 сарапшының әрқайсына бағытталған шамамен 6000 * 8 / 128 = 375 токен бар, бұл MoE GEMM үшін тығыз есепті қамтамасыз етеді. Бұл құрылғының есептеу өткізу қабілетін қазірдің өзінде қанықтыратындықтан, алдын ала толтыру үшін деректер параллелизмі қажет емес.

Назар аударудың квадраттық түрде өсетін құнына қарамастан, алдын ала толтыру құрылғылары тұрақты өткізу қабілетін қамтамасыз етеді, бұл бір секундта түйін өңдей алатын кіріс токендерінің санын шамамен бағалауға мүмкіндік береді. Сұраулардың кіріс токендерінің жалпы санын қадағалайтын көрсеткіштерге сүйене отырып, жалпы алдын ала толтыру өткізу қабілеті тиісінше өлшенетініне көз жеткізу үшін алдын ала толтыру түйіндерінің санын көбейтуге болады. Кезекке тұруды болдырмау үшін алдын ала толтыру көшірмелерінің саны алынған кіріс токендерінің жалпы санына сәйкестендіріледі.

Декодерлер

Декодер түйіндері алдын ала толтыру құрылғыларынан KV кэштерін алады және токендерді бір-бірден жасайды. Декодтау әдетте жадқа тәуелді: аз кіріс токендері бар матрицалық көбейту салмақтарды HBM-нен Tensor Cores-ке жүктеу құнына толығымен тәуелді болады. Басқа шардинг стратегиясын қолданудан басқа, есептеулер мен жадқа қол жеткізуді жақсырақ параллельдендіру үшін бірнеше ядроларды өзгерту қажет.

Алдын ала толтырудан айырмашылығы, назар аударуды шардингтеу енді тиімді емес: назар аудару басшыларын бірнеше құрылғылар арасында бөлу бір құрылғы ішінде параллелизм мүмкіндіктері азырақ болады дегенді білдіреді. Демек, тек деректер параллелизмі мен сарапшылық параллелизм қолданылады: сарапшылар бірнеше құрылғылар арасында бөлінеді, бірақ әрбір құрылғы өзінің KV кэштері мен сұрауларын басқарады. Тензорлық параллелизмсіз құрылғыдағы бір токенге шаққандағы KV кэш өлшемі үлкенірек болады. Дегенмен, бір түйінді азырақ сарапшыларды орналастыру арқылы жадта кеңістік босатылады. 8 GPU түйініндегі бір NVLink домені ішіндегі тензорлық параллелизмді шектеген Hopper-ден айырмашылығы, Blackwell жүйесінде 16-ға дейін құрылғыларды пайдаланып, бір домен ішіндегі бірнеше түйіндерге кеңейту пайдалы екенін анықтадық.

Өткізу қабілетін барынша арттыру үшін декодерлер сұраулардың үлкен санын бір мезгілде өңдейді. Қосымша сұраулар MoE қабаттарында және басқа прожекцияларда ең аз үстеме шығындарға әкелсе де, олар назар аудару құнын пропорционалды емес түрде арттырады. Ең аз декодтау жылдамдығын ақылға қонымды деңгейде ұстау үшін декодер түйіндерінің саны бір декодерге шаққандағы топтама өлшемдерін белгілі бір шектен төмен ұстау үшін масштабталады.

Алдыңғы Hopper орналастыруларына ұқсас, біз декодтау жылдамдығын арттыру үшін ішкі жасалған MTP қабаттары бар спекулятивті декодтауды қолданамыз. Бақытымызға орай, екі архитектура арасындағы іске асыруды толығымен бөлісу үшін негізгі аппараттық және бағдарламалау құрылымдары жеткілікті түрде ұқсас.

Түйін ішілік және түйін аралық байланыс

GB200 NVL72 мен алдыңғы Hopper түйіндері арасындағы басты айырмашылық – бұл 8 құрылғының алдыңғы шегінен тыс тең дәрежелі байланысты (peer-to-peer) қамтамасыз ететін үлкен NVLink домені. Blackwell құрылғылары 8 GPU түйіндерінде орналастырылғанымен, баяу InfiniBand желісімен салыстырғанда NVLink арқылы бірнеше түйіндер бойынша масштабтаудың үлкен мәні бар.

Алдын ала толтыру түйіндерінде біз назар аудару қабаттары ішіндегі all-reduce байланысына және all-reduce-ке өте ұқсас сарапшылық параллель қысқартуға сүйенеміз. 4 GPU арқылы біз NVLink пен NVIDIA SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) екеуін де пайдаланамыз: тең дәрежелі өткізу қабілетіне қоса, біз кідірістерді одан әрі азайту және жылдам таратылымдарды жүзеге асыру үшін NVLink Switch құрылғыларындағы қысқартуларды да қолданамыз. Декодер түйіндерінде NVLink арқылы реттелетін all-to-all тарату және біріктіру іске асырылуы қолданылады. Ядролар CuTeDSL және cuMem карталарын немесе көп таратылымды карталарды пайдалана отырып, ішкі түрде іске асырылды.

All-Reduce

Алдын ала толтыру құрылғылары қатысушы рангтер арасында бөлінген бастардың үлестерін қорытындылай отырып, назар аудару қабатының шығыс прожекциясында all-reduce операциясын орындайды. Тензорлық параллелизм тек all-reduce үстеме шығындарының құны кішірек матрицалық көбейту есептерінің төмендетілген кідірісімен өтелген кезде ғана тиімді болады. Бұл болжам әдетте алдын ала толтыру үшін орындалады.

Деректер орталығы деңгейіндегі NVIDIA HGX H200 және GB200 NVL72 жүйелерінде GPU-лар әдетте NVLink Switch арқылы қосылады. Маршруттан басқа, коммутаторлар SHARP арқылы қосылған құрылғыларда қысқарту операцияларын орындай алады. Жад карталарын жасағаннан кейін және оларды CUDA API көмегімен көп таратылым тобына тіркегеннен кейін ядролар коммутаторлар арқылы мәндерді біріктіру және тарату үшін multicast.ld_reduce және multicast.st пайдалана алады. Басқа ядролармен біріктірілуі мүмкін негізді және қайта пайдалануға болатын компоненттерді жасау үшін біз осы элементтерді пайдалана отырып, ішкі CuTeDSL all-reduce ядросын ұстаймыз.

B байтты қысқартатын N GPU бар жүйеде қарапайым іске асыру барлық басқа тең құрылғылардан мәндерді жүктейтін бір тең құрылғыға ие болады, бұл барлығы N * (N - 1) * B байт оқу трафигін құрайды. Тиімдірек іске асыру қысқартылатын деректерді тең құрылғылар арасында бөледі, әрқайсысы кірістің бір бөлігін қысқартады, содан кейін оны қалғандарына таратады. Бұл тең құрылғыға оқылатын және қалғандарына таратылатын (N - 1) * (B / N) байтты құрайды, барлығы (N - 1) * B * 2 оқу және жазу жұмыстарын орындап, коммутаторлар арқылы трафикті азайтады.

Ұлғайту

SHARP көмегімен азайту мен тарату әлдеқайда тиімді орындалады: жергілікті жинақтау үшін құрылғыға (N - 1) * (B / N) байт оқудың орнына, коммутатордан тек B / N көшіріледі, өйткені ол тең дәрежелі түйіндерден алынған деректерді пайдаланып азайтуды өзі орындайды. Тарату үшін де ұқсас жақсарту бар, өйткені NVLink арналары арқылы GPU мен коммутатор арасындағы транзакциялар саны айтарлықтай азаяды. SHARP болмаса, жинақтаушы құрылғы коммутатормен NVLink арқылы (N - 1) * (B / N) транзакция орындайды, ал коммутатор тең дәрежелі түйіндерден дәл осындай көлемдегі деректерді оқиды, бұл жалпы 2 * (N - 1) * (B / N) транзакцияны құрайды. SHARP кезінде GPU мен коммутатор арасында B / N транзакция орындалады, әрі тең дәрежелі түйіндермен тағы (N - 1) * (B / N) транзакция болады, барлығы B транзакция.

Қарапайымдылығына байланысты SHARP маңызды құрал болып табылады, өйткені ол алгоритм үшін тікелей аппараттық іске асыруды қамтамасыз етеді. Тасымалдаулар теориялық N / (2 * (N - 1)) бөлшегімен азайтылғанымен (бұл 4 тең құрылғымен 33% құрайды), тәжірибеде біз H200 және GB200 NVL72 жүйелерінде алдын ала толтыру және декодтау кідірістерінде 10% жақсартуды байқаймыз.

Ұлғайту

MoE Dispatch - Combine

MoE модельдері үшін dispatch және combine ядролары кейінгі MoE GEMM есептері үшін тең құрылғылар арасында токендерді жылжытады және топтастырады, содан кейін combine ішінде салмақты жинақтауды орындайды. Біз бар Dispatch және Combine ядроларын Blackwell жүйесіне бейімдедік, оларды CuTeDSL-ге ауыстырдық, блоктарды бөлуді өзгерттік және оларды алдын ала толтыру мен декодтау арасында белсенді түрде мамандандырдық.

Expert Parallel

Expert parallel (EP) ядросы алдын ала толтыру құрылғыларында қолданылады. Оның кірістері барлық рангтерде қайталанатындықтан, dispatch ядросы ағымдағы рангтегі сарапшыларға бағытталған токендерді жай ғана таңдауы керек. Ол бағыттау ақпаратын жинақтайды және токендерді MoE GEMM кірістері ретінде пайдаланылатын буферлерге дайындайды. Combine ядросы алдымен ағымдағы рангтегі сарапшыларға бағытталған токендердің үлестері арасында жергілікті жинақтауды орындайды, содан кейін барлық рангтер бойынша all-reduce орындайды.

Декодтау үшін бүкіл ядро біреуіне біріктіріледі. Алдын ала толтыру ядросы бірнеше ядроларға бөлінеді, өйткені бағыттау мен all-reduce жергілікті combine қадамына қарағанда азырақ блоктарды талап етеді. CuTeDSL көмегімен біз SHARP пен NVLink all-reduce және тең деңгейдегі синхронизация үшін де жалпы кітапхана құра аламыз, оны all-reduce және expert parallel ядроларына біріктіреміз.

Ұлғайту

Өнімділік тұрғысынан біз жақсартылған тасымалдау жылдамдығы, жоғары жады өткізу қабілеті және жақсы есептеу өткізу қабілеті арқасында Blackwell-дің Hopper-ге қарағанда айтарлықтай жылдамырақ екенін байқаймыз. GB200 жүйелерінде 8 құрылғы мен бірнеше түйіндер бойынша шардингтелген кезде (EP=8), жергілікті жинақтау әр құрылғыда әлдеқайда аз токендерде жұмыс істейтіндіктен және SHARP арқылы көбірек рангтер бойынша қысқарту құны жақсырақ масштабталатындықтан, ядролар жылдамырақ болады. Дегенмен, тәжірибеде біз параллелизмді 4 құрылғымен шектейміз, өйткені бұл жылдамдықты арттырулар барлық ядроларда бірдей емес.

Data Parallel және Expert Parallel

Data parallel және expert parallel (DP-EP) ядросы деректер параллельді декодерлерінде қолданылады. Ол барлық рангтерден әртүрлі токендерді сарапшыларға таратады, нәтижелерін бастапқы рангтерге тасымалдайды және оларды жинақтайды. Ол сирек all-to-all есебін іске асырғандықтан, ол тек NVLink-ке сүйенеді.

Hopper жүйесінде бұл ядро ​​бір түйіннің NVLink домені ішіндегі 8 құрылғымен шектелген. Дегенмен, GB200 жүйелерінде біз оны бүкіл тірек бойынша масштабтай аламыз. Кодтың көп бөлігі қайта пайдаланылады. Жалғыз айырмашылық – бастапқы орнату үшін IMEX арқылы тең құрылғы ақпаратын алмасу үшін fabric өңдегіштерін пайдалану.

Ұлғайту

Декодтау кезінде туындайтын тасымалдау өлшемдері кішкентай болғандықтан, олар NVLink өткізу қабілетін қанықтырудан алыс және оның орнына кідіріспен шектеледі. Кідірістер ондаған микросекундты құрайды және тең құрылғылар саны артқан сайын салыстырмалы түрде тұрақты болып қалады, бұл бізге айтарлықтай қосымша кідіріс тудырмай орналастыруды көбірек құрылғыларға таратуға мүмкіндік береді.

MoE GEMM

MoE модельдері сарапшылық параллелизмнен ұтады, өйткені барлық токендерді барлық сарапшылармен көбейту құнын бірнеше құрылғылар арасында оңай параллельдендіруге болады. Алдын ала толтыру құрылғыларындағы тензорлық параллелизммен тығыз есептер кезінде пайда өте түсінікті, өйткені қазір әр ранг аз есептеулерді орындауы керек. Декодтау жағдайында деректер параллелизмі сарапшылық параллелизмге қосымша артықшылық береді, өйткені параллель сұраулардың үлкен саны әр сарапшыға көбірек токендерді бағыттайды, есептерді тығыздады.

Біздің іске асыруда біз қазір матрицалық көбейту үшін CUTLASS CUDA/C++ ядроларына сүйенеміз. Біз декодерлер үшін оңтайлы шардинг стратегиясын шешу үшін оларды әртүрлі кванттау схемалары мен параллелизм деңгейлері бар сирек декодтау кірістерінде өлшедік. Төмендегі өлшемдерде барлық сарапшылар бір токенмен белсендіріледі.

Ұлғайту

CUTLASS көмегімен 128 сарапшыны 16-дан астам ранг бойынша масштабтау аз пайда әкелетінін анықтадық, өйткені 2 сарапшыны көбейту құны 4-ті көбейтуден айтарлықтай төмен емес. Оңтайлы емес блоктарды масштабтау стратегиясында да Hopper-мен салыстырғанда Blackwell-де айқын жақсарту бар. EP=8 мен EP=16 арасындағы dispatch/combine арасындағы шамамен 5 мкс кідірістің артуы GEMM құнының 10 мкс-тан астам төмендеуімен өтелетіндіктен, GB200 жүйелерінде декодерлерді 16 ранг бойынша шардингтеу негізделген, мұны бір ұштан екінші ұшқа дейінгі (end-to-end) өлшемдер де растайды.

Кванттау

Blackwell жаңа 8 биттік және 4 биттік кванттау схемалары үшін аппараттық қолдауды ұсынады. Тензорға немесе блокқа шаққандағы масштабтау факторларына сүйенетін Hopper-ден айырмашылығы, Blackwell ең жақсы алдын ала толтыру және декодтау өткізу қабілетіне қол жеткізу үшін микромасштабтауды талап етеді. DeepSeek немесе Kimi сияқты модельдер үшін қолданылатын блокты масштабтау схемасы қол жетімді болғанымен, микромасштабтау тиімдірек.

Біз модельді дәл баптағаннан кейін салмақтарды статикалық түрде түрлендіре отырып, Qwen3 235B моделін MXFP8 кванттау схемасымен орналастырдық. Дәлдікке әсер ету стохастикалық кванттау арқылы блокты масштабтау әсеріне ұқсас болды, бірақ MoE GEMM микроөлшемдері көрсеткендей, жеткізілген өнімділік әлдеқайда жақсарды. Hopper-ден Blackwell-ге алғашқы ауысу үшін Quantization-Aware Training (кванттауды ескере отырып оқыту) оқытусыз дәлдікке әсер ету тыُّ маңызды болғанымен, біз MXFP4 және NVFP4 кванттау схемаларын да қарастырдық. Біз бұл форматтарды болашақ жұмыста толығырақ зерттеуді жоспарлаймыз.

Бір ұштан екінші ұшқа дейінгі (End-to-End) өнімділік

Біз Blackwell Qwen3 235B орналастыруларының декодерлерін өлшедік және оларды алдыңғы Hopper орналастыруларымен салыстырдық. Бұл орнатуда біз параллелизмнің әсеріне назар аудару үшін екі орналастыру бойынша да блокты масштабтауды қарастырдық. Декодтау өнімділігін бөлектеу үшін TP=4 алдын ала толтыру құрылғылары екі архитектура үшін де бөлектелді. Төмендегі сурет MTP қабаттарымызбен қамтамасыз етілген шынайы жобаны қабылдау жылдамдығын ескере отырып, декодтау өткізу қабілетін көрсетеді.

Ұлғайту

Hopper жүйесінде орналастыруды 8 GPU-дан астам шардингтеу мүмкін емес, өйткені InfiniBand арқылы, әсіресе EFA адаптерлеріндегі кідірістер айтарлықтай баяу. Дегенмен, Blackwell жүйесінде біз үлкенірек NVLink домендерінің арқасында айтарлықтай жоғары өткізу қабілетіне қол жеткіземіз.

Біз бар Hopper ядроларын жалпылау және NVLink негізіндегі ядролардың өнімділігін арттыру арқылы бастапқы Blackwell іске асырылуына қол жеткіздік. Біз кванттауды жақсарту және декодтау өнімділігін және құбырдағы басқа ядролардың алдын ала толтыру өткізу қабілетін дәл баптау арқылы Qwen-ге қызмет көрсету құнын одан әрі төмендетеміз.

Әдебиеттер

Transfer Engine блог жазбасы

CuTeDSL блог жазбасы

Prefill-Disagg блог жазбасы

Speculative Decoding блог жазбасы

CUTLASS

NVLink

Дәйексөз

@online{perplexity2026HostingQwenOnBlackwell,
  author = {{Perplexity} and Nandor Licker and Kevin Hu and Bex Brooker and Erin McKnight},
  title = {{Hosting Qwen on Blackwell}},
  date = {2026-05-12},
  url = {https://www.perplexity.ai/hub/blog/hosting-qwen-on-blackwell}
}