Hýsing á Qwen á Blackwell

NVIDIA GB200 NVL72 rekkar með NVIDIA Blackwell grafíkörvum sem eru tengdir saman í gegnum 72-vega NVLink eru einstaklega vel í stakk búnir til að hýsa stór „mixture-of-experts“ (MoE) líkön. Í þessari færslu lýsum við innsetningaruppsetningunni sem þjónar eftirþjálfuðum Qwen3 235B líkönum sem sjá um hluta af umferð Perplexity. Við sýnum hvernig við aðlöguðum innbyggða innsetningarvélina okkar til að nýta háþróaða tensor-kjarna og háhraðatengingar NVIDIA Blackwell grafíkörva. Með þessum vélbúnaði meðhöndlum við meiri umferð á lægri kostnaði án þess að fórna nákvæmni undirliggjandi líkana.

Hýsing á GB200 NVL72

GB200 NVL72 rekkar samanstanda af 18 hnútum með 2 ARM-undirstöðu NVIDIA Grace örgjörvum og 4 Blackwell-undirstöðu grafíkörvum, þar sem hver um sig er búinn 180 GB af HBM-minni. Grafíkörvarnar 72 eru tengdar saman í gegnum NVLink og 18 NVLink rofa-ASIC, sem skila 1800 GB/s bandbreidd á milli hvaða tveggja jafningja sem er og deila nægilegu minni til að hýsa líkön með trilljónum breyta. Að auki skila ConnectX-7 InfiniBand millistykkjum viðbótar 400 Gb/s bandbreidd bæði innan hnúta í rekki og milli aðliggjandi rekka.

Til að takast á við umferðina völdum við að eftirþjálfa og þjóna Qwen líkönum. Í þessari færslu beinum við sjónum okkar að Qwen3 235B, en margar af þeim þjónustuaðferðum og afköstum sem rætt er um eru svipaðar og nýju Qwen3.5 397B og 122B líkönin sem við erum að flytja yfir á. Hvað varðar fylgni er línuleg athygli svipuð fullri sjálf-athygli og auðvelt er að aðlaga núverandi MoE-laga útfærslu til að rúma nýju hliðarskilmálana. Til að viðhalda stöðugum afkóðunarhraða á sama tíma og afköst eru hámarkuð, höfum við valið að skipta forskrift (prefill) út frá afkóðun og beita mismunandi fylgnistefnum fyrir þessar tvær tegundir hnúta. Samskipti milli forstillingar og afkóðunar fara fram yfir InfiniBand, en NVLink bandbreidd er frátekin fyrir samskipti innan forstillinga og afkóðunartækja. Afköst Blackwell-tækja þegar þau framkvæma fylkis margföldun og tækjabundin samskipti, sem skoðuð eru í þessari færslu, ráða því hvaða skiptingarstefnur eru notaðar. Í samanburði við NVIDIA Hopper grafíkörva sjáum við endurbætur á milli kjarna vegna fjölda straum-örgjörva, aukinnar minnisbandbreiddar og lægri tækja-milli tafa.

Stækka

Vinnusvæði okkar TransferEngine, sem útfærir aðskilda forskrift, höndlaði handahófskennda og mögulega missamræmda skiptingu milli forstillinga og afkóðunartækja. KV skyndiminni eru skipulagð í minni í HND röð, þar sem hausar eru í leiðandi vídd og tákn eru geymd samfelld, til að leyfa skiptu KV skyndiminni á forstillingartæki að vera frekar skipt eða safnað saman í flugi með flutningi til afkóðunarhnútsins.

Forstillingartæki

Forstillingarhnútar taka við inntakstáknum beiðni, fylla upp í KV skyndiminni og flytja þau yfir á afkóðunartækin til að halda áfram textaframleiðslu. Forskrift er reiknifræðislega krefjandi, þar sem þúsundir tákna sem tilheyra runu eru unnin á sama tíma.

Af þessu leiddi að við komumst að því að samhliða dreifing á tensor hentar, þar sem líkaninu er skipt yfir 4 grafíkörva innan eins GB200 hnúts og vörpunum og sérfræðingum er skipt (TP=4, EP=4). Þar sem bæði athygli og MLP eru reiknibundin, njóta þau góðs af samsetningu, dreifa sérfræðingum og athyglishöusum yfir aðskildar raðir. Frekari samhliða vinnsla hefði skilaðminni ávinningi, þar sem afkóðunaraukningin við að hýsa færri sérfræðinga á hverri röð (16 á móti 32) hefði ekki bætt upp aukinn kostnað vegna 8-vega all-reduce og yfirbyggingarinnar við að skipta kóða gestgjafamegin á tvo hnúta, sem krefst samskipta yfir Ethernet.

Qwen3 235B er aðeins með 4 lykil-gildi hausa, sem krefst þess að k og v varpanir séu endurteknar yfir pör af röðum ef 8 tæki eru notuð. Við gætum hafa íhugað árásargjarnari skiptingu til að minnka það magn minnis sem þarf til að geyma þyngdir á hverri röð, sem losar um pláss fyrir fleiri tákn í KV skyndiminni. Hins vegar komust við að því að víðtækari dreifing væri ekki þess virði.

Miðað við inntaksdýpt upp á um 6000 tákn, hafa hverir af 128 sérfræðingum um 6000 * 8 / 128 = 375 tákn beint til sín, sem tryggir þétt vandamál fyrir MoE GEMM. Þar sem þetta mætir þegar reikniafköstum tækisins er gagna-samhliða vinnsla ekki nauðsynleg fyrir forskrift.

Þrátt fyrir veldisvaxandi kostnað af athygli skila forstillingartæki stöðugum afköstum, sem gerir gróft mat kleift á fjölda inntakstákna sem hægt er að vinna úr af hnúti á sekúndu. Með því að treysta á mælingar sem fylgjast með heildarfjölda inntakstákna frá beiðnum, er hægt að stækka fjölda forstillingarhnúta til að tryggja að heildarafköst forskrifta séu sniðin í samræmi við það. Til að forðast biðraðir er fjölda forstillingarafrita jafnað við heildarfjölda móttekinna inntakstákna.

Afkóðunartæki

Afkóðunarhnútar taka við KV skyndiminni frá forstillingartækjunum og búa til tákn eitt af öðru. Afkóðun er almennt minnisbundin: með fáum inntakstáknum er fylkismargföldun algjörlega bundin af kostnaði við að hlaða þyngdum úr HBM yfir í Tensor-kjarna. Auk þess að nota aðra skiptingarstefnu þarf að fínstilla nokkra kjarna til að samhliða vinna útreikninga og minnisaðgang betur.

Ólíkt forskrift er skipting athygli ekki lengur gagnleg: að skipta athyglishöusum yfir margra tækja myndi þýða að færri tækifæri eru til samhliða vinnslu innan eins tækis. Þar af leiðandi eru aðeins gagnasamhliða vinnsla og sérfræðinga-samhliða vinnsla notaðar: sérfræðingum er skipt á milli margra tækja, en hvert tæki stjórnar sínu eigin KV skyndiminni og beiðnum. Án tensor-samhliða vinnslu er stærð KV skyndiminnis á hverju tæki stærri. Hins vegar er pláss losað um í minni með þessu móti með því að staðsetja færri sérfræðinga á einum hnút. Ólíkt Hopper, þar sem við takmörkuðum tensor-samhliða vinnslu innan eins NVLink léns í 8-grafíkörva hnút, komust við að því á Blackwell að það er hagkvæmt að stækka yfir marga hnúta innan léns, með því að nota allt að 16 tæki.

Til að hámarka afköst vinna afkóðunartæki úr stærri fjölda beiðni samtímis. Jafnvel þó að viðbótarbeiðnir hafi í för með sér lágmarks yfirbyggingu í MoE-lögum og öðrum vörpunum, þá auka þær kostnað við athygli óhóflega. Til að viðhalda sanngjörnum lágmarks afkóðunarhraða er fjöldi afkóðunarhnúta stækkaður til að halda runustærðum á hvern afkóðara undir ákveðnu þröskuldsmarki.

Eins og með fyrri Hopper-uppsetningar notum við ágiskunarafkóðun með MTP-lögum sem þjálfuð eru innanhúss til að auka afkóðunarhraða. Lánsamlega til dæmis eru undirliggjandi vélbúnaður og forritunarumhverfi nógu lík til að deila útfærslunni að fullu á milli hönnunarferlanna tveggja.

Samskipti innan hnúts og milli hnúta

Helsti munurinn á GB200 NVL72 og fyrri Hopper-hnútum er stóra NVLink-lénið, sem gerir tæki-milli-tækja samskipti möguleg umfram fyrri takmörk 8 tækja. Jafnvel þótt Blackwell-tæki hafi verið sett upp í 8-grafíkörva hnútum, þá er mikið gildi í því að stækka yfir marga hnúta yfir NVLink í samanburði við hægara InfiniBand netið.

Á forstillingarhnútum treystum við á all-reduce samskipti innan athyglislaga og á sérfræðinga-samhliða minnkun sem líkist mjög all-reduce. Yfir 4 grafíkörva nýtum við bæði NVLink og NVIDIA SHARP (Scalable Hierarchical Aggregation and Reduction Protocol): auk jafningja-bandbreiddar nýtum við einnig minnkanir í NVLink-rofum til að fækka töfum enn frekar og útfæra hröð útsendingar. Á afkóðunarhnútum er sérsniðin all-to-all útsending og samsetningarútfærsla yfir NVLink notuð. Kjarnarnir hafa verið útfærðir innanhúss með því að nota CuTeDSL og cuMem vörpun eða fjölvarpun (multicast).

All-Reduce

Forstillingartækin framkvæma all-reduce aðgerð í úttaksvörpun athyglislagsins, leggja saman framlög hausa sem skipt er á milli þátttökuraða. Tensor-samhliða vinnsla er aðeins áhrifarík þegar kostnaðurinn við all-reduce yfirbygginguna er jafnaður upp af minni seinkun á minni fylkismargföldunarverkefnum. Þessi forsenda stendur venjulega fyrir forskrift.

Á gagnaversflokki NVIDIA HGX H200 og GB200 NVL72 kerfum eru grafíkörvar venjulega tengdir í gegnum NVLink-rofa. Auk leiðarvals geta rofarnir framkvæmt minnkunaraðgerðir yfir tengd tæki í gegnum SHARP. Eftir að hafa búið til minnisvörpun og skráð þær í fjölhópshóp (multicast group) með CUDA API, geta kjarnar notað multicast.ld_reduce og multicast.st til að safna saman og útvarpa gildum í gegnum rofana. Til að búa til grunn og endurnýtanlega íhluti sem hægt er að sameina í aðra kjarna, viðheldum við innanhúss CuTeDSL all-reduce kjarna með því að nota þessar frumstæður.

Í kerfi með N grafíkörfum sem minnka B bæti, myndi einföld útfærsla fela í sér að jafningi hleðður gildum frá öllum öðrum jafningjum, samtals fyrir N * (N - 1) * B bæti af lestrarumferð. Skilvirkari útfærsla myndi skipta gögnunum sem á að minnka á milli jafningja, þar sem hver um sig minnkar sneið af inntakinu, og útvarpa því síðan til hinna. Þetta skilar sér í (N - 1) * (B / N) bæti lesnum inn í jafningja og útvarpað til hinna, samtals (N - 1) * B * 2 lestra og skrifa, sem dregur úr umferð yfir rofana.

Stækka

Með SHARP er hægt að framkvæma minnkunina og útsendinguna á skilvirkari hátt: í stað þess að lesa inn (N - 1) * (B / N) bæti í tæki fyrir staðbundna söfnun, eru aðeins B / N flutt úr rofanum, þar sem hann framkvæmir minnkunina sjálfur með gögnum frá jafningjum. Fyrir útsendingu er svipuð endurbót, þar sem fjöldi færslna á milli grafíkörva og rofans yfir NVLink rásir minnkar verulega. Án SHARP myndi safntækið framkvæma (N - 1) * (B / N) færslur yfir NVLink við rofann, þar sem rofinn les sama magn gagna frá jafningjunum, samtals 2 * (N - 1) * (B / N) færslur. Með SHARP eru B / N færslur framkvæmdar á milli grafíkörva og rofans, og að auki (N - 1) * (B / N) við jafningjana, samtals B færslur.

Vegna einfaldleika síns er SHARP dýrmætt tól, þar sem það veitir einfalda vélbúnaðarútgáfu fyrir reiknirit. Jafnvel þótt flutningarnir séu minnkaðir um fræðilegt N / (2 * (N - 1)) hlutfall (sem skilar sér í 33% með 4 jafningjum), sjáum við í raun 10% framför í bæði forskriftar- og afkóðunartöfum á bæði H200 og GB200 NVL72 kerfum.

Stækka

MoE Dispatch - Combine

Fyrir MoE líkön færa útsendingar- og samsetningarkjarnar (dispatch and combine) og hópa saman tákn fyrir síðari MoE GEMM vandamál á milli jafningja, og framkvæma vegins söfnun á eftir í samsetningu. Við höfum aðlagað núverandi útsendingar- og samsetningarkjarna að Blackwell með því að millifæra þá yfir í CuTeDSL, fínstilla blokkauðlindir og sérhæfa þá á árásargjarnan hátt á milli forskrifta og afkóðunar.

Sérfræðinga-samhliða (Expert Parallel)

Sérfræðinga-samhliða (EP) kjarninn er notaður í forstillingartækjum. Þar sem inntök hans eru afrituð yfir allar raðir, þarf útsendingarkjarninn einfaldlega að velja táknin sem beint er til sérfræðinga á núverandi röð. Hann safnar saman beiningarupplýsingum og undirbýr tákn í biðminni sem notuð eru sem inntak í MoE GEMM. Samsetningarkjarninn framkvæmir fyrst staðbundna söfnun á milli framlaga tákna sem beint er til sérfræðinga á núverandi röð, og framkvæmir síðan all-reduce yfir allar raðir.

Fyrir afkóðun er öllum kjarnanumrennsli steypt saman í einn. Forstillingarkjarnanum er skipt í marga kjarna, þar sem beining og all-reduce þurfa færri blokkir en staðbundið samsetningarþrep. Með CuTeDSL gætum við byggt almennt safn fyrir bæði SHARP og NVLink all-reduce og jafningja-samstillingu, og samsett það í bæði all-reduce og sérfræðinga-samhliða kjarnana.

Stækka

Hvað varðar afköst sjáum við að Blackwell er verulega hraðari en Hopper, vegna bættrar flutningshraða, meiri minnisbandbreiddar og betri reikniafkóta. Skipt yfir 8 tæki og marga hnúta á GB200 (EP=8) verða kjarnarnir hraðari þar sem staðbundin söfnun keyrir á mun færri táknum á hverju tæki og með SHARP stækkar kostnaðurinn við minnkun yfir fleiri raðir betur. Hins vegar takmörkum við í raun samhliða vinnslu við 4 tæki, þar sem þessar hraðaaukningar eiga ekki við um alla kjarna.

Gagna-samhliða og sérfræðinga-samhliða

Gagna-samhliða og sérfræðinga-samhliða (DP-EP) kjarninn er notaður í gagna-samhliða afkóðunartækjum. Hann útvarpar mismunandi táknum frá öllum röðum til sérfræðinga, flytur niðurstöðurnar til upprunaröðanna og safnar þeim saman. Þar sem hann útfærir dreifð all-to-all vandamál, treystir hann eingöngu á NVLink.

Á Hopper er þessi kjarni takmarkaður við 8 tæki innan NVLink léns eins hnúts. Hins vegar getum við stækkað hann yfir angan rekkann á GB200 kerfum. Flestum kóðanum er endurnotað. Eini munurinn er notkun fabric-handfanga til að skipta á jafningjaupplýsingum yfir IMEX fyrir upphaflega uppsetningu.

Stækka

Þar sem flutningsstærðirnar sem myndast við afkóðun eru litlar, eru þær fjarri því að ná hámarki á NVLink bandbreidd og eru þess í stað seinkunarbundnar. Tafir eru á bilinu tugir míkrósekúndna og haldast nokkuð stöðugar þegar fjöldi jafningja eykst, sem gerir okkur kleift að dreifa uppsetningu yfir stærri fjölda tækja án þess að verða fyrir verulegum viðbótartöfum.

MoE GEMM

MoE líkön njóta góðs af sérfræðinga-samhliða vinnslu, þar sem auðvelt er að samhliða vinna kostnaðinn við að margfalda öll tákn við alla sérfræðinga yfir mörg tæki. Með tensor-samhliða vinnslu á forstillingartækjum á þéttum vandamálum er ávinningurinn nokkuð einfaldur, þar sem hver röð þarf nú að framkvæma færri útreikninga. Í afkóðunartilvikinu veitir gagna-samhliða vinnsla viðbótarávinning ofan á sérfræðinga-samhliða vinnslu, þar sem stærri fjöldi samhliða beiðni beinir fleiri táknum til hvers sérfræðings, sem þéttir vandamálin.

Í útfærslu okkar treystum við nú á CUTLASS CUDA/C++ kjarna fyrir fylkismargföldun. Við gerðum samanburðarprófanir á þeim á dreifðum afkóðunarinntökum með ýmsum magntökukerfum (quantization) og stigum samhliða vinnslu til að ákveða bestu skiptingarstefnuna fyrir afkóðunartæki. Í samanburðarprófunum hér að neðan eru allir sérfræðingar virkjaðir með einu tákni.

Stækka

Við komumst að því að það að stækka 128 sérfræðinga yfir fleiri en 16 raðir skilar minnkandi ávinningi með CUTLASS, þar sem kostnaðurinn við að margfalda 2 sérfræðinga er ekki verulega lægri en að margfalda 4. Það er skýr framför á Blackwell um fram Hopper, jafnvel á undirkjörnum blokkastillingaraðferðinni. Þar sem seinkunaraukningin um u.þ.b. 5 míkrósekúndur á milli EP=8 og EP=16 í útsendingu/samsetningu er vegin upp af lækkun um meira en 10 míkrósekúndur í kostnaði við GEMM, er réttlætanlegt að skipta afkóðunartækjum yfir 16 raðir á GB200 kerfum, eins og staðfest er af end-to-end samanburðarprófunum einnig.

Magntaka (Quantization)

Blackwell kynnir vélbúnaðarstuðning fyrir ný 8-bita og 4-bita magntökukerfi. Ólíkt Hopper, sem treysti á tensor-bundna eða blokk-bundna mælikvarðaþætti, krefst Blackwell smámælinga (microscaling) til að ná sem bestum afköstum í forskrift og afkóðun. Þó að blokkastillingarkerfið sem notað er fyrir líkön eins og DeepSeek eða Kimi sé fáanlegt, er smámæling skilvirkari.

Við höfum sett upp Qwen3 235B með MXFP8 magntökukerfinu, þar sem þyngdir eru umbreyttar kyrrstætt eftir fínstillingu líkansins. Nákvæmniáhrifin voru svipuð áhrifum blokkastillingar með slembikenndri magntöku, en afköstin sem skilað var voru miklu betri, eins og sýnt er í MoE GEMM örsamanburðarprófunum. Við höfum einnig íhugað MXFP4 og NVFP4 magntökukerfin, þó að nákvæmniáhrifin án þess að nota magntöku-vissar þjálfanir (Quantization-Aware Training) hafi verið of mikilvæg fyrir upphaflegu breytinguna úr Hopper yfir í Blackwell. Við stefnum á að kanna þessi snið dýpra í framtíðarvinnu.

End-to-End afköst

Við gerðum samanburðarprófanir á afkóðunartækjum Blackwell Qwen3 235B uppsetninga og barum þær saman við fyrri Hopper uppsetningar okkar. Í þessari uppsetningu litum við til blokkastillingar yfir báðar uppsetningar til að beina sjónum að áhrifum samhliða vinnslu. TP=4 forstillingartækjum var skipt út fyrir hvora hönnunina fyrir sig til að einangra afkóðunarafköstin. Myndin hér að neðan sýnir afkóðunarafköst miðað við raunhæft samþykktarhlutfall drasta sem skilað er af MTP-lögum okkar.

Stækka

Á Hopper er ekki raunhæft að skipta uppsetningu yfir fleiri en 8 grafíkörva, þar sem tafaráhrif yfir InfiniBand, sérstaklega á EFA millistykki, eru verulega hægari. Hins vegar á Blackwell náum við verulega meiri afköstum, þökk sé stærri NVLink-lénum.

Við náðum upphaflegri Blackwell útfærslu með því að alhæfa núverandi Hopper kjarna og þrýsta á afköst NVLink-undirstöðu kjarnanna. Við munum minnka kostnaðinn við að þjóna Qwen enn frekar með því að bæta magntöku og fínstilla afkóðunarafköst og forskriftaafköst annarra kjarna í pípunni.

Heimildir

Transfer Engine bloggfærsla

CuTeDSL bloggfærsla

Prefill-Disagg bloggfærsla

Speculative Decoding bloggfærsla

CUTLASS

NVLink

Tilvitnun

@online{perplexity2026HostingQwenOnBlackwell,
  author = {{Perplexity} and Nandor Licker and Kevin Hu and Bex Brooker and Erin McKnight},
  title = {{Hosting Qwen on Blackwell}},
  date = {2026-05-12},
  url = {https://www.perplexity.ai/hub/blog/hosting-qwen-on-blackwell}
}