బ్లాక్‌వెల్‌లో Qwenను హోస్ట్ చేస్తోంది

72-వే NVLink ద్వారా కనెక్ట్ చేయబడిన NVIDIA బ్లాక్‌వెల్ GPUలతో కూడిన NVIDIA GB200 NVL72 ర్యాక్‌లు పెద్ద మిక్స్చర్-ఆఫ్-ఎక్స్‌పర్ట్స్ (MoE) మోడళ్లను డిప్లాయ్ చేయడానికి ప్రత్యేకంగా సరిపోతాయి. ఈ బ్లాగ్ పోస్ట్‌లో, Perplexity యొక్క ట్రాఫిక్‌లో కొంత భాగానికి మద్దతు ఇచ్చే పోస్ట్-ట్రెయిన్డ్ Qwen3 235B మోడళ్లను సర్వ్ చేసే ఇన్‌ఫరెన్స్ సెటప్‌ను మేము వివరిస్తాము. NVIDIA బ్లాక్‌వెల్ GPUల అధునాతన టెన్సార్ కోర్లు మరియు హై-స్పీడ్ ఇంటర్‌కనెక్ట్‌ను ఉపయోగించుకోవడానికి మా ఇన్-హౌస్ ఇన్‌ఫరెన్స్ ఇంజిన్‌ను మేము ఎలా అడాప్ట్ చేసుకున్నామో చూపుతాము. ఈ హార్డ్‌వేర్‌తో, అంతర్లీన మోడళ్ల ఖచ్చితత్వాన్ని త్యాగం చేయకుండా మేము తక్కువ ఖర్చుతో ఎక్కువ ట్రాఫిక్‌ను నిర్వహిస్తాము.

GB200 NVL72లో డిప్లాయ్ చేస్తోంది

GB200 NVL72 ర్యాక్‌లు 2 ARM-ఆధారిత NVIDIA Grace CPUలు మరియు 4 బ్లాక్‌వెల్-ఆధారిత GPUలతో కూడిన 18 నోడ్‌లతో తయారవుతాయి, ప్రతి ఒక్కటి 180GB HBMతో అమర్చబడి ఉంటుంది. 72 GPUలు NVLink మరియు 18 NVLink స్విచ్ ASICల ద్వారా ఇంటర్‌కనెక్ట్ చేయబడతాయి, ఏదైనా రెండు పీర్‌ల మధ్య 1800 GB/s బ్యాండ్‌విడ్త్‌ను అందిస్తాయి మరియు ట్రిలియన్-పారామీటర్ మోడళ్లను హోస్ట్ చేయడానికి తగినంత మెమరీని షేర్ చేస్తాయి. అదనంగా, ConnectX-7 InfiniBand అడాప్టర్‌లు ర్యాక్ యొక్క నోడ్‌లలో మరియు పొరుగు ర్యాక్‌లలో అదనంగా 400 Gb/s బ్యాండ్‌విడ్త్‌ను అందిస్తాయి.

ట్రాఫిక్‌ను నిర్వహించడానికి, మేము Qwen మోడళ్లను పోస్ట్-ట్రెయిన్ చేసి సర్వ్ చేయాలని ఎంచుకున్నాము. ఈ బ్లాగ్ పోస్ట్‌లో, మేము Qwen3 235Bపై దృష్టి పెడుతాము, అయితే చర్చించబడిన అనేక సర్వింగ్ పద్ధతులు మరియు పనితీరు లక్షణాలు మేము మైగ్రేట్ చేస్తున్న కొత్త Qwen3.5 397B మరియు 122B మోడళ్లను పోలి ఉంటాయి. పారలలిజం పరంగా, లీనియర్ అటెన్షన్ పూర్తి సెల్ఫ్ అటెన్షన్‌ను పోలి ఉంటుంది మరియు కొత్త గేట్ టెర్మ్‌లకు అనుగుణంగా ప్రస్తుత MoE లేయర్ ఇంప్లిమెంటేషన్‌ను సులభంగా అడాప్ట్ చేసుకోవచ్చు. త్రూపుట్‌ను గరిష్టంగా ఉంచుతూ స్థిరమైన డీకోడింగ్ రేట్‌ను నిర్వహించడానికి, మేము రెండు రకాల నోడ్‌ల కోసం విభిన్న పారలలిజం వ్యూహాలను డిప్లాయ్ చేస్తూ, ప్రీఫిల్‌ను డీకోడ్ నుండి వేరు చేయాలని ఎంచుకున్నాము. ప్రీఫిల్లర్-నుండి-డీకోడర్ కమ్యూనికేషన్ InfiniBand ద్వారా నిర్వహించబడుతుంది, అయితే NVLink బ్యాండ్‌విడ్త్ ప్రీఫిల్లర్లు మరియు డీకోడర్ల లోపల కమ్యూనికేషన్ కోసం కేటాయించబడుతుంది. ఈ బ్లాగ్ పోస్ట్‌లో అన్వేషించబడిన మ్యాట్రిక్స్ గుణకారం మరియు డివైజ్-మధ్య కమ్యూనికేషన్‌ను నిర్వహించేటప్పుడు బ్లాక్‌వెల్ పరికరాల పనితీరు లక్షణాలు ఉపయోగించిన షార్డింగ్ వ్యూహాలను నిర్ణయిస్తాయి. NVIDIA హాపర్ GPUలతో పోలిస్తే, ఎక్కువ సంఖ్యలో స్ట్రీమింగ్ మల్టీప్రాసెసర్‌లు, పెరిగిన మెమరీ బ్యాండ్‌విడ్త్ మరియు తక్కువ పీర్-టు-పీర్ లేటెన్సీల కారణంగా కెర్నెల్-వారీ మెరుగుదలలను మేము చూస్తాము.

విస్తరించు

విభజించబడిన ప్రీఫిల్‌ను అమలు చేసే మా TransferEngine, ప్రీఫిల్లర్లు మరియు డీకోడర్ల అంతటా ఏకపక్ష మరియు బహుశా సరిపోని షార్డింగ్‌ను నిర్వహించింది. KV కాష్‌లు మెమరీలో HND ఆర్డర్‌లో అమర్చబడి ఉంటాయి, లీడింగ్ డైమెన్షన్‌లో హెడ్‌లు మరియు టోకెన్‌లు కంటిన్యూయస్‌గా ఉంచబడతాయి, తద్వారా ప్రీఫిల్లర్‌పై ఉన్న షార్డెడ్ KV కాష్ డీకోడర్ నోడ్‌కు బదిలీ చేసే సమయంలో మరింత విభజించబడుతుంది లేదా కన్కాటనేట్ చేయబడుతుంది.

ప్రీఫిల్లర్లు

ప్రీఫిల్లర్ నోడ్‌లు అభ్యర్థన యొక్క ఇన్‌పుట్ టోకెన్‌లను స్వీకరిస్తాయి, KV కాష్‌లను పాపులేట్ చేస్తాయి మరియు టెక్స్ట్ జనరేషన్‌ను కొనసాగించడానికి వాటిని డీకోడర్‌లకు బదిలీ చేస్తాయి. ప్రీఫిల్ కంప్యూటేషనల్ పరంగా ఇంటెన్సివ్‌గా ఉంటుంది, ఎందుకంటే ఒక సీక్వెన్స్‌కు చెందిన వేలాది టోకెన్‌లు ఒకే సమయంలో ప్రాసెస్ చేయబడతాయి.

ఫలితంగా, టెన్సార్ పారలల్ డిప్లాయ్‌మెంట్ తగినదని మేము కనుగొన్నాము, ఒకే GB200 నోడ్‌లోని 4 GPUలలో మోడల్ షార్డ్ చేయబడింది మరియు ప్రొజెక్షన్‌లు మరియు ఎక్స్‌పర్ట్‌లు షార్డ్ చేయబడ్డాయి (TP=4, EP=4). అటెన్షన్ మరియు MLPలు రెండూ కంప్యూట్-బౌండ్ కాబట్టి, రెండూ పారలలిజం ద్వారా ప్రయోజనం పొందుతాయి, ఎక్స్‌పర్ట్‌లు మరియు అటెన్షన్ హెడ్‌లను వేర్వేరు రాంక్‌ల అంతటా పంపిణీ చేస్తాయి. ప్రతి రాంక్‌పై తక్కువ ఎక్స్‌పర్ట్‌లను హోస్ట్ చేయడం వల్ల వచ్చే త్రూపుట్ మెరుగుదల (32కి బదులుగా 16) 8-వే ఆల్-రిడ్యూస్ యొక్క అదనపు ఖర్చును మరియు ఈథర్‌నెట్ ద్వారా కమ్యూనికేషన్ అవసరమయ్యే రెండు నోడ్‌ల అంతటా హోస్ట్-సైడ్ కోడ్‌ను విభజించే ఓవర్‌హెడ్‌ను భర్తీ చేయదు కాబట్టి, మరింత పారలలిజం క్షీణిస్తున్న ప్రతిఫలాలను అందించి ఉండేది.

Qwen3 235Bకి కేవలం 4 కీ-వాల్యూ హెడ్‌లు మాత్రమే ఉన్నాయి, 8 పరికరాలను ఉపయోగిస్తే రాంక్‌ల జతల అంతటా k మరియు v ప్రొజెక్షన్‌లు రెప్లికేట్ చేయబడాలి. ప్రతి రాంక్‌పై వెయిట్‌లను నిల్వ చేయడానికి అవసరమైన మెమరీ పరిమాణాన్ని తగ్గించడానికి, KV కాష్‌లో మరిన్ని టోకెన్‌ల కోసం స్పేస్‌ను ఖాళీ చేయడానికి మేము మరింత దూకుడుగా ఉండే షార్డింగ్‌ను పరిగణించి ఉండవచ్చు. అయినప్పటికీ, విస్తృత డిప్లాయ్‌మెంట్ విలువైనది కాదని మేము కనుగొన్నాము.

సుమారు 6000 టోకెన్ల ఇన్‌పుట్ పొడవును ఊహిస్తే, 128 ఎక్స్‌పర్ట్‌లలో ప్రతి ఒక్కదానికీ సుమారు 6000 * 8 / 128 = 375 టోకెన్‌లు రూట్ చేయబడతాయి, ఇది MoE GEMM కోసం దట్టమైన సమస్యను నిర్ధారిస్తుంది. ఇది ఇప్పటికే పరికరం యొక్క కంప్యూటేషనల్ త్రూపుట్‌ను సంతృప్తిపరుస్తుంది కాబట్టి, ప్రీఫిల్ కోసం డేటా పారలలిజం అవసరం లేదు.

అటెన్షన్ యొక్క క్వాడ్రాటికల్లీ పెరుగుతున్న ఖర్చు ఉన్నప్పటికీ, ప్రీఫిల్లర్లు స్థిరమైన త్రూపుట్‌ను అందిస్తాయి, ఒక సెకనులో ఒక నోడ్ ద్వారా ప్రాసెస్ చేయగల ఇన్‌పుట్ టోకెన్‌ల సంఖ్య కోసం సుమారు అంచనా వేయడానికి అనుమతిస్తాయి. అభ్యర్థనల నుండి మొత్తం ఇన్‌పుట్ టోకెన్‌ల సంఖ్యను ట్రాక్ చేసే మెట్రిక్‌లపై ఆధారపడి, మొత్తం ప్రీఫిల్ త్రూపుట్ తగినట్లుగా ఉండేలా ప్రీఫిల్లర్ నోడ్‌ల సంఖ్యను స్కేల్ అప్ చేయవచ్చు. క్యూయింగ్‌ను నివారించడానికి, ప్రీఫిల్లర్ రెప్లికాల సంఖ్య స్వీకరించబడిన మొత్తం ఇన్‌పుట్ టోకెన్‌ల సంఖ్యకు సరిపోల్చబడుతుంది.

డీకోడర్లు

డీకోడర్ నోడ్‌లు ప్రీఫిల్లర్ల నుండి KV కాష్‌లను స్వీకరిస్తాయి మరియు టోకెన్‌లను ఒక్కొక్కటిగా జనరేట్ చేస్తాయి. డీకోడ్ సాధారణంగా మెమరీ బౌండ్‌గా ఉంటుంది: కొన్ని ఇన్‌పుట్ టోకెన్‌లతో, మ్యాట్రిక్స్ గుణకారం పూర్తిగా HBM నుండి టెన్సార్ కోర్‌లలోకి వెయిట్‌లను లోడ్ చేసే ఖర్చు ద్వారా బౌండ్ చేయబడుతుంది. విభిన్న షార్డింగ్ వ్యూహాన్ని ఉపయోగించడంతో పాటు, కంప్యుటేషన్‌లు మరియు మెమరీ యాక్సెస్‌లను మెరుగ్గా పారలలైజ్ చేయడానికి అనేక కెర్నెల్‌లను సర్దుబాటు చేయాలి.

ప్రీఫిల్ వలె కాకుండా, షార్డింగ్ అటెన్షన్ ఇకపై ప్రయోజనకరంగా ఉండదు: బహుళ పరికరాల అంతటా అటెన్షన్ హెడ్‌లను విభజించడం అంటే ఒకే పరికరంలో పారలలిజం కోసం తక్కువ అవకాశాలు ఉంటాయని అర్థం. ఫలితంగా, డేటా పారలలిజం మరియు ఎక్స్‌పర్ట్ పారలలిజం మాత్రమే ఉపయోగించబడతాయి: ఎక్స్‌పర్ట్‌లు బహుళ పరికరాల అంతటా షార్డ్ చేయబడతాయి, అయితే ప్రతి పరికరం దాని స్వంత KV కాష్‌లు మరియు అభ్యర్థనలను నిర్వహిస్తుంది. టెన్సార్ పారలలిజం లేకుండా, పరికరంలో ప్రతి-టోకెన్ KV కాష్ పరిమాణం పెద్దదిగా ఉంటుంది. అయినప్పటికీ, ఒకే నోడ్‌పై తక్కువ ఎక్స్‌పర్ట్‌లను ఉంచడం ద్వారా మెమరీలో స్పేస్ ఖాళీ చేయబడుతుంది. 8-GPU నోడ్‌లోని ఒకే NVLink డొమైన్‌లో మేము టెన్సార్ పారలలిజాన్ని పరిమితం చేసిన హాపర్ వలె కాకుండా, బ్లాక్‌వెల్‌లో డొమైన్‌లోని బహుళ నోడ్‌ల అంతటా విస్తరించడం, గరిష్టంగా 16 పరికరాలను ఉపయోగించడం ప్రయోజనకరంగా ఉంటుందని మేము కనుగొన్నాము.

త్రూపుట్‌ను గరిష్టంగా ఉంచడానికి, డీకోడర్లు ఎక్కువ సంఖ్యలో అభ్యర్థనలను ఏకకాలంలో ప్రాసెస్ చేస్తాయి. అదనపు అభ్యర్థనలు MoE లేయర్‌లు మరియు ఇతర ప్రొజెక్షన్‌లలో కనీస ఓవర్‌హెడ్‌ను కలిగి ఉన్నప్పటికీ, అవి అటెన్షన్ ఖర్చును అసమానంగా పెంచుతాయి. సహేతుకమైన కనీస డీకోడింగ్ వేగాన్ని నిర్వహించడానికి, ప్రతి-డీకోడర్ బ్యాచ్ పరిమాణాలను నిర్దిష్ట థ్రెషోల్డ్ కంటే తక్కువగా ఉంచడానికి డీకోడర్ నోడ్‌ల సంఖ్య స్కేల్ చేయబడుతుంది.

మునుపటి హాపర్ డిప్లాయ్‌మెంట్‌ల వలె, డీకోడింగ్ రేట్లను పెంచడానికి మేము ఇన్-హౌస్‌లో శిక్షణ పొందిన MTP లేయర్‌లతో ఊహాజనిక డీకోడింగ్‌ను (speculative decoding) ఉపయోగిస్తాము. అదృష్టవశాత్తూ, రెండు ఆర్కిటెక్చర్‌ల మధ్య ఇంప్లిమెంటేషన్‌ను పూర్తిగా షేర్ చేయడానికి అంతర్లీన హార్డ్‌వేర్ మరియు ప్రోగ్రామింగ్ ఫ్రేమ్‌వర్క్‌లు సరిపోతాయి.

నోడ్-లోపలి మరియు నోడ్-మధ్య కమ్యూనికేషన్

GB200 NVL72 మరియు మునుపటి హాపర్ నోడ్‌ల మధ్య ప్రధాన వ్యత్యాసం పెద్ద NVLink డొమైన్, ఇది 8 పరికరాల మునుపటి పరిమితిని మించి పీర్-టు-పీర్ కమ్యూనికేషన్‌ను మ్రిస్తుంది. బ్లాక్‌వెల్ పరికరాలు 8-GPU నోడ్‌లలో డిప్లాయ్ చేయబడినప్పటికీ, నెమ్మదైన InfiniBand నెట్‌వర్క్‌తో పోలిస్తే NVLink ద్వారా బహుళ నోడ్‌లలో స్కేలింగ్ చేయడంలో చాలా విలువ ఉంది.

ప్రీఫిల్లర్ నోడ్‌లపై, మేము అటెన్షన్ లేయర్‌ల లోపల ఆల్-రిడ్యూస్ కమ్యూనికేషన్‌పై మరియు ఆల్-రిడ్యూస్‌ను పోలి ఉండే ఎక్స్‌పర్ట్ పారలల్ రిడక్షన్ పై ఆధారపడతాము. 4 GPUలలో, మేము NVLink మరియు NVIDIA SHARP (స్కేలబుల్ హైరార్కికల్ అగ్రిగేషన్ అండ్ రిడక్షన్ ప్రొటోకాల్) రెండింటినీ ఉపయోగిస్తాము: పీర్-టు-పీర్ బ్యాండ్‌విడ్త్‌తో పాటు, లేటెన్సీలను మరింత తగ్గించడానికి మరియు వేగవంతమైన ప్రసారాలను అమలు చేయడానికి మేము NVLink స్విచ్‌లలో రిడక్షన్‌లను కూడా ఉపయోగించుకుంటాము. డీకోడర్ నోడ్‌లపై, NVLink ద్వారా కస్టమ్ ఆల్-టు-ఆల్ డిస్పాచ్ మరియు కంబైన్ ఇంప్లిమెంటేషన్ ఉపయోగించబడుతుంది. CuTeDSL మరియు cuMem మ్యాపింగ్‌లు లేదా మల్టీకాస్ట్ మ్యాపింగ్‌లను ఉపయోగించి కెర్నెల్స్ ఇన్-హౌస్‌లో ఇంప్లిమెంట్ చేయబడ్డాయి.

ఆల్-రిడ్యూస్

ప్రీఫిల్లర్లు అటెన్షన్ లేయర్ యొక్క అవుట్‌పుట్ ప్రొజెక్షన్‌లో ఆల్-రిడ్యూస్ ఆపరేషన్‌ను నిర్వహిస్తాయి, పాల్గొనే రాంక్‌ల అంతటా షార్డ్ చేయబడిన హెడ్‌ల సహకారాలను జోడిస్తాయి. ఆల్-రిడ్యూస్ ఓవర్‌హెడ్ ఖర్చు చిన్న మ్యాట్రిక్స్ గుణకార సమస్యల యొక్క తగ్గిన లేటెన్సీ ద్వారా భర్తీ చేయబడినప్పుడు మాత్రమే టెన్సార్ పారలలిజం ప్రభావవంతంగా ఉంటుంది. ఈ ఊహ సాధారణంగా ప్రీఫిల్ కోసం వర్తిస్తుంది.

డేటాసెంటర్-గ్రేడ్ NVIDIA HGX H200 మరియు GB200 NVL72 సిస్టమ్‌లలో, GPUలు సాధారణంగా NVLink స్విచ్‌ల ద్వారా కనెక్ట్ చేయబడతాయి. రూటింగ్‌తో పాటు, స్విచ్‌లు SHARP ద్వారా కనెక్ట్ చేయబడిన పరికరాల అంతటా రిడక్షన్ ఆపరేషన్‌లను నిర్వహించగలవు. మెమరీ మ్యాపింగ్‌లను సృష్టించి, CUDA APIలను ఉపయోగించి మల్టీకాస్ట్ గ్రూప్‌లో వాటిని రిజిస్టర్ చేసిన తర్వాత, స్విచ్‌ల ద్వారా విలువలను అగ్రిగేట్ చేయడానికి మరియు బ్రాడ్‌కాస్ట్ చేయడానికి కెర్నెల్స్ multicast.ld_reduce మరియు multicast.stని ఉపయోగించవచ్చు. ఇతర కెర్నెల్స్‌లో ఫ్యూజ్ చేయగల ఫౌండేషన్ మరియు పునర్వినియోగ భాగాలను సృష్టించడానికి, మేము అంతర్గతంగా ఈ ప్రిమిటివ్‌లను ఉపయోగించి CuTeDSL ఆల్-రిడ్యూస్ కెర్నెల్‌ను నిర్వహిస్తాము.

B బైట్‌లను రిడ్యూస్ చేసే N GPUలతో కూడిన సిస్టమ్‌లో, సాధారణ ఇంప్లిమెంటేషన్ అన్ని ఇతర పీర్‌ల నుండి పీర్ లోడ్ విలువలను కలిగి ఉంటుంది, మొత్తం N * (N - 1) * B బైట్ల రీడ్ ట్రాఫిక్ ఉంటుంది. మరింత సమర్థవంతమైన ఇంప్లిమెంటేషన్ రిడ్యూస్ చేయవలసిన డేటాను పీర్‌ల అంతటా విభజిస్తుంది, ప్రతి ఒక్కటి ఇన్‌పుట్ యొక్క స్లైస్‌ను రిడ్యూస్ చేస్తుంది, ఆపై దాన్ని మిగిలిన వాటికి బ్రాడ్‌కాస్ట్ చేస్తుంది. ఇది పీర్‌లోకి (N - 1) * (B / N) బైట్లు రీడ్ చేయబడి మిగిలిన వాటికి బ్రాడ్‌కాస్ట్ చేయబడటానికి దారితీస్తుంది, మొత్తం (N - 1) * B * 2 రీడ్‌లు మరియు రైట్‌ల కోసం, స్విచ్‌ల ద్వారా ట్రాఫిక్‌ను తగ్గిస్తుంది.

విస్తరించు

SHARPతో, తగ్గింపు మరియు బ్రాడ్‌కాస్ట్‌ను మరింత సమర్థవంతంగా నిర్వహించవచ్చు: లోకల్ అగ్రిగేషన్ కోసం (N - 1) * (B / N) బైట్లను పరికరంలోకి చదవడం బదులుగా, స్విచ్ నుండి కేవలం B / N మాత్రమే తరలించబడుతుంది, ఎందుకంటే స్విచ్ itself పీర్స్ నుండి వచ్చిన డేటాను ఉపయోగించి తగ్గింపును స్వయంగా నిర్వహిస్తుంది. బ్రాడ్‌కాస్ట్ కోసం కూడా ఇలాంటి మెరుగుదల ఉంది, ఎందుకంటే NVLink ఛానెల్‌లపై GPU మరియు స్విచ్ మధ్య జరిగే లావాదేవీల సంఖ్య గణనీయంగా తగ్గుతుంది. SHARP లేకుండా, అగ్రిగేట్ చేసే పరికరం స్విచ్‌తో NVLink మీద (N - 1) * (B / N) లావాదేవీలు నిర్వహిస్తుంది, అదే మొత్తంలో డేటాను స్విచ్ పీర్స్ నుండి చదువుతుంది, మొత్తం 2 * (N - 1) * (B / N) లావాదేవీలు అవుతాయి. SHARPతో, GPU మరియు స్విచ్ మధ్య B / N లావాదేవీలు జరుగుతాయి, మరియు పీర్స్‌తో మరో (N - 1) * (B / N) లావాదేవీలు జరుగుతాయి, మొత్తం B లావాదేవీలు అవుతాయి.

దీని సరళత కారణంగా, SHARP ఒక విలువైన సాధనం, ఎందుకంటే ఇది అల్గారిథమ్ కోసం సూటిగా ఉండే హార్డ్‌వేర్ ఇంప్లిమెంటేషన్‌ను అందిస్తుంది. బదిలీలు సైద్ధాంతిక N / (2 * (N - 1)) భిన్నం ద్వారా తగ్గించబడినప్పటికీ (ఇది 4 పీర్‌లతో 33%కి మూల్యాంకనం చేస్తుంది), ఆచరణలో మేము H200 మరియు GB200 NVL72 సిస్టమ్‌లు రెండింటిలోనూ ప్రీఫిల్ మరియు డీకోడ్ లేటెన్సీలు రెండింటిలోనూ 10% మెరుగుదలను గమనిస్తాము.

విస్తరించు

MoE డిస్పాచ్ - కంబైన్

MoE మోడళ్ల కోసం, డిస్పాచ్ మరియు కంబైన్ కెర్నెల్స్ పీర్‌ల మధ్య తదుపరి MoE GEMM సమస్యల కోసం టోకెన్‌లను కదిలిస్తాయి మరియు గ్రూప్ చేస్తాయి, ఆ తర్వాత కంబైన్‌లో వెయిటెడ్ అక్యుములేషన్‌ను నిర్వహిస్తాయి. మేము మా ఇప్పటికే ఉన్న డిస్పాచ్ మరియు కంబైన్ కెర్నెల్‌లను CuTeDSLకి పోర్ట్ చేయడం ద్వారా, బ్లాక్ అలోకేషన్‌లను సర్దుబాటు చేయడం ద్వారా మరియు ప్రీఫిల్ మరియు డీకోడ్ మధ్య వాటిని దూకుడుగా స్పెషలైజ్ చేయడం ద్వారా బ్లాక్‌వెల్‌కు అడాప్ట్ చేసుకున్నాము.

ఎక్స్‌పర్ట్ పారలల్

ఎక్స్‌పర్ట్ పారలల్ (EP) కెర్నెల్ ప్రీఫిల్లర్లలో ఉపయోగించబడుతుంది. దీని ఇన్‌పుట్‌లు అన్ని రాంక్‌ల అంతటా రెప్లికేట్ చేయబడతాయి కాబట్టి, డిస్పాచ్ కెర్నెల్ ప్రస్తుత రాంక్‌లోని ఎక్స్‌పర్ట్‌లకు రూట్ చేయబడిన టోకెన్‌లను కేవలం ఎంచుకోవాలి. ఇది రూటింగ్ సమాచారాన్ని అగ్రిగేట్ చేస్తుంది మరియు MoE GEMMకి ఇన్‌పుట్‌లుగా ఉపయోగించే బఫర్‌లలోకి టోకెన్‌లను సిద్ధం చేస్తుంది. కంబైన్ కెర్నెల్ మొదట ప్రస్తుత రాంక్‌లోని ఎక్స్‌పర్ట్‌లకు రూట్ చేయబడిన టోకెన్ల సహకారాల మధ్య స్థానిక అక్యుములేషన్‌ను నిర్వహిస్తుంది, ఆపై అన్ని రాంక్‌ల అంతటా ఆల్-రిడ్యూస్‌ను నిర్వహిస్తుంది.

డీకోడ్ కోసం, మొత్తం కెర్నెల్ ఒకటిగా ఫ్యూజ్ చేయబడుతుంది. రూటింగ్ మరియు ఆల్-రిడ్యూస్‌కు స్థానిక కంబైన్ దశ కంటే తక్కువ బ్లాక్‌లు అవసరం కాబట్టి ప్రీఫిల్ కెర్నెల్ బహుళ కెర్నెల్స్‌గా విభజించబడింది. CuTeDSLతో, మేము SHARP మరియు NVLink ఆల్-రిడ్యూస్ రెండింటి కోసం మరియు పీర్-టు-పీర్ సింక్రొనైజేషన్ కోసం ఒక సాధారణ లైబ్రరీని నిర్మించగలము, దానిని ఆల్-రిడ్యూస్ మరియు ఎక్స్‌పర్ట్ పారలల్ కెర్నెల్స్ రెండింటిలోనూ కంపోజ్ చేయవచ్చు.

విస్తరించు

పనితీరు పరంగా, మెరుగైన బదిలీ వేగం, అధిక మెమరీ బ్యాండ్‌విడ్త్ మరియు మెరుగైన కంప్యూటేషనల్ త్రూపుట్ కారణంగా బ్లాక్‌వెల్ హాపర్ కంటే గణనీయంగా వేగంగా ఉందని మేము గమనిస్తాము. GB200లలో 8 పరికరాలు మరియు బహుళ నోడ్‌ల అంతటా షార్డ్ చేయబడినప్పుడు (EP=8), ప్రతి పరికరంలో స్థానిక అక్యుములేషన్ చాలా తక్కువ టోకెన్‌లపై రన్ అవుతుంది కాబట్టి కెర్నెల్స్ వేగంగా మారుతాయి మరియు SHARPతో, ఎక్కువ రాంక్‌ల అంతటా రిడక్షన్ ఖర్చు మెరుగ్గా స్కేల్ అవుతుంది. అయినప్పటికీ, ఆచరణలో, ఈ స్పీడ్‌అప్‌లు అన్ని కెర్నెల్స్‌లో సార్వత్రికమైనవి కానందున, మేము పారలలిజాన్ని 4 పరికరాలకు పరిమితం చేస్తాము.

డేటా పారలల్ మరియు ఎక్స్‌పర్ట్ పారలల్

డేటా పారలల్ మరియు ఎక్స్‌పర్ట్ పారలల్ (DP-EP) కెర్నెల్ డేటా పారలల్ డీకోడర్లలో ఉపయోగించబడుతుంది. ఇది అన్ని రాంక్‌ల నుండి విభిన్న టోకెన్‌లను ఎక్స్‌పర్ట్‌లకు బ్రాడ్‌కాస్ట్ చేస్తుంది, ఫలితాలను ఒరిజినేటింగ్ రాంక్‌లకు బదిలీ చేస్తుంది మరియు వాటిని అక్యుములేట్ చేస్తుంది. ఇది స్పార్స్ ఆల్-టు-ఆల్ సమస్యను అమలు చేస్తుంది కాబట్టి, ఇది పూర్తిగా NVLinkపై ఆధారపడుతుంది.

హాపర్‌పై, ఈ కెర్నెల్ ఒకే నోడ్ యొక్క NVLink డొమైన్లోని 8 పరికరాలకు పరిమితం చేయబడింది. అయినప్పటికీ, GB200 సిస్టమ్‌లలో మేము దానిని మొత్తం ర్యాక్ అంతటా స్కేల్ చేయవచ్చు. కోడ్ చాలావరకు పునర్వినియోగించబడుతుంది. ప్రారంభ సెటప్ కోసం IMEX ద్వారా పీర్ సమాచారాన్ని మార్పిడి చేయడానికి fabric హ్యాండిల్స్‌ను ఉపయోగించడం మాత్రమే వ్యత్యాసం.

విస్తరించు

డీకోడ్ సమయంలో సంభవించే బదిలీ పరిమాణాలు చిన్నవిగా ఉన్నందున, అవి NVLink బ్యాండ్‌విడ్త్‌ను సంతృప్తిపరచడానికి చాలా దూరంగా ఉంటాయి మరియు బదులుగా లేటెన్సీ-పరిమితంగా ఉంటాయి. లేటెన్సీలు పదుల మైక్రోసెకన్లలో ఉంటాయి మరియు పీర్‌ల సంఖ్య పెరిగినప్పటికీ సాపేక్షంగా స్థిరంగా ఉంటాయి, గణనీయమైన అదనపు లేటెన్సీని ఎదుర్కోకుండా పెద్ద సంఖ్యలో పరికరాల అంతటా డిప్లాయ్‌మెంట్‌ను విస్తరించడానికి మాకు అనుమతిస్తాయి.

MoE GEMM

MoE మోడళ్లు ఎక్స్‌పర్ట్ పారలలిజం ద్వారా ప్రయోజనం పొందుతాయి, ఎందుకంటే అన్ని టోకెన్‌లను అన్ని ఎక్స్‌పర్ట్‌లతో గుణించే ఖర్చును బహుళ పరికరాల అంతటా సులభంగా పారలలైజ్ చేయవచ్చు. ప్రీఫిల్లర్లపై టెన్సార్ పారలలిజంతో, దట్టమైన సమస్యలపై ప్రయోజనం చాలా సూటిగా ఉంటుంది, ఎందుకంటే ఇప్పుడు ప్రతి రాంక్ తక్కువ కంప్యుటేషన్‌లను నిర్వహించాలి. డీకోడ్ విషయంలో, డేటా పారలలిజం ఎక్స్‌పర్ట్ పారలలిజం పైన అదనపు ప్రయోజనాన్ని అందిస్తుంది, ఎందుకంటే పెద్ద సంఖ్యలో సమాంతర అభ్యర్థనలు ప్రతి ఎక్స్‌పర్ట్‌కు ఎక్కువ టోకెన్‌లను రూట్ చేస్తాయి, సమస్యలను దట్టం చేస్తాయి.

మా ఇంప్లిమెంటేషన్‌లో, మేము ప్రస్తుతం మ్యాట్రిక్స్ గుణకారం కోసం CUTLASS CUDA/C++ కెర్నెల్స్‌పై ఆధారపడుతున్నాము. డీకోడర్ల కోసం సరైన షార్డింగ్ వ్యూహాన్ని నిర్ణయించడానికి మేము వివిధ క్వాంటైజేషన్ పథకాలు మరియు పారలలిజం స్థాయిలతో స్పార్స్ డీకోడ్ ఇన్‌పుట్‌లపై వాటిని బెంచ్‌మార్క్ చేసాము. క్రింది బెంచ్‌మార్క్‌లలో, అన్ని ఎక్స్‌పర్ట్‌లు ఒకే టోకెన్‌తో యాక్టివేట్ చేయబడతాయి.

విస్తరించు

CUTLASSతో 16 కంటే ఎక్కువ రాంక్‌ల అంతటా 128 ఎక్స్‌పర్ట్‌లను స్కేల్ చేయడం వలన క్షీణిస్తున్న ప్రతిఫలాలు లభిస్తాయని మేము కనుగొన్నాము, ఎందుకంటే 2 ఎక్స్‌పర్ట్‌లను గుణించే ఖర్చు 4ని గుణించడం కంటే గణనీయంగా తక్కువగా ఉండదు. ఉప-సరైన బ్లాక్ స్కేలింగ్ వ్యూహంపై కూడా, హాపర్‌పై బ్లాక్‌వెల్‌లో స్పష్టమైన మెరుగుదల ఉంది. EP=8 మరియు EP=16 డిస్పాచ్/కంబైన్ మధ్య సుమారు 5 us లేటెన్సీ పెరుగుదల GEMM ఖర్చులో 10 us కంటే ఎక్కువ తగ్గుదల ద్వారా భర్తీ చేయబడుతుంది కాబట్టి, GB200 సిస్టమ్‌లలో, ఎండ్-టు-ఎండ్ బెంచ్‌మార్క్‌ల ద్వారా కూడా నిర్ధారించబడినట్లుగా, 16 రాంక్‌ల అంతటా డీకోడర్‌లను షార్డ్ చేయడం సమర్థించబడుతుంది.

క్వాంటైజేషన్

బ్లాక్‌వెల్ కొత్త 8-బిట్ మరియు 4-బిట్ క్వాంటైజేషన్ పథకాల కోసం హార్డ్‌వేర్ మద్దతును పరిచయం చేస్తుంది. ప్రతి-టెన్సార్ లేదా ప్రతి-బ్లాక్ స్కేలింగ్ స్కేలింగ్ కారకాలపై ఆధారపడే హాపర్ వలె కాకుండా, ఉత్తమ ప్రీఫిల్ మరియు డీకోడ్ త్రూపుట్‌ను సాధించడానికి బ్లాక్‌వెల్‌కు మైక్రోస్కేలింగ్ అవసరం. DeepSeek లేదా Kimi వంటి మోడళ్ల కోసం ఉపయోగించే బ్లాక్ స్కేలింగ్ పథకం అందుబాటులో ఉన్నప్పటికీ, మైక్రోస్కేలింగ్ మరింత సమర్థవంతమైనది.

మేము Qwen3 235Bను MXFP8 క్వాంటైజేషన్ స్కీమ్‌తో డిప్లాయ్ చేశాము, మోడల్‌ను fine-tuning చేసిన తర్వాత వెయిట్స్‌ను స్థిరంగా మారుస్తూ. accuracy పై ప్రభావం stochastic quantizationతో block scaling ప్రభావం లాగే ఉండింది, కానీ MoE GEMM microbenchmarks చూపినట్లు అందించిన performance చాలా మెరుగ్గా ఉంది. MXFP4 మరియు NVFP4 క్వాంటైజేషన్ స్కీమ్‌లను కూడా మేము పరిగణించాము, అయితే Quantization-Aware Training లేకుండా accuracy పై ప్రభావం Hopper నుండి Blackwell‌కు మొదటి మార్పిడికి చాలా ఎక్కువగా ఉండింది. భవిష్యత్తు పనిలో ఈ formats‌ను మరింత సమగ్రంగా అన్వేషించాలని మేము యోచిస్తున్నాము.

ఎండ్-to-ఎండ్ పనితీరు

బ్లాక్‌వెల్ Qwen3 235B డిప్లాయ్‌మెంట్ల డీకోడర్‌లను మేము బెంచ్‌మార్క్ చేసాము మరియు వాటిని మా మునుపటి హాపర్ డిప్లాయ్‌మెంట్‌లతో పోల్చాము. ఈ సెటప్‌లో, పారలలిజం ప్రభావంపై దృష్టి పెట్టడానికి మేము రెండు డిప్లాయ్‌మెంట్ల అంతటా బ్లాక్ స్కేలింగ్‌ను పరిగణించాము. డీకోడ్ పనితీరును వేరు చేయడానికి రెండు ఆర్కిటెక్చర్‌ల కోసం TP=4 ప్రీఫిల్లర్లు వేరు చేయబడ్డాయి. మా MTP లేయర్‌ల ద్వారా అందించబడిన వాస్తవిక డ్రాఫ్ట్ అక్సెప్టెన్స్ రేట్‌ను ఊహిస్తూ దిగువ చిత్రం డీకోడింగ్ త్రూపుట్‌ను వివరిస్తుంది.

విస్తరించు

హాపర్‌పై, 8 GPUల కంటే ఎక్కువ డిప్లాయ్‌మెంట్‌ను షార్డ్ చేయడం సాధ్యం కాదు, ఎందుకంటే InfiniBand అంతటా లేటెన్సీలు, ప్రత్యేకించి EFA అడాప్టర్‌లపై, గణనీయంగా నెమ్మదిగా ఉంటాయి. అయినప్పటికీ, బ్లాక్‌వెల్‌లో, పెద్ద NVLink డొమైన్‌లకు ధన్యవాదాలు, మేము గణనీయంగా అధిక త్రూపుట్‌ను సాధిస్తాము.

ప్రస్తుత హాపర్ కెర్నెల్స్‌ను జనరలైజ్ చేయడం ద్వారా మరియు NVLink-ఆధారిత కెర్నెల్స్ పనితీరును పెంచడం ద్వారా మేము ప్రారంభ బ్లాక్‌వెల్ ఇంప్లిమెంటేషన్‌ను సాధించాము. క్వాంటైజేషన్‌ను మెరుగుపరచడం ద్వారా మరియు పైప్‌లైన్‌లోని ఇతర కెర్నెల్స్ యొక్క డీకోడ్ పనితీరు మరియు ప్రీఫిల్ త్రూపుట్‌ను ఫైన్-ట్యూన్ చేయడం ద్వారా Qwenను సర్వ్ చేసే ఖర్చును మేము మరింత తగ్గిస్తాము.

ప్రస్తావనలు

Transfer Engine blog post

CuTeDSL blog post

Prefill-Disagg blog post

Speculative Decoding blog post

CUTLASS

NVLink

ఉదాహరణ

@online{perplexity2026HostingQwenOnBlackwell,
  author = {{Perplexity} and Nandor Licker and Kevin Hu and Bex Brooker and Erin McKnight},
  title = {{Hosting Qwen on Blackwell}},
  date = {2026-05-12},
  url = {https://www.perplexity.ai/hub/blog/hosting-qwen-on-blackwell}
}