Blackwell'de Qwen'i Barındırma

72 yönlü NVLink aracılığıyla birbirine bağlanan NVIDIA Blackwell GPU'lara sahip NVIDIA GB200 NVL72 rafları, büyük uzman karışımı (MoE) modellerini dağıtmak için benzersiz bir şekilde uygundur. Bu blog yazısında, Perplexity trafiğinin bir kısmını destekleyen eğitilmiş Qwen3 235B modellerine hizmet veren çıkarım kurulumunu açıklıyoruz. Şirket içi çıkarım motorumuzu NVIDIA Blackwell GPU'ların gelişmiş tensör çekirdeklerinden ve yüksek hızlı bağlantısından yararlanacak şekilde nasıl uyarladığımızı gösteriyoruz. Bu donanımla, temel modellerin doğruluğundan ödün vermeden daha fazla trafiği daha düşük maliyetle yönetiyoruz.

GB200 NVL72 rafları, her biri 180 GB HBM ile donatılmış, 2 adet ARM tabanlı NVIDIA Grace CPU ve 4 adet Blackwell tabanlı GPU içeren 18 düğümden oluşur. 72 GPU, NVLink ve 18 NVLink Switch ASIC aracılığıyla birbirine bağlanarak herhangi iki eş arasında 1800 GB/sn bant genişliği sağlar ve trilyon parametreli modelleri barındırmak için yeterli belleği paylaşır. Ek olarak, ConnectX-7 InfiniBand bağdaştırıcıları, hem bir raftaki düğümler içinde hem de komşu raflar arasında ek 400 Gb/sn bant genişliği sunar.

Trafiği yönetmek için Qwen modellerini eğitmeyi ve sunmayı seçtik. Bu blog yazısında Qwen3 235B üzerine odaklanıyoruz, ancak tartışılan sunum tekniklerinin ve performans özelliklerinin çogu, geçiş yapmakta olduğumuz daha yeni Qwen3.5 397B ve 122B modellerinin özelliklerine benziyor. Paralellik açısından, doğrusal dikkat tam kendi kendine dikkate benzer ve mevcut MoE katmanı uygulaması yeni kapı terimlerini barındıracak şekilde kolayca uyarlanabilir. Aktarım hızını maksimize ederken tutarlı bir kod çözme hızı korumak için, iki tür düğüm için farklı paralellik stratejileri uygulayarak ön doldurmayı kod çözmeden ayırmayı seçtik. Ön doldurucu ile kod çözücü arasındaki iletişim InfiniBand üzerinden gerçekleştirilirken, NVLink bant genişliği ön doldurucular ve kod çözücüler içindeki iletişim için ayrılmıştır. Bu blog yazısında incelenen Blackwell cihazlarının matris çarpımı ve cihazlar arası iletişim gerçekleştirirken gösterdiği performans özellikleri, kullanılan parçalama stratejilerini belirler. NVIDIA Hopper GPU'lar ile karşılaştırıldığında, daha yüksek akışlı çoklu işlemci sayısı, artan bellek bant genişliği ve daha düşük eşler arası gecikmeler nedeniyle çekirdek bazında iyileşmeler görüyoruz.

Prefill ve decode’un ayrıştırılması; prefill yapanlar ile decoder’lar arasında InfiniBand, her bir dağıtım içinde ise NVLink ile.

Ayrıştırılmış ön doldurmayı uygulayan TransferEngine öğemiz, ön doldurucular ve kod çözücüler arasında isteğe bağlı ve muhtemelen uyumsuz parçalamayı yönetti. KV önbellekleri, ön doldurucudaki parçalanmış bir KV önbelleğinin kod çözücü düğümüne aktarım sırasında anında daha fazla bölünmesine veya birleştirilmesine izin vermek için, başlar önde gelen boyutta ve belirteçler bitişik tutularak HND düzeninde belleğe yerleştirilir.

Ön doldurucu düğümleri bir isteğin giriş belirteçlerini alır, KV önbelleklerini doldurur ve metin oluşturmaya devam etmek için bunları kod çözücülere aktarır. Bir diziye ait binlerce belirteç aynı anda işlendiğinden, ön doldurma hesaplama yoğunlukludur.

Sonuç olarak, modelin tek bir GB200 düğümü içinde 4 GPU'ya parçalandığı, projeksiyonların ve uzmanların parçalandığı (TP=4, EP=4) tensör paralel bir dağıtımın uygun olduğunu gördük. Hem dikkat hem de MLP'ler hesaplama ağırlıklı olduğundan, her ikisi de uzmanları ve dikkat başlarını ayrı sıralar arasında dağıtarak paralellikten yararlanır. Her sırada daha az uzman barındırmaktan (32 yerine 16) elde edilen aktarım hızı iyileşmesi, 8 yönlü bir her şeyi azaltma (all-reduce) ek maliyetini ve ana bilgisayar tarafı kodunu iki düğüm arasında bölmenin, Ethernet üzerinden iletişim gerektiren ek yükünü telafi etmeyeceğinden, daha fazla paralellik azalan getiriler sağlardı.

Qwen3 235B, yalnızca 4 anahtar-değer başına sahiptir ve 8 cihaz kullanılırsa k ve v projeksiyonlarının çiftler halinde çoğaltılmasını gerektirir. Her sırada ağırlıkları depolamak için gereken bellek miktarını azaltmak, KV önbelleğinde daha fazla belirteç için alan açmak üzere daha agresif parçalamayı düşünebilirdik. Ancak, daha geniş bir dağıtımın buna değmediğini gördük.

Yaklaşık 6000 belirteçlik bir giriş uzunluğu varsayarsak, 128 uzmanın her birine yönlendirilen yaklaşık 6000 * 8 / 128 = 375 belirteç bulunur ve bu da MoE GEMM için yoğun bir sorun sağlar. Bu zaten cihazın hesaplama aktarım hızını doyurduğundan, ön doldurma için veri paralelliğine gerek yoktur.

Dikkat maliyetinin karesel olarak artmasına rağmen, ön doldurucular tutarlı aktarım hızı sağlar ve bir düğüm tarafından bir saniyede işlenebilecek giriş belirteci sayısı için kaba bir tahmin yapılmasını sağlar. İsteklerden gelen toplam giriş belirteci sayısını izleyen ölçümlere güvenerek, genel ön doldurma aktarım hızının buna göre boyutlandırılmasını sağlamak için ön doldurucu düğümlerinin sayısı artırılabilir. Kuyruğa girmeyi önlemek için, ön doldurucu çoğaltmalarının sayısı alınan toplam giriş belirteci sayısı ile eşleştirilir.

Kod çözücü düğümleri, ön dolduruculardan KV önbelleklerini alır ve belirteçleri tek tek oluşturur. Kod çözme genellikle bellekle sınırlıdır: az sayıda giriş belirteci ile matris çarpımı tamamen ağırlıkların HBM'den Tensör Çekirdeklerine yüklenme maliyetiyle sınırlıdır. Farklı bir parçalama stratejisi izlemenin yanı sıra, hesaplamaları ve bellek erişimlerini daha iyi paralelleştirmek için birkaç çekirdeğin ince ayardan geçirilmesi gerekir.

Ön doldurmanın aksine, dikkati parçalamak artık faydalı değildir: dikkat başlarını birden fazla cihaz arasında bölmek, tek bir cihaz içinde paralellik için daha az fırsat olduğu anlamına gelir. Sonuç olarak, yalnızca veri paralelliği ve uzman paralelliği kullanılır: uzmanlar birden fazla cihaz arasında parçalanır, ancak her cihaz kendi KV önbelleklerini ve isteklerini yönetir. Tensör paralelliği olmadan, bir cihazdaki belirteç başına KV önbellek boyutu daha büyüktür. Ancak, tek bir düğüm üzerine daha az uzman yerleştirilerek bellekte alan açılır. 8 GPU'lu bir düğümde tek bir NVLink etki alanı içindeki tensör paralelliğini sınırladığımız Hopper'ın aksine, Blackwell'de en fazla 16 cihaz kullanarak bir etki alanı içindeki birden fazla düğüme yayılmanın faydalı olduğunu gördük.

Aktarım hızını en üst düzeye çıkarmak için kod çözücüler daha fazla sayıda isteği eşzamanlı olarak işler. Ek istekler MoE katmanlarında ve diğer projeksiyonlarda minimum düzeyde ek yük verse de, dikkatin maliyetini orantısız bir şekilde artırırlar. Makul bir minimum kod çözme hızını korumak için, kod çözücü düğümlerinin sayısı, kod çözücü başına toplu iş boyutlarını belirli bir eşiğin altında tutacak şekilde ölçeklendirilir.

Önceki Hopper dağıtımlarına benzer şekilde, kod çözme oranlarını artırmak için şirket içinde eğitilmiş MTP katmanlarına sahip spekülatif kod çözme kullanıyoruz. Neyse ki, temel donanım ve programlama çerçeveleri, uygulamanın iki mimari arasında tamamen paylaşılmasına izin verecek kadar benzerdir.

GB200 NVL72 ile önceki Hopper düğümleri arasındaki temel fark, önceki 8 cihaz sınırının ötesinde eşler arası iletişim sağlayan büyük NVLink etkialandır. Blackwell cihazları 8 GPU'lu düğümlere dağıtılmış olsa da, daha yavaş InfiniBand ağıyla karşılaştırıldığında NVLink üzerinden birden fazla düğümde ölçeklendirmenin büyük değeri vardır.

Ön doldurucu düğümlerinde, dikkat katmanları içindeki all-reduce iletişimine ve all-reduce'a çok benzeyen uzman bir paralel indirgemeye güveniyoruz. 4 GPU üzerinde, hem NVLink hem de NVIDIA SHARP (Ölçeklenebilir Hiyerarşik Birleştirme ve İndirgeme Protokolü) özelliklerinden yararlanıyoruz: eşler arası bant genişliğine ek olarak, gecikmeleri daha da azaltmak ve hızlı yayınlar uygulamak için NVLink Switch'lerdeki indirgemelerden de yararlanıyoruz. Kod çözücü düğümlerinde, NVLink üzerinden özel bir all-to-all dağıtım ve birleştirme uygulaması kullanılır. Çekirdekler, CuTeDSL ve cuMem eşlemeleri veya çok noktaya yayın (multicast) eşlemeleri kullanılarak şirket içinde uygulanmıştır.

Ön doldurucular, dikkat katmanının çıkış projeksiyonunda bir all-reduce işlemi gerçekleştirerek katılımcı sıralar arasında parçalanan başların katkılarını toplar. Tensör paralelliği yalnızca all-reduce ek yükünün maliyeti, daha küçük matris çarpımı problemlerinin azaltılmış gecikmesiyle telafi edildiğinde etkilidir. Bu varsayım genellikle ön doldurma için geçerlidir.

Veri merkezi sınıfı NVIDIA HGX H200 ve GB200 NVL72 sistemlerinde GPU'lar genellikle NVLink Switch'ler aracılığıyla bağlanır. Yönlendirmenin yanı sıra anahtarlar, SHARP aracılığıyla bağlı cihazlar arasında indirgeme işlemleri gerçekleştirebilir. Bellek eşlemeleri oluşturup CUDA API'lerini kullanarak bunları bir multicast grubuna kaydettikten sonra çekirdekler, anahtarlar aracılığıyla değerleri toplamak ve yayınlamak için multicast.ld_reduce ve multicast.st kullanabilir. Diğer çekirdeklere birleştirilebilecek bir temel ve yeniden kullanılabilir bileşenler oluşturmak için dahili olarak bu ilkeleri kullanan bir CuTeDSL all-reduce çekirdeği bulunduruyoruz.

B baytını indirgeyen N GPU'lu bir sistemde, basit bir uygulama, toplam N * (N - 1) * B bayt okuma trafiği için bir eşin diğer tüm eşlerden değerler yüklemesine neden olur. Daha verimli bir uygulama, indirgenecek verileri eşler arasında böler, her biri girdinin bir dilimini indirger ve ardından geri kalanına yayınlar. Bu, bir eşe okunan ve kalpana yayınlanan (N - 1) * (B / N) bayt ile sonuçlanır ve anahtarlar üzerindeki trafiği azaltarak toplam (N - 1) * B * 2 okuma ve yazma ile sonuçlanır.

GPU tarafında biriktirme ve switch destekli azaltma ile NVSwitch all-reduce trafiği.

SHARP ile indirgeme ve yayınlama daha verimli bir şekilde gerçekleştirilebilir: yerel biriktirme için bir cihaza (N - 1) * (B / N) bayt okumak yerine, eşlerden gelen verileri kullanarak indirgemeyi kendisi gerçekleştirdiği için anahtardan yalnızca B / N taşınır. Yayın için de benzer bir iyileştirme vardır, çünkü bir GPU ile NVLink kanalları üzerinden anahtar arasındaki işlem sayısı büyük ölçüde azalır. SHARP olmadan, biriktirme cihazı anahtarla NVLink üzerinden (N - 1) * (B / N) işlem gerçekleştirir, anahtar eşlerden aynı miktarda veriyi okur ve toplam 2 * (N - 1) * (B / N) işlem gerçekleştirir. SHARP ile GPU ve anahtar arasında B / N işlem ve eşlerle birlikte ilave (N - 1) * (B / N) işlem gerçekleştirilir ve toplamda B işlem gerçekleştirilir.

Basitliği nedeniyle SHARP, bir algoritma için anlaşılır bir donanım uygulaması sağladığından değerli bir araçtır. Aktarımlar teorik bir N / (2 * (N - 1)) kesiri oranında azaltılsa da (bu oran 4 eşle %33'e denk gelir), pratikte hem H200 hem de GB200 NVL72 sistemlerinde hem ön doldurma hem de kod çözme gecikmelerinde %10'luk bir iyileşme gözlemliyoruz.

TP=4 ve 16K token ile H200 ve GB200’de NVLink ve NVLS dağıtım gecikmesi.

MoE modelleri için dağıtma ve birleştirme çekirdekleri, eşler arasındaki sonraki MoE GEMM problemleri için belirteçleri taşır ve gruplandırır, ardından birleştirmede ağırlıklı bir biriktirme gerçekleştirir. Mevcut Dağıtma ve Birleştirme çekirdeklerimizi CuTeDSL'ye taşıyarak, blok tahsislerine ince ayar yaparak ve bunları ön doldurma ile kod çözme arasında agresif bir şekilde özelleştirerek Blackwell'e uyarladık.

Uzman paralel (EP) çekirdeği ön doldurucularda kullanılır. Girdileri tüm sıralar arasında çoğaltıldığından, dağıtma çekirdeğinin yalnızca geçerli sıradaki uzmanlara yönlendirilen belirteçleri seçmesi gerekir. Yönlendirme bilgilerini toplar ve MoE GEMM'e girdi olarak kullanılan arabelleklerde belirteçleri hazırlar. Birleştirme çekirdeği önce mevcut sıradaki uzmanlara yönlendirilen belirteçlerin katkıları arasında yerel bir biriktirme gerçekleştirir, ardından tüm sıralar arasında bir all-reduce gerçekleştirir.

Kod çözme için tüm çekirdek birleştirilerek tek hale getirilir. Ön doldurma çekirdeği, yönlendirme ve all-reduce yerel birleştirme adımından daha az blok gerektirdiğinden birden çok çekirdeğe bölünür. CuTeDSL ile hem SHARP hem de NVLink all-reduce ve eşler arası senkronizasyon için genel bir kitaplık oluşturabilir ve bunu hem all-reduce hem de uzman paralel çekirdeklerinde birleştirebiliriz.

Uzman-paralel yapılandırmalar genelinde H200 ve GB200 üzerinde uzman-paralel prefill dağıtım ve birleştirme gecikmesi.

Performans açısından Blackwell'in; gelişmiş aktarım hızları, daha yüksek bellek bant genişliği ve daha iyi hesaplama aktarım hızı nedeniyle Hopper'dan önemli ölçüde daha hızlı olduğunu gözlemliyoruz. GB200'lerde 8 cihaz ve birden çok düğüm üzerinde parçalandığında (EP=8), yerel biriktirme her cihazda çok daha az belirteç üzerinde çalıştığı ve SHARP ile daha fazla sıra arasındaki indirgemenin maliyeti daha iyi ölçeklendiği için çekirdekler daha hızlı hale gelir. Ancak pratikte, bu hızlanmalar tüm çekirdeklerde evrensel olmadığı için paralelliği 4 cihazla sınırlıyoruz.

Veri paralel ve uzman paralel (DP-EP) çekirdeği veri paralel kod çözücülerde kullanılır. Tüm sıralardaki farklı belirteçleri uzmanlara yayınlar, sonuçları orijinal sıralara aktarır ve bunları biriktirir. Seyrek bir all-to-all problemi uyguladığı için yalnızca NVLink'e güvenir.

Hopper'da bu çekirdek, tek bir düğümün NVLink etki alanı içindeki 8 cihazla sınırlıdır. Ancak GB200 sistemlerinde bunu tüm rafa ölçeklendirebiliriz. Kodun çoğu yeniden kullanılır. Tek fark, ilk kurulum için IMEX üzerinden eş bilgilerini değiştirmek için fabric tanıtıcılarının kullanılmasıdır.

Veri-paralel ve uzman-paralel yapılandırmalar genelinde GB200 dağıtım ve birleştirme gecikmesi.

Kod çözme sırasında oluşan aktarım boyutları küçük olduğundan, NVLink bant genişliğini doyurmaktan uzaktır ve bunun yerine gecikme sınırlıdır. Gecikmeler onlarca mikrosaniye kadardır ve eş sayısı arttıkça nispeten kararlı kalır, bu da önemli ölçüde ek gecikmeye neden olmadan bir dağıtımı daha fazla sayıda cihaza yaymamıza olanak tanır.

MoE modelleri uzman paralelliğinden yararlanır, çünkü tüm belirteçleri tüm uzmanlarla çarpma maliyeti birden fazla cihaz arasında kolayca paralelleştirilebilir. Ön doldurucularda tensör paralelliği ile, yoğun problemlerde fayda oldukça basittir, çünkü artık her sıranın daha az hesaplama yapması gerekir. Kod çözme durumunda, veri paralelliği uzman paralelliğinin yanı sıra ek bir fayda sağlar, çünkü daha büyük sayıdaki paralel istek her uzmana daha fazla belirteç yönlendirerek problemleri yoğunlaştırır.

Uygulamamızda şu anda matris çarpımı için CUTLASS CUDA/C++ çekirdeğine güveniyoruz. Kod çözücüler için en optimal parçalama stratejisine karar vermek amacıyla bunları çeşitli niceleme şemaları ve paralellik düzeyleriyle seyrek kod çözme girdilerinde kıyasladık. Aşağıdaki kıyaslamalarda, tüm uzmanlar tek bir belirteçle etkinleştirilir.

H200 ve GB200 üzerinde uzman-paralel yapılandırmalar ve niceleme şemaları genelinde gruplu MoE GEMM gecikmesi.

128 uzmanın 16'dan fazla sırada ölçeklendirilmesinin CUTLASS ile azalan getiriler sağladığını gördük, çünkü 2 uzmanı çarpma maliyeti 4'ü çarpmaktan önemli ölçüde düşük değildir. Alt düzey blok ölçeklendirme stratejisinde bile Blackwell'de Hopper'a göre net bir iyileşme var. Dağıtma/birleştirmenin EP=8 ile EP=16 arasındaki yaklaşık 5 us'lik gecikme artışı, GEMM maliyetindeki 10 us'den fazla bir düşüşle telafi edildiğinden, GB200 sistemlerinde kod çözücülerin 16 sırada parçalanması, uçtan uca kıyaslamalarla da doğrulandığı gibi haklı çıkarılmaktadır.

Blackwell, yeni 8 bit ve 4 bit niceleme şemaları için donanım desteği sunar. Tensor veya blok başına ölçeklendirme faktörlerine güvenen Hopper'ın aksine Blackwell, en iyi ön doldurma ve kod çözme aktarım hızına ulaşmak için mikro ölçeklendirme gerektirir. DeepSeek veya Kimi gibi modeller için kullanılan blok ölçeklendirme şeması mevcut olsa da mikro ölçeklendirme daha etkilidir.

Modelde ince ayar yaptıktan sonra ağırlıkları statik olarak dönüştürerek Qwen3 235B'yi MXFP8 niceleme şemasıyla dağıttık. Doğruluk etkisi, stokastik niceleme ile blok ölçeklendirmenin etkisine benziyordu, ancak MoE GEMM mikro kıyaslamalarının gösterdiği gibi sağlanan performans çok daha iyiydi. İlk Hopper'dan Blackwell'e geçiş için Quantization-Aware Training (Niceleme Farkındalı Eğitim) olmaksızın doğruluk etkisi çok belirgin olsa da MXFP4 ve NVFP4 niceleme şemalarını da değerlendirdik. Bu formatları gelecekteki çalışmalarda daha kapsamlı bir şekilde incelemeyi planlıyoruz.

Blackwell Qwen3 235B dağıtımlarının kod çözücülerini kıyasladık ve bunları önceki Hopper dağıtımlarımızla karşılaştırdık. Bu kurulumda, paralelliğin etkisine odaklanmak için her iki dağıtımda da blok ölçeklendirmeyi değerlendirdik. Kod çözme performansını izole etmek için her iki mimari için de TP=4 ön doldurucular ayrıldı. Aşağıdaki şekil, MTP katmanlarımız tarafından sağlanan gerçekçi bir taslak kabul oranı varsayılarak kod çözme aktarım hızını göstermektedir.

draft kabul uzunluğunun 0.8 olduğu varsayımıyla, H200 ve GB200 uzman-paralel yapılandırmaları genelinde GPU başına Qwen3 235B FP8 çözme hızı ve verim.

Hopper'da, özellikle EFA bağdaştırıcılarındaki InfiniBand üzerindeki gecikmeler önemli ölçüde daha yavaş olduğundan, dağıtımı 8'den fazla GPU'da parçalamak uygun değildir. Ancak Blackwell'de, daha büyük NVLink etki alanları sayesinde önemli ölçüde daha yüksek aktarım hızı elde ediyoruz.

Mevcut Hopper çekirdeklerini genelleştirerek ve NVLink tabanlı çekirdeklerin performansını artırarak ilk Blackwell uygulamasını elde ettik. Nicelemeyi iyileştirerek ve işlem hattındaki diğer çekirdeklerin kod çözme performansını ve ön doldurma aktarım hızını ince ayarlayarak Qwen'e hizmet verme maliyetini daha da azaltacağız.

Transfer Engine blog yazısı

CuTeDSL blog yazısı

Prefill-Disagg blog yazısı

Spekülatif Kod Çözme blog yazısı

CUTLASS

NVLink

BibTeX

@online{perplexity2026HostingQwenOnBlackwell,
  author = {{Perplexity} and Nandor Licker and Kevin Hu and Bex Brooker and Erin McKnight},
  title = {{Hosting Qwen on Blackwell}},
  date = {2026-05-12},
  url = {https://www.perplexity.ai/hub/blog/hosting-qwen-on-blackwell}
}

GB200 NVL72 üzerinde dağıtım

Ön Doldurucular

Kod Çözücüler

Düğüm İçi ve Düğümler Arası İletişim

All-Reduce

MoE Dağıtımı - Birleştirme

Uzman Paralel

Veri Paralel ve Uzman Paralel

MoE GEMM

Niceleme

Uçtan Uca Performans

Kaynakça

Alıntı