استضافة Qwen على Blackwell

تعد رفوف NVIDIA GB200 NVL72 المزودة بوحدات معالجة الرسوميات NVIDIA Blackwell والمتصلة ببعضها عبر NVLink بـ 72 مساراً مناسبةً بشكل فريد لتشغيل نماذج الخبراء المختلطة الكبيرة (MoE). في هذه التدوينة، نوضح إعداد الاستدلال الذي يخدم نماذج Qwen3 235B المدربة مسبقاً والتي تدعم جزءاً من حركة مرور بيانات Perplexity. نوضح كيف قمنا بتكييف محرك الاستدلال الداخلي الخاص بنا للاستفادة من نوى التنسيق المتقدمة والربط البيني عالي السرعة لوحدات معالجة الرسوميات NVIDIA Blackwell. مع هذا الجهاز، نتعامل مع حركة مرور أكبر بتكلفة أقل دون التضحية بدقة النماذج الأساسية.

النشر على GB200 NVL72

تتكون رفوف GB200 NVL72 من 18 عقدة تضم وحدتي معالجة مركزية NVIDIA Grace تعتمدان على ARM و4 وحدات معالجة رسوميات تعتمد على Blackwell، وتكون كل منها مزودة بذاكرة HBM بسعة 180 جيجابايت. يتم ربط وحدات معالجة الرسوميات الـ 72 ببعضها البعض عبر NVLink و18 محول NVLink ASIC، مما يوفر نطاق ترددي يبلغ 1800 جيجابايت/ثانية بين أي عقدتين ومشاركة ذاكرة كافية لاستضافة نماذج تحتوي على تريليونات المعلمات. بالإضافة إلى ذلك، توفر محولات ConnectX-7 InfiniBand نطاق ترددي إضافي يبلغ 400 جيجابايت/ثانية داخل عقد الرف الواحد وعبر الرفوف المجاورة.

للتعامل مع حركة المرور، اخترنا التدريب اللاحق وخدمة نماذج Qwen. في هذه التدوينة، نركز على Qwen3 235B، ولكن العديد من تقنيات الخدمة وخصائص الأداء التي ناقشناها تشبه تلك الخاصة بنماذج Qwen3.5 397B و122B الأحدث التي ننتقل إليها. من حيث التوازي، يشبه الانتباه الخطي الانتباه الذاتي الكامل، ويمكن تكييف تنفيذ طبقة MoE الحالية بسهولة لاستيعاب شروط البوابة الجديدة. للحفاظ على معدل فك تشفير ثابت مع زيادة الإنتاجية إلى أقصى حد، اخترنا فصل مرحلة التعبئة المسبقة (prefill) عن فك التشفير، ونشر استراتيجيات توازي مختلفة لنوعين من العقد. تتم معالجة الاتصال بين جهاز التعبئة المسبقة وفك التشفير عبر InfiniBand، بينما يتم تخصيص نطاق ترددي NVLink للاتصال داخل أجهزة التعبئة المسبقة وفك التشفير. خصائص أداء أجهزة Blackwell عند إجراء ضرب المصفوفات والاتصال بين الأجهزة، والتي يتم استكشافها في هذه التدوينة، تحدد استراتيجيات التجزئة المستخدمة. مقارنة بوحدات معالجة الرسوميات NVIDIA Hopper، نلاحظ تحسينات في كل نواة نظراً لارتفاع عدد المعالجات المتعددة للبث، وزيادة النطاق الترددي للذاكرة، وانخفاض زمن الوصول من نظير إلى نظير.

تكبير

يقوم TransferEngine الخاص بنا، والذي نفذ التعبئة المسبقة المفصولة، بالتعامل مع التجزئة التعسفية والتي قد تكون غير متطابقة عبر أجهزة التعبئة المسبقة وفك التشفير. يتم تخزين ذاكرات التخزين المؤقت KV في الذاكرة بترتيب HND، مع وجود الرؤوس في البعد الرئيسي والرموز متجاورة، للسماح بتقسيم ذاكرة التخزين المؤقت KV المجزأة على جهاز التعبئة المسبقة بشكل إضافي أو دمجها أثناء النقل إلى عقدة فك التشفير.

أجهزة التعبئة المسبقة

تستقبل عقد التعبئة المسبقة رموز الإدخال للطلب، وتقوم بملء ذاكرات التخزين المؤقت KV ونقلها إلى أجهزة فك التشفير لمتابعة توليد النص. تعتبر التعبئة المسبقة مكثفة من الناحية الحسابية، حيث يتم معالجة آلاف الرموز التي تنتمي إلى تسلسل معين في نفس الوقت.

وبناءً على ذلك، وجدنا أن النشر الموازي للمتجهات (tensor parallel) مناسب، حيث يتم تجزئة النموذج عبر 4 وحدات معالجة رسوميات داخل عقدة GB200 واحدة وتجزئة الإسقاطات والخبراء (TP=4، EP=4). نظراً لأن الانتباه وMLPs كلاهما مقيد بالحوسبة، فإن كلاهما يستفيد من التوازي، حيث يتم توزيع الخبراء ورؤوس الانتباه عبر رتب منفصلة. كان من الممكن أن ينتج عن التوازي الإضافي عوائد تناقصية، حيث إن تحسين الإنتاجية الناتج عن استضافة عدد أقل من الخبراء على كل رتبة (16 مقابل 32) لن يعوض التكلفة الإضافية لعملية الاختزال الشامل بـ 8 طرق (8-way all-reduce) وعبء تقسيم التعليمات البرمجية على جانب المضيف عبر عقدتين، مما يتطلب الاتصال عبر الإيثرنت.

يحتوي نموذج Qwen3 235B على 4 رؤوس مفتاحية-قيمية فقط، مما يتطلب تكرار إسقاطات k وv عبر أزواج الرتب إذا تم استخدام 8 أجهزة. كان بإمكاننا التفكير في تجزئة أكثر عدوانية تقلل من كمية المساحة المطلوبة لتخزين الأوزان على كل رتبة، مما يوفر المساحة لمزيد من الرموز في ذاكرة التخزين المؤقت KV. ومع ذلك، وجدنا أن النشر الأوسع لم يكن مجدياً.

باستراض طول إدخال يبلغ حوالي 6000 رمز، فإن لكل من الخبراء الـ 128 حوالي 6000 * 8 / 128 = 375 رمزاً موجهاً إليهم، مما يضمن مشكلة كثيفة لـ MoE GEMM. نظراً لأن هذا يشبع بالفعل الإنتاجية الحسابية للجهاز، فلا داعي للتوازي في البيانات للتعبئة المسبقة.

على الرغم من التكلفة المتزايدة تربيعياً للانتباه، فإن أجهزة التعبئة المسبقة توفر إنتاجية ثابتة، مما يسمح بتقدير تقريبي لعدد رموز الإدخال التي يمكن معالجتها بواسطة عقدة في ثانية واحدة. بالاعتماد على المقاييس التي تتتبع العدد الإجمالي لرموز الإدخال من الطلبات، يمكن توسيع نطاق عدد عقد التعبئة المسبقة لضمان تحجيم إنتاجية التعبئة المسبقة الإجمالية وفقاً لذلك. لتجنب الانتظار في طوابير، يتم مطابقة عدد النسخ المتطابقة للتعبئة المسبقة مع العدد الإجمالي لرموز الإدخال المستلمة.

أجهزة فك التشفير

تستقبل عقد فك التشفير ذاكرات التخزين المؤقت KV من أجهزة التعبئة المسبقة وتولد الرموز واحداً تلو الآخر. يكون فك التشفير مقيداً بالذاكرة بشكل عام: مع عدد قليل من رموز الإدخال، يتم تقييد ضرب المصفوفات بالكامل بتكلفة تحميل الأوزان من HBM إلى نوى التنسيق (Tensor Cores). إلى جانب استخدام استراتيجية تجزئة مختلفة، يجب تعديل العديد من النوى لتحسين العمليات الحسابية والوصول إلى الذاكرة.

على عكس التعبئة المسبقة، لم تعد تجزئة الانتباه مفيدة: فإن تقسيم رؤوس الانتباه عبر أجهزة متعددة يعني وجود فرص أقل للتوازي داخل جهاز واحد. ونتيجة لذلك، يتم استخدام توازي البيانات وتوازي الخبراء فقط: يتم تجزئة الخبراء عبر أجهزة متعددة، ولكن يدير كل جهاز ذاكرات التخزين المؤقت KV والطلبات الخاصة به. بدون التوازي الموجه للمتجهات، يكون حجم ذاكرة التخزين المؤقت KV لكل رمز على الجهاز أكبر. ومع ذلك، يتم توفير المساحة في الذاكرة من خلال تحديد عدد أقل من الخبراء على عقدة واحدة. على عكس Hopper، حيث حددنا التوازي الموجه للمتجهات داخل نطاق NVLink واحد في عقدة مكونة من 8 وحدات معالجة رسوميات، وجدنا على Blackwell أن التوسع عبر عقد متعددة داخل النطاق، باستخدام ما يصل إلى 16 جهازاً، أمر مفيد.

لتعظيم الإنتاجية، تقوم أجهزة فك التشفير معالجة عدد أكبر من الطلبات في نفس الوقت. على الرغم من أن الطلبات الإضافية تتكبد عبئاً ضئيلاً في طبقات MoE والإسقاطات الأخرى، إلا أنها تزيد بشكل غير متناسب من تكلفة الانتباه. للحفاظ على سرعة فك تشفير دنيا معقولة، يتم توسيع نطاق عدد عقد فك التشفير للحفاظ على أجام دفعات فك التشفير لكل عقدة دون عتبة معينة.

على غرار عمليات نشر Hopper السابقة، نستخدم فك التشفير التخميني مع طبقات MTP المدربة داخلياً لتعزيز معدلات فك التشفير. لحسن الحظ، فإن الأجهزة الأساسية وأطر البرمجة متشابهة بدرجة كافية لمشاركة التنفيذ بالكامل بين العمارة الحالية.

الاتصال داخل العقدة وبين العقد

الفرق الرئيسي بين GB200 NVL72 وعقد Hopper السابقة هو نطاق NVLink الكبير، والذي يتيح الاتصال من نظير إلى نظير متجاوزاً الحد السابق البالغ 8 أجهزة. على الرغم من نشر أجهزة Blackwell في عقد مكونة من 8 وحدات معالجة رسوميات، إلا أن هناك قيمة كبيرة في التوسع عبر عقد متعددة عبر NVLink مقارنة بشبكة InfiniBand الأبطأ.

على عقد التعبئة المسبقة، نعتمد على الاتصال بالاختزال الشامل (all-reduce) داخل طبقات الانتباه وعلى اختزال موازي للخبراء يشبه إلى حد كبير الاختزال الشامل. عبر 4 وحدات معالجة رسوميات، نستفيد من كل من NVLink وNVIDIA SHARP (بروتوكول التجميع والاختزال الهرمي القابل للتوسيع): بالإضافة إلى النطاق الترددي من نظير إلى نظير، نستخدم أيضاً عمليات الاختزال في محولات NVLink لمزيد من تقليل زمن الوصول وتفيذ البث السريع. على عقد فك التشفير، يتم استخدام تنفيذ مخصص للإرسال والدمج (dispatch and combine) شامل عبر NVLink. تم تنفيذ النوى داخلياً باستخدام تعيينات CuTeDSL وcuMem أو تعيينات البث المتعدد.

الاختزال الشامل (All-Reduce)

تقوم أجهزة التعبئة المسبقة بعملية اختزال شامل في إسقاط الإخراج لطبقة الانتباه، وتجمع مساهمات الرؤوس المجزأة عبر الرتب المشاركة. يكون التوازي الموجه للمتجهات فعالاً فقط عندما يتم تعويض تكلفة عبء الاختزال الشامل بانخفاض زمن الوصول لمشاكل ضرب المصفوفات الأصغر. ينطبق هذا الافتراض عادةً على التعبئة المسبقة.

على أنظمة NVIDIA HGX H200 وGB200 NVL72 من فئة مراكز البيانات، غالباً ما تُوصَّل وحدات معالجة الرسوميات عبر محولات NVLink. بالإضافة إلى التوجيه، يمكن للمحولات إجراء عمليات اختزال عبر الأجهزة المتصلة عبر SHARP. بعد إنشاء تعيينات الذاكرة وتسجيلها في مجموعة بث متعدد باستخدام واجهات برمجة تطبيقات CUDA، يمكن للنوى استخدام multicast.ld_reduce وmulticast.st لتجميع البث والقيم عبر المحولات. من أجل إنشاء أساس ومكونات قابلة لإعادة الاستخدام يمكن دمجها في نوى أخرى، نحتفظ داخلياً بنواة اختزال شامل CuTeDSL باستخدام هذه الأساسيات.

في نظام به N من وحدات معالجة الرسوميات التي تختزل B بايت، سيحتوي التنفيذ التافه على تحميل نظير للقيم من جميع النظراء الآخرين، لإجمالي N * (N - 1) * B بايت من حركة مرور القراءة. سيعمل التنفيذ الأكثر كفاءة على تقسيم البيانات المراد اختزالها عبر النظراء، حيث يقوم كل منهم باختزال جزء من الإدخال، ثم بثه إلى الباقي. ينتج عن هذا قراءة (N - 1) * (B / N) بايت في النظير وبثها إلى الباقي، لإجمالي (N - 1) * B * 2 من القراءات والكتابات، مما يقلل من حركة المرور عبر المحولات.

تكبير

مع SHARP، يمكن تنفيذ عملية الاختزال والبث بكفاءة أكبر: فبدلاً من قراءة (N - 1) * (B / N) بايت إلى جهاز للتجميع المحلي، لا يتم نقل سوى B / N من المحول، إذ يقوم هو نفسه بعملية الاختزال باستخدام البيانات الواردة من الأقران. وبالنسبة إلى البث، توجد تحسينات مماثلة، إذ ينخفض بشكل كبير عدد المعاملات بين وحدة معالجة الرسومات والمحول عبر قنوات NVLink. من دون SHARP، ستجري وحدة التجميع (N - 1) * (B / N) معاملة عبر NVLink مع المحول، بينما يقرأ المحول الكمية نفسها من البيانات من الأقران، ليصبح المجموع 2 * (N - 1) * (B / N) من المعاملات. مع SHARP، تُجرى B / N معاملة بين وحدة معالجة الرسومات والمحول، و(N - 1) * (B / N) مع الأقران، ليصبح المجموع B معاملة.

نظرًا ببساطة تصميمها، تُعد SHARP أداة قيّمة، إذ توفر تنفيذًا مباشرًا للخوارزميات في العتاد. ورغم أن عمليات النقل تُخفّض بنسبة نظرية تبلغ N / (2 * (N - 1)) (وهو ما يُعادل 33% مع 4 نظراء)، إلا أننا نلاحظ عمليًا تحسنًا بنسبة 10% في كل من زمن انتقال التعبئة وفك التشفير على نظامي H200 وGB200 NVL72.

تكبير

إرسال ودمج MoE

بالنسبة لنماذج MoE، تقوم نوى الإرسال والدمج بتحريك وتجميع الرموز لمشاكل MoE GEMM اللاحقة بين النظراء، وتجري تراكماً مرجحاً بعد ذلك في الدمج. لقد قمنا بتكييف نوى الإرسال والدمج الحالية مع Blackwell، عن طريق نقلها إلى CuTeDSL، وتعديل تخصيصات الكتل وتخصصها بشكل عدواني بين التعبئة المسبقة وفك التشفير.

التوازي الخبير (Expert Parallel)

يتم استخدام نواة التوازي الخبير (EP) في أجهزة التعبئة المسبقة. نظراً لأن مدخلاتها متطابقة عبر جميع الرتب، تحتاج نواة الإرسال ببساطة إلى تحديد الرموز الموجهة للخبراء على الرتبة الحالية. وهي تجمع معلومات التوجيه وتجهز الرموز في مخازن مؤقتة تستخدم كمدخلات لـ MoE GEMM. تقوم نواة الدمج أولاً بإجراء تراكم محلي بين مساهمات الرموز الموجهة للخبراء على الرتبة الحالية، ثم تقوم بإجراء اختزال شامل عبر جميع الرتب.

بالنسبة لفك التشفير، يتم دمج النواة بأكملها في نواة واحدة. يتم تقسيم نواة التعبئة المسبقة إلى نوى متعددة، حيث يتطلب التوجيه والاختزال الشامل كتل أقل من خطوة الدمج المحلية. باستخدام CuTeDSL، يمكننا بناء مكتبة عامة لكل من SHARP وNVLink لاختزال شامل ومزامنة من نظير لفضير، وتكوينها في كل من نوى الاختزال الشامل ونوى التوازي الخبير.

تكبير

من حيث الأداء، نلاحظ أن Blackwell أسرع بكثير من Hopper، نظراً لتحسين سرعات النقل، والنطاق الترددي الاعلى للذاكرة، والإنتاجية الحسابية الأفضل. مجزأة عبر 8 أجهزة وعقد متعددة على GB200s (EP=8)، تصبح النوى أسرع حيث يعمل التراكم المحلي على عدد أقل بكثير من الرموز على كل جهاز ومع SHARP، تتسع تكلفة الاختزال عبر المزيد من الرتب بشكل أفضل. ومع ذلك، في الممارسة العملية، نحدد التوازي بـ 4 أجهزة، حيث أن هذه التسريعات ليست شاملة عبر جميع النوى.

توازي البيانات والتوازي الخبير

تُستخدم نواة توازي البيانات والتوازي الخبير (DP-EP) في أجهزة فك تشفير توازي البيانات. تقوم ببث رموز مختلفة من جميع الرتب إلى الخبراء، ونقل النتائج إلى الرتب الأصلية وتراكمها. نظراً لأنها تنفذ مشكلة شاملة مبعثرة، فإنها تعتمد فقط على NVLink.

على Hopper، تقتصر هذه النواة على 8 أجهزة داخل نطاق NVLink لعقدة واحدة. ومع ذلك، على أنظمة GB200، يمكننا توسيع نطاقها عبر رف بأكمله. يتم إعادة استخدام معظم التعليمات البرمجية. والفرق الوحيد هو استخدام مقبضات fabric لتبادل معلومات النظراء عبر IMEX للإعداد الأولي.

تكبير

نظراً لأن أحجام النقل التي تحدث أثناء فك التشفير صغيرة، فهي بعيدة كل البعد عن تشبع النطاق الترددي لـ NVLink وبدلاً من ذلك تكون مقيدة بزمن الوصول. تكون أزمنة الوصول في حدود عشرات الميكروثانية وتظل مستقرة نسبياً مع زيادة عدد النظراء، مما يسمح لنا بنشر التوزيع عبر عدد أكبر من الأجهزة دون تكبد زمن وصول إضافي كبير.

MoE GEMM

تستفيد نماذج MoE من التوازي الخبير، حيث يمكن بسهولة موازاة تكلفة ضرب جميع الرموز مع جميع الخبراء عبر أجهزة متعددة. مع التوازي الموجه للمتجهات على أجهزة التعبئة المسبقة، في المشاكل الكثيفة، تكون الفائدة واضحة تماماً، حيث يتعين على كل رتبة الآن إجراء عمليات حسابية أقل. في حالة فك التشفير، يوفر توازي البيانات فائدة إضافية علاوة على التوازي الخبير، حيث يوجه العدد الأكبر من الطلبات المتوازية المزيد من الرموز إلى كل خبير، مما يجعل المشاكل أكثر كثافة.

في تنفيذنا، نعتمد حالياً على نوى CUTLASS CUDA/C++ لضرب المصفوفات. لقد قمنا بقياس معيارها على مدخلات فك التشفير المتناثرة مع مخططات التكميم المختلفة ومستويات التوازي من أجل تحديد استراتيجية التجزئة المثلى لأجهزة فك التشفير. في المعايير أدناه، يتم تنشيط جميع الخبراء برمز واحد.

تكبير

وجدنا أن توسيع نطاق 128 خبيراً عبر أكثر من 16 رتبة ينتج عنه عوائد متناقصة مع CUTLASS، حيث أن تكلفة ضرب خبيرين ليست أقل بكثير من ضرب 4. هناك تحسين واضح على Blackwell مقارنة ب Hopper، حتى في استراتيجية تحجيم الكتلة دون المثلى. نظراً لأن زيادة زمن الوصول بحوالي 5 ميكروثانية بين EP=8 وEP=16 للإرسال/الدمج يتم تعويضها بانخفاض يزيد عن 10 ميكروثانية في تكلفة GEMM، على أنظمة GB200، فإن تجزئة أجهزة فك التشفير عبر 16 رتبة أمر مبرر، كما تؤكده معايير من طرف إلى طرف أيضاً.

التكميم (Quantization)

تقدم Blackwell دعم الأجهزة لمخططات التكميم الجديدة 8 بت و4 بت. على عكس Hopper، التي اعتمدت على عوامل تحجيم لكل تنسيق أو لكل كتلة، تتطلب Blackwell تحجيماً ميكروياً لتحقيق أفضل إنتاجية للتعبئة المسبقة وفك التشفير. في حين أن مخطط تحجيم الكتل المستخدم لنماذج مثل DeepSeek أو Kimi متاح، فإن التحجيم الميكروي أكثر كفاءة.

لقد قمنا بنشر Qwen3 235B بمخطط التكميم MXFP8، وتحويل الأوزان بشكل ثابت بعد ضبط النموذج بدقة. كان تأثير الدقة مشابهاً لتأثير تحجيم الكتل مع التكميم العشوائي، لكن الأداء المقدم كان محسناً بشكل كبير، كما يوضح معيار MoE GEMM المصغر. لقد نظرنا أيضاً في مخططات التكميم MXFP4 وNVFP4، على الرغم من أن تأثير الدقة بدون التدريب الواعي بالتكميم (Quantization-Aware Training) كان كبيرًا جداً للانتقال الأولي من Hopper إلى Blackwell. نخطط لاستكشاف هذه التنسيقات بشكل أكثر شمولاً في العمل المستقبلي.

الأداء من طرف إلى طرف

لقد قمنا بقياس أداء أجهزة فك التشفير لعمليات نشر Blackwell Qwen3 235B وقارناها بعمليات نشر Hopper السابقة. في هذا الإعداد، اعتبرنا تحجيم الكتل عبر كلا النشرين من أجل التركيز على تأثير التوازي. تم فصل أجهزة التعبئة المسبقة TP=4 لكلا المعماريين من أجل عزل أداء فك التشفير. يوضح الشكل أدناه إنتاجية فك التشفير بافتراض معدل قبول مسودة واقعي يقدمه طبقات MTP الخاصة بنا.

تكبير

على Hopper، فإن تجزئة النشر عبر أكثر من 8 وحدات معالجة رسوميات ليس قابلاً للتنفيذ، حيث أن أزمنة الوصول عبر InfiniBand، لا سيما على محولات EFA، أبطأ بكثير. ومع ذلك، على Blackwell، يحقق إنتاجية أعلى بكثير، بفضل نطاقات NVLink الأكبر.

لقد حققنا تنفيذاً أولياً لـ Blackwell من خلال تعميم نوى Hopper الحالية ودفع أداء النوى القائمة على NVLink. سنعمل على تقليل تكلفة خدمة Qwen عن طريق تحسين التكميم وضبط أداء فك التشفير وإنتاجية التعبئة المسبقة للنوى الأخرى في خط الأنابيب.

المراجع

منشور مدونة Transfer Engine

منشور مدونة CuTeDSL

منشور مدونة Prefill-Disagg

منشور مدونة فك التشفير التخميني

CUTLASS

NVLink

اقتباس

@online{perplexity2026HostingQwenOnBlackwell,
  author = {{Perplexity} and Nandor Licker and Kevin Hu and Bex Brooker and Erin McKnight},
  title = {{Hosting Qwen on Blackwell}},
  date = {2026-05-12},
  url = {https://www.perplexity.ai/hub/blog/hosting-qwen-on-blackwell}
}