Blackwell ನಲ್ಲಿ Qwen ಅನ್ನು ಹೋಸ್ಟ್ ಮಾಡಲಾಗುತ್ತಿದೆ

NVIDIA GB200 NVL72 ರ್ಯಾಕ್‌ಗಳು, 72-ವೇ NVLink ಮೂಲಕ ಪರಸ್ಪರ ಸಂಪರ್ಕ ಹೊಂದಿರುವ NVIDIA Blackwell GPU ಗಳೊಂದಿಗೆ, ದೊಡ್ಡ ಮಿಕ್ಶ್ಚರ್-ಆಫ್-ಎಕ್ಸ್‌ಪರ್ಟ್ಸ್ (MoE) ಮಾದರಿಗಳನ್ನು ನಿಯೋಜಿಸಲು ಅನನ್ಯವಾಗಿ ಸೂಕ್ತವಾಗಿವೆ. ಈ ಬ್ಲಾಗ್ ಪೋಸ್ಟ್‌ನಲ್ಲಿ, Perplexity ನ ಟ್ರಾಫಿಕ್‌ನ ಒಂದು ಭಾಗವನ್ನು ಬೆಂಬಲಿಸುವ ಪೋಸ್ಟ್-ರೈಟ್ ಮಾಡಲಾದ Qwen3 235B ಮಾದರಿಗಳನ್ನು ಒದಗಿಸುವ ಇನ್ಫರೆನ್ಸ್ ಸೆಟಪ್ ಅನ್ನು ನಾವು ವಿವರಿಸುತ್ತೇವೆ. NVIDIA Blackwell GPU ಗಳ ಸುಧಾರಿತ ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳು ಮತ್ತು ಹೈ-ಸ್ಪೀಡ್ ಇಂಟರ್‌ಕನೆಕ್ಟ್ ಅನ್ನು ಬಳಸಿಕೊಳ್ಳಲು ನಮ್ಮ ಇನ್-ಹೌಸ್ ಇನ್ಫರೆನ್ಸ್ ಎಂಜಿನ್ ಅನ್ನು ನಾವು ಹೇಗೆ ಅಳವಡಿಸಿಕೊಂಡಿದ್ದೇವೆ ಎಂಬುದನ್ನು ನಾವು ತೋರಿಸುತ್ತೇವೆ. ಈ ಹಾರ್ಡ್‌ವೇರ್‌ನೊಂದಿಗೆ, ಮೂಲಭೂತ ಮಾದರಿಗಳ ನಿಖರತೆಯನ್ನು ತ್ಯಾಗ ಮಾಡದೆ ನಾವು ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ ಹೆಚ್ಚಿನ ಟ್ರಾಫಿಕ್ ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತೇವೆ.

GB200 NVL72 ನಲ್ಲಿ ನಿಯೋಜಿಸಲಾಗುತ್ತಿದೆ

GB200 NVL72 ರ್ಯಾಕ್‌ಗಳು 18 ನೋಡ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿದ್ದು, ತಲಾ 180GB HBM ಹೊಂದಿರುವ 2 ARM-ಆಧಾರಿತ NVIDIA Grace CPU ಗಳು ಮತ್ತು 4 Blackwell-ಆಧಾರಿತ GPU ಗಳನ್ನು ಹೊಂದಿವೆ. 72 GPU ಗಳು NVLink ಮತ್ತು 18 NVLink Switch ASIC ಗಳ ಮೂಲಕ ಪರಸ್ಪರ ಸಂಪರ್ಕ ಹೊಂದಿವೆ, ಇದು ಯಾವುದೇ ಇಬ್ಬರು ಪೀರ್‌ಗಳ ನಡುವೆ 1800 GB/s ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಅನ್ನು ಒದಗಿಸುತ್ತದೆ ಮತ್ತು ಟ್ರಿಲಿಯನ್-ಪ್ಯಾರಾಮೀಟರ್ ಮಾದರಿಗಳನ್ನು ಹೋಸ್ಟ್ ಮಾಡಲು ಸಾಕಷ್ಟು ಮೆಮೊರಿಯನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತದೆ. ಹೆಚ್ಚುವರಿಯಾಗಿ, ConnectX-7 InfiniBand ಅಡಾಪ್ಟರ್‌ಗಳು ರ್ಯಾಕ್‌ನ ನೋಡ್‌ಗಳ ಒಳಗೆ ಮತ್ತು ಪಕ್ಕದ ರ್ಯಾಕ್‌ಗಳಾದ್ಯಂತ ಹೆಚ್ಚುವರಿಯಾಗಿ 400 Gb/s ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಅನ್ನು ಒದಗಿಸುತ್ತೇವೆ.

ಟ್ರಾಫಿಕ್ ಅನ್ನು ನಿರ್ವಹಿಸಲು, ನಾವು Qwen ಮಾದರಿಗಳನ್ನು ಪೋಸ್ಟ್-ರೈಟ್ ಮಾಡಲು ಮತ್ತು ಸರ್ವ್ ಮಾಡಲು ಆಯ್ಕೆ ಮಾಡಿಕೊಂಡಿದ್ದೇವೆ. ಈ ಬ್ಲಾಗ್ ಪೋಸ್ಟ್‌ನಲ್ಲಿ, ನಾವು Qwen3 235B ಮೇಲೆ ಗಮನ ಹರಿಸುತ್ತೇವೆ, ಆದರೆ ಚರ್ಚಿಸಲಾದ ಅನೇಕ ಸರ್ವಿಂಗ್ ತಂತ್ರಗಳು ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯ ಗುಣಲಕ್ಷಣಗಳು ನಾವು ಮೈಗ್ರೇಟ್ ಮಾಡುತ್ತಿರುವ ಹೊಸ Qwen3.5 397B ಮತ್ತು 122B ಮಾದರಿಗಳನ್ನು ಹೋಲುತ್ತವೆ. ಪ್ಯಾರಲಲಿಸಮ್ ವಿಷಯದಲ್ಲಿ, ರೇಖೀಯ ಗಮನವು ಸಂಪೂರ್ಣ ಸ್ವಯಂ ಗಮನವನ್ನು ಹೋಲುತ್ತದೆ ಮತ್ತು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ MoE ಲೇಯರ್ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆಯನ್ನು ಹೊಸ ಗೇಟ್ ಪದಗಳಿಗೆ ಸರಿಹೊಂದಿಸಲು ಸುಲಭವಾಗಿ ಅಳವಡಿಸಿಕೊಳ್ಳಬಹುದು. ಥ್ರೋಪುಟ್ ಅನ್ನು ಗರಿಷ್ಠಗೊಳಿಸುವಾಗ ಸ್ಥಿರವಾದ ಡಿಕೋಡಿಂಗ್ ದರವನ್ನು ನಿರ್ವಹಿಸಲು, ನಾವು ಪ್ರೀಫಿಲ್ ಅನ್ನು ಡಿಕೋಡ್‌ನಿಂದ ಡಿಸಾಗ್ರಿಗೇಟ್ ಮಾಡಲು ಆಯ್ಕೆ ಮಾಡಿಕೊಂಡಿದ್ದೇವೆ, ಎರಡು ರೀತಿಯ ನೋಡ್‌ಗಳಿಗೆ ವಿಭಿನ್ನ ಪ್ಯಾರಲಲಿಸಮ್ ತಂತ್ರಗಳನ್ನು ನಿಯೋಜಿಸಿದ್ದೇವೆ. ಪ್ರೀಫಿಲ್ಲರ್‌ನಿಂದ ಡಿಕೋಡರ್‌ಗೆ ಸಂವಹನವನ್ನು InfiniBand ಮೂಲಕ ನಿರ್ವಹಿಸಲಾಗುತ್ತದೆ, ಆದರೆ NVLink ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಅನ್ನು ಪ್ರೀಫಿಲ್ಲರ್‌ಗಳು ಮತ್ತು ಡಿಕೋಡರ್‌ಗಳೊಳಗಿನ ಸಂವಹನಕ್ಕಾಗಿ ಕಾಯ್ದಿರಿಸಲಾಗಿದೆ. ಈ ಬ್ಲಾಗ್ ಪೋಸ್ಟ್‌ನಲ್ಲಿ ಅನ್ವೇಷಿಸಲಾದ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರ ಮತ್ತು ಸಾಧನಗಳ ನಡುವಿನ ಸಂವಹನವನ್ನು ನಿರ್ವಹಿಸುವಾಗ Blackwell ಸಾಧನಗಳ ಕಾರ್ಯಕ್ಷಮತೆಯ ಗುಣಲಕ್ಷಣಗಳು ಬಳಸಿದ ಶಾರ್ಡಿಂಗ್ ತಂತ್ರಗಳನ್ನು ನಿರ್ಧರಿಸುತ್ತವೆ. NVIDIA Hopper GPU ಗಳಿಗೆ ಹೋಲಿಸಿದರೆ, ಸ್ಟ್ರೀಮಿಂಗ್ ಮಲ್ಟಿಪ್ರೊಸೆಸರ್‌ಗಳ ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆ, ಹೆಚ್ಚಿದ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಮತ್ತು ಕಡಿಮೆ ಪೀರ್-ಟು-ಪೀರ್ ಲೇಟೆನ್ಸಿಗಳಿಂದಾಗಿ ಕರ್ನಲ್-ಬೈ-ಕರ್ನಲ್ ಸುಧಾರಣೆಗಳನ್ನು ನಾವು ನೋಡುತ್ತೇವೆ.

ವಿಸ್ತರಿಸಿ

ಡಿಸಾಗ್ರಿಗೇಟ್ ಮಾಡಲಾದ ಪ್ರೀಫಿಲ್ ಅನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುವ ನಮ್ಮ TransferEngine, ಪ್ರೀಫಿಲ್ಲರ್‌ಗಳು ಮತ್ತು ಡಿಕೋಡರ್‌ಗಳಾದ್ಯಂತ ಅನಿಯಂತ್ರಿತ ಮತ್ತು ಸಂಭಾವ್ಯವಾಗಿ ಹೊಂದಿಕೆಯಾಗದ ಶಾರ್ಡಿಂಗ್ ಅನ್ನು ನಿರ್ವಹಿಸಿದೆ. KV ಕ್ಯಾಶ್‌ಗಳನ್ನು ಮೆಮೊರಿಯಲ್ಲಿ HND ಕ್ರಮದಲ್ಲಿ ಇರಿಸಲಾಗಿದೆ, ಪ್ರಮುಖ ಆಯಾಮದಲ್ಲಿ ಹೆಡ್‌ಗಳು ಮತ್ತು ಟೋಕನ್‌ಗಳನ್ನು ತಡೆರಹಿತವಾಗಿ ಇರಿಸಲಾಗಿದೆ, ಇದರಿಂದ ಪ್ರೀಫಿಲ್ಲರ್‌ನಲ್ಲಿರುವ ಶಾರ್ಡೆಡ್ KV ಕ್ಯಾಶ್ ಅನ್ನು ಡಿಕೋಡರ್ ನೋಡ್‌ಗೆ ವರ್ಗಾಯಿಸುವ ಸಮಯದಲ್ಲಿ ಮತ್ತಷ್ಟು ವಿಭಜಿಸಬಹುದು ಅಥವಾ ಕಾಂಕಾಟನೇಟ್ ಮಾಡಬಹುದು.

ಪ್ರೀಫಿಲ್ಲರ್‌ಗಳು

ಪ್ರೀಫಿಲ್ಲರ್ ನೋಡ್‌ಗಳು ವಿನಂತಿಯ ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳನ್ನು ಸ್ವೀಕರಿಸುತ್ತವೆ, KV ಕ್ಯಾಶ್‌ಗಳನ್ನು ಜನರೇಟ್ ಮಾಡುತ್ತವೆ ಮತ್ತು ಪಠ್ಯ ಉತ್ಪಾದನೆಯನ್ನು ಮುಂದುವರಿಸಲು ಅವುಗಳನ್ನು ಡಿಕೋಡರ್‌ಗಳಿಗೆ ವರ್ಗಾಯಿಸುತ್ತವೆ. ಅನುಕ್ರಮಕ್ಕೆ ಸೇರಿದ ಸಾವಿರಾರು ಟೋಕನ್‌ಗಳನ್ನು ಒಂದೇ ಸಮಯದಲ್ಲಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವುದರಿಂದ ಪ್ರೀಫಿಲ್ ಕಂಪ್ಯೂಟೇಷನಲ್ ಆಗಿ ತೀವ್ರವಾಗಿರುತ್ತದೆ.

ಫಲಿತಾಂಶವಾಗಿ, ಒಂದೇ GB200 ನೋಡ್‌ನಲ್ಲಿ 4 GPU ಗಳಾದ್ಯಂತ ಮಾದರಿಯನ್ನು ಶಾರ್ಡ್ ಮಾಡಿ ಮತ್ತು ಪ್ರೊಜೆಕ್ಷನ್‌ಗಳು ಮತ್ತು ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳನ್ನು ಶಾರ್ಡ್ ಮಾಡಿ (TP=4, EP=4) ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲ್ ನಿಯೋಜನೆಯು ಸೂಕ್ತವಾಗಿದೆ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ. ಗಮನ ಮತ್ತು MLP ಎರಡೂ ಕಂಪ್ಯೂಟ್-ಬೌಂಡ್ ಆಗಿರುವುದರಿಂದ, ಎರಡೂ ಪ್ಯಾರಲಲಿಸಮ್‌ನಿಂದ ಪ್ರಯೋಜನ ಪಡೆಯುತ್ತವೆ, ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳು ಮತ್ತು ಗಮನದ ಹೆಡ್‌ಗಳನ್ನು ಪ್ರತ್ಯೇಕ ರಾಂಕ್‌ಗಳಾದ್ಯಂತ ವಿತರಿಸುತ್ತವೆ. ಪ್ರತಿ ರಾಂಕ್‌ನಲ್ಲಿ ಕಡಿಮೆ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳನ್ನು ಹೋಸ್ಟ್ ಮಾಡುವುದರಿಂದ (16 ರ ಬದಲಿಗೆ 32) ಸಿಗುವ ಥ್ರೋಪುಟ್ ಸುಧಾರಣೆಯು 8-ವೇ ಆಲ್-ರೆಡ್ಯೂಸ್‌ನ ಹೆಚ್ಚುವರಿ ವೆಚ್ಚವನ್ನು ಮತ್ತು ಈಥರ್ನೆಟ್ ಮೂಲಕ ಸಂವಹನದ ಅಗತ್ಯವಿರುವ ಎರಡು ನೋಡ್‌ಗಳಾದ್ಯಂತ ಹೋಸ್ಟ್-ಸೈಡ್ ಕೋಡ್ ಅನ್ನು ವಿಭಜಿಸುವ ಓವರ್‌ಹೆಡ್ ಅನ್ನು ಸರಿದೂಗಿಸುವುದಿಲ್ಲವಾದ್ದರಿಂದ ಹೆಚ್ಚಿನ ಪ್ಯಾರಲಲಿಸಮ್ ಕ್ಷೀಣಿಸುತ್ತಿರುವ ಆದಾಯವನ್ನು ನೀಡುತ್ತಿತ್ತು.

Qwen3 235B ಕೇವಲ 4 ಕೀ-ವ್ಯಾಲ್ಯೂ ಹೆಡ್‌ಗಳನ್ನು ಹೊಂದಿದೆ, 8 ಸಾಧನಗಳನ್ನು ಬಳಸಿದರೆ k ಮತ್ತು v ಪ್ರೊಜೆಕ್ಷನ್‌ಗಳನ್ನು ರಾಂಕ್ ಜೋಡಿಗಳಾದ್ಯಂತ ಪುನರಾವರ್ತಿಸುವ ಅಗತ್ಯವಿರುತ್ತದೆ. ಪ್ರತಿ ರಾಂಕ್‌ನಲ್ಲಿ ತೂಕವನ್ನು ಸಂಗ್ರಹಿಸಲು ಅಗತ್ಯವಿರುವ ಮೆಮೊರಿಯ ಪ್ರಮಾಣವನ್ನು ಕಡಿಮೆ ಮಾಡಲು, KV ಕ್ಯಾಶ್‌ನಲ್ಲಿ ಹೆಚ್ಚಿನ ಟೋಕನ್‌ಗಳಿಗೆ ಸ್ಪೇಸ್ ಅನ್ನು ಮುಕ್ತಗೊಳಿಸಲು ನಾವು ಹೆಚ್ಚು ಆಕ್ರಮಣಕಾರಿ ಶಾರ್ಡಿಂಗ್ ಅನ್ನು ಪರಿಗಣಿಸಬಹುದಿತ್ತು. ಆದಾಗ್ಯೂ, ವಿಶಾಲವಾದ ನಿಯೋಜನೆಯು ಯೋಗ್ಯವಾಗಿಲ್ಲ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ.

ಸುಮಾರು 6000 ಟೋಕನ್‌ಗಳ ಇನ್‌ಪುಟ್ ಉದ್ದವನ್ನು ಊಹಿಸಿದರೆ, 128 ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳಲ್ಲಿ ಪ್ರತಿಯೊಂದೂ ಸುಮಾರು 6000 * 8 / 128 = 375 ಟೋಕನ್‌ಗಳನ್ನು ರೂಟ್ ಮಾಡಲಾಗಿದೆ, ಇದು MoE GEMM ಗಾಗಿ ದಟ್ಟವಾದ ಸಮಸ್ಯೆಯನ್ನು ಖಚಿತಪಡಿಸುತ್ತದೆ. ಇದು ಈಗಾಗಲೇ ಸಾಧನದ ಕಂಪ್ಯೂಟೇಷನಲ್ ಥ್ರೋಪುಟ್ ಅನ್ನು ಸ್ಯಾಚುರೇಟ್ ಮಾಡುವುದರಿಂದ, ಪ್ರೀಫಿಲ್‌ಗೆ ಡೇಟಾ ಪ್ಯಾರಲಲಿಸಮ್ ಅಗತ್ಯವಿಲ್ಲ.

ಗಮನದ ವರ್ಗೀಯವಾಗಿ ಹೆಚ್ಚುತ್ತಿರುವ ವೆಚ್ಚದ ಹೊರತಾಗಿಯೂ, ಪ್ರೀಫಿಲ್ಲರ್‌ಗಳು ಸ್ಥಿರವಾದ ಥ್ರೋಪುಟ್ ಅನ್ನು ತಲುಪಿಸುತ್ತವೆ, ಇದು ಒಂದು ಸೆಕೆಂಡಿನಲ್ಲಿ ನೋಡ್‌ನಿಂದ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಬಹುದಾದ ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳ ಸಂಖ್ಯೆಗೆ ಒರಟಾದ ಅಂದಾಜನ್ನು ಅನುಮತಿಸುತ್ತದೆ. ವಿನಂತಿಗಳಿಂದ ಒಟ್ಟು ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡುವ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಅವಲಂಬಿಸಿ, ಒಟ್ಟು ಪ್ರೀಫಿಲ್ ಥ್ರೋಪುಟ್ ಅನ್ನು ಅದಕ್ಕೆ ತಕ್ಕಂತೆ ಅಳೆಯಲಾಗಿದೆಯೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಪ್ರೀಫಿಲ್ಲರ್ ನೋಡ್‌ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಅಪ್‌ಸ್ಕೇಲ್ ಮಾಡಬಹುದು. ಕ್ಯೂಯಿಂಗ್ ಅನ್ನು ತಪ್ಪಿಸಲು, ಪ್ರೀಫಿಲ್ಲರ್ ಪ್ರತಿಕೃತಿಗಳ ಸಂಖ್ಯೆಯನ್ನು ಸ್ವೀಕರಿಸಿದ ಒಟ್ಟು ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳೊಂದಿಗೆ ಹೊಂದಿಸಲಾಗುತ್ತದೆ.

ಡಿಕೋಡರ್‌ಗಳು

ಡಿಕೋಡರ್ ನೋಡ್‌ಗಳು ಪ್ರೀಫಿಲ್ಲರ್‌ಗಳಿಂದ KV ಕ್ಯಾಶ್‌ಗಳನ್ನು ಸ್ವೀಕರಿಸುತ್ತವೆ ಮತ್ತು ಒಂದೊಂದಾಗಿ ಟೋಕನ್‌ಗಳನ್ನು ಜನರೇಟ್ ಮಾಡುತ್ತವೆ. ಡಿಕೋಡ್ ಸಾಮಾನ್ಯವಾಗಿ ಮೆಮೊರಿ ಬೌಂಡ್ ಆಗಿರುತ್ತದೆ: ಕೆಲವು ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳೊಂದಿಗೆ, ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರವು ಸಂಪೂರ್ಣವಾಗಿ HBM ನಿಂದ ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳಿಗೆ ತೂಕವನ್ನು ಲೋಡ್ ಮಾಡುವ ವೆಚ್ಚದಿಂದ ಬಂಧಿಸಲ್ಪಡುತ್ತದೆ. ವಿಭಿನ್ನ ಶಾರ್ಡಿಂಗ್ ತಂತ್ರವನ್ನು ಬಳಸುವುದರ ಹೊರತಾಗಿ, ಕಂಪ್ಯೂಟೇಶನ್‌ಗಳು ಮತ್ತು ಮೆಮೊರಿ ಪ್ರವೇಶಗಳನ್ನು ಉತ್ತಮವಾಗಿ ಸಮಾನಾಂತರಗೊಳಿಸಲು ಹಲವಾರು ಕರ್ನಲ್‌ಗಳನ್ನು ಟ್ವೀಕ್ ಮಾಡಬೇಕಾಗುತ್ತದೆ.

ಪ್ರೀಫಿಲ್ ಗಿಂತ ಭಿನ್ನವಾಗಿ, ಶಾರ್ಡಿಂಗ್ ಗಮನವು ಇನ್ನು ಮುಂದೆ ಪ್ರಯೋಜನಕಾರಿಯಲ್ಲ: ಬಹು ಸಾಧನಗಳಲ್ಲಿ ಗಮನದ ಹೆಡ್‌ಗಳನ್ನು ವಿಭಜಿಸುವುದು ಎಂದರೆ ಒಂದೇ ಸಾಧನದೊಳಗೆ ಪ್ಯಾರಲಲಿಸಮ್‌ಗೆ ಕಡಿಮೆ ಅವಕಾಶಗಳಿವೆ ಎಂದರ್ಥ. ಪರಿಣಾಮವಾಗಿ, ಕೇವಲ ಡೇಟಾ ಪ್ಯಾರಲಲಿಸಮ್ ಮತ್ತು ಎಕ್ಸ್‌ಪರ್ಟ್ ಪ್ಯಾರಲಲಿಸಮ್ ಅನ್ನು ಬಳಸಲಾಗುತ್ತದೆ: ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳನ್ನು ಬಹು ಸಾಧನಗಳಲ್ಲಿ ಶಾರ್ಡ್ ಮಾಡಲಾಗುತ್ತದೆ, ಆದರೆ ಪ್ರತಿ ಸಾಧನವು ತನ್ನದೇ ಆದ KV ಕ್ಯಾಶ್‌ಗಳು ಮತ್ತು ವಿನಂತಿಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ. ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ ಇಲ್ಲದೆ, ಸಾಧನದಲ್ಲಿ ಪ್ರತಿ-ಟೋಕನ್ KV ಕ್ಯಾಶ್ ಗಾತ್ರವು ದೊಡ್ಡದಾಗಿರುತ್ತದೆ. ಆದಾಗ್ಯೂ, ಒಂದೇ ನೋಡ್‌ನಲ್ಲಿ ಕಡಿಮೆ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳನ್ನು ಪತ್ತೆಹಚ್ಚುವ ಮೂಲಕ ಮೆಮೊರಿಯಲ್ಲಿ ಸ್ಪೇಸ್ ಮುಕ್ತಗೊಳಿಸಲಾಗುತ್ತದೆ. 8-GPU ನೋಡ್‌ನಲ್ಲಿ ಒಂದೇ NVLink ಡೊಮೈನ್‌ನೊಳಗೆ ನಾವು ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ ಅನ್ನು ಸೀಮಿತಗೊಳಿಸಿದ Hopper ಗಿಂತ ಭಿನ್ನವಾಗಿ, Blackwell ನಲ್ಲಿ 16 ಸಾಧನಗಳವರೆಗೆ ಬಳಸಿ, ಡೊಮೈನ್ ಒಳಗೆ ಬಹು ನೋಡ್‌ಗಳಲ್ಲಿ ವಿಸ್ತರಿಸುವುದು ಪ್ರಯೋಜನಕಾರಿಯಾಗಿದೆ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ.

ಥ್ರೋಪುಟ್ ಅನ್ನು ಗರಿಷ್ಠಗೊಳಿಸಲು, ಡಿಕೋಡರ್‌ಗಳು ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆಯ ವಿನಂತಿಗಳನ್ನು ಏಕಕಾಲದಲ್ಲಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುತ್ತವೆ. ಹೆಚ್ಚುವರಿ ವಿನಂತಿಗಳು MoE ಲೇಯರ್‌ಗಳು ಮತ್ತು ಇತರ ಪ್ರೊಜೆಕ್ಷನ್‌ಗಳಲ್ಲಿ ಕನಿಷ್ಠ ಓವರ್‌ಹೆಡ್ ಅನ್ನು ಉಂಟುಮಾಡಿದರೂ, ಅವು ಗಮನದ ವೆಚ್ಚವನ್ನು ಅಸಮಾನವಾಗಿ ಹೆಚ್ಚಿಸುತ್ತವೆ. ಸಮಂಜಸವಾದ ಕನಿಷ್ಠ ಡಿಕೋಡಿಂಗ್ ವೇಗವನ್ನು ನಿರ್ವಹಿಸಲು, ಪ್ರತಿ-ಡಿಕೋಡರ್ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳನ್ನು ನಿರ್ದಿಷ್ಟ ಮಿತಿಯ ಕೆಳಗೆ ಇರಿಸಲು ಡಿಕೋಡರ್ ನೋಡ್‌ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಅಪ್‌ಸ್ಕೇಲ್ ಮಾಡಲಾಗುತ್ತದೆ.

ಹಿಂದಿನ Hopper ನಿಯೋಜನೆಗಳಿಗೆ ಸಮಾನವಾಗಿ, ಡಿಕೋಡಿಂಗ್ ದರಗಳನ್ನು ಹೆಚ್ಚಿಸಲು ನಾವು ಇನ್-ಹೌಸ್ ತರಬೇತಿ ಪಡೆದ MTP ಲೇಯರ್‌ಗಳೊಂದಿಗೆ ಸ್ಪೆಕ್ಯುಲೇಟಿವ್ ಡಿಕೋಡಿಂಗ್ ಅನ್ನು ಬಳಸುತ್ತೇವೆ. ಅದೃಷ್ಟವಶಾತ್, ಆಧಾರವಾಗಿರುವ ಹಾರ್ಡ್‌ವೇರ್ ಮತ್ತು ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಫ್ರೇಮ್‌ವರ್ಕ್‌ಗಳು ಎರಡು ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳ ನಡುವೆ ಅನುಷ್ಠಾನವನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಹಂಚಿಕೊಳ್ಳಲು ಸಾಕಷ್ಟು ಹೋಲುತ್ತವೆ.

ನೋಡ್ ಒಳಗೆ ಮತ್ತು ನೋಡ್‌ಗಳ ನಡುವಿನ ಸಂವಹನ

GB200 NVL72 ಮತ್ತು ಹಿಂದಿನ Hopper ನೋಡ್‌ಗಳ ನಡುವಿನ ಮುಖ್ಯ ವ್ಯತ್ಯಾಸವೆಂದರೆ ದೊಡ್ಡ NVLink ಡೊಮೈನ್ ಆಗಿದೆ, ಇದು ಹಿಂದಿನ 8 ಸಾಧನಗಳ ಮಿತಿಯನ್ನು ಮೀರಿ ಪೀರ್-ಟು-ಪೀರ್ ಸಂವಹನವನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ. Blackwell ಸಾಧನಗಳನ್ನು 8-GPU ನೋಡ್‌ಗಳಲ್ಲಿ ನಿಯೋಜಿಸಿದ್ದರೂ, ನಿಧಾನವಾದ InfiniBand ನೆಟ್‌ವರ್ಕ್‌ಗೆ ಹೋಲಿಸಿದರೆ NVLink ಮೂಲಕ ಬಹು ನೋಡ್‌ಗಳಲ್ಲಿ ಅಪ್‌ಸ್ಕೇಲ್ ಮಾಡುವಲ್ಲಿ ಸಾಕಷ್ಟು ಮೌಲ್ಯವಿದೆ.

ಪ್ರೀಫಿಲ್ಲರ್ ನೋಡ್‌ಗಳಲ್ಲಿ, ನಾವು ಗಮನದ ಪದರಗಳೊಳಗಿನ ಆಲ್-ರೆಡ್ಯೂಸ್ ಸಂವಹನ ಮತ್ತು ಆಲ್-ರೆಡ್ಯೂಸ್ ಅನ್ನು ಹೋಲುವ ಎಕ್ಸ್‌ಪರ್ಟ್ ಪ್ಯಾರಲಲ್ ರಿಡಕ್ಷನ್ ಅನ್ನು ಅವಲಂಬಿಸಿದ್ದೇವೆ. 4 GPU ಗಳಾದ್ಯಂತ, ನಾವು NVLink ಮತ್ತು NVIDIA SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) ಎರಡನ್ನೂ ಬಳಸಿಕೊಳ್ಳುತ್ತೇವೆ: ಪೀರ್-ಟು-ಪೀರ್ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಜೊತೆಗೆ, ಲೇಟೆನ್ಸಿಗಳನ್ನು ಮತ್ತಷ್ಟು ಕಡಿಮೆ ಮಾಡಲು ಮತ್ತು ವೇಗದ ಪ್ರಸಾರಗಳನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಲು ನಾವು NVLink ಸ್ವಿಚ್‌ಗಳಲ್ಲಿ ರಿಡಕ್ಷನ್‌ಗಳನ್ನು ಸಹ ಬಳಸಿಕೊಳ್ಳುತ್ತೇವೆ. ಡಿಕೋಡರ್ ನೋಡ್‌ಗಳಲ್ಲಿ, NVLink ಮೇಲೆ ಕಸ್ಟಮ್ ಆಲ್-ಟು-ಆಲ್ ಡಿಸ್ಪ್ಯಾಚ್ ಮತ್ತು ಕಂಬೈನ್ ಅನುಷ್ಠಾನವನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. CuTeDSL ಮತ್ತು cuMem ಮ್ಯಾಪಿಂಗ್‌ಗಳು ಅಥವಾ ಮಲ್ಟಿಕಾಸ್ಟ್ ಮ್ಯಾಪಿಂಗ್‌ಗಳನ್ನು ಬಳಸಿ ಕರ್ನಲ್‌ಗಳನ್ನು ಇನ್-ಹೌಸ್ ಆಗಿ ಕಾರ್ಯಗತಗೊಳಿಸಲಾಗಿದೆ.

ಆಲ್-ರೆಡ್ಯೂಸ್

ಪ್ರೀಫಿಲ್ಲರ್‌ಗಳು ಗಮನದ ಪದರದ ಔಟ್‌ಪುಟ್ ಪ್ರೊಜೆಕ್ಷನ್‌ನಲ್ಲಿ ಆಲ್-ರೆಡ್ಯೂಸ್ ಕಾರ್ಯಾಚರಣೆಯನ್ನು ನಿರ್ವಹಿಸುತ್ತವೆ, ಭಾಗವಹಿಸುವ ರಾಂಕ್‌ಗಳಾದ್ಯಂತ ಶಾರ್ಡ್ ಮಾಡಲಾದ ಹೆಡ್‌ಗಳ ಕೊಡುಗೆಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸುತ್ತವೆ. ಆಲ್-ರೆಡ್ಯೂಸ್ ಓವರ್‌ಹೆಡ್‌ನ ವೆಚ್ಚವು ಸಣ್ಣ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರ ಸಮಸ್ಯೆಗಳ ಕಡಿಮೆ ಲೇಟೆನ್ಸಿಯಿಂದ ಸರಿದೂಗಿಸಲ್ಪಟ್ಟಾಗ ಮಾತ್ರ ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ ಪರಿಣಾಮಕಾರಿಯಾಗಿರುತ್ತದೆ. ಈ ಊಹೆಯು ಸಾಮಾನ್ಯವಾಗಿ ಪ್ರೀಫಿಲ್‌ಗೆ ಅನ್ವಯಿಸುತ್ತದೆ.

ಡೇಟಾಸೆಂಟರ್-ಗ್ರೇಡ್ NVIDIA HGX H200 ಮತ್ತು GB200 NVL72 ಸಿಸ್ಟಮ್‌ಗಳಲ್ಲಿ, GPU ಗಳನ್ನು ಸಾಮಾನ್ಯವಾಗಿ NVLink ಸ್ವಿಚ್‌ಗಳ ಮೂಲಕ ಸಂಪರ್ಕಿಸಲಾಗುತ್ತದೆ. ರೂಟಿಂಗ್ ಹೊರತಾಗಿ, ಸ್ವಿಚ್‌ಗಳು SHARP ಮೂಲಕ ಸಂಪರ್ಕಿತ ಸಾಧನಗಳಾದ್ಯಂತ ರಿಡಕ್ಷನ್ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ನಿರ್ವಹಿಸಬಹುದು. ಮೆಮೊರಿ ಮ್ಯಾಪಿಂಗ್‌ಗಳನ್ನು ರಚಿಸಿದ ನಂತರ ಮತ್ತು CUDA API ಗಳನ್ನು ಬಳಸಿ ಅವುಗಳನ್ನು ಮಲ್ಟಿಕಾಸ್ಟ್ ಗುಂಪಿನಲ್ಲಿ ನೋಂದಾಯಿಸಿದ ನಂತರ, ಸ್ವಿಚ್‌ಗಳ ಮೂಲಕ ಮೌಲ್ಯಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸಲು ಮತ್ತು ಪ್ರಸಾರ ಮಾಡಲು ಕರ್ನಲ್‌ಗಳು multicast.ld_reduce ಮತ್ತು multicast.st ಅನ್ನು ಬಳಸಬಹುದು. ಇತರ ಕರ್ನಲ್‌ಗಳಲ್ಲಿ ಫ್ಯೂಸ್ ಮಾಡಬಹುದಾದ ಅಡಿಪಾಯ ಮತ್ತು ಮರುಬಳಕೆ ಮಾಡಬಹುದಾದ ಘಟಕಗಳನ್ನು ರಚಿಸಲು, ನಾವು ಈ ಪ್ರಿಮಿಟಿವ್‌ಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಆಂತರಿಕವಾಗಿ CuTeDSL ಆಲ್-ರೆಡ್ಯೂಸ್ ಕರ್ನಲ್ ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತೇವೆ.

B ಬೈಟ್‌ಗಳನ್ನು ರಿಡ್ಯೂಸ್ ಮಾಡುವ N GPU ಗಳನ್ನು ಹೊಂದಿರುವ ಸಿಸ್ಟಮ್‌ನಲ್ಲಿ, ಸಾಧಾರಣ ಅನುಷ್ಠಾನವು ಒಟ್ಟು N * (N - 1) * B ಬೈಟ್‌ಗಳ ರೀಡ್ ಟ್ರಾಫಿಕ್‌ಗಾಗಿ ಎಲ್ಲಾ ಇತರ ಪೀರ್‌ಗಳಿಂದ ಮೌಲ್ಯಗಳನ್ನು ಲೋಡ್ ಮಾಡಲು ಪೀರ್ ಅನ್ನು ಹೊಂದಿರುತ್ತದೆ. ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿ ಅನುಷ್ಠಾನವು ರಿಡ್ಯೂಸ್ ಮಾಡಬೇಕಾದ ಡೇಟಾವನ್ನು ಪೀರ್‌ಗಳಾದ್ಯಂತ ವಿಭಜಿಸುತ್ತದೆ, ಪ್ರತಿಯೊಂದೂ ಇನ್‌ಪುಟ್‌ನ ಸ್ಲೈಸ್ ಅನ್ನು ರಿಡ್ಯೂಸ್ ಮಾಡುತ್ತದೆ, ನಂತರ ಅದನ್ನು ಉಳಿದವುಗಳಿಗೆ ಪ್ರಸಾರ ಮಾಡುತ್ತದೆ. ಇದು ಪೀರ್‌ಗೆ ಓದಲಾದ ಮತ್ತು ಉಳಿದವುಗಳಿಗೆ ಪ್ರಸಾರ ಮಾಡಲಾದ (N - 1) * (B / N) ಬೈಟ್‌ಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ, ಒಟ್ಟು (N - 1) * B * 2 ರೀಡ್‌ಗಳು ಮತ್ತು ರೈಟ್‌ಗಳಿಗಾಗಿ, ಸ್ವಿಚ್‌ಗಳ ಮೇಲಿನ ಟ್ರಾಫಿಕ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

SHARP ನೊಂದಿಗೆ, ರಿಡಕ್ಷನ್ ಮತ್ತು ಪ್ರಸಾರವನ್ನು ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ನಿರ್ವಹಿಸಬಹುದು: ಸ್ಥಳೀಯ ಸಂಗ್ರಹಣೆಗಾಗಿ ಸಾಧನಕ್ಕೆ (N - 1) * (B / N) ಬೈಟ್‌ಗಳನ್ನು ಓದುವ ಬದಲು, ಇದು ಪೀರ್‌ಗಳಿಂದ ಡೇಟಾವನ್ನು ಬಳಸಿ ಸ್ವತಃ ರಿಡಕ್ಷನ್ ಅನ್ನು ನಿರ್ವಹಿಸುವುದರಿಂದ ಸ್ವಿಚ್‌ನಿಂದ ಕೇವಲ B / N ಅನ್ನು ಚಲಿಸಲಾಗುತ್ತದೆ. ಪ್ರಸಾರಕ್ಕಾಗಿ, ಅಂತಹುದೇ ಸುಧಾರಣೆಯಿದೆ, ಏಕೆಂದರೆ NVLink ಚಾನೆಲ್‌ಗಳ ಮೂಲಕ GPU ಮತ್ತು ಸ್ವಿಚ್ ನಡುವಿನ ವಹಿವಾಟುಗಳ ಸಂಖ್ಯೆ ಬಹಳವಾಗಿ ಕಡಿಮೆಯಾಗುತ್ತದೆ. SHARP ಇಲ್ಲದೆ, ಸಂಗ್ರಹಿಸುವ ಸಾಧನವು ಸ್ವಿಚ್‌ನೊಂದಿಗೆ NVLink ಮೂಲಕ (N - 1) * (B / N) ವಹಿವಾಟುಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ, ಸ್ವಿಚ್ ಪೀರ್‌ಗಳಿಂದ ಅದೇ ಪ್ರಮಾಣದ ಡೇಟಾವನ್ನು ಓದುತ್ತದೆ, ಒಟ್ಟು 2 * (N - 1) * (B / N) ವಹಿವಾಟುಗಳಿಗಾಗಿ. SHARP ನೊಂದಿಗೆ, B / N ವಹಿವಾಟುಗಳನ್ನು GPU ಮತ್ತು ಸ್ವಿಚ್ ನಡುವೆ ನಿರ್ವಹಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಪೀರ್‌ಗಳೊಂದಿಗೆ ಮತ್ತಷ್ಟು (N - 1) * (B / N), ಒಟ್ಟು B ವಹಿವಾಟುಗಳಿಗಾಗಿ.

ಅದರ ಸರಳತೆಯಿಂದಾಗಿ, SHARP ಒಂದು ಮೌಲ್ಯಯುತ ಸಾಧನವಾಗಿದೆ, ಏಕೆಂದರೆ ಇದು ಅಲ್ಗಾರಿದಮ್‌ಗಾಗಿ ನೇರವಾದ ಹಾರ್ಡ್‌ವೇರ್ ಅನುಷ್ಠಾನವನ್ನು ಒದಗಿಸುತ್ತದೆ. ವರ್ಗಾವಣೆಗಳು ಸೈದ್ಧಾಂತಿಕ N / (2 * (N - 1)) ಭಾಗದಿಂದ ಕಡಿಮೆಯಾಗಿದ್ದರೂ (ಇದು 4 ಪೀರ್‌ಗಳೊಂದಿಗೆ 33% ಗೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ), ಪ್ರಾಯೋಗಿಕವಾಗಿ H200 ಮತ್ತು GB200 NVL72 ಸಿಸ್ಟಮ್‌ಗಳಲ್ಲಿ ಪ್ರೀಫಿಲ್ ಮತ್ತು ಡಿಕೋಡ್ ಲೇಟೆನ್ಸಿ ಎರಡರಲ್ಲೂ 10% ಸುಧಾರಣೆಯನ್ನು ನಾವು ಗಮನಿಸುತ್ತೇವೆ.

ವಿಸ್ತರಿಸಿ

MoE ಡಿಸ್ಪ್ಯಾಚ್ - ಕಂಬೈನ್

MoE ಮಾದರಿಗಳಿಗಾಗಿ, ಡಿಸ್ಪ್ಯಾಚ್ ಮತ್ತು ಕಂಬೈನ್ ಕರ್ನಲ್‌ಗಳು ಪೀರ್‌ಗಳ ನಡುವಿನ ನಂತರದ MoE GEMM ಸಮಸ್ಯೆಗಳಿಗಾಗಿ ಟೋಕನ್‌ಗಳನ್ನು ಚಲಿಸುತ್ತವೆ ಮತ್ತು ಗುಂಪು ಮಾಡುತ್ತವೆ, ನಂತರ ಕಂಬೈನ್‌ನಲ್ಲಿ ತೂಕದ ಸಂಗ್ರಹಣೆಯನ್ನು ನಿರ್ವಹಿಸುತ್ತವೆ. ನಾವು ನಮ್ಮ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಡಿಸ್ಪ್ಯಾಚ್ ಮತ್ತು ಕಂಬೈನ್ ಕರ್ನಲ್‌ಗಳನ್ನು CuTeDSL ಗೆ ಪೋರ್ಟ್ ಮಾಡುವ ಮೂಲಕ, ಬ್ಲಾಕ್ ಹಂಚಿಕೆಗಳನ್ನು ಟ್ವೀಕ್ ಮಾಡುವ ಮೂಲಕ ಮತ್ತು ಪ್ರೀಫಿಲ್ ಮತ್ತು ಡಿಕೋಡ್ ನಡುವೆ ಅವುಗಳನ್ನು ಆಕ್ರಮಣಕಾರಿಯಾಗಿ ವಿಶೇಷಗೊಳಿಸುವ ಮೂಲಕ Blackwell ಗೆ ಅಳವಡಿಸಿಕೊಂಡಿದ್ದೇವೆ.

ಎಕ್ಸ್‌ಪರ್ಟ್ ಪ್ಯಾರಲಲ್

ಎಕ್ಸ್‌ಪರ್ಟ್ ಪ್ಯಾರಲಲ್ (EP) ಕರ್ನಲ್ ಅನ್ನು ಪ್ರೀಫಿಲ್ಲರ್‌ಗಳಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ. ಇದರ ಇನ್‌ಪುಟ್‌ಗಳನ್ನು ಎಲ್ಲಾ ರಾಂಕ್‌ಗಳಾದ್ಯಂತ ಪುನರಾವರ್ತಿಸಲಾಗಿರುವುದರಿಂದ, ಡಿಸ್ಪ್ಯಾಚ್ ಕರ್ನಲ್ ಪ್ರಸ್ತುತ ರಾಂಕ್‌ನಲ್ಲಿರುವ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳಿಗೆ ರೂಟ್ ಮಾಡಲಾದ ಟೋಕನ್‌ಗಳನ್ನು ಸರಳವಾಗಿ ಆಯ್ಕೆ ಮಾಡಬೇಕಾಗುತ್ತದೆ. ಇದು ರೂಟಿಂಗ್ ಮಾಹಿತಿಯನ್ನು ಒಟ್ಟುಗೂಡಿಸುತ್ತದೆ ಮತ್ತು MoE GEMM ಗೆ ಇನ್‌ಪುಟ್‌ಗಳಾಗಿ ಬಳಸುವ ಬಫರ್‌ಗಳಲ್ಲಿ ಟೋಕನ್‌ಗಳನ್ನು ಸಿದ್ಧಪಡಿಸುತ್ತದೆ. ಕಂಬೈನ್ ಕರ್ನಲ್ ಮೊದಲು ಪ್ರಸ್ತುತ ರಾಂಕ್‌ನಲ್ಲಿರುವ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳಿಗೆ ರೂಟ್ ಮಾಡಲಾದ ಟೋಕನ್‌ಗಳ ಕೊಡುಗೆಗಳ ನಡುವೆ ಸ್ಥಳೀಯ ಸಂಗ್ರಹಣೆಯನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ, ನಂತರ ಅದು ಎಲ್ಲಾ ರಾಂಕ್‌ಗಳಾದ್ಯಂತ ಆಲ್-ರೆಡ್ಯೂಸ್ ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ.

ಡಿಕೋಡ್‌ಗಾಗಿ, ಸಂಪೂರ್ಣ ಕರ್ನಲ್ ಒಂದರಲ್ಲಿ ಫ್ಯೂಸ್ ಆಗುತ್ತದೆ. ರೂಟಿಂಗ್ ಮತ್ತು ಆಲ್-ರೆಡ್ಯೂಸ್‌ಗೆ ಸ್ಥಳೀಯ ಕಂಬೈನ್ ಹಂತಕ್ಕಿಂತ ಕಡಿಮೆ ಬ್ಲಾಕ್‌ಗಳು ಬೇಕಾಗುವುದರಿಂದ ಪ್ರೀಫಿಲ್ ಕರ್ನಲ್ ಅನ್ನು ಬಹು ಕರ್ನಲ್‌ಗಳಾಗಿ ವಿಂಗಡಿಸಲಾಗಿದೆ. CuTeDSL ನೊಂದಿಗೆ, ನಾವು SHARP ಮತ್ತು NVLink ಆಲ್-ರೆಡ್ಯೂಸ್ ಮತ್ತು ಪೀರ್-ಟು-ಪೀರ್ ಸಿಂಕ್ರೊನೈಸೇಶನ್ ಎರಡಕ್ಕೂ ಜೆನೆರಿಕ್ ಲೈಬ್ರರಿಯನ್ನು ನಿರ್ಮಿಸಬಹುದು, ಅದನ್ನು ಆಲ್-ರೆಡ್ಯೂಸ್ ಮತ್ತು ಎಕ್ಸ್‌ಪರ್ಟ್ ಪ್ಯಾರಲಲ್ ಕರ್ನಲ್‌ಗಳೆರಡರಲ್ಲೂ ಸಂಯೋಜಿಸಬಹುದು.

ವಿಸ್ತರಿಸಿ

ಕಾರ್ಯಕ್ಷಮತೆಯ ದೃಷ್ಟಿಯಿಂದ, ಸುಧಾರಿತ ವರ್ಗಾವಣೆ ವೇಗ, ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಮತ್ತು ಉತ್ತಮ ಕಂಪ್ಯೂಟೇಷನಲ್ ಥ್ರೋಪುಟ್ ಕಾರಣದಿಂದಾಗಿ Blackwell ಯು Hopper ಗಿಂತ ಗಮನಾರ್ಹವಾಗಿ ವೇಗವಾಗಿದೆ ಎಂದು ನಾವು ಗಮನಿಸುತ್ತೇವೆ. 8 ಸಾಧನಗಳು ಮತ್ತು GB200 ಗಳಲ್ಲಿ ಬಹು ನೋಡ್‌ಗಳಾದ್ಯಂತ ಶಾರ್ಡ್ ಮಾಡಲಾಗಿದೆ (EP=8), ಸ್ಥಳೀಯ ಸಂಗ್ರಹಣೆಯು ಪ್ರತಿ ಸಾಧನದಲ್ಲಿ ಕಡಿಮೆ ಟೋಕನ್‌ಗಳಲ್ಲಿ ರನ್ ಆಗುವುದರಿಂದ ಮತ್ತು SHARP ನೊಂದಿಗೆ, ಹೆಚ್ಚಿನ ರಾಂಕ್‌ಗಳಾದ್ಯಂತ ರಿಡಕ್ಷನ್ ವೆಚ್ಚವು ಉತ್ತಮವಾಗಿ ಅಳೆಯುವುದರಿಂದ ಕರ್ನಲ್‌ಗಳು ವೇಗವಾಗುತ್ತವೆ. ಆದಾಗ್ಯೂ, ಪ್ರಾಯೋಗಿಕವಾಗಿ, ಈ ವೇಗವರ್ಧನೆಗಳು ಎಲ್ಲಾ ಕರ್ನಲ್‌ಗಳಲ್ಲಿ ಸಾರ್ವತ್ರಿಕವಾಗಿಲ್ಲದ ಕಾರಣ, ನಾವು ಪ್ಯಾರಲಲಿಸಮ್ ಅನ್ನು 4 ಸಾಧನಗಳಿಗೆ ಸೀಮಿತಗೊಳಿಸುತ್ತೇವೆ.

ಡೇಟಾ ಪ್ಯಾರಲಲ್ ಮತ್ತು ಎಕ್ಸ್‌ಪರ್ಟ್ ಪ್ಯಾರಲಲ್

ಡೇಟಾ ಪ್ಯಾರಲಲ್ ಮತ್ತು ಎಕ್ಸ್‌ಪರ್ಟ್ ಪ್ಯಾರಲಲ್ (DP-EP) ಕರ್ನಲ್ ಅನ್ನು ಡೇಟಾ ಪ್ಯಾರಲಲ್ ಡಿಕೋಡರ್‌ಗಳಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ. ಇದು ಎಲ್ಲಾ ರಾಂಕ್‌ಗಳಿಂದ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳಿಗೆ ವಿಭಿನ್ನ ಟೋಕನ್‌ಗಳನ್ನು ಪ್ರಸಾರ ಮಾಡುತ್ತದೆ, ಫಲಿತಾಂಶಗಳನ್ನು ಮೂಲ ರಾಂಕ್‌ಗಳಿಗೆ ವರ್ಗಾಯಿಸುತ್ತದೆ ಮತ್ತು ಅವುಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ. ಇದು ಸ್ಪಾರ್ಸ್ ಆಲ್-ಟು-ಆಲ್ ಸಮಸ್ಯೆಯನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುವುದರಿಂದ, ಇದು ಸಂಪೂರ್ಣವಾಗಿ NVLink ಅನ್ನು ಅವಲಂಬಿಸಿದೆ.

Hopper ನಲ್ಲಿ, ಈ ಕರ್ನಲ್ ಅನ್ನು ಒಂದೇ ನೋಡ್‌ನ NVLink ಡೊಮೈನ್ ಒಳಗೆ 8 ಸಾಧನಗಳಿಗೆ ಸೀಮಿತಗೊಳಿಸಲಾಗಿದೆ. ಆದಾಗ್ಯೂ, GB200 ಸಿಸ್ಟಮ್‌ಗಳಲ್ಲಿ ನಾವು ಅದನ್ನು ಸಂಪೂರ್ಣ ರ್ಯಾಕ್‌ನಾದ್ಯಂತ ಅಳೆಯಬಹುದು. ಹೆಚ್ಚಿನ ಕೋಡ್ ಅನ್ನು ಮರುಬಳಕೆ ಮಾಡಲಾಗುತ್ತದೆ. ಆರಂಭಿಕ ಸೆಟಪ್‌ಗಾಗಿ IMEX ಮೂಲಕ ಪೀರ್ ಮಾಹಿತಿಯನ್ನು ವಿನಿಮಯ ಮಾಡಲು fabric ಹ್ಯಾಂಡಲ್‌ಗಳನ್ನು ಬಳಸುವುದು ಮಾತ್ರ ವ್ಯತ್ಯಾಸವಾಗಿದೆ.

ವಿಸ್ತರಿಸಿ

ಡಿಕೋಡ್ ಮಾಡುವ ಸಮಯದಲ್ಲಿ ಉಂಟಾಗುವ ವರ್ಗಾವಣೆ ಗಾತ್ರಗಳು ಚಿಕ್ಕದಾಗಿರುವುದರಿಂದ, ಅವು NVLink ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಅನ್ನು ಸ್ಯಾಚುರೇಟ್ ಮಾಡುವುದರಿಂದ ಬಹಳ ದೂರವಿವೆ ಮತ್ತು ಬದಲಿಗೆ ಲೇಟೆನ್ಸಿ-ಸೀಮಿತವಾಗಿವೆ. ಲೇಟೆನ್ಸಿಗಳು ಹತ್ತಾರು ಮೈಕ್ರೋಸೆಕೆಂಡ್‌ಗಳಲ್ಲಿವೆ ಮತ್ತು ಪೀರ್‌ಗಳ ಸಂಖ್ಯೆ ಹೆಚ್ಚಾದಂತೆ ತುಸು ಸ್ಥಿರವಾಗಿರುತ್ತವೆ, ಗಮನಾರ್ಹ ಹೆಚ್ಚುವರಿ ಲೇಟೆನ್ಸಿಯನ್ನು ಉಂಟುಮಾಡದೆ ದೊಡ್ಡ ಸಂಖ್ಯೆಯ ಸಾಧನಗಳಲ್ಲಿ ನಿಯೋಜನೆಯನ್ನು ಹರಡಲು ನಮಗೆ ಅನುಮತಿಸುತ್ತದೆ.

MoE GEMM

ಎಕ್ಸ್‌ಪರ್ಟ್ ಪ್ಯಾರಲಲಿಸಮ್‌ನಿಂದ MoE ಮಾದರಿಗಳು ಪ್ರಯೋಜನ ಪಡೆಯುತ್ತವೆ, ಏಕೆಂದರೆ ಎಲ್ಲಾ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳೊಂದಿಗೆ ಎಲ್ಲಾ ಟೋಕನ್‌ಗಳನ್ನು ಗುಣಿಸುವ ವೆಚ್ಚವನ್ನು ಬಹು ಸಾಧನಗಳಲ್ಲಿ ಸುಲಭವಾಗಿ ಸಮಾನಾಂತರಗೊಳಿಸಬಹುದು. ಪ್ರೀಫಿಲ್ಲರ್‌ಗಳಲ್ಲಿ ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್‌ನೊಂದಿಗೆ, ದಟ್ಟವಾದ ಸಮಸ್ಯೆಗಳಲ್ಲಿ ಪ್ರಯೋಜನವು ಸಾಕಷ್ಟು ನೇರವಾಗಿರುತ್ತದೆ, ಏಕೆಂದರೆ ಈಗ ಪ್ರತಿ ರಾಂಕ್ ಕಡಿಮೆ ಕಂಪ್ಯೂಟೇಶನ್‌ಗಳನ್ನು ನಿರ್ವಹಿಸಬೇಕಾಗುತ್ತದೆ. ಡಿಕೋಡ್ ಸಂದರ್ಭದಲ್ಲಿ, ಡೇಟಾ ಪ್ಯಾರಲಲಿಸಮ್ ಎಕ್ಸ್‌ಪರ್ಟ್ ಪ್ಯಾರಲಲಿಸಮ್‌ನ ಮೇರೆಗೆ ಹೆಚ್ಚುವರಿ ಪ್ರಯೋಜನವನ್ನು ಒದಗಿಸುತ್ತದೆ, ಏಕೆಂದರೆ ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆಯ ಸಮಾನಾಂತರ ವಿನಂತಿಗಳು ಪ್ರತಿ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗೆ ಹೆಚ್ಚಿನ ಟೋಕನ್‌ಗಳನ್ನು ರೂಟ್ ಮಾಡುತ್ತವೆ, ಸಮಸ್ಯೆಗಳನ್ನು ದಟ್ಟವಾಗಿಸುತ್ತವೆ.

ನಮ್ಮ ಅನುಷ್ಠಾನದಲ್ಲಿ, ನಾವು ಪ್ರಸ್ತುತ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರಕ್ಕಾಗಿ CUTLASS CUDA/C++ ಕರ್ನಲ್‌ಗಳನ್ನು ಅವಲಂಬಿಸಿದ್ದೇವೆ. ಡಿಕೋಡರ್‌ಗಳಿಗೆ ಸೂಕ್ತವಾದ ಶಾರ್ಡಿಂಗ್ ತಂತ್ರವನ್ನು ನಿರ್ಧರಿಸಲು ನಾವು ವಿವಿಧ ಕ್ವಾಂಟೈಸೇಶನ್ ಸ್ಕೀಮ್‌ಗಳು ಮತ್ತು ಪ್ಯಾರಲಲಿಸಮ್‌ನ ಮಟ್ಟಗಳೊಂದಿಗೆ ಸ್ಪಾರ್ಸ್ ಡಿಕೋಡ್ ಇನ್‌ಪುಟ್‌ಗಳಲ್ಲಿ ಅವುಗಳನ್ನು ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮಾಡಿದ್ದೇವೆ. ಕೆಳಗಿನ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ, ಎಲ್ಲಾ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳನ್ನು ಒಂದೇ ಟೋಕನ್‌ನೊಂದಿಗೆ ಸಕ್ರಿಯಗೊಳಿಸಲಾಗುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

16 ಕ್ಕಿಂತ ಹೆಚ್ಚು ರಾಂಕ್‌ಗಳಲ್ಲಿ 128 ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳನ್ನು ಅಳೆಯುವುದರಿಂದ CUTLASS ನೊಂದಿಗೆ ಕ್ಷೀಣಿಸುತ್ತಿರುವ ಆದಾಯವು ಸಿಗುತ್ತದೆ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ, ಏಕೆಂದರೆ 2 ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳನ್ನು ಗುಣಿಸುವ ವೆಚ್ಚವು 4 ಅನ್ನು ಗುಣಿಸುವುದಕ್ಕಿಂತ ಗಣನೀಯವಾಗಿ ಕಡಿಮೆಯಿಲ್ಲ. ಉಪ-ಸೂಕ್ತವಲ್ಲದ ಬ್ಲಾಕ್ ಸ್ಕೇಲಿಂಗ್ ತಂತ್ರದಲ್ಲೂ ಸಹ, Hopper ಮೇಲೆ Blackwell ನಲ್ಲಿ ಸ್ಪಷ್ಟವಾದ ಸುಧಾರಣೆಯಿದೆ. EP=8 ಮತ್ತು EP=16 ನಡುವಿನ ಡಿಸ್ಪ್ಯಾಚ್/ಕಂಬೈನ್‌ನ ಸುಮಾರು 5 us ನ ಲೇಟೆನ್ಸಿ ಹೆಚ್ಚಳವು GEMM ನ ವೆಚ್ಚದಲ್ಲಿ 10 us ಗಿಂತ ಹೆಚ್ಚಿನ ಇಳಿಕೆಯಿಂದ ಸರಿದೂಗಿಸಲ್ಪಡುತ್ತದೆ, GB200 ಸಿಸ್ಟಮ್‌ಗಳಲ್ಲಿ, ಎಂಡ್‌-ಟು-ಎಂಡ್‌ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಿಂದಲೂ ದೃಢೀಕರಿಸಲ್ಪಟ್ಟಂತೆ, 16 ರಾಂಕ್‌ಗಳಲ್ಲಿ ಡಿಕೋಡರ್‌ಗಳನ್ನು ಶಾರ್ಡ್ ಮಾಡುವುದು ಸಮರ್ಥಿಸಲ್ಪಟ್ಟಿದೆ.

ಕ್ವಾಂಟೈಸೇಶನ್

Blackwell ಹೊಸ 8-ಬಿಟ್ ಮತ್ತು 4-ಬಿಟ್ ಕ್ವಾಂಟೈಸೇಶನ್ ಸ್ಕೀಮ್‌ಗಳಿಗೆ ಹಾರ್ಡ್‌ವೇರ್ ಬೆಂಬಲವನ್ನು ಪರಿಚಯಿಸುತ್ತದೆ. ಪ್ರತಿ-ಟೆನ್ಸರ್ ಅಥವಾ ಪ್ರತಿ-ಬ್ಲಾಕ್ ಸ್ಕೇಲಿಂಗ್ ಅಂಶಗಳನ್ನು ಅವಲಂಬಿಸಿರುವ Hopper ಗಿಂತ ಭಿನ್ನವಾಗಿ, ಉತ್ತಮ ಪ್ರೀಫಿಲ್ ಮತ್ತು ಡಿಕೋಡ್ ಥ್ರೋಪುಟ್ ಅನ್ನು ಸಾಧಿಸಲು Blackwell ಗೆ ಮೈಕ್ರೋಸ್ಕೇಲಿಂಗ್ ಅಗತ್ಯವಿದೆ. DeepSeek ಅಥವಾ Kimi ನಂತಹ ಮಾದರಿಗಳಿಗೆ ಬಳಸುವ ಬ್ಲಾಕ್ ಸ್ಕೇಲಿಂಗ್ ಸ್ಕೀಮ್ ಲಭ್ಯವಿದ್ದರೂ, ಮೈಕ್ರೋಸ್ಕೇಲಿಂಗ್ ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿದೆ.

ನಾವು Qwen3 235B ಅನ್ನು MXFP8 ಕ್ವಾಂಟೈಜೇಶನ್ ಯೋಜನೆಯೊಂದಿಗೆ ನಿಯೋಜಿಸಿದ್ದೇವೆ, ಮಾದರಿಯನ್ನು fine-tuning ಮಾಡಿದ ನಂತರ ತೂಕಗಳನ್ನು ಸ್ಥಿರವಾಗಿ ಪರಿವರ್ತಿಸಿ. ಬ್ಲಾಕ್ ಸ್ಕೇಲಿಂಗ್ ಜೊತೆಗೆ ಸ್ಟೋಕಾಸ್ಟಿಕ್ ಕ್ವಾಂಟೈಜೇಶನ್‌ನ ಪರಿಣಾಮದಂತೆಯೇ ನಿಖರತೆಯ ಮೇಲೆ ಪರಿಣಾಮವಿತ್ತು, ಆದರೆ MoE GEMM ಮೈಕ್ರೊಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ತೋರಿಸಿದಂತೆ ನೀಡಲಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಬಹಳವಾಗಿ ಸುಧಾರಿಸಿತ್ತು. ನಾವು MXFP4 ಮತ್ತು NVFP4 ಕ್ವಾಂಟೈಜೇಶನ್ ಯೋಜನೆಗಳನ್ನೂ ಪರಿಗಣಿಸಿದ್ದೇವೆ, ಆದರೆ Quantization-Aware Training ಇಲ್ಲದೆ ನಿಖರತೆಯ ಮೇಲೆ ಪರಿಣಾಮವು Hopper‌ನಿಂದ Blackwell‌ಗೆ ಪ್ರಾಥಮಿಕ ಪರಿವರ್ತನೆಗಾಗಿ ತುಂಬಾ ಮಹತ್ವದ್ದಾಗಿತ್ತು. ಭವಿಷ್ಯದ ಕೆಲಸದಲ್ಲಿ ಈ ಫಾರ್ಮ್ಯಾಟ್‌ಗಳನ್ನು ನಾವು ಇನ್ನಷ್ಟು ಸಮಗ್ರವಾಗಿ ಅನ್ವೇಷಿಸಲು ಯೋಜಿಸುತ್ತಿದ್ದೇವೆ.

ಎಂಡ್‌-ಟು-ಎಂಡ್‌ ಕಾರ್ಯಕ್ಷಮತೆ

ನಾವು Blackwell Qwen3 235B ನಿಯೋಜನೆಗಳ ಡಿಕೋಡರ್‌ಗಳನ್ನು ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮಾಡಿದ್ದೇವೆ ಮತ್ತು ಅವುಗಳನ್ನು ನಮ್ಮ ಹಿಂದಿನ Hopper ನಿಯೋಜನೆಗಳಿಗೆ ಹೋಲಿಸಿದ್ದೇವೆ. ಈ ಸೆಟಪ್‌ನಲ್ಲಿ, ಪ್ಯಾರಲಲಿಸಮ್‌ನ ಪ್ರಭಾವದ ಮೇಲೆ ಗಮನಹರಿಸಲು ನಾವು ಎರಡೂ ನಿಯೋಜನೆಗಳಲ್ಲಿ ಬ್ಲಾಕ್ ಸ್ಕೇಲಿಂಗ್ ಅನ್ನು ಪರಿಗಣಿಸಿದ್ದೇವೆ. ಡಿಕೋಡ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಪ್ರತ್ಯೇಕಿಸಲು TP=4 ಪ್ರೀಫಿಲ್ಲರ್‌ಗಳನ್ನು ಎರಡೂ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳಿಗೆ ಪ್ರತ್ಯೇಕಿಸಲಾಗಿದೆ. ನಮ್ಮ MTP ಲೇಯರ್‌ಗಳಿಂದ ಒದಗಿಸಲ್ಪಟ್ಟ ವಾಸ್ತವಿಕ ಡ್ರಾಫ್ಟ್ ಸ್ವೀಕೃತಿ ದರವನ್ನು ಊಹಿಸಿ ಕೆಳಗಿನ ಚಿತ್ರವು ಡಿಕೋಡಿಂಗ್ ಥ್ರೋಪುಟ್ ಅನ್ನು ವಿವರಿಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

Hopper ನಲ್ಲಿ, 8 ಕ್ಕಿಂತ ಹೆಚ್ಚು GPU ಗಳಾದ್ಯಂತ ನಿಯೋಜನೆಯನ್ನು ಶಾರ್ಡ್ ಮಾಡುವುದು ಕಾರ್ಯಸಾಧ್ಯವಲ್ಲ, ಏಕೆಂದರೆ InfiniBand ನಾದ್ಯಂತ ಲೇಟೆನ್ಸಿಗಳು, ವಿಶೇಷವಾಗಿ EFA ಅಡಾಪ್ಟರ್‌ಗಳಲ್ಲಿ, ಗಣನೀಯವಾಗಿ ನಿಧಾನವಾಗಿರುತ್ತವೆ. ಆದಾಗ್ಯೂ, Blackwell ನಲ್ಲಿ, ದೊಡ್ಡ NVLink ಡೊಮೈನ್‌ಗಳಿಗೆ ಧನ್ಯವಾದಗಳು, ನಾವು ಗಣನೀಯವಾಗಿ ಹೆಚ್ಚಿನ ಥ್ರೋಪುಟ್ ಅನ್ನು ಸಾಧಿಸುತ್ತೇವೆ.

ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ Hopper ಕರ್ನಲ್‌ಗಳನ್ನು ಸಾಮಾನ್ಯೀಕರಿಸುವ ಮೂಲಕ ಮತ್ತು NVLink-ಆಧಾರಿತ ಕರ್ನಲ್‌ಗಳ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಹೆಚ್ಚಿಸುವ ಮೂಲಕ ನಾವು ಆರಂಭಿಕ Blackwell ಅನುಷ್ಠಾನವನ್ನು ಸಾಧಿಸಿದ್ದೇವೆ. ಕ್ವಾಂಟೈಸೇಶನ್ ಅನ್ನು ಸುಧಾರಿಸುವ ಮೂಲಕ ಮತ್ತು ಪೈಪ್‌ಲೈನ್‌ನಲ್ಲಿರುವ ಇತರ ಕರ್ನಲ್‌ಗಳ ಡಿಕೋಡ್ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಪ್ರೀಫಿಲ್ ಥ್ರೋಪುಟ್ ಅನ್ನು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡುವ ಮೂಲಕ ನಾವು Qwen ಅನ್ನು ಸರ್ವ್ ಮಾಡುವ ವೆಚ್ಚವನ್ನು ಮತ್ತಷ್ಟು ಕಡಿಮೆ ಮಾಡುತ್ತೇವೆ.

ಉಲ್ಲೇಖಗಳು

Transfer Engine ಬ್ಲಾಗ್ ಪೋಸ್ಟ್

CuTeDSL ಬ್ಲಾಗ್ ಪೋಸ್ಟ್

Prefill-Disagg ಬ್ಲಾಗ್ ಪೋಸ್ಟ್

Speculative Decoding ಬ್ಲಾಗ್ ಪೋಸ್ಟ್

CUTLASS

NVLink

ಉಲ್ಲೇಖ

@online{perplexity2026HostingQwenOnBlackwell,
  author = {{Perplexity} and Nandor Licker and Kevin Hu and Bex Brooker and Erin McKnight},
  title = {{Hosting Qwen on Blackwell}},
  date = {2026-05-12},
  url = {https://www.perplexity.ai/hub/blog/hosting-qwen-on-blackwell}
}