ದಿನ 0 ರಲ್ಲಿ GPT-OSS

FP8, ಸಿಂಕ್ ಅಟೆನ್ಷನ್ ಮತ್ತು MoE ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಳೊಂದಿಗೆ ROSE ಅನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುವ ಮೂಲಕ H200 ನಲ್ಲಿ GPT‑OSS ಗಾಗಿ ಡೇ‑0 ಬೆಂಬಲ

ಲೇಖಕರುPerplexity Engineering

Perplexity ಇತ್ತೀಚಿನ ನಿಖರವಾದ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹ ಉತ್ತರಗಳು ಹಾಗೂ ಏಜೆಂಟ್ ಕ್ರಿಯೆಗಳನ್ನು ಬಯಸುವ ಕುತೂಹಲಕಾರಿ ಬಳಕೆದಾರರಿಗೆ ಅತ್ಯುತ್ತಮ AI ಮಾದರಿಗಳನ್ನು ಲಭ್ಯವಾಗಿಸಲು ಬದ್ಧವಾಗಿದೆ. OpenAI ಇತ್ತೀಚೆಗೆ ತಮ್ಮ ಓಪನ್-ವೇಟ್ ಮಾದರಿಗಳನ್ನು (gpt-oss-20b ಮತ್ತು gpt-oss-120b) ಘೋಷಿಸಿದೆ. ಅನೇಕ ಪ್ರಮುಖ ಮಾದರಿಗಳಂತೆ, gpt-oss-20b ಮತ್ತು gpt-oss-120b ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ ಮೊದಲ ಸಂಸ್ಥೆಗಳಲ್ಲಿ Perplexity ಕೂಡ ಒಂದಾಗಿದೆ.

ಈ ಪೋಸ್ಟ್‌ನಲ್ಲಿ, ಡೇ-0 ಬೆಂಬಲವನ್ನು ಸಾಧ್ಯವಾಗಿಸಿದ ನಮ್ಮ ಇನ್-ಹೌಸ್ ಇನ್ಫೆರೆನ್ಸ್ ಸ್ಟ್ಯಾಕ್‌ನ ಮೂಲಸೌಕರ್ಯ ನಿರ್ಧಾರಗಳನ್ನು ನಾವು ಹಂಚಿಕೊಳ್ಳುತ್ತೇವೆ. ಕರ್ನಲ್ ಬದಲಾವಣೆಗಳು, ನಿಯೋಜನೆ ಆಯ್ಕೆಗಳು ಮತ್ತು ವೇಗ-ವೆಚ್ಚದ ಟ್ರೇಡ್-ಆಫ್‌ಗಳನ್ನು ವಿವರಿಸುತ್ತಾ, NVIDIA H200 GPU ಗಳಲ್ಲಿ ಈ ಮಾದರಿಗಳನ್ನು ಒದಗಿಸುವುದರ ಮೇಲೆ ನಾವು ಗಮನಹರಿಸುತ್ತೇವೆ.

ಹಾಪರ್‌ನಲ್ಲಿ GPT-OSS

ಓಪನ್-ವೇಟ್ ಮಾದರಿಗಳನ್ನು MXFP4 ಕ್ವಾಂಟೈಸೇಶನ್ ಬಳಸಿ ಕಳುಹಿಸಲಾಗುತ್ತದೆ, ಇದು ಗ್ರಾಹಕ-ದರ್ಜೆಯ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಮೆಮೊರಿಗೆ ಸರಿಹೊಂದುವಂತೆ ಅಥವಾ NVIDIA Blackwell ನಲ್ಲಿ ಗರಿಷ್ಠ ಥ್ರೋಪುಟ್ ಸಾಧಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಆದಾಗ್ಯೂ, ಆರಂಭಿಕ ಮೌಲ್ಯಮಾಪನಕ್ಕಾಗಿ, ಕನಿಷ್ಠ ಇನ್ಫೆರೆನ್ಸ್-ಎಂಜಿನ್ ಬದಲಾವಣೆಗಳೊಂದಿಗೆ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ H200 ಹಾಪರ್ ಕ್ಲಸ್ಟರ್‌ಗಳಲ್ಲಿ ಅವುಗಳನ್ನು ರನ್ ಮಾಡಲು ನಾವು ಬಯಸಿದ್ದೇವೆ. ಹಾಪರ್ ಬ್ಲ್ಯಾಕ್‌ವೆಲ್‌ನಿಂದ ಪರಿಚಯಿಸಲ್ಪಟ್ಟ ಮೀಸಲಾದ FP4 ಟೆನ್ಸೋರ್ ಕೋರ್‌ಗಳನ್ನು ಹೊಂದಿಲ್ಲ. ಇದರ ಪರಿಣಾಮವಾಗಿ, ಕಸ್ಟಮ್ ಕರ್ನಲ್‌ಗಳ ಅಗತ್ಯವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಮತ್ತು ಲಭ್ಯವಿರುವ ಹಾರ್ಡ್‌ವೇರ್ ಅನ್ನು ಉತ್ತಮವಾಗಿ ಬಳಸಿಕೊಳ್ಳಲು ಬದಲಾಗಿ FP8 ನಿಖರತೆಯೊಂದಿಗೆ ಮಾದರಿಗಳನ್ನು ಒದಗಿಸಲು ನಾವು ನಿರ್ಧರಿಸಿದ್ದೇವೆ.

ಉನ್ನತ ಮಟ್ಟದಲ್ಲಿ, ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್ LLM ಗಳು ರಚನಾತ್ಮಕವಾಗಿ ಸರಳವಾಗಿವೆ:

ಇನ್‌ಪುಟ್ ಎಂಬೆಡಿಂಗ್

ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್ ಲೇಯರ್‌ಗಳ ಸರಣಿ. ಪ್ರತಿಯೊಂದೂ ಗಮನ (ಅಟೆನ್ಷನ್) ಬ್ಲಾಕ್ ಅನ್ನು ಮತ್ತು ದಟ್ಟವಾದ MLP ಅಥವಾ ವಿರಳ MoE ಬ್ಲಾಕ್ ಅನ್ನು ಹೊಂದಿರುತ್ತದೆ.

ಔಟ್‌ಪುಟ್ ಲಾಜಿಟ್ ಪ್ರೊಜೆಕ್ಷನ್

ಹೊಸ ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್ ಮಾದರಿಯನ್ನು ತಂದಾಗ, ಅಗತ್ಯವಿರುವ ಬದಲಾವಣೆಗಳನ್ನು ಗುರುತಿಸಲು ಅವು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಮಾದರಿಗಳಿಗೆ ಯಾವ ಮಟ್ಟಿಗೆ ಹೊಂದಿಕೆಯಾಗುತ್ತವೆ ಎಂಬುದನ್ನು ತಿಳಿಯಲು ನಾವು ಪ್ರಾಥಮಿಕವಾಗಿ ಆಸಕ್ತಿ ಹೊಂದಿದ್ದೇವೆ. ನಮ್ಮ ಇನ್ಫೆರೆನ್ಸ್ ಸೆಟಪ್ ಅನ್ನು ಅನುಗುಣವಾಗಿ ಮಾರ್ಪಡಿಸಲು ನಮಗೆ ಅವಕಾಶ ಮಾಡಿಕೊಡುತ್ತಾ, OpenAI ದಯೆಯಿಂದ ತಮ್ಮ ಮಾದರಿಗಳ ಅವಲೋಕನವನ್ನು ಮುಂಚಿತವಾಗಿ ಹಂಚಿಕೊಂಡಿದೆ. ಮಾದರಿಗೆ ಸಾಕಷ್ಟು ಸಣ್ಣ ಬದಲಾವಣೆಗಳ ಅಗತ್ಯವಿದೆ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ.

ಗಮನ (Attention): ಅಟೆನ್ಷನ್ ಸಿಂಕ್‌ಗಳೊಂದಿಗೆ GQA

ಪ್ರತಿ ಅಟೆನ್ಷನ್ ಹೆಡ್ ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದ ಸಿಂಕ್ ನಿಯರಾಮಿಿಯನ್ನು (sink parameter) ಹೊಂದಿದೆ ಅದನ್ನು ಸಾಫ್ಟ್‌ಮ್ಯಾಕ್ಸ್‌ನಲ್ಲಿ (Softmax) ಪರಿಗಣಿಸಲಾಗುತ್ತದೆ

YaRN ಪೊಸಿಷನಲ್ ಎನ್‌ಕೋಡಿಂಗ್, DeepSeek-V3 ನಂತಹೇ ಇದೆ

QKV ಪ್ರೊಜೆಕ್ಷನ್‌ಗಳು ಬಯಾಸ್‌ಗಳನ್ನು ಹೊಂದಿವೆ, Qwen 2 ನಂತಹೇ ಇದೆ

ಔಟ್‌ಪುಟ್ ಪ್ರೊಜೆಕ್ಷನ್ ಬಯಾಸ್ ಹೊಂದಿದೆ

MLP: ಸ್ಪಾರ್ಸ್ ಮಿಕ್ಚರ್-ಆಫ್-ಎಕ್ಸ್‌ಪರ್ಟ್ (MoE)

SwiGLU ಆಕ್ಟಿವೇಶನ್ ಫಂಕ್ಷನ್, ಹೆಚ್ಚಿನ ಓಪನ್-ವೇಟ್ ಮಾದರಿಗಳಿಂದ ಭಿನ್ನವಾಗಿದೆ

ಎಕ್ಸ್‌ಪರ್ಟ್ ತೂಕಗಳಿಗಾಗಿ Top-K ನಂತರ ಸಾಫ್ಟ್‌ಮ್ಯಾಕ್ಸ್

ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳು ಬಯಾಸ್‌ಗಳನ್ನು ಹೊಂದಿವೆ

ಪ್ಯಾಮೀಟರ್‌ಗಳ ಸಂಖ್ಯೆಯು ಸುಮಾರು 100B-200B ಇರುತ್ತದೆ ಎಂದು ನಿರೀಕ್ಷಿಸಿ, ನಾವು ಈ ಕೆಳಗಿನವುಗಳನ್ನು ಮಾಡಲು ನಿರ್ಧರಿಸಿದ್ದೇವೆ:

ಅಟೆನ್ಷನ್ ಸಿಂಕ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸಲು FlashInfer ಅನ್ನು ವಿಸ್ತರಿಸಿ

DeepSeek-V3 ಕುಟುಂಬದ ಮಾದರಿಗಳಿಗಾಗಿ ಈಗಾಗಲೇ ನಿರ್ಮಿಸಲಾದ MoE ಅನುಷ್ಠಾನವನ್ನು ಮರುಬಳಕೆ ಮಾಡಿ

ಬಯಾಸ್ ಪದವನ್ನು ಬೆಂಬಲಿಸಲು DeepGEMM ಕರ್ನಲ್‌ಗಳನ್ನು ವಿಸ್ತರಿಸಿ, ಕ್ವಾಂಟೈಸೇಶನ್ ಸ್ಕೀಮ್ ಆಗಿ FP8 128x128 ಬ್ಲಾಕ್ ಸ್ಕೇಲಿಂಗ್ ಅನ್ನು ಆಯ್ಕೆಮಾಡಿ.

ಇನ್-ಹೌಸ್ ಇನ್ಫೆರೆನ್ಸ್ ಎಂಜಿನ್

ನಮ್ಮ ಇನ್ಫೆರೆನ್ಸ್ ಪ್ರಯತ್ನಗಳಿಗೆ ನಮ್ಮ ಇನ್-ಹೌಸ್ ಇನ್ಫೆರೆನ್ಸ್ ಎಂಜಿನ್, ROSE ಬೆಂಬಲ ನೀಡಿದೆ. ಹೊಸ ಮಾದರಿಗಳನ್ನು ತ್ವರಿತವಾಗಿ ತರಲು ಅನುಮತಿಸುವ ಹೊಂದಿಕೊಳ್ಳುವ ಫ್ರೇಮ್‌ವರ್ಕ್ ಆಗಿ ROSE ಅನ್ನು ನಾವು ನಿರ್ಮಿಸುತ್ತಿದ್ದೇವೆ. ಹೆಚ್ಚುವರಿಯಾಗಿ, ನಾವು ಮಾದರಿಯನ್ನು ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಒದಗಿಸಲು ಬದ್ಧರಾದ ನಂತರ, ಇದು ಅತ್ಯಾಧುನಿಕತೆಯನ್ನು ತಲುಪಲು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅತ್ಯುತ್ತಮವಾಗಿಸಲು ಮತ್ತು ಹೆಚ್ಚಿಸಲು ಒಂದು ವೇದಿಕೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ.

ROSE ಒಂದು LLM ಎಂಜಿನ್ ಅನ್ನು ಬಹಿರಂಗಪಡಿಸುತ್ತದೆ, ಇದು ಮಾದರಿಯನ್ನು ಲೋಡ್ ಮಾಡಬಹುದು ಮತ್ತು ಸ್ಪೆಕ್ಯುಲೇಟಿವ್ ಮತ್ತು MTP ಡಿಕೋಡರ್‌ಗಳು ಸೇರಿದಂತೆ ಬಹು ಡಿಕೋಡರ್‌ಗಳ ಮೂಲಕ ಅದಕ್ಕೆ ಡಿಕೋಡ್ ಮಾಡಿದ ಟೋಕನ್‌ಗಳನ್ನು ಉತ್ಪಾದಿಸಬಹುದು. ಮಾದರಿಗಳು ಸ್ವತಃ ಕಸ್ಟಮ್ ಸೆಟ್ ಲೇಯರ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತವೆ, ಇದು ಕ್ವಾಂಟೈಸೇಶನ್ ಮತ್ತು ಸಮಾನಾಂತರತೆಗಾಗಿ ವಿವಿಧ ಕಾನ್ಫಿಗರೇಶನ್ ನಾಬ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. ಲೇಯರ್‌ಗಳ ಅಡಿಯಲ್ಲಿ, ಇದು ಪ್ರತ್ಯೇಕ ಲೇಯರ್‌ಗಳಿಂದ ನಿರ್ವಹಿಸಲ್ಪಡುವ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಸಮರ್ಥವಾಗಿ ಕಾರ್ಯಗತಗೊಳಿಸುವ ಮತ್ತು ವಿಲೀನಗೊಳಿಸುವ Triton ಮತ್ತು CUDA ಕರ್ನಲ್‌ಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸುತ್ತದೆ.

ROSE ಪ್ರಾಥಮಿಕವಾಗಿ Python ನಲ್ಲಿ ನಿರ್ಮಿಸಲ್ಪಟ್ಟಿದೆ ಮತ್ತು ಮಾದರಿ ವ್ಯಾಖ್ಯಾನಗಳಿಗಾಗಿ PyTorch ಅನ್ನು ಅವಲಂಬಿಸಿದೆ. Python ನಮಗೆ ಹೊಂದಿಕೊಳ್ಳಲು ಮತ್ತು ಹೊಸ ಮಾದರಿಗಳಿಗೆ ಹೊಂದಿಕೊಳ್ಳಲು ಅನುಮತಿಸುತ್ತದೆ, ಆದರೆ ನಾವು ಸರ್ವಿಂಗ್ ಮತ್ತು ಬ್ಯಾಚ್ ಶೆಡ್ಯೂಲಿಂಗ್‌ನಂತಹ ಕಾರ್ಯಕ್ಷಮತೆ-ಸಂವೇದನಾಶೀಲ ಘಟಕಗಳನ್ನು Rust ಗೆ ಸ್ಥಳಾಂತರಿಸುತ್ತಿದ್ದೇವೆ.

ಹೊಸ ಮಾದರಿಯನ್ನು ತರಲು, ನಾವು ಮೊದಲಿಗೆ ಮಾದರಿ ಶ್ರೇಣಿಯನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತೇವೆ ಮತ್ತು ಅದಕ್ಕಾಗಿ ತೂಕ ಪರಿವರ್ತಕವನ್ನು (weight converter) ನಿರ್ಮಿಸುತ್ತೇವೆ. ಎಲ್ಲಾ ತೂಕಗಳನ್ನು ಲೆಕ್ಕಹಾಕಿದ ನಂತರ, ನಾವು ಸರಳವಾದ TP=1 ಬಳಕೆಯ ಪ್ರಕರಣಕ್ಕಾಗಿ ಫಾರ್ವರ್ಡ್ ಪಾಸ್ ಅನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತೇವೆ ಮತ್ತು ಅದು ಎಂಡ್‌ಟು-ಎಂಡ್ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುತ್ತೇವೆ. ಅಂತಿಮವಾಗಿ, ನಾವು ಹೊಸ ಕಂಟೈನರ್ ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡುವ ಮೊದಲು ಮತ್ತು ಮೌಲ್ಯಮಾಪನಕ್ಕಾಗಿ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ಮಾದರಿಯನ್ನು ನಿಯೋಜಿಸುವ ಮೊದಲು ವಿವಿಧ ರೂಪಗಳ ಸಮಾನಾಂತರತೆಗಾಗಿ ಬೆಂಬಲವನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುತ್ತೇವೆ ಮತ್ತು ಪರೀಕ್ಷಿಸುತ್ತೇವೆ. ನಂತರ ನಾವು ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ಗಳು ಮತ್ತು ಉತ್ತಮ-ಧಾನ್ಯದ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳೆರಡರಿಂದಲೂ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಅವಲಂಬಿಸಿ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೇಲೆ ಪುನರಾವರ್ತಿಸುತ್ತೇವೆ.

ಚಾಟ್ ಫಾರ್ಮ್ಯಾಟ್‌ಗಳ ಬಗ್ಗೆ ಸ್ವಲ್ಪ ಜ್ಞಾನದೊಂದಿಗೆ, ROSE ಸಂಖ್ಯಾತ್ಮಕ ಟೋಕನ್‌ಗಳ ಮೇಲೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಅದೇ ಸಮಯದಲ್ಲಿ, ಹಾರ್ಮೋನಿ ಟೋಕನೈಸರ್ ಅನ್ನು ಬೆಂಬಲಿಸಲು ಮತ್ತು ಇನ್‌ಪುಟ್ ಟೋಕನ್ ಅನುಕ್ರಮಗಳಿಗೆ ವಿನಂತಿಗಳನ್ನು ಸರಿಯಾಗಿ ಮ್ಯಾಪ್ ಮಾಡಲು ಸುತ್ತಮುತ್ತಲಿನ ಮೂಲಸೌಕರ್ಯವನ್ನು ಪರಿಶೀಲಿಸಬೇಕಾಯಿತು.

GPT OSS ಮಾದರಿಯೊಂದಿಗೆ, ನಮ್ಮ ಡಿಕೋಡರ್‌ಗಳು, CUDA ಗ್ರಾಫ್ ಹಾರ್ನೆಸ್‌ಗಳು ಅಥವಾ ಸುತ್ತಮುತ್ತಲಿನ ಮೂಲಸೌಕರ್ಯಗಳಿಗೆ ಯಾವುದೇ ಬದಲಾವಣೆಗಳ ಅಗತ್ಯವಿಲ್ಲ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ, ಇದು ಮಾದರಿಯನ್ನು ಬೆಂಬಲಿಸುವ ಕರ್ನಲ್‌ಗಳನ್ನು ಟ್ವೀಕ್ ಮಾಡುವಲ್ಲಿ ನಮ್ಮ ಪ್ರಯತ್ನಗಳನ್ನು ಕೇಂದ್ರೀಕರಿಸಲು ನಮಗೆ ಅವಕಾಶ ಮಾಡಿಕೊಟ್ಟಿತು.

GPT-OSS ಗಾಗಿ ಕರ್ನಲ್‌ಗಳು

ಸಿಂಕ್ ಅಟೆನ್ಷನ್ (Sink Attention)

ಸಿಂಕ್ ಅಟೆನ್ಷನ್ ಸಾಫ್ಟ್‌ಮ್ಯಾಕ್‌ಗೆ ಮುಂಚಿತವಾಗಿ ಹೆಚ್ಚುವರಿ ಬಯಾಸ್ ಅಂಶವನ್ನು ಪರಿಚಯಿಸುತ್ತದೆ, ಇದು Q ಮತ್ತು K ನ ಉತ್ಪನ್ನದೊಂದಿಗೆ ಸಂಗ್ರಹಗೊಳ್ಳುತ್ತದೆ:

plaintext
attn = softmax(q @ k^T * sm_scale + sink) * V

ಸರಳವಾದ ಅನುಷ್ಠಾನವು ಸಾಕಷ್ಟು ಕ್ಷುಲ್ಲಕವಾಗಿದ್ದರೂ, FlashInfer ನಂತಹ ಸಮರ್ಥ ಅಟೆನ್ಷನ್ ಅನುಷ್ಠಾನಗಳು, ಸ್ವತಂತ್ರ ಹೆಡ್‌ಗಳಾದ್ಯಂತ ಮತ್ತು KV ಅನುಕ್ರಮ ಉದ್ದದಾದ್ಯಂತ ಅಟೆನ್ಷನ್ ಲೆಕ್ಕಾಚಾರವನ್ನು ಸಮಾನಾಂತರಗೊಳಿಸುತ್ತವೆ. ಹೆಚ್ಚುವರಿಯಾಗಿ, ಸಂಖ್ಯಾತ್ಮಕ ಸ್ಥಿರತೆಗಾಗಿ, ಸಂಖ್ಯಾತ್ಮಕ ಸ್ಥಿರತೆಗಾಗಿ ಗರಿಷ್ಠ ಅಂಶವನ್ನು ಕಳೆಯುವಾಗ ಸಾಫ್ಟ್‌ಮ್ಯಾಕ್ ಅನ್ನು ಆನ್‌ಲೈನ್‌ನಲ್ಲಿ ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆ:

plaintext
softmax(x) = e^x / sum(e^x) = e ^ (x - max(x)) / sum(e ^ (x - max(x))

ಆನ್‌ಲೈನ್ ಅನುಷ್ಠಾನವು -inf ಗೆ ಪ್ರಾರಂಭಿಸಲಾದ ಚಾಲನೆಯಲ್ಲಿರುವ ಗರಿಷ್ಠ m ಮತ್ತು 1 ಗೆ ಸ್ಕೇಲ್ d ಅನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿದೆ. ಪ್ರಸ್ತುತ ಹೆಡ್‌ನ ಸಿಂಕ್ ಮೌಲ್ಯಕ್ಕೆ ಗರಿಷ್ಠವನ್ನು ಪ್ರಾರಂಭಿಸುವ ಮೂಲಕ, ಅದು ಸಾಫ್ಟ್‌ಮ್ಯಾಕ್‌ಗೆ ಸರಿಯಾಗಿ ಸಂಗ್ರಹಗೊಳ್ಳುವುದನ್ನು ನಾವು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುತ್ತೇವೆ. ಅನುಕ್ರಮ ಉದ್ದದ ಉದ್ದಕ್ಕೂ ಬಹು ಬ್ಲಾಕ್‌ಗಳಾದ್ಯಂತ ಅಟೆನ್ಷನ್ ವಿಭಜನೆಯಾಗಿದ್ದರೆ ಈ ಗರಿಷ್ಠವನ್ನು ಮೊದಲ ಭಾಗದಲ್ಲಿ ಮಾತ್ರ ಸೇರಿಸಲಾಗುವುದು ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ನಾವು ಕಾಳಜಿ ವಹಿಸಬೇಕಾಗಿತ್ತು.

ಪ್ರಿಫಿಲ್ ಮತ್ತು ಡಿಕೋಡ್ ಎರಡಕ್ಕೂ ಬಳಸಲಾದ FlashInfer FA2 ಕರ್ನಲ್ ಟೆಂಪ್ಲೇಟ್ ಅನ್ನು ಸಿಂಕ್ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಸೇರಿಸಲು ನಾವು ಸರಿಹೊಂದಿಸಿದ್ದೇವೆ.

MoE

ವಿವಿಧ ಮಾದರಿಗಳ MoE ಲೇಯರ್ ನಡುವಿನ ಮುಖ್ಯ ವ್ಯತ್ಯಾಸವೆಂದರೆ ಸಾಮಾನ್ಯವಾಗಿ ರೂಟಿಂಗ್ ಸ್ಕೀಮ್. ಗಣನೀಯ ವ್ಯತ್ಯಾಸವನ್ನು ನಿರೀಕ್ಷಿಸಿ, ROSE ಈ ಕರ್ನಲ್ ಅನ್ನು Triton ನಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳಿಸುತ್ತದೆ, ಹೊಸ ಮಾದರಿಗಳಿಗೆ ಸುಲಭವಾಗಿ ಹೊಂದಿಕೊಳ್ಳಲು ನಮಗೆ ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. GPT-OSS ನ ಸಂದರ್ಭದಲ್ಲಿ, ಎಲ್ಲಾ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳಾದ್ಯಂತ ಸಾಫ್ಟ್‌ಮ್ಯಾಕ್ ಅನ್ನು ಲೆಕ್ಕಹಾಕುವ ಕೆಲವು DeepSeek-ಶೈಲಿಯ ಮಾದರಿಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ, Top-K ಆಯ್ಕೆಮಾಡಿದ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳಾದ್ಯಂತ ಮಾತ್ರ ಸಾಫ್ಟ್‌ಮ್ಯಾಕ್ ಅನ್ನು ನಿರ್ವಹಿಸಲು ನಾವು ತೂಕ ಸ್ಕೋರಿಂಗ್ ಅನ್ನು ಸರಿಹೊಂದಿಸಬೇಕಾಯಿತು. bfloat16 ನಿಖರತೆಯಲ್ಲಿ ಎಕ್ಸ್‌ಪರ್ಟ್ ತೂಕವನ್ನು ಲೆಕ್ಕಹಾಕುವುದು ನಿಖರತೆಗೆ ನಿರ್ಣಾಯಕವಾಗಿದೆ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ.

MoE ಲೇಯರ್‌ನೊಂದಿಗೆ ಸವಾಲು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ DeepGEMM ಕರ್ನಲ್‌ಗಳನ್ನು ಮರುಬಳಕೆ ಮಾಡುವ ನಮ್ಮ ನಿರ್ಧಾರದಿಂದಾಗಿ ಬಂದಿದೆ, ಇದು ಬಯಾಸ್ ಪದಗಳಿಗೆ ಬೆಂಬಲವನ್ನು ಹೊಂದಿಲ್ಲ. ಅದೃಷ್ಟವಶಾತ್, ಕಾಲಾನಂತರದಲ್ಲಿ ನಾವು ಅವುಗಳೊಂದಿಗೆ ಆಳವಾಗಿ ಸಂಯೋಜನೆಗೊಂಡಿದ್ದೇವೆ, ನಮ್ಮ ಕಸ್ಟಮ್ ಆಲ್-ಟು-ಆಲ್ ಡಿಸ್ಪಾಚ್ ಕರ್ನಲ್‌ಗಳೊಂದಿಗೆ ಅವುಗಳನ್ನು ಉತ್ತಮವಾಗಿ ಸಂಪರ್ಕಿಸಲು ಬದಲಾವಣೆಗಳನ್ನು ಮಾಡಿದ್ದೇವೆ. ಮೆಮೊರಿಯಿಂದ ಲೋಡ್ ಮಾಡಲಾದ ಬಯಾಸ್ ಮೌಲ್ಯಗಳಿಗೆ WGMMA ಸಂಗ್ರಹಕಾರ (accumulator) ರಿಜಿಸ್ಟರ್‌ಗಳನ್ನು ಪ್ರಾರಂಭಿಸುವ ಮೂಲಕ ನಾವು DeepGEMM ಗೆ ಬಯಾಸ್ ಬೆಂಬಲವನ್ನು ಸೇರಿಸಿದ್ದೇವೆ. MN ಬ್ಲಾಕ್ ಅನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವ ಸಮಯದಲ್ಲಿ ಇದು ಒಂದು ಬಾರಿಯಾಗಿದೆ, ಆದ್ದರಿಂದ ವೆಚ್ಚವು ಬಹುಶಃ ಅತ್ಯಲ್ಪವಾಗಿದೆ ಮತ್ತು L2 ಕ್ಯಾಶ್ ಈ ಮೌಲ್ಯಗಳಿಗೆ ಸಮರ್ಥ ಪ್ರವೇಶವನ್ನು ಖಚಿತಪಡಿಸುತ್ತದೆ.

ಈ ಮಾದರಿಗಳು ಡೇಟಾ ಸಮಾನಾಂತರತೆಯಿಂದ ಸುಲಭವಾಗಿ ಪ್ರಯೋಜನ ಪಡೆಯುವುದಿಲ್ಲವಾದ್ದರಿಂದ, ನಾವು TP-ಮಾತ್ರ ಡಿಸ್ಪಾಚ್ ಮತ್ತು ಕಂಬೈನ್ ಕರ್ನಲ್‌ಗಳನ್ನು ಮರುಬಳಕೆ ಮಾಡಿದ್ದೇವೆ. ಡಿಸ್ಪಾಚ್‌ಗೆ ಇನ್‌ಪುಟ್‌ಗಳು ಎಲ್ಲಾ ಶ್ರೇಣಿಗಳಾದ್ಯಂತ ನಕಲುಗೊಳ್ಳುತ್ತವೆ, ಆದ್ದರಿಂದ ಡಿಸ್ಪಾಚ್ ಸ್ಥಳೀಯವಾಗಿ ಲಭ್ಯವಿರುವ ಎಕ್ಸ್‌ಪರ್ಟ್‌ಗಳಿಗೆ ಟೋಕನ್‌ಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತದೆ. ಕಂಬೈನ್ NVLink ನಾದ್ಯಂತ ತೂಕದ ಸಂಗ್ರಹಣೆಯನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ.

ಕಾರ್ಯಕ್ಷಮತೆಯ ಟ್ವೀಕ್‌ಗಳು

ಮಾದರಿಗಳನ್ನು ತ್ವರಿತವಾಗಿ ತರುವುದು ನಮ್ಮ ಗುರಿಯಾಗಿದ್ದರೂ, ಕಾರ್ಯಕ್ಷಮತೆಯು ಇನ್ನೂ ಸಮಂಜಸವಾಗಿದೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ನಾವು ಬಯಸಿದ್ದೇವೆ. OpenAI ಒದಗಿಸಿದ ಉಲ್ಲೇಖ ಅನುಷ್ಠಾನದ ವಿರುದ್ಧ ಸರಿಯಾದತೆಯನ್ನು ಖಚಿತಪಡಿಸಿಕೊಂಡ ನಂತರ, ಕರ್ನಲ್‌ಗಳಾದ್ಯಂತ ಬ್ಲಾಕ್ ಮತ್ತು ಥ್ರೆಡ್ ಹಂಚಿಕೆಗಳನ್ನು ಗಮನಿಸುತ್ತಾ, ಡೀಫಾಲ್ಟ್ PyTorch ಪ್ರೊಫೈಲರ್ ಬಳಸಿ ನಾವು ನಮ್ಮ ಅನುಷ್ಠಾನವನ್ನು ಪ್ರೊಫೈಲ್ ಮಾಡಿದ್ದೇವೆ. ನಾವು ಮರುಬಳಕೆ ಮಾಡಿದ ಕಾರ್ಯನಿರ್ವಹಣೆಯು 7168 ರ ದೊಡ್ಡ ಹಿಡನ್ ಡೈಮೆನ್ಷನ್ ಹೊಂದಿದ್ದ ಮಾದರಿಗಳಿಗಾಗಿ ನಿರ್ಮಿಸಲ್ಪಟ್ಟಿದೆ, ಇದು GPT-OSS ಮಾದರಿಗಳ 2880 ಕ್ಕಿಂತ ಗಣನೀಯವಾಗಿ ದೊಡ್ಡದಾಗಿದೆ. ಉತ್ತಮ ಗ್ರಿಡ್ ಆಯಾಮಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ನಾವು ಕರ್ನಲ್ ಲಾಚರ್‌ಗಳನ್ನು ವಿಶೇಷಗೊಳಿಸಿದ್ದೇವೆ, ಥ್ರೋಪುಟ್ ಅನ್ನು ಗಮನಾರ್ಹವಾಗಿ ಹೆಚ್ಚಿಸಿದ್ದೇವೆ.

ಟೋಕನೈಸೇಷನ್ ಮತ್ತು ಚಾನೆಲ್‌ಗಳು

ಹಾರ್ಮೋನಿಯ ಚಾಟ್ ಫಾರ್ಮ್ಯಾಟ್ ಸಂಭಾಷಣೆಗಳು, ತಾರ್ಕಿಕ ವಿಷಯ ಮತ್ತು ಫಂಕ್ಷನ್ ಕರೆಗಳನ್ನು ರಚನೆ ಮಾಡಲು ಹಲವಾರು ಪ್ರಮುಖ ಪರಿಕಲ್ಪನೆಗಳನ್ನು ಹೊಂದಿದೆ. ಈ ಸ್ವರೂಪದಲ್ಲಿ, ಪ್ರತಿ ಸಂದೇಶವು ಹೆಡರ್ ಮತ್ತು ವಿಷಯವನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ:

plaintext
<|start|>{header}<|message|>{content}<|end|>

ಶೀರ್ಷಿಕೆ ಮೆಟಾಡೇಟಾವನ್ನು ಹೊರುತ್ತದೆ — ಮುಖ್ಯವಾಗಿ ಪಾತ್ರವನ್ನು (system, developer, user, assistant, tool), ಚಾನೆಲ್ ಅನ್ನು, ಮತ್ತು ಉಪಕರಣ ಕರೆಗೆ ಕರೆ ಮಾಡುವಾಗ to=functions.<function-name> వంటి ಸ್ವೀಕರಿಸುವವರನ್ನು.

ಚಾನೆಲ್‌ಗಳು (ಉದಾಹರಣೆಗೆ analysis, commentary, ಮತ್ತು final answer) ಮಾದರಿಯ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಹೆಚ್ಚು ಪಾರದರ್ಶಕ ಮತ್ತು ವಿಭಜಿತವಾಗಿಸುತ್ತವೆ. ಈ ಸ್ವರೂಪವು ಈ ವಿಭಜನೆಯನ್ನು ಬಲವಂತಪಡಿಸುವುದರಿಂದ, ಮಾದರಿ chain-of-thought ಅನ್ನು ಉತ್ಪಾದನಾ ಬಳಕೆಗೆ ಸೋರಿಕೆ ಮಾಡದೆ ಪಾರದರ್ಶಕವಾಗಿ ತರ್ಕಿಸಬಹುದು (ಮತ್ತು ಡಿಬಗಿಂಗ್‌ಗೆ ಪರಿಶೀಲಿಸಬಹುದು). ಸ್ವೀಕರಿಸುವ ಟ್ಯಾಗ್‌ಗಳು (to= ಶೀರ್ಷಿಕೆಗಳು) ಮುಂದಿನ ಪೇಲೋಡ್ ಅನ್ನು ನಿಖರವಾಗಿ ಯಾವ ನಟನು ಸ್ವೀಕರಿಸಬೇಕು ಎಂಬುದನ್ನು runtime ಗೆ ತಿಳಿಸುತ್ತವೆ — ಅದು function ಆಗಿರಲಿ, ಮಾದರಿಯೇ ಆಗಿರಲಿ, ಅಥವಾ ಅಂತಿಮ ಬಳಕೆದಾರರಾಗಿರಲಿ.

ನಮ್ಮ ಇನ್ಫೆರೆನ್ಸ್ ಎಂಜಿನ್ ROSE ಫಾರ್ಮ್ಯಾಟ್-ಅಜ್ಞಾತವಾಗಿದೆ. ಇದು ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳ ಬ್ಯಾಚ್ ಅನ್ನು ಸ್ವೀಕರಿಸುತ್ತದೆ ಮತ್ತು ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳನ್ನು ಸ್ಟ್ರೀಮ್ ಮಾಡುತ್ತದೆ. ನಮ್ಮ ಇನ್ಫೆರೆನ್ಸ್ ಸ್ಟ್ಯಾಕ್‌ನಲ್ಲಿ, ಇನ್‌ಪುಟ್‌ಗಳನ್ನು ಟೋಕನೈಸ್ಡ್ ಪ್ರಾಂಪ್ಟ್ ಆಗಿ ಫಾರ್ಮ್ಯಾಟ್ ಮಾಡುವ ಮತ್ತು LLM ಫಲಿತಾಂಶಗಳನ್ನು ರಚನಾತ್ಮಕ ಸಂದೇಶಗಳಾಗಿ ಡೀಕೋಡ್ ಮಾಡುವ ಕೆಲಸವನ್ನು ಮೀಸಲಾದ JSON API ಫ್ರಂಟ್‌ಎಂಡ್ ಸೇವೆಯು ನಿರ್ವಹಿಸುತ್ತದೆ. ಈ ಫ್ರಂಟ್‌ಎಂಡ್‌ಗೆ ಹೊಸ ಪ್ಲಗ್ ಮಾಡಬಹುದಾದ ಫಾರ್ಮ್ಯಾಟರ್/ಪಾರ್ಸರ್ ಅನ್ನು ಸೇರಿಸುವ ಮೂಲಕ ನಾವು ಹಾರ್ಮೋನಿಯನ್ನು ಸಂಯೋಜಿಸಿದ್ದೇವೆ, ಇದು ಫ್ರಂಟ್‌ಎಂಡ್ ಚಾಟ್-ಫಾರ್ಮ್ಯಾಟ್ ನಿಯಮಗಳು, ಟೂಲ್ ಕರೆಗಳು ಮತ್ತು ಸ್ಟ್ರೀಮಿಂಗ್ ಅನ್ನು ಅಚ್ಚುಕಟ್ಟಾಗಿ ನಿರ್ವಹಿಸುವಾಗ ಬ್ಯಾಕೆಂಡ್ ಬದಲಾಗದೆ ಉಳಿಯಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಕಾಳಜಿಗಳ ಈ ಪ್ರತ್ಯೇಕತೆಯು ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ಮಾಡ್ಯುಲರ್ ಆಗಿ ಇರಿಸುತ್ತದೆ, ಕನಿಷ್ಠ ಬ್ಯಾಕೆಂಡ್ ಬದಲಾವಣೆಗಳೊಂದಿಗೆ ಹೊಸ ಸ್ವರೂಪಗಳು, ಪ್ರತಿಕ್ರಿಯೆ ವೈಶಿಷ್ಟ್ಯಗಳ ತ್ವರಿತ ಅಳವಡಿಕೆಯನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ.

ವೆಚ್ಚ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆ

GPT-OSS ಮಾದರಿಗಳ ತುಲನಾತ್ಮಕವಾಗಿ ಸಣ್ಣ ಗಾತ್ರವನ್ನು ಗಮನಿಸಿದರೆ, ನೋಡ್-ಅಂತರದ ಸಂವಹನ ಓವರ್‌ಹೆಡ್ ಅನ್ನು ತಪ್ಪಿಸಲು ನಾವು ಪ್ರತೀತಿಯ ನಿಯೋಜನೆಯನ್ನು ಒಂದೇ ನೋಡ್‌ಗೆ ಸೀಮಿತಗೊಳಿಸುತ್ತೇವೆ. ನಮ್ಮ ಅನುಷ್ಠಾನವು ಎಕ್ಸ್‌ಪರ್ಟ್ ಸಮಾನಾಂತರತೆ (EP), ಡೇಟಾ ಸಮಾನಾಂತರತೆ (DP), ಮತ್ತು ಟೆನ್ಸೋರ್ ಸಮಾನಾಂತರತೆ (TP) ಯ ಹೊಂದಿಕೊಳ್ಳುವ ಸಂಯೋಜನೆಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. ಅತ್ಯುತ್ತಮ ನಿಯೋಜನೆ ಸೆಟಪ್ ಅನ್ನು ನಿರ್ಧರಿಸಲು, ನಾವು 1 ರಿಂದ 128 ರವರೆಗಿನ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳಲ್ಲಿ ಶಾರ್ಡಿಂಗ್ ತಂತ್ರಗಳ ಎಲ್ಲಾ ಸಂಯೋಜನೆಗಳನ್ನು ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮಾಡಿದ್ದೇವೆ. ಪ್ರಿಫಿಲ್-ಡಿಕೋಡ್ ಡಿಸಾಗ್ರಿಗೇಷನ್ ಗೆ ಧನ್ಯವಾದಗಳು, ಪ್ರಿಫಿಲ್ ಮತ್ತು ಡಿಕೋಡ್‌ಗಾಗಿ ನಾವು ಕಾರ್ಯಕ್ಷಮತೆ-ವೆಚ್ಚದ ಟ್ರೇಡ್-ಆಫ್ ಅನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ಚರ್ಚಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.

ವೆಚ್ಚದ ಅಂದಾಜುಗಳಿಗಾಗಿ, ನಾವು ನಾಮಮಾತ್ರದ H200 ಮಾರುಕಟ್ಟೆ ದರವನ್ನು $3.00/ಗಂಟೆ ಎಂದು ಊಹಿಸುತ್ತೇವೆ (ಗಮನಿಸಿ: ಇದು ನಮ್ಮ ನಿಜವಾದ GPU ಬೆಲೆಯಲ್ಲ).

batch_size=1 ಮತ್ತು DP=1 ಅನ್ನು ಹೊಂದಿಸುವುದು ಅತ್ಯುತ್ತಮ ಪ್ರಿಫಿಲ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ನೀಡುತ್ತದೆ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ. ನಂತರ ವಿವಿಧ TP ಕಾನ್ಫಿಗರೇಶನ್‌ಗಳು ಮೊದಲ-ಟೋಕನ್ ಲೇಟೆನ್ಸಿ ಮತ್ತು ವೆಚ್ಚದ ನಡುವೆ ಬದಲಾಗುವ ಟ್ರೇಡ್-ಆಫ್‌ಗಳನ್ನು ಒದಗಿಸುತ್ತವೆ. ಕೆಳಗಿನ ಕೋಷ್ಟಕಗಳು ವಿವಿಧ ಕಾನ್ಫಿಗರೇಶನ್‌ಗಳು ಮತ್ತು ಇನ್‌ಪುಟ್ ಉದ್ದಗಳಿಗೆ ಪ್ರತಿ ಮಿಲಿಯನ್ ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗೆ ಪ್ರಿಫಿಲ್ ಲೇಟೆನ್ಸಿ ಮತ್ತು ವೆಚ್ಚವನ್ನು ಪ್ರಸ್ತುತಪಡಿಸುತ್ತವೆ.

GPT-OSS 120B:

ಇನ್‌ಪುಟ್ ಉದ್ದ

8192

32768

65536

128000

EP1 DP1 TP1

0.364s, $0.037

2.421s, $0.062

7.375s, $0.094

23.902s, $0.156

EP2 DP1 TP2

0.190s, $0.039

1.245s, $0.063

3.786s, $0.096

12.116s, $0.158

EP4 DP1 TP4

0.165s, $0.067

0.900s, $0.092

2.449s, $0.125

7.165s, $0.187

EP8 DP1 TP8

0.179s, $0.145

0.839s, $0.171

2.003s, $0.204

5.119s, $0.267

ಸಮಾನಾಂತರ ಸಂರಚನೆ ಮತ್ತು ಇನ್‌ಪುಟ್ ಉದ್ದದ ಪ್ರಕಾರ GPT-OSS 120B ಪೂರ್ವಭರ್ತಿ ವಿಳಂಬ ಮತ್ತು ಪ್ರತಿ ಮಿಲಿಯನ್ ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗೆ ವೆಚ್ಚ.

GPT-OSS 20B:

ಇನ್‌ಪುಟ್ ಉದ್ದ

8192

32768

65536

128000

EP1 DP1 TP1

0.239s, $0.024

1.610s, $0.041

4.895s, $0.062

16.037s, $0.104

EP2 DP1 TP2

0.127s, $0.026

0.833s, $0.042

2.522s, $0.064

8.143s, $0.106

EP4 DP1 TP4

0.108s, $0.044

0.593s, $0.060

1.616s, $0.082

4.766s, $0.124

EP8 DP1 TP8

0.116s, $0.094

0.547s, $0.111

1.310s, $0.133

3.365s, $0.175

ಸಮಾನಾಂತರ ಸಂರಚನೆ ಮತ್ತು ಇನ್‌ಪುಟ್ ಉದ್ದದ ಪ್ರಕಾರ GPT-OSS 20B ಪೂರ್ವಭರ್ತಿ ವಿಳಂಬ ಮತ್ತು ಪ್ರತಿ ಮಿಲಿಯನ್ ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗೆ ವೆಚ್ಚ.

ಡಿಕೋಡ್‌ಗಾಗಿ, ಹೆಚ್ಚಿನ ಸಂದರ್ಭಗಳಲ್ಲಿ EP4 DP1 TP4 ಅತ್ಯುತ್ತಮ ಕಾನ್ಫಿಗರೇಶನ್ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ. ಕೆಳಗಿನ ನಾಲ್ಕು ಪ್ಲಾಟ್‌ಗಳು 8192 ಮತ್ತು 32768 ರ ಅನುಕ್ರಮ ಉದ್ದಗಳಲ್ಲಿ 120B ಮತ್ತು 20B ಮಾದರಿಗಳೆರಡಕ್ಕೂ ಡಿಕೋಡ್ ವೇಗ ಮತ್ತು ಪ್ರತಿ ಮಿಲಿಯನ್ ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗೆ ವೆಚ್ಚದ ನಡುವಿನ ಟ್ರೇಡ್-ಆಫ್ ಅನ್ನು ವಿವರಿಸುತ್ತವೆ.

ಕ್ರಮದ ಉದ್ದ 8,192ರಲ್ಲಿ GPT-OSS 120Bಗಾಗಿ ಡಿಕೋಡ್-ಮಾತ್ರ ಪ್ರತಿ ಮಿಲಿಯನ್ ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗೆ ವೆಚ್ಚ vs ಡಿಕೋಡಿಂಗ್ ವೇಗ, EP1, EP2, EP4, ಮತ್ತು EP8 ಸಂರಚನೆಗಳನ್ನು ಹೋಲಿಸಿ.
ಕ್ರಮದ ಉದ್ದ 32,768ರಲ್ಲಿ GPT-OSS 120Bಗಾಗಿ ಡಿಕೋಡ್-ಮಾತ್ರ ಪ್ರತಿ ಮಿಲಿಯನ್ ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗೆ ವೆಚ್ಚ vs ಡಿಕೋಡಿಂಗ್ ವೇಗ, EP1, EP2, EP4, ಮತ್ತು EP8 ಸಂರಚನೆಗಳನ್ನು ಹೋಲಿಸಿ.
ಕ್ರಮದ ಉದ್ದ 8,192ರಲ್ಲಿ GPT-OSS 20Bಗಾಗಿ ಡಿಕೋಡ್-ಮಾತ್ರ ಪ್ರತಿ ಮಿಲಿಯನ್ ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗೆ ವೆಚ್ಚ vs ಡಿಕೋಡಿಂಗ್ ವೇಗ, EP1, EP2, EP4, ಮತ್ತು EP8 ಸಂರಚನೆಗಳನ್ನು ಹೋಲಿಸಿ.
ಕ್ರಮದ ಉದ್ದ 32,768ರಲ್ಲಿ GPT-OSS 20Bಗಾಗಿ ಡಿಕೋಡ್-ಮಾತ್ರ ಪ್ರತಿ ಮಿಲಿಯನ್ ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗೆ ವೆಚ್ಚ vs ಡಿಕೋಡಿಂಗ್ ವೇಗ, EP1, EP2, EP4, ಮತ್ತು EP8 ಸಂರಚನೆಗಳನ್ನು ಹೋಲಿಸಿ.

ವಿಶಾಲ 120B ಮಾದರಿಗೆ speculative decoding draft model ಆಗಿ ಸಣ್ಣ 20B ಮಾದರಿಯನ್ನು ಬಳಸುವುದನ್ನೂ ನಾವು ಪರಿಗಣಿಸಿದ್ದೇವೆ. ಆದರೆ, ಸಕ್ರಿಯಗೊಳ್ಳುವ parameters‌ಗಳ ಸಂಖ್ಯೆ ಸಮಾನವಾಗಿರುವುದರಿಂದ (3B vs. 5B), ದೊರೆಯುವ ವೇಗವರ್ಧನೆಗಳು ಅಲ್ಪವಾಗಿದ್ದವು.

ಉಲ್ಲೇಖಗಳು

ಡಿಸಾಗ್ರಿಗೇಟೆಡ್ ಪ್ರಿಫಿಲ್ ಮತ್ತು ಡಿಕೋಡ್

ಊಹೆಯ ಮೂಲಕ ಸೋನಾರ್ ಅನ್ನು ವೇಗಗೊಳಿಸುವುದು​

ಬಹು-ನೋಡ್ DeepSeek ನಿಯೋಜನೆಯೊಂದಿಗೆ ಕಡಿಮೆ ಲೇಟೆನ್ಸಿ ಮತ್ತು ಹೆಚ್ಚಿನ ಥ್ರೋಪುಟ್

​ಸಮರ್ಥ ಮತ್ತು ಪೋರ್ಟಬಲ್ ಮಿಕ್ಚರ್-ಆಫ್-ಎಕ್ಸ್‌ಪರ್ಟ್ಸ್ ಸಂವಹನ

​pplx-ಕರ್ನಲ್‌ಗಳು

DeepGEMM

FlashInfer: LLM ಇನ್ಫೆರೆನ್ಸ್ ಸರ್ವಿಂಗ್‌ಗಾಗಿ ಸಮರ್ಥ ಮತ್ತು ಗ್ರಾಹಕೀಯಗೊಳಿಸಬಹುದಾದ ಅಟೆನ್ಷನ್ ಎಂಜಿನ್

ಅಟೆನ್ಷನ್ ಸಿಂಕ್‌ಗಳೊಂದಿಗೆ ಸಮರ್ಥ ಸ್ಟ್ರೀಮಿಂಗ್ ಭಾಷಾ ಮಾದರಿಗಳು

DeepSeek-V3 ತಾಂತ್ರಿಕ ವರದಿ​

​OpenAI ಹಾರ್ಮೋನಿ ಪ್ರತಿಕ್ರಿಯೆ ಸ್ವರೂಪ | OpenAI ಕುಕ್‌ಬುಕ್​

ಉಲ್ಲೇಖ

BibTeX
@online{perplexity2025GptOssOnDay0,
  author = {{Perplexity} and Nandor Licker and Lequn Chen and Vladimir Zaytsev and Kevin Hu and Lauren Kolm and Jesse Dwyer},
  title = {{GPT-OSS on day 0}},
  date = {2025-08-08},
  url = {https://www.perplexity.ai/hub/blog/gpt-oss-on-day-0}
}