NVIDIA H100 ನೊಂದಿಗೆ Llama 2 70B ಅನ್ನು ಟರ್ಬೊಚಾರ್ಜಿಂಗ್ ಮಾಡಲಾಗುತ್ತಿದೆ

ವೇಗವರ್ಧಿತ LLM ಅನುಮಾನದ ಪ್ರಯಾಣ

The journey of accelerated LLM inference

Perplexity ನ ಉತ್ತರ ಎಂಜಿನ್‌ನಲ್ಲಿ ಕಾರ್ಯಕ್ಷಮತೆಯ ಹುಡುಕಾಟವು NVIDIA ಮತ್ತು AWS ನೀಡುವ ಇತ್ತೀಚಿನ ತಂತ್ರಜ್ಞಾನವನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳಲು ನಮ್ಮನ್ನು ಪ್ರೇರೇಪಿಸುತ್ತದೆ. ಈ ಬ್ಲಾಗ್‌ನಲ್ಲಿ, ನಮ್ಮ ಇತ್ತೀಚಿನ ಪ್ರಯೋಗಗಳ ಫಲಿತಾಂಶಗಳನ್ನು ಹಂಚಿಕೊಳ್ಳಲು ನಾವು ಉತ್ಸುಕರಾಗಿದ್ದೇವೆ: ವಿವಿಧ ಹಾರ್ಡ್‌ವೇರ್ ಮತ್ತು ಸಾಫ್ಟ್‌ವೇರ್ ಸೆಟ್ಟಿಂಗ್‌ಗಳಲ್ಲಿ Llama 2 70B ಅನುಮಾನದ ಹೋಲಿಕೆ.

ನಮ್ಮ LLM ಅನುಮಾನ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್, pplx-api, ಓಪನ್ ಸೋರ್ಸ್ ಲೈಬ್ರರಿಗಳಿಂದ চালित ಅತ್ಯಾಧುನಿಕ ಸ್ಟ್ಯಾಕ್ ಮೇಲೆ ನಿರ್ಮಿಸಲಾಗಿದೆ. ಅಕ್ಟೋಬರ್‌ನಲ್ಲಿ pplx-api ನ ಸಾರ್ವಜನಿಕ ಬೀಟಾ ಪ್ರಾರಂಭವಾದಾಗಿನಿಂದ, ನಾವು ಸ್ಕೇಲಿಂಗ್ ಸವಾಲುಗಳನ್ನು ಎದುರಿಸುತ್ತಿದ್ದೇವೆ ಮತ್ತು ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಸಾಧಿಸಲು ನಮ್ಮ ಕಾನ್ಫಿಗರೇಶನ್ ಅನ್ನು ಹೇಗೆ ಉತ್ತಮಗೊಳಿಸುವುದು ಎಂದು ಕಲಿಯುತ್ತಿದ್ದೇವೆ. ಇದು ಕೆಳಗಿನ ಮಾರ್ಗದರ್ಶಿ ಪ್ರಶ್ನೆಗಳೊಂದಿಗೆ ಪ್ರಯೋಗಗಳನ್ನು ನಡೆಸಲು ನಮ್ಮನ್ನು ಪ್ರೇರೇಪಿಸಿತು:

ಎಲ್ಲಾ ಇತರ ಸೆಟ್ಟಿಂಗ್‌ಗಳು ಒಂದೇ ಆಗಿರುವಾಗ, ನಮ್ಮ GPU ಗಳನ್ನು NVIDIA A100 ನಿಂದ NVIDIA H100 ಗೆ ಬದಲಾಯಿಸುವುದರಿಂದ ಆಗುವ ನೇರ ಕಾರ್ಯಕ್ಷಮತೆಯ ಲಾಭವೇನು?

H100 ಸ್ಥಳೀಯವಾಗಿ ಬೆಂಬಲವನ್ನು ಸೇರಿಸುವ 8-ಬಿಟ್ ಫ್ಲೋಟಿಂಗ್ ಪಾಯಿಂಟ್ (fp8) ಕ್ವಾಂಟೈಸೇಶನ್‌ನ ದಕ್ಷತೆಯ ಲಾಭವೇನು? ಈ ಕ್ವಾಂಟೈಸೇಶನ್‌ನ ನಿಖರತೆಯ ವೆಚ್ಚವೇನು?

ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ ಮತ್ತು ಬ್ಯಾಚ್ ಗಾತ್ರವು ಸುಪ್ತತೆ (latency) ಮತ್ತು ಟೋಕನ್ ಥ್ರೋಪುಟ್ ಮೇಲೆ ಹೇಗೆ ಪರಿಣಾಮ ಬೀರುತ್ತವೆ?

ಮೇಲಿನವುಗಳನ್ನು ಪರಿಗಣಿಸಿ, ಯಾವ ಕಾನ್ಫಿಗರೇಶನ್ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ವೆಚ್ಚ-ದಕ್ಷತೆಯ ಅತ್ಯಂತ ಸ್ಕೇಲಬಲ್ ಸಮತೋಲನವನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ?

ಪ್ರಯೋಗದ ಸೆಟಪ್

ನೆಟ್‌ವರ್ಕ್ ಸುಪ್ತತೆಯನ್ನು ತಪ್ಪಿಸಲು ನಾವು ಈ ಕೆಳಗಿನ ಪ್ರಯೋಗವನ್ನು ಸ್ಥಳೀಯ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳ ಸರಣಿಯಾಗಿ ನಡೆಸಿದ್ದೇವೆ.

ಪ್ರಮುಖ ಮೆಟ್ರಿಕ್‌ಗಳು:

ಸುಪ್ತತೆ (Latency): ಅನುಮಾನ ಸರ್ವರ್ ತನ್ನ ಸಂಪೂರ್ಣ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ರಚಿಸಲು ತೆಗೆದುಕೊಳ್ಳುವ ಒಟ್ಟು ಸಮಯ.

ಥ್ರೋಪುಟ್: ಎಲ್ಲಾ ಬಳಕೆದಾರರು ಮತ್ತು ವಿನಂತಿಗಳಾದ್ಯಂತ ಅನುಮಾನ ಸರ್ವರ್ ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ, ಪ್ರತಿ GPU ಗೆ ರಚಿಸಬಹುದಾದ ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳ ಸಂಖ್ಯೆ.

ಸ್ಥಿರಗಳು (Constants):

ಕೆಳಗಿನ ಅಂಶಗಳು ಪ್ರಮುಖ ಮೆಟ್ರಿಕ್‌ಗಳ ಮೇಲೆ ಪ್ರಭಾವ ಬೀರುತ್ತವೆ, ಆದ್ದರಿಂದ ನಾವು ಪ್ರಯೋಗದ ವಿವಿಧ ಪ್ರಯೋಗಗಳಲ್ಲಿ ಅವುಗಳನ್ನು ಸ್ಥಿರವಾಗಿರಿಸಿದ್ದೇವೆ.

AI ಮಾದರಿ

ಕಾರ್ಯಕ್ಷಮತೆಯು LLM ನ ಗಾತ್ರದೊಂದಿಗೆ ಅಳೆಯುತ್ತದೆ. ಹೆಚ್ಚಿನ ನಿಯರಾಮಿಗಳು ನಿಧಾನವಾದ ಅನುಮಾನಕ್ಕೆ ಕಾರಣವಾಗುವ ಹೆಚ್ಚಿನ ಗಣನೆಗಳ ಅಗತ್ಯವಿರುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಇತರ ಸೆಟ್ಟಿಂಗ್‌ಗಳು ಸಮಾನವಾಗಿದ್ದಾಗ Llama 2 13B ಗಿಂತ Llama 2 70B ವೇಗವಾಗಿರುತ್ತದೆ. ಅತ್ಯಂತ ಸಮರ್ಥ ಓಪನ್ ಸೋರ್ಸ್ ಮಾದರಿಗಳಿಗೆ ಸೇವೆ ಸಲ್ಲಿಸಲು ನಾವು ಅತ್ಯುತ್ತಮವಾಗಿಸಲು ಬಯಸುವುದರಿಂದ ನಾವು ಈ ಪ್ರಯೋಗದಲ್ಲಿ Llama 2 70B ಗೆಂಟಿಕೊಳ್ಳುತ್ತೇವೆ.

ಇನ್‌ಪುಟ್/ಔಟ್‌ಪುಟ್ ಟೋಕನ್ ಡೇಟಾಸೆಟ್

ಪ್ರತಿ ಮಾದರಿ ವಿನಂತಿ/ಪ್ರತಿಕ್ರಿಯೆ ಜೋಡಿಯಲ್ಲಿ ಇನ್‌ಪುಟ್ ಮತ್ತು ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳ ಪ್ರಮಾಣವು ಕಾರ್ಯಕ್ಷಮತೆಯ ಮಾಪನಗಳ ಮೇಲೆ ಪ್ರಭಾವ ಬೀರಬಹುದು. ಸಾಮಾನ್ಯವಾಗಿ, ಔಟ್‌ಪುಟ್ ಟೋಕನ್ ಉತ್ಪಾದನೆಯು ಒಟ್ಟಾರೆ ಪ್ರತಿಕ್ರಿಯೆ ಸಮಯದ ಮೇಲೆ ಪ್ರಾಬಲ್ಯ ಸಾಧಿಸುತ್ತದೆ. ಮಾದರಿ ಡೇಟಾವು LLM ನಿಂದ “ಹೌದು/ಇಲ್ಲ” ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಮಾತ್ರ ಪ್ರೇರೇಪಿಸಿದಾಗ, ಪ್ರಬಂಧಗಳನ್ನು ಬರೆಯಲು LLM ಅನ್ನು ಕೇಳುವ ಮಾದರಿಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಪ್ರತಿಕ್ರಿಯೆಯು ವೇಗವಾಗಿರುತ್ತದೆ. ನಮ್ಮ ಡೇಟಾಸೆಟ್ 512 ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳನ್ನು ಪ್ರೇರೇಪಿಸುವ 1024 ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳೊಂದಿಗೆ ಸಿಂಥೆಟಿಕ್ ವಿನಂತಿಗಳಿಂದ ಕೂಡಿದೆ. Llama2 70B ನ ನಮ್ಮ ಸಾರ್ವಜನಿಕ ನಿಯೋಜನೆಯಲ್ಲಿ ಗಮನಿಸಿದ ದಟ್ಟಣೆಯ ವಿತರಣೆಗೆ ಹೊಂದಿಕೆಯಾಗಲು ಈ ವಿತರಣೆಯನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಗಿದೆ.

ಸಾಫ್ಟ್‌ವೇರ್ ಆವೃತ್ತಿ

NVIDIA TensorRT-LLM (v0.5.0 ಬಿಡುಗಡೆ) ಎಂಬುದು LLM ಅನುಮಾನವನ್ನು ಅತ್ಯುತ್ತಮವಾಗಿಸಲು ಓಪನ್ ಸೋರ್ಸ್ ಲೈಬ್ರರಿಯಾಗಿದೆ. 2023 ರ ಕೊನೆಯಲ್ಲಿ ಬಿಡುಗಡೆಯಾಯಿತು, ಇದು NVIDIA ನ ಅನೇಕ ಅನುಮಾನ ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಳನ್ನು ಸಂಶ್ಲೇಷಿಸುತ್ತದೆ ಮತ್ತು ಈ ಪ್ರಯೋಗದ ಪ್ರಮುಖ ನಿಯತಾಂಕಗಳಿಗಾಗಿ ಹೊಂದಿಕೊಳ್ಳುವ ಗ್ರಾಹಕೀಕರಣದ ಪದರವನ್ನು ಒದಗಿಸುತ್ತದೆ: ಬ್ಯಾಚ್ ಗಾತ್ರ, ಕ್ವಾಂಟೈಸೇಶನ್ ಮತ್ತು ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್.

ವ್ಯತ್ಯಯಗಳು (Variables)

ನಾವು ಕಾನ್ಫಿಗರೇಶನ್‌ನ 4 ಅಕ್ಷಗಳಾದ್ಯಂತ ಪ್ರಯೋಗಿಸಿದ್ದೇವೆ: ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್, GPU ಆರ್ಕಿಟೆಕ್ಚರ್, ಕ್ವಾಂಟೈಸೇಶನ್ ಮತ್ತು ಗರಿಷ್ಠ ಬ್ಯಾಚ್ ಗಾತ್ರ. ಈ ಅಕ್ಷಗಳು ಪರಸ್ಪರ ಸಂಪರ್ಕ ಹೊಂದಿವೆ ಏಕೆಂದರೆ ಪ್ರತಿಯೊಂದೂ GPU ಮೆಮೊರಿಯ ನಿರ್ಣಾಯಕ ಬಾಟಲ್‌ನೆಕ್ ಸಂಪನ್ಮೂಲಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ರಾಜಿ ಸೂಚಿಸುತ್ತದೆ.

GPU ಆರ್ಕಿಟೆಕ್ಚರ್

ಒಂಬತ್ತನೇ ಜೀವರದ ಹಾಪರ್ (H100-HBM3-80GB / p5.48xlarge) GPU ಆರ್ಕಿಟೆಕ್ಚರ್ ತನ್ನ ಹಿಂದಿನ ಆಂಪ್ (A100-SXM4-80GB / p4de.24xlarge) ಮೇಲೆ 2x-6x ಗಣನಾ ದರಗಳು ಮತ್ತು ಸುಮಾರು 2x GPU ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಸೇರಿದಂತೆ ದೊಡ್ಡ ಪಟ್ಟಿ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಪ್ಯಾಕ್ ಮಾಡುತ್ತದೆ. ಅನುಮಾನಕ್ಕಾಗಿ GPU ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ನಿರ್ಣಾಯಕ ಮೆಟ್ರಿಕ್ ಆಗಿದೆ ಏಕೆಂದರೆ ಅನುಮಾನದ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರಗಳ ಪ್ರಾಥಮಿಕ ಸುಪ್ತತೆಯ ಬಾಟಲ್‌ನೆಕ್ GPU ಮೆಮೊರಿಯಿಂದ ಕಂಪ್ಯೂಟ್ ರಿಜಿಸ್ಟರ್‌ಗಳಿಗೆ ಮಾದರಿ ಡೇಟಾದ ಜಿಗಾಬೈಟ್‌ಗಳನ್ನು ಲೋಡ್ ಮಾಡುವುದರಿಂದ ಬರುತ್ತದೆ. ಈ ಅಂಕಿಅಂಶಗಳ ಆಧಾರದ ಮೇಲೆ, NVIDIA H100 ಮತ್ತು A100 ನ ಆಪಲ್-ಟು-ಆಪಲ್ ಹೋಲಿಕೆಯು ಸುಪ್ತತೆ ಮತ್ತು ಥ್ರೋಪುಟ್ ಎರಡರಲ್ಲೂ 2x ಸುಧಾರಣೆಯನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ ಎಂದು ನಾವು ಊಹಿಸಿದ್ದೇವೆ.

NVIDIA H100 ಮತ್ತು A100 ನಡುವಿನ ಮತ್ತೊಂದು ಪ್ರಮುಖ ವ್ಯತ್ಯಾಸವೆಂದರೆ H100 ಟೆನ್ಸರ್ ಕೋರ್ ಸ್ಥಳೀಯವಾಗಿ 8-ಬಿಟ್ ಫ್ಲೋಟಿಂಗ್ ಪಾಯಿಂಟ್ (fp8) ಸೂಚನೆಗಳಿಗೆ ಬೆಂಬಲವನ್ನು ಸೇರಿಸುತ್ತದೆ, ಇದು ಕೆಳಗೆ ವಿವರಿಸಲಾದ ಹೆಚ್ಚಿನ ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಳಿಗೆ ದಾರಿ ಮಾಡಿಕೊಡುತ್ತದೆ. ಅದಕ್ಕಾಗಿಯೇ ನಾವು ನಿರ್ದಿಷ್ಟವಾಗಿ H100 ಗಾಗಿ fp8 ಮತ್ತು fp16 ಅನ್ನು ಬಳಸುತ್ತೇವೆ.

ಈ ಪ್ರಯೋಗದಲ್ಲಿ ಪ್ರತಿ GPU ಗೆ ಮೆಮೊರಿಯನ್ನು ಸ್ಥಿರವಾಗಿಡಲು, ನಮ್ಮ NVIDIA A100 ಗಳು ಮತ್ತು H100 ಗಳೆರಡಕ್ಕೂ ನಾವು 8x80GB GPU ಮೆಮೊರಿಯೊಂದಿಗೆ ನೋಡ್‌ಗಳಿಗೆ ಅಂಟಿಕೊಂಡಿದ್ದೇವೆ. ಹೆಚ್ಚಿನ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುವುದರ ಜೊತೆಗೆ, GPU ಮೆಮೊರಿ ಮುಖ್ಯವಾಗಿದೆ ಏಕೆಂದರೆ ವೇಗದ ಪ್ರವೇಶಕ್ಕಾಗಿ ಸರ್ವರ್ ಪ್ರಾರಂಭದ ಸಮಯದಲ್ಲಿ ಮಾದರಿಯ ನಿಯತಾಂಕಗಳನ್ನು GPU ಮೆಮೊರಿಗೆ ಲೋಡ್ ಮಾಡಲಾಗುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ನಮ್ಮ ಮಾದರಿಯಲ್ಲಿರುವ 70 ಬಿಲಿಯನ್ ನಿಯತಾಂಕಗಳಲ್ಲಿ ಪ್ರತಿಯೊಂದೂ 16-ಬಿಟ್ ಫ್ಲೋಟಿಂಗ್ ಪಾಯಿಂಟ್ ಸಂಖ್ಯೆಯಾಗಿದ್ದರೆ, ಮಾದರಿಯು ಸುಮಾರು 140GB ಗಾತ್ರದಲ್ಲಿರುತ್ತದೆ, ಇದು ಒಂದೇ GPU ನಲ್ಲಿ ಹೊಂದಿಕೊಳ್ಳುವುದಿಲ್ಲ. ಆದ್ದರಿಂದ ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ ಅಗತ್ಯವಿದೆ, ಅದನ್ನು ನಾವು ಕೆಳಗೆ ವಿವರಿಸುತ್ತೇವೆ.

ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್

ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ ಎನ್ನುವುದು ಅನುಮಾನ ಸರ್ವರ್ ಅನ್ನು চালাতে ಬಳಸುವ GPU ಸಾಧನಗಳ ಸಂಖ್ಯೆಯನ್ನು ಸೂಚಿಸುತ್ತದೆ. ನಾವು ಹಲವಾರು GPU ಗಳನ್ನು ಹಂಚಿದಾಗ, Llama2 70B ಅನ್ನು ಚಲಾಯಿಸಲು ಕನಿಷ್ಠ ಅಗತ್ಯವಿರುವ ಮೆಮೊರಿ ಬಜೆಟ್ ಅನ್ನು ತಲುಪಲು ನಮಗೆ ಸಹಾಯ ಮಾಡಲು TensorRT-LLM ಅವುಗಳ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸುತ್ತದೆ. ಹೆಚ್ಚಿನ ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್‌ಗೆ ಹೋಲಿಸಿದರೆ ಕಡಿಮೆ ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ ಹೆಚ್ಚಿನ ಸುಪ್ತತೆಗೆ (ಪ್ರತಿ ಬ್ಯಾಚ್ ಅನ್ನು ತೃಪ್ತಿಪಡಿಸಲು ಕಡಿಮೆ ಸಂಪನ್ಮೂಲಗಳು ಬಳಕೆಯಾಗುವುದರಿಂದ) ಆದರೆ ಪ್ರತಿ GPU ಗೆ ಹೆಚ್ಚಿನ ಥ್ರೋಪುಟ್‌ಗೆ (ಉತ್ತಮ ಬಳಕೆಯಿಂದಾಗಿ) ಕಾರಣವಾಗುತ್ತದೆ ಎಂಬುದು ನಮ್ಮ ಊಹೆಯಾಗಿದೆ.

ಕ್ವಾಂಟೈಸೇಶನ್

ಕ್ವಾಂಟೈಸೇಶನ್ ಎಂದರೆ ನರ ಜಾಲಗಳು ಬಳಸುವ ತೂಕ ಮತ್ತು ಸಕ್ರಿಯಗೊಳಿಸುವಿಕೆಗಳಲ್ಲಿ ನಿಖರತೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುವುದು. ನಾವು fp16 ನಿಂದ fp8 ಗೆ ಬದಲಾಯಿಸಿದಾಗ GPU ಮೆಮೊರಿ ಬಳಕೆಯನ್ನು ಅರ್ಧದಷ್ಟು ಕಡಿಮೆ ಮಾಡಲು ನಾವು ಈ ತಂತ್ರವನ್ನು ಬಳಸುತ್ತೇವೆ. ಇದು ಕಡಿಮೆ ಒಟ್ಟು GPU ಮೆಮೊರಿ ಬಳಕೆಯೊಂದಿಗೆ ಅದೇ ಮಾದರಿಯನ್ನು ಚಲಾಯಿಸಲು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ, ಕಡಿಮೆ ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ, ಇದು ಥ್ರೋಪುಟ್ ಅನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ.

ಕ್ವಾಂಟೈಸೇಶನ್‌ನ ಅನುಷ್ಠಾನಗಳು ನಿಖರತೆಯನ್ನು ಕ್ಷೀಣಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಹೊಂದಿವೆ. ಹೀಗಾಗಿ, WikiText ಕಾರ್ಪಸ್‌ನಲ್ಲಿ ವಾಕ್ಯದಲ್ಲಿ ಪ್ರತಿ ಮುಂದಿನ ಟೋಕನ್ ಅನ್ನು LLM ಎಷ್ಟು ಚೆನ್ನಾಗಿ ಊಹಿಸುತ್ತದೆ ಎಂಬುದರ ಅಳತೆಯಾದ ಅವುಗಳ ಪೆರ್ಪ್ಲೆಕ್ಸಿಟಿ ಅಂಕಿಅಂಶವನ್ನು ಹೋಲಿಸುವ ಮೂಲಕ ನಾವು ವಿವಿಧ ನಿಖರತೆಗಳಿಗಾಗಿ ನಿಖರತೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ್ದೇವೆ. 8-ಬಿಟ್ ಫ್ಲೋಟಿಂಗ್ ಪಾಯಿಂಟ್ ಮತ್ತು 8-ಬಿಟ್ ತೂಕದೊಂದಿಗೆ 8-ಬಿಟ್ ಸಕ್ರಿಯಗೊಳಿಸುವಿಕೆ ಮತ್ತು ಸ್ಮೂತ್‌ಕ್ವಾಂಟ್ (w8a8 SQ), WikiText ನಲ್ಲಿ fp16 ಗೆ ಹೋಲಿಸಿದರೆ ಪೆರ್ಪ್ಲೆಕ್ಸಿಟಿಯಲ್ಲಿ ಯಾವುದೇ ಗಮನಾರ್ಹ ಬದಲಾವಣೆ (< 1%) ಇರಲಿಲ್ಲ, ಆದ್ದರಿಂದ ನಾವು ಮುಂದುವರಿಯಲು ವಿಶ್ವಾಸ ಹೊಂದಿದ್ದೇವೆ. ಆದಾಗ್ಯೂ, w4a16 ಪೆರ್ಪ್ಲೆಕ್ಸಿಟಿಯಲ್ಲಿ ಗಣನೀಯವಾದ 7% ಬದಲಾವಣೆಯನ್ನು ಪ್ರದರ್ಶಿಸಿತು, ಇದು ಬಹುಶಃ ಇನ್ನೂ ಕಡಿಮೆ ನಿಖರತೆ ಮತ್ತು int4 ಮತ್ತು fp16 ನಡುವಿನ ಅವಶ್ಯಕ ಡೈನಾಮಿಕ್ ಪರಿವರ್ತನೆಗಳಿಗೆ ಕಾರಣವಾಗಿದೆ.

ಬ್ಯಾಚ್ ಗಾತ್ರ

ಸಂಪನ್ಮೂಲ ನಿರ್ಬಂಧಿತ ವ್ಯವಸ್ಥೆಯಿಂದ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಹಿಂಡಲು ಬ್ಯಾಚಿಂಗ್ ಮೂಲಕ ಸಮಾಂತರತೆಯು ಒಂದು ಕ್ಲಾಸಿಕ್ ಕಾರ್ಯತಂತ್ರವಾಗಿದೆ. ನರ ಜಾಲದ ಮೂಲಕ ಪ್ರತಿ ಫಾರ್ವರ್ಡ್ ಪಾಸ್‌ನಲ್ಲಿ ಬಹು ವಿನಂತಿಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವ ಮೂಲಕ, ಸ್ವಲ್ಪ ಸುಪ್ತತೆಯ ವೆಚ್ಚದಲ್ಲಿ ಥ್ರೋಪುಟ್ ಅನ್ನು ಹೆಚ್ಚಿಸಲು ಬ್ಯಾಚಿಂಗ್ ತಿಳಿದುಬಂದಿದೆ. ಬ್ಯಾಚಿಂಗ್ ಹೆಚ್ಚಿನ GPU ಮೆಮೊರಿ ಬಳಕೆಯನ್ನು ಸಹ ಉಂಟುಮಾಡುತ್ತದೆ ಏಕೆಂದರೆ ಗಮನ ಕಾರ್ಯವಿಧಾನವನ್ನು ನಿರ್ವಹಿಸುವ KV 캐시 ಗಾತ್ರವು ಬ್ಯಾಚ್ ಗಾತ್ರದೊಂದಿಗೆ ರೇಖೀಯವಾಗಿ ಬೆಳೆಯುತ್ತದೆ.

Llama 2 70B (ಇದು 80 ಲೇಯರ್‌ಗಳನ್ನು ಹೊಂದಿದೆ), 4096 ಸಂದರ್ಭ ಗಾತ್ರಕ್ಕೆ ಬ್ಯಾಚ್ ಗಾತ್ರ 32 ರೊಂದಿಗೆ fp16 ನ ಸಂದರ್ಭದಲ್ಲಿ, KV 캐시 ಗಾತ್ರವು ಗಣನೀಯ 40 GB ಗೆ ಬರುತ್ತದೆ. ಇದು Llama 2 70B fp16 ಅನ್ನು ತಡೆಯಲು ಕೊನೆಗೊಳ್ಳುತ್ತದೆ, ಇದರ ತೂಕಗಳು ಮಾತ್ರ 140GB ತೆಗೆದುಕೊಳ್ಳುತ್ತವೆ, ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ 2 (TP-2) ನಲ್ಲಿ ಲಭ್ಯವಿರುವ 160GB GPU ಮೆಮೊರಿಯಲ್ಲಿ ಆರಾಮವಾಗಿ ಹೊಂದಿಕೊಳ್ಳುವುದರಿಂದ.

ಫಲಿತಾಂಶಗಳು

ಪ್ರಯೋಗದ 4 ಅಸ್ಥಿರಗಳ ಹೊಂದಾಣಿಕೆಯ ಸಂಯೋಜನೆಗಳ ಮೂಲಕ ನಾವು ಸ್ವೀಪ್ ಮಾಡಿದ್ದೇವೆ ಮತ್ತು ಕೆಳಗೆ ಅತ್ಯಂತ ಒಳನೋಟವುಳ್ಳ ಪ್ರವೃತ್ತಿಗಳನ್ನು ಪ್ರಸ್ತುತಪಡಿಸುತ್ತೇವೆ.

ಚಿತ್ರ 1 - ಐದು ವಿಭಿನ್ನ ಕಾನ್ಫಿಗರೇಶನ್‌ಗಳಲ್ಲಿ ಬದಲಾಗುತ್ತಿರುವ ಬ್ಯಾಚ್ ಗಾತ್ರದೊಂದಿಗೆ ವಿನಂತಿಗಳ ಸುಪ್ತತೆ, ಎಲ್ಲಾ ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ 8 ರೊಂದಿಗೆ, ಇದು ಲಭ್ಯವಿರುವ 8 GPU ಗಳೊಂದಿಗೆ ಉತ್ತಮ ಸುಪ್ತತೆಯನ್ನು ನೀಡುತ್ತದೆ. ಪ್ರತಿ ಕಾನ್ಫಿಗರೇಶನ್‌ನಲ್ಲಿ, ಬ್ಯಾಚ್ ಗಾತ್ರವನ್ನು 1 ರಿಂದ 32 ಕ್ಕೆ ಹೆಚ್ಚಿಸುವಾಗ ಸುಪ್ತತೆಯು ಸಾಮಾನ್ಯವಾಗಿ ದ್ವಿಗುಣಗೊಳ್ಳುತ್ತದೆ ಮತ್ತು 32 ರಿಂದ 128 ಕ್ಕೆ ಮತ್ತೆ ದ್ವಿಗುಣಗೊಳ್ಳುತ್ತದೆ. ಸಾಕಷ್ಟು ದೊಡ್ಡ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳಲ್ಲಿ, H100 A100 ಗೆ ಹೋಲಿಸಿದರೆ ಸುಪ್ತತೆಯನ್ನು ಸುಮಾರು ಅರ್ಧದಷ್ಟು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. A100 ಮಿಶ್ರ ನಿಖರತೆಯನ್ನು ಬಳಸುತ್ತದೆ ಏಕೆಂದರೆ ಆರ್ಕಿಟೆಕ್ಚರ್ fp8 ಗೆ ಸ್ಥಳೀಯ ಬೆಂಬಲವನ್ನು ಹೊಂದಿಲ್ಲ. ಸ್ಮೂತ್‌ಕ್ವಾಂಟ್ (SQ) ಜೊತೆಗಿನ w8a8 fp8 ಅನ್ನು ಹೋಲುವ ಉದ್ದೇಶವನ್ನು ಹೊಂದಿದೆ.

H100 fp16 → fp8 ಮತ್ತು A100 fp16 → ಸ್ಮೂತ್‌ಕ್ವಾಂಟ್‌ನೊಂದಿಗೆ w8a8 ಅನ್ನು ಹೋಲಿಸಿದಾಗ ಕ್ವಾಂಟೈಸೇಶನ್‌ನ ಸುಪ್ತತೆಯ ಸುಧಾರಣೆಯು 10% ರ ಸುತ್ತಮುತ್ತಲಿನಲ್ಲಿದೆ. ಆದಾಗ್ಯೂ, ಮಿಶ್ರ ನಿಖರತೆಯ w4a16 ವಾಸ್ತವವಾಗಿ ಕಡಿಮೆ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳಲ್ಲಿ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಮತ್ತು fp16 ಗೆ ಹೋಲಿಸಿದರೆ ಹೆಚ್ಚಿನ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳಲ್ಲಿ ಹದಗೆಡುತ್ತದೆ. ಇದು ಕಡಿಮೆ ಆಪ್ಟಿಮೈಸ್ಡ್ ಕಂಪ್ಯೂಟ್ ಕರ್ನಲ್‌ಗಳು, int4 ಮತ್ತು fp16 ನಡುವಿನ ಕಾಸ್ಟಿಂಗ್ ಸಮಯ, ಮತ್ತು w4a16 ಇನ್ನೂ ಸಕ್ರಿಯಗೊಳಿಸುವಿಕೆಗಳಿಗಾಗಿ 16-ಬಿಟ್ ಫ್ಲೋಟಿಂಗ್ ಪಾಯಿಂಟ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ ಎಂಬ ಅಂಶ ಸೇರಿದಂತೆ ಹಲವಾರು ಅಂಶಗಳಿಂದಾಗಿರಬಹುದು, ಇದರ ফলে KV 캐시 ಆಯಾಮಗಳಲ್ಲಿ ಯಾವುದೇ ಉಳಿತಾಯವಾಗುವುದಿಲ್ಲ. w4a16 ಕಡಿಮೆ ನಿಖರತೆಯನ್ನು ಸಹ ಪ್ರದರ್ಶಿಸಿರುವುದರಿಂದ, ನಾವು A100 ಗಳಿಗೆ w8a8 SQ ಮತ್ತು H100 ಗಳಿಗೆ fp8 ಗೆ ಅಂಟಿಕೊಳ್ಳಬೇಕು ಎಂದು ನಾವು ತೀರ್ಮಾನಿಸುತ್ತೇವೆ.

ಚಿತ್ರ 2 - ವಿಭಿನ್ನ ಆರ್ಕಿಟೆಕ್ಚರ್, ಕ್ವಾಂಟೈಸೇಶನ್ ಮತ್ತು ಬ್ಯಾಚ್ ಗಾತ್ರದೊಂದಿಗೆ TP-8 ಕಾನ್ಫಿಗರೇಶನ್‌ಗಳಾದ್ಯಂತ ಥ್ರೋಪುಟ್. ಪ್ರತಿ ಆರ್ಕಿಟೆಕ್ಚರ್ ಮತ್ತು ಕ್ವಾಂಟೈಸೇಶನ್‌ಗಾಗಿ, 25600ms (512 ಟೋಕನ್‌ಗಳಿಗೆ ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ 20 ಟೋಕನ್‌ಗಳು) ಸುಪ್ತತೆಯ ಅವಶ್ಯಕತೆಯನ್ನು ಗೌರವಿಸುವ ದೊಡ್ಡದಾದ ಬ್ಯಾಚ್ ಗಾತ್ರವನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಗಿದೆ, ಇದರಿಂದ ನಾವು ಒಂದೇ ರೀತಿಯ ಸುಪ್ತತೆಯನ್ನು ಹೊಂದಿರುವ ಕಾನ್ಫಿಗರೇಶನ್‌ಗಳನ್ನು ಹೋಲಿಸುತ್ತೇವೆ. ಈ ಅವಶ್ಯಕತೆಯ ಅಡಿಯಲ್ಲಿ, BS-128 ನೊಂದಿಗೆ H100 ಅದೇ ಕ್ವಾಂಟೈಸೇಶನ್ (fp16) ಬಳಸುವ A100 BS-64 ಗೆ ಹೋಲಿಸಿದರೆ 228% ಥ್ರೋಪುಟ್ ಅನ್ನು ತಲುಪುತ್ತದೆ ಮತ್ತು ದ್ವಿಗುಣಗೊಂಡ ಬ್ಯಾಚ್ ಗಾತ್ರದ ಹೊರತಾಗಿಯೂ ಕಡಿಮೆ ಪ್ರತಿಕ್ರಿಯೆ ಸುಪ್ತತೆಯನ್ನು ಸಹ ಹೊಂದಿದೆ. fp8 ನೊಂದಿಗೆ ಕ್ವಾಂಟೈಸೇಶನ್ ಈ ಅಂಶವನ್ನು 251% ಗೆ ಸುಧಾರಿಸುತ್ತದೆ.

ನಮ್ಮ ಮೊದಲ ಎರಡು ಚಿತ್ರಗಳಲ್ಲಿ, ನಾವು TP-8 ನ ಕಾನ್ಫಿಗರೇಶನ್‌ಗಳನ್ನು ಮಾತ್ರ ಪ್ರಸ್ತುತಪಡಿಸುತ್ತೇವೆ. H100 fp16 / BS-128 / TP-8 ಅನ್ನು ಬಳಸುವಾಗ A100 ಗೆ ಹೋಲಿಸಿದರೆ 54% ಸುಪ್ತತೆ ಮತ್ತು 184% ಥ್ರೋಪುಟ್ ಅನ್ನು ಸಾಧಿಸುತ್ತದೆ, ಇದು H100 ನಲ್ಲಿ fp8 ಅನ್ನು ಬಳಸುವಾಗ 49% ಸುಪ್ತತೆ ಮತ್ತು 202% ಥ್ರೋಪುಟ್‌ಗೆ ಸುಧಾರಿಸುತ್ತದೆ. ಕಾರ್ಯಕ್ಷಮತೆಯಲ್ಲಿ ಈ ಸುಧಾರಣೆಯನ್ನು H100 ಮತ್ತು A100 ನಡುವಿನ ಗಣನಾ ಶಕ್ತಿ ಮತ್ತು ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್‌ನಲ್ಲಿನ ಹೆಚ್ಚಳಕ್ಕೆ ಕಾರಣವೆಂದು ಹೇಳಬಹುದು. ಗಮನಾರ್ಹವಾಗಿ, ಕಡಿಮೆ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳ ಅಡಿಯಲ್ಲಿ ವ್ಯತ್ಯಾಸವು ಕಡಿಮೆ ಸ್ಪಷ್ಟವಾಗಿರುತ್ತದೆ ಅಲ್ಲಿ ಬಳಕೆ ಕಡಿಮೆಯಿರಬಹುದು.

ನಾವು ನಮ್ಮ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಅನ್ನು ನಿರ್ಮಿಸುವಾಗ, ಥ್ರೋಪುಟ್ ಅನ್ನು ಗರಿಷ್ಠಗೊಳಿಸುವಾಗ ನಮ್ಮ ಬಳಕೆದಾರರಿಗೆ ಕೆಲವು ಸುಪ್ತತೆಯ ಅವಶ್ಯಕತೆಗಳನ್ನು ಗೌರವಿಸಲು ಬಯಸುತ್ತೇವೆ. ಆದ್ದರಿಂದ, ಒಂದೇ ಬ್ಯಾಚ್ ಗಾತ್ರದಲ್ಲಿ A100 ಮತ್ತು H100 ಅನ್ನು ಹೋಲಿಸುವ ಬದಲು, ಸುಪ್ತತೆಯ ಅವಶ್ಯಕತೆಯನ್ನು ಪೂರೈಸುವ ಕಾನ್ಫಿಗರೇಶನ್‌ಗಳ ಅಡಿಯಲ್ಲಿ ಮಾತ್ರ ಅವುಗಳ ಥ್ರೋಪುಟ್ ಅನ್ನು ಹೋಲಿಸುವುದು ನಮಗೆ ಹೆಚ್ಚು ಅರ್ಥಪೂರ್ಣವಾಗಿದೆ. 512 ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳ ಪೂರ್ಣಗೊಳಿಸುವಿಕೆಗಾಗಿ ನಾವು 25600ms ಸುಪ್ತತೆಯಲ್ಲಿ ಕಟ್‌ಆಫ್ ಅನ್ನು ಹೊಂದಿಸಿದ್ದೇವೆ ಮತ್ತು H100 / TP-8 / fp8 / BS-128 A100 / TP-8 / fp16 / BS-64 ಗೆ ಹೋಲಿಸಿದರೆ 251% ಥ್ರೋಪುಟ್ ಅನ್ನು ನೀಡುತ್ತದೆ ಎಂದು ಕಂಡುಹಿಡಿದೆವು, ಏಕೆಂದರೆ ಇದು ಕಡಿಮೆ ಸುಪ್ತತೆಯಲ್ಲಿ ಬ್ಯಾಚ್ ಗಾತ್ರವನ್ನು ದ್ವಿಗುಣಗೊಳಿಸಲು ಸಮರ್ಥವಾಗಿದೆ. ಕ್ವಾಂಟೈಸೇಶನ್ GPU ಮೆಮೊರಿ ಉಳಿತಾಯವನ್ನು ಒದಗಿಸುತ್ತದೆ ಎಂದು ನೀಡಲಾಗಿದೆ, ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ ಆಪ್ಟಿಮೈಸೇಶನ್‌ನ ಮುಂದಿನ ಪದರವನ್ನು ಹೇಗೆ ಸೇರಿಸಬಹುದು ಎಂಬುದನ್ನು ನಾವು ಈಗ ಮೌಲ್ಯಮಾಪನ ಮಾಡಬೇಕಾಗಿದೆ.

ಚಿತ್ರ 3 - H100 fp8 ಗಾಗಿ ಬದಲಾಗುತ್ತಿರುವ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳು ಮತ್ತು ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್‌ನಾದ್ಯಂತ ಸುಪ್ತತೆ. ಬ್ಯಾಚ್ ಗಾತ್ರವನ್ನು 1 ರಿಂದ 32 ಕ್ಕೆ ಹೆಚ್ಚಿಸುವಾಗ ಸುಪ್ತತೆಯು ಸಾಮಾನ್ಯವಾಗಿ ದ್ವಿಗುಣಗೊಳ್ಳುತ್ತದೆ ಮತ್ತು 32 ರಿಂದ 128 ಕ್ಕೆ ಮತ್ತೆ ದ್ವಿಗುಣಗೊಳ್ಳುತ್ತದೆ. ಬ್ಯಾಚ್ ಗಾತ್ರಗಳು ಸಮಾನವಾಗಿರುವಾಗ TP-2 ನಿರಂತರವಾಗಿ TP-8 ಗಿಂತ ಸುಮಾರು ಎರಡು ಪಟ್ಟು ನಿಧಾನವಾಗಿರುತ್ತದೆ. ಬ್ಯಾಚ್ ಗಾತ್ರವನ್ನು ದ್ವಿಗುಣಗೊಳಿಸುವಾಗ ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ ಅನ್ನು ದ್ವಿಗುಣಗೊಳಿಸುವುದರಿಂದ ಸುಪ್ತತೆಯು ತುಲನಾತ್ಮಕವಾಗಿ ಸ್ಥಿರವಾಗಿರುತ್ತದೆ ಏಕೆಂದರೆ ಪ್ರತಿ GPU ಗಳಿಗೆ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲಾದ ಬ್ಯಾಚ್‌ಗಳ ಸಂಖ್ಯೆ ಸಮಾನವಾಗಿರುತ್ತದೆ.

ಕ್ವಾಂಟೈಸೇಶನ್ ಮತ್ತು ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗೆ ಬಂದಾಗ, ಸ್ಪಷ್ಟ ವಿಜೇತರು ಇದ್ದಾರೆ: H100 A100 ಅನ್ನು ಪ್ರಾಬಲ್ಯಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಕಡಿಮೆ-ನಿಖರತೆಯ ಕ್ವಾಂಟೈಸೇಶನ್ ಮೆಮೊರಿ ಬಳಕೆ, ಸುಪ್ತತೆ ಮತ್ತು ಥ್ರೋಪುಟ್ ಅನ್ನು ಸುಧಾರಿಸುತ್ತದೆ. ಆದಾಗ್ಯೂ, ಬ್ಯಾಚ್ ಗಾತ್ರ ಮತ್ತು ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ ನಮ್ಮ ಪ್ರಮುಖ ಮೆಟ್ರಿಕ್‌ಗಳಲ್ಲಿ ರಾಮಿಯನ್ನು ಪ್ರಸ್ತುತಪಡಿಸುತ್ತವೆ. ದೊಡ್ಡ ಬ್ಯಾಚ್ ಗಾತ್ರವು ಹೆಚ್ಚಿದ ಸುಪ್ತತೆ ಮತ್ತು ಮೆಮೊರಿ ಬಳಕೆಯ ವೆಚ್ಚದಲ್ಲಿ ಥ್ರೋಪುಟ್ ಅನ್ನು ಆಪ್ಟಿಮೈಸ್ ಮಾಡುತ್ತದೆ. ಮತ್ತೊಂದೆಡೆ, ಹೆಚ್ಚಿನ ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ ಲಭ್ಯವಿರುವ ಮೆಮೊರಿಯ ಒಟ್ಟು ಪೂಲ್ ಅನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ ಮತ್ತು ಸುಪ್ತತೆಗಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡುತ್ತದೆ, ಆದರೆ ವಿತರಿಸಿದ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರದ ಸಿಂಕ್ರೊನೈಸೇಶನ್ ವೆಚ್ಚದಿಂದಾಗಿ ಮತ್ತು ಹೆಚ್ಚಿನ GPU ಸಂಪನ್ಮೂಲಗಳನ್ನು ಲಾಕ್ ಮಾಡುವ ಮೂಲಕ ಥ್ರೋಪುಟ್‌ನೊಂದಿಗೆ ರಾಜಿ ಮಾಡಿಕೊಳ್ಳುತ್ತದೆ.

ಚಿತ್ರ 4 - H100 fp8 ಗಾಗಿ ಬದಲಾಗುತ್ತಿರುವ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳು ಮತ್ತು ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್‌ನಾದ್ಯಂತ ಥ್ರೋಪುಟ್. A100/TP-8/fp16/BS-64 ನ ಬೇಸ್‌ಲೈನ್‌ಗೆ ಹೋಲಿಸಿದರೆ 460% ರಷ್ಟು ಹೆಚ್ಚಿನ ಥ್ರೋಪುಟ್ TP-2 BS-128 ನಿಂದ ಬರುತ್ತದೆ. ಆದಾಗ್ಯೂ, TP-2 BS-128 ಚಿತ್ರ 3 ರಲ್ಲಿ ಅತ್ಯಂತ ನಿಧಾನವಾದ ಫಲಿತಾಂಶವಾಗಿದೆ.

ನಮ್ಮ ಪ್ರಯೋಗದ ಥ್ರೋಪುಟ್-ಗರಿಷ್ಠಗೊಳಿಸುವ ಕಾನ್ಫಿಗರೇಶನ್ H100 / fp8 / TP-2 / BS-128 ಆಗಿದೆ, ಪ್ರತಿ GPU ಗೆ ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ 767 ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು. ಇದು A100 / fp16 / TP-8 / BS-64 ಗಿಂತ 460% ಸುಧಾರಣೆಯಾಗಿದೆ. ಆದಾಗ್ಯೂ, ಇದು ದ್ವಿಗುಣಗೊಂಡ ಸುಪ್ತತೆಯ ವೆಚ್ಚದಲ್ಲಿ ಬರುತ್ತದೆ - 512 ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗೆ 42000ms ಗೆ ಹತ್ತಿರದಲ್ಲಿದೆ - ಆದ್ದರಿಂದ ಇದು ಉತ್ಪಾದನಾ ಕಾನ್ಫಿಗರೇಶನ್ ಆಗಿ ಸೂಕ್ತವಲ್ಲದಿರಬಹುದು. TP-4 BS-128 (26188ms ಪ್ರತಿಕ್ರಿಯೆ ಸಮಯದಲ್ಲಿ 626 tok/sec/gpu) ಮತ್ತು TP-2 BS-32 (18821ms ಪ್ರತಿಕ್ರಿಯೆ ಸಮಯದಲ್ಲಿ 435 tok/sec/gpu) ಫಲಿತಾಂಶಗಳು ನಮ್ಮ ಪ್ರಮುಖ ಮೆಟ್ರಿಕ್‌ಗಳಲ್ಲಿ ಉತ್ತಮ ರಾಜಿಗಳನ್ನು ಪ್ರತಿನಿಧಿಸಬಹುದು.

ತೀರ್ಮಾನ

ನಮ್ಮ ಫಲಿತಾಂಶಗಳು ಇದನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತವೆ:

ಅದೇ ಕಾನ್ಫಿಗರೇಶನ್‌ಗೆ ಹೋಲಿಸಿದರೆ A100 ಗೆ ಹೋಲಿಸಿದರೆ H100 ಅನ್ನು ಬಳಸಿಕೊಂಡು ನಾವು 54% ಸುಪ್ತತೆ ಮತ್ತು 184% ಥ್ರೋಪುಟ್ ಅನ್ನು ತಲುಪುತ್ತೇವೆ, ಇದು H100 fp8 ಗೆ ಅದರ ಸ್ಥಳೀಯ ಬೆಂಬಲದ ಲಾಭವನ್ನು ಪಡೆದಾಗ ಅನುಕ್ರಮವಾಗಿ 49% ಮತ್ತು 202% ಕ್ಕೆ ಸುಧಾರಿಸುತ್ತದೆ.

ಸುಪ್ತತೆಯ ನಿರ್ಬಂಧಕ್ಕೆ ಒಳಪಟ್ಟು ಥ್ರೋಪುಟ್ ಅನ್ನು ಗರಿಷ್ಠಗೊಳಿಸುವಾಗ, H100 / fp8 / TP-8 / BS-128 A100 / fp16 / TP-8 / BS-64 ಗೆ ಹೋಲಿಸಿದರೆ 251% ಥ್ರೋಪುಟ್ ಅನ್ನು ನೀಡುತ್ತದೆ, ಏಕೆಂದರೆ ಇದು ವೇಗವಾದ ವೇಗದಲ್ಲಿ ಬ್ಯಾಚ್ ಅನ್ನು ದ್ವಿಗುಣಗೊಳಿಸಲು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಬಹುದು.

fp8 ನೊಂದಿಗೆ TP-2 ನೊಂದಿಗೆ H100 ನ ಲಾಭವನ್ನು ಪಡೆದುಕೊಳ್ಳುವುದರಿಂದ, ನಾವು A100 / fp16 / TP-8 / BS-128 ರ 373% ಥ್ರೋಪುಟ್ ಅನ್ನು ಸಾಧಿಸಬಹುದು, ಸುಪ್ತತೆಯಲ್ಲಿ 10% ಕ್ಕಿಂತ ಕಡಿಮೆ ಹೆಚ್ಚಳದೊಂದಿಗೆ.

ಬ್ಯಾಚ್ ಗಾತ್ರ ಮತ್ತು ಟೆನ್ಸರ್ ಪ್ಯಾರಲಲಿಸಮ್ LLM ಅನುಮಾನ ವ್ಯವಸ್ಥೆಯ ಆಪರೇಟರ್‌ಗೆ ಥ್ರೋಪುಟ್ ಮತ್ತು ಸುಪ್ತತೆಯ ನಡುವಿನ ರಾಜಿ ಪ್ರಸ್ತುತಪಡಿಸುತ್ತವೆ.

ಈ ಫಲಿತಾಂಶಗಳು ನಮ್ಮ ಹಿಂದಿನ A100 ಚಾಲಿತ ಹಾರ್ಡ್‌ವೇರ್ ಸ್ಟ್ಯಾಕ್‌ನಲ್ಲಿ H100 GPU ಗಳಿಗೆ ಸಂಪೂರ್ಣ ಪರಿವರ್ತನೆಯ ಬಗ್ಗೆ ನಮಗೆ ವಿಶ್ವಾಸ ಮೂಡಿಸುತ್ತವೆ. NVIDIA ಜಾಹೀರಾತು ಮಾಡಿದ ಕಾರ್ಯಕ್ಷಮತೆಯ ಲಾಭಗಳನ್ನು ಖಚಿತಪಡಿಸಲು ನಮಗೆಲು ಉತ್ಸಾಹವಿದೆ ಮತ್ತು ವೇಗವರ್ಧಿತ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಅವರ ಮುಂದಿನ ಪ್ರಗತಿಗಾಗಿ ಎದುರು ನೋಡುತ್ತಿದ್ದೇವೆ.

ಮುಂದೇನು

ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಾಗಿ ನಮ್ಮ ಮುಂದಿನ ಗಡಿಯು ರಚನಾತ್ಮಕ ಸ್ಪಾರ್ಸಿಟಿ ಮತ್ತು int4 ನಿಖರತೆಯ ನಿಖರತೆ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯ ಪ್ರಭಾವವನ್ನು ಪರೀಕ್ಷಿಸುವುದಾಗಿದೆ, ಇದು Llama 2 70B ನ GPU ಮೆಮೊರಿ ಹೆಜ್ಜೆಗುರುತನ್ನು ಗಮನಾರ್ಹವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಸುಪ್ತತೆಯಲ್ಲಿ 2x ಸುಧಾರಣೆಗಳನ್ನು ನೀಡುತ್ತದೆ. ವೇಗವಾದ ಅನುಮಾನದ ಪ್ರಯಾಣವನ್ನು ಮುಂದುವರಿಸಲು ನಾವು ಉತ್ಸುಕರಾಗಿದ್ದೇವೆ ಮತ್ತು ನಮ್ಮ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ನಲ್ಲಿ ಶಕ್ತಿಶಾಲಿ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು ನಮ್ಮ ಬಳಕೆದಾರರಿಗೆ ಅಧಿಕಾರ ನೀಡಲು ನಾವು ಹಂಬಲಿಸುತ್ತೇವೆ.

ಸ್ವಲ್ಪ ಸಮಯದಲ್ಲಿ, pplx-api ದರ ಮಿತಿಯನ್ನು ತೆಗೆದುಹಾಕುತ್ತದೆ ಮತ್ತು ಇಂಟರ್ನೆಟ್-ಚಾಲಿತ LLM ಸೇರಿದಂತೆ ಹೆಚ್ಚಿನ ಕಸ್ಟಮ್ Perplexity LLM ಗಳನ್ನು ನೀಡುತ್ತದೆ.

perplexity.ai/pro ನಲ್ಲಿ Perplexity Pro ಗಾಗಿ ಸೈನ್ ಅಪ್ ಮಾಡಿ. ನಮ್ಮ ಅತ್ಯಾಧುನಿಕ pplx-api ಗೆ ಪ್ರವೇಶವನ್ನು ಪಡೆದುಕೊಳ್ಳಿ ಮತ್ತು ನಿಮ್ಮ ಯೋಜನೆಗಳಲ್ಲಿ ಈ ಸುಧಾರಿತ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಬಳಸಿ. ನಮ್ಮ ಬ್ಲಾಗ್ ನಲ್ಲಿ pplx-api ಕುರಿತು ಹೆಚ್ಚಿನದನ್ನು ಅನ್ವೇಷಿಸಿ.

AI ಭವಿಷ್ಯವನ್ನು ರೂಪಿಸಲು ಆಸಕ್ತಿ ಇದೆಯೇ? ನಾವು ನೇಮಕಾತಿ ಮಾಡಿಕೊಳ್ಳುತ್ತಿದ್ದೇವೆ! ದೊಡ್ಡ ಪ್ರಮಾಣದ, ಜೆನೆರೇಟಿವ್ LLM ಮೂಲಸೌಕರ್ಯವನ್ನು ಚಾಲನೆ ಮಾಡುವ ತಂಡದ ಭಾಗವಾಗಿರಿ. Perplexity Careers ನಲ್ಲಿ ಅವಕಾಶಗಳನ್ನು ಅನ್ವೇಷಿಸಿ.

ಲೇಖಕರು:

ಆರಾಶ್ ಹೇದಾರಿ, ಗ್ರಿಗೋರಿ ಅಲೆಕ್ಸೀವ್, ಕೆವಿನ್ ಹು, ಡೆನಿಸ್ ಯಾರಾಟ್ಸ್