NVIDIA H100 உடன் Llama 2 70B ஐ டர்போசார்ஜ் செய்தல்

விரைவுபடுத்தப்பட்ட LLM இன்ஃபரன்ஸின் பயணம்

The journey of accelerated LLM inference

Perplexity-ன் பதில் இயந்திரத்தில் செயல்திறனைத் தேடும் ஆர்வம், NVIDIA மற்றும் AWS வழங்கும் அதிநவீன தொழில்நுட்பத்தை ஏற்றுக்கொள்ளத் தூண்டுகிறது. இந்த வலைப்பதிவில், எங்களின் சமீபத்திய சோதனைகளின் முடிவுகளைப் பகிர்வதில் நாங்கள் பெருமைகொள்கிறோம்: பல்வேறு வன்பொருள் மற்றும் மென்பொருள் அமைப்புகளில் Llama 2 70B இன்ஃபரன்ஸின் ஒப்பீடு.

எங்களின் LLM இன்ஃபரன்ஸ் தளம், pplx-api, ஓப்பன் சோர்ஸ் நூலகங்களால் இயக்கப்படும் அதிநவீன ஸ்டாக் மீது கட்டமைக்கப்பட்டுள்ளது. அக்டோபரில் pplx-api இன் பப்ளிக் பீட்டா தொடங்கியதிலிருந்து, நாங்கள் அளவிடுதல் சவால்களை எதிர்கொண்டு வருகிறோம் மற்றும் பெரிய அளவில் எட்ட எங்களின் உள்ளமைவை எவ்வாறு சிறப்பாக மாற்றுவது என்பதைக் கற்றுக்கொள்கிறோம். இது பின்வரும் வழிகாட்டும் கேள்விகளுடன் சோதனைகளை நடத்த எங்களை வழிநடத்தியது:

மற்ற அனைத்து அமைப்புகளும் அப்படியே இருக்க, எங்கள் GPU-களை NVIDIA A100 இலிருந்து NVIDIA H100 ஆக மாற்றுவதன் மூலம் கிடைக்கும் நேரடி செயல்திறன் உயர்வு என்ன?

H100 எதற்கு நேட்டிவ் ஆதரவைச் சேர்க்கிறதோ, அந்த 8-பிட் மிதப்பு புள்ளி (fp8) குவாண்டைசேஷனின் செயல்திறன் உயர்வு என்ன? இந்த குவாண்டைசேஷனின் துல்லியச் செலவு என்ன?

டென்சார் பேரலலிசம் மற்றும் பேட்ச் அளவு எவ்வாறு லேட்டன்சி மற்றும் டோக்கன் த்ரூபுட்டைப் பாதிக்கின்றன?

மேற்கூற்றைக் கருத்தில் கொண்டு, எந்த உள்ளமைவு செயல்திறன் மற்றும் செலவு-செயல்திறனின் மிகவும் அளவிடக்கூடிய சமநிலையை அளிக்கிறது?

சோதனை அமைப்பு

நெட்வொர்க் தாமதத்தைத் தவிர்க்க, பின்வரும் சோதனையை உள்ளூர் பெஞ்ச்மார்க் தொடராக நடத்தினோம்.

முக்கிய மெட்ரிக்குகள்:

லேட்டன்சி: இன்ஃபரன்ஸ் சர்வர் தனது முழு பதிலையும் உருவாக்க எடுக்கும் மொத்த நேரம்.

த்ரூபுட்: இன்ஃபரன்ஸ் சர்வரால் அனைத்து பயனர்கள் மற்றும் கோரிக்கைகள் முழுவதும் வினாடிக்கு, ஒரு GPU-க்கு உருவாக்கப்படும் வெளியீட்டு டோக்கன்களின் எண்ணிக்கை.

மாறிலிகள் (Constants):

பின்வரும் காரணிகள் முக்கிய மெட்ரிக்குகளைப் பாதிக்கும், எனவே சோதனையின் பல்வேறு சோதனைகளில் அவற்றை நாங்கள் சீராக வைத்தோம்.

AI மாதிரி

LLM-இன் அளவோடு செயல்திறன் அதிகரிக்கிறது. கூடுதல் அளவுருக்களுக்கு அதிக கணக்கீடுகள் தேவைப்படுகின்றன, இதன் விளைவாக இன்ஃபரன்ஸ் மெதுவாகிறது. உதாரணமாக, மற்ற அமைப்புகள் சமமாக இருக்கும்போது Llama 2 13B ஆனது Llama 2 70B ஐ விட வேகமானது. மிகவும் திறமையான ஓப்பன் சோர்ஸ் மாடல்களுக்குச் சேவை செய்வதை நாங்கள் மேம்படுத்த விரும்புவதால், இந்த சோதனையில் Llama 2 70B உடன் ஒட்டிக்கொள்கிறோம்.

உள்ளீடு/வெளியீட்டு டோக்கன் தரவுத்தொகுப்பு

ஒவ்வொரு மாதிரி கோரிக்கை/பதில் ஜோதியிலும் உள்ள உள்ளீடு மற்றும் வெளியீட்டு டோக்கன்களின் அளவு செயல்திறன் அளவீடுகளைப் பாதிக்கலாம். பொதுவாக, வெளியீட்டு டோக்கன் உருவாக்கம் ஒட்டுமொத்த பதில் நேரத்தைக் கட்டுப்படுத்துகிறது. மாதிரி தரவு LLM இலிருந்து "ஆம்/இல்லை" பதில்களை மட்டுமேத் தூண்டும் போது, ​​LLM ஐக் கட்டுரைகளை எழுதச் கேட்கும் மாதிரிகளுடன் ஒப்பிடும்போது பதில் வேகமானதாக இருக்கும். எங்களின் தரவுத்தொகுப்பு 1024 உள்ளீட்டு டோக்கன்களைக் கொண்ட செயற்கைக் கோரிக்கைகளால் ஆனது, இது 512 வெளியீட்டு டோக்கன்களைத் தூண்டுகிறது. Llama2 70B இன் எங்கள் பொதுவான வரிசைப்படுத்தலில் காணப்பட்ட ட்ராஃபிக்கின் விநியோகத்துடன் பொருந்துமாறு இந்த விநியோகம் தேர்ந்தெடுக்கப்பட்டது.

மென்பொருள் பதிப்பு

NVIDIA TensorRT-LLM (வெளியீடு v0.5.0) என்பது LLM இன்ஃபரன்ஸை மேம்படுத்துவதற்கான ஒரு ஓப்பன் சோர்ஸ் நூலகமாகும். 2023 இன் பிற்பகுதியில் வெளியிடப்பட்டது, இது NVIDIA இன் பல இன்ஃபரன்ஸ் மேம்படுத்தல்களை ஒருங்கிணைக்கிறது மற்றும் இந்த சோதனையின் முக்கிய அளவுருக்களுக்கான நெகிழ்வான தனிப்பயனாக்கல் அடுக்கை வழங்குகிறது: பேட்ச் அளவு, குவாண்டைசேஷன் மற்றும் டென்சார் பேரலலிசம்.

மாறிகள்

டென்சார் பேரலலிசம், GPU கட்டமைப்பு, குவாண்டைசேஷன் மற்றும் அதிகபட்ச பேட்ச் அளவு ஆகிய 4 உள்ளமைவு அச்சுகளில் சோதனைகளை நடத்தினோம். GPU நினைவகத்தின் முக்கியமான பாட்டில்னக் வளம் தொடர்பான வர்த்தகத்தைக் குறிப்பதால் இந்த அச்சுகள் ஒன்றோடொன்று இணைக்கப்பட்டுள்ளன.

GPU கட்டமைப்பு

ஒன்பதாம் தலைமுறை ஹாப்பர் (H100-HBM3-80GB / p5.48xlarge) GPU கட்டமைப்பு அதன் முந்தைய பதிப்பான ஆம்பியர் (A100-SXM4-80GB / p4de.24xlarge) உடன் ஒப்பிடும்போது பெரிய அளவிலான அம்சங்களைக் கொண்டுள்ளது, இதில் 2x-6x கணக்கீட்டு விகிதங்கள் மற்றும் கிட்டத்தட்ட 2x GPU நினைவக அலைவரிசை ஆகியவை அடங்கும். GPU நினைவக அலைவரிசை என்பது இன்ஃபரன்ஸுக்கு ஒரு முக்கியமான மெட்ரிக் ஆகும், ஏனெனில் இன்ஃபரன்ஸின் மேட்ரிக்ஸ் பெருக்கலின் முதன்மையான லேட்டன்சி பாட்டில்னக் GPU நினைவகத்திலிருந்து கணக்கீட்டுப் பதிவேற்றங்களுக்கு மாதிரித் தரவின் ஜிகாபைட்ஸ் ஏற்றுவதிலிருந்து வருகிறது. இந்த புள்ளிவிவரங்களின் அடிப்படையில், NVIDIA H100 மற்றும் A100 இன் நேரடியான ஒப்பீடு லேட்டன்சி மற்றும் த்ரூபுட் இரண்டிலும் 2x மேம்பாட்டைக் காட்டும் என்று நாங்கள் அனுமானித்தோம்.

NVIDIA H100 மற்றும் A100 இடையே மற்றொரு முக்கிய வேறுபாடு என்னவென்றால், H100 டென்சார் கோர் சொந்தமாக 8-பிட் மிதப்பு புள்ளி (fp8) வழிமுறைகளுக்கான ஆதரவைச் சேர்க்கிறது, இது கீழே விவரிக்கப்பட்டுள்ள கூடுதல் மேம்படுத்தல்களுக்கு வழிவகுக்கிறது. அதனால்தான் H100 க்காக குறிப்பாக fp8 மற்றும் fp16 ஐப் பயன்படுத்துகிறோம்.

இந்த சோதனையில் ஒரு GPU-க்கான நினைவகத்தை சீராக வைத்திருக்க, எங்கள் NVIDIA A100 மற்றும் H100 இரண்டிற்கும் 8x80GB GPU நினைவகத்துடன் கூடிய முனைகளுடன் ஒட்டிக்கொண்டோம். அதிக பேட்ச் அளவுகளை இயக்குவதைத் தவிர, GPU நினைவகம் முக்கியமானது, ஏனெனில் விரைவான அணுகலுக்காக சர்வர் தொடக்கத்தின் போது மாதிரியின் அளவுருக்கள் GPU நினைவகத்தில் ஏற்றப்படுகின்றன. உதாரணமாக, எங்கள் மாடலில் உள்ள 70 பில்லியன் அளவுருக்களில் ஒவ்வொன்றும் 16-பிட் மிதப்பு புள்ளி எண்ணாக இருந்தால், மாடல் தோராயமாக 140GB அளவு இருக்கும், இது ஒரே GPU இல் பொருந்தாது. எனவே டென்சார் பேரலலிசத்தின் தேவை எழுகிறது, அதை கீழே விளக்குகிறோம்.

டென்சார் பேரலலிசம்

டென்சார் பேரலலிசம் என்பது இன்ஃபரன்ஸ் செர்வரை இயக்க நுகரப்படும் GPU சாதனங்களின் எண்ணிக்கையைக் குறிக்கிறது. நாம் பல GPU-களை ஒதுக்கினால், Llama2 70B ஐ இயக்குவதற்கான குறைந்தபட்சத் தேவையான நினைவக வரம்பை அடைய TensorRT-LLM அவற்றின் வளங்களை ஒன்றாக இணைக்கிறது. அதிக டென்சார் பேரலலிசத்துடன் ஒப்பிடும்போது குறைந்த டென்சார் பேரலலிசம் அதிக லேட்டன்சியையும் (ஒவ்வொரு தொகுதியையும் திருப்திப்படுத்த குறைவான வளங்கள் நுகரப்படுவதால்) ஆனால் GPU-க்கு அதிக த்ரூபுட்டையும் (சிறந்த பயன்பாடு காரணமாக) விளைவிக்கும் என்பதே எங்களின் அனுமானம்.

குவாண்டைசேஷன்

குவாண்டைசேஷன் என்பது நரம்பியல் வலைப்பின்னல்களால் பயன்படுத்தப்படும் எடைகள் மற்றும் ஆக்டிவேஷன்களில் உள்ள துல்லியத்தைக் குறைப்பதாகும். fp16 இலிருந்து fp8 க்கு மாறும்போது GPU நினைவக நுகர்வை பாதியாகக் குறைக்க இந்த நுட்பத்தைப் பயன்படுத்துகிறோம். இது குறைந்த மொத்த GPU நினைவக பயன்பாட்டுடன் அதே மாதிரியை இயக்க சாத்தியமாக்குகிறது, குறைந்த டென்சார் பேரலலிசத்தை செயல்படுத்துகிறது, இது த்ரூபுட்டை அதிகரிக்கிறது.

குவாண்டைசேஷனின் செயலாக்கங்கள் துல்லியத்தைக் குறைக்கும் திறனைக் கொண்டுள்ளன. எனவே, விக்கிடெக்ஸ்ட் கார்பஸில் ஒரு வாக்கியத்தில் அடுத்த டோக்கனை LLM எவ்வளவு நன்றாகக் கணிக்கிறது என்பதன் அளவீடான அவற்றின் பெர்ப்ளெக்சிட்டி புள்ளிவிவரத்தை ஒப்பிடுவதன் மூலம் வெவ்வேறு துல்லியங்களுக்கான துல்லியத்தை மதிப்பீடு செய்தோம். 8-பிட் மிதப்பு புள்ளி மற்றும் 8-பிட் வெயிட் வித் 8-பிட் ஆக்டிவேஷன் மற்றும் SmoothQuant (w8a8 SQ) ஆகியவற்றிற்கு, விக்கிடெக்ஸ்டில் உள்ள fp16 உடன் ஒப்பிடும்போது பெர்ப்ளெக்சித்தியில் குறிப்பிடத்தக்க மாற்றம் (< 1%) இல்லை, எனவே நாங்கள் தொடர আত্মநம்பிக்கையுடன் இருந்தோம். இருப்பினும், w4a16 ஆனது பெர்ப்ளெக்சித்தியில் கணிசமான 7% மாற்றத்தைக் காட்டியது, இது இன்னும் குறைந்த துல்லியம் மற்றும் int4 மற்றும் fp16 இடையே அவசியமான மாறும் மாற்றங்களுக்குக் காரணமாக இருக்கலாம்.

பேட்ச் அளவு

வள வரம்புக்குட்பட்ட அமைப்பிலிருந்து செயல்திறனைப் பெற பேட்ச்சிங் மூலமான பேரலலிசம் ஒரு உன்னதமான உத்தியாகும். நரம்பியல் வலைப்பின்னல் வழியாக ஒவ்வொரு ஃபார்வர்ட் பாஸிலும் பல கோரிக்கைகளை செயலாக்குவதன் மூலம், சில லேட்டன்சி செலவில் த்ரூபுட்டை அதிகரிக்கிறது என்று பேட்ச்சிங் அறியப்படுகிறது. கவன ஈர்ப்பு பொறிமுறையை நிர்வகிக்கும் KV கேச் இன் அளவு பேட்ச் அளவுடன் நேர்கோட்டில் வளர்வதால், பேட்ச்சிங் அதிக GPU நினைவக நுகர்வையும் ஏற்படுத்துகிறது.

Llama 2 70B இன் விஷயத்தில் (இது 80 அடுக்குகளைக் கொண்டுள்ளது), 4096 சூழல் அளவிற்கு 32 பேட்ச் அளவு கொண்ட fp16, KV கேச்சின் அளவு கணிசமான 40 GB ஆக வருகிறது. இது Llama 2 70B fp16 ஐத் தடுக்கிறது, இதன் எடைகள் மட்டுமே 140GB ஐ எடுத்துக்கொள்கின்றன, டென்சார் பேரலலிசம் 2 (TP-2) இல் கிடைக்கும் 160GB GPU நினைவகத்தில் வசதியாகப் பொருத்துவதைத் தடுக்கிறது.

முடிவுகள்

சோதனையின் 4 மாறிகளின் இணக்கமான சேர்க்கைகள் மூலம் நாங்கள் துடைத்து, கீழே மிகவும் நுண்ணறிவுள்ள போக்குகளை முன்வைக்கிறோம்.

படம் 1 - ஐந்து வெவ்வேறு உள்ளமைவுகளில் மாறுபட்ட பேட்ச் அளவைக் கொண்ட கோரிக்கைகளின் லேட்டன்சி, அனைத்தும் டென்சார் பேரலலிசம் 8 உடன், இது கிடைக்கக்கூடிய 8 GPU-களுடன் சிறந்த லேட்டன்சியை அளிக்கிறது. ஒவ்வொரு உள்ளமைவிலும், பேட்ச் அளவை 1 → 32 ஆக அதிகரிக்கும் போது லேட்டன்சி பொதுவாக இருமடங்காகிறது, மேலும் 32 → 128 இலிருந்து மீண்டும் இருமடங்காகிறது. போதுமான பெரிய பேட்ச் அளவுகளில், H100 ஆனது A100 உடன் ஒப்பிடும்போது லேட்டன்சியை தோராயமாக பாதியாகக் குறைக்கிறது. A100 கலப்பு துல்லியத்தைப் பயன்படுத்துகிறது, ஏனெனில் கட்டமைப்பில் fp8 க்கான நேட்டிவ் ஆதரவு இல்லை. SmoothQuant (SQ) உடன் கூடிய w8a8 என்பது fp8 ஐப் போன்றது.

H100 fp16 → fp8 மற்றும் A100 fp16 → SmoothQuant உடன் w8a8 ஆகியவற்றை ஒப்பிடும்போது குவாண்டைசேஷனின் லேட்டன்சி முன்னேற்றம் 10% அளவில் உள்ளது. இருப்பினும், கலப்பு துல்லியம் w4a16 உண்மையில் குறைந்த பேட்ச் அளவுகளில் சிறப்பாகச் செயல்படுகிறது மற்றும் fp16 உடன் ஒப்பிடும்போது அதிக பேட்ச் அளவுகளில் மோசமாகச் செயல்படுகிறது. இது குறைவான உகந்த கணக்கீட்டு கர்னல்கள், int4 மற்றும் fp16 இடையே காஸ்டிங் நேரம் மற்றும் w4a16 இன்னும் ஆக்டிவேஷன்களுக்கு 16-பிட் மிதப்பு புள்ளிகளைப் பயன்படுத்துகிறது, இதன் விளைவாக KV கேச்சின் பரிமாணங்களில் சேமிப்பு இல்லை போன்ற பல காரணிகளால் இருக்கலாம். w4a16 குறைந்த துல்லியத்தையும் காட்டியதால், A100-களுக்கு w8a8 SQ மற்றும் H100-களுக்கு fp8 உடன் ஒட்டிக்கொள்ள வேண்டும் என்று நாங்கள் முடிவு செய்கிறோம்.

படம் 2 - வெவ்வேறு கட்டமைப்பு, குவாண்டைசேஷன் மற்றும் பேட்ச் அளவு கொண்ட TP-8 உள்ளமைவுகளில் த்ரூபுட். ஒவ்வொரு கட்டமைப்பு மற்றும் குவாண்டைசேஷனுக்கும், 25600ms (512 டோக்கன்களுக்கு வினாடிக்கு 20 டோக்கன்கள்) லேட்டன்சி தேவையை மதிக்கும் மிகப்பெரியதாக பேட்ச் அளவு தேர்ந்தெடுக்கப்பட்டது, இதனால் ஒத்த லேட்டன்சியைக் கொண்ட உள்ளமைவுகளை ஒப்பிடுகிறோம். இந்தத் தேவையின் கீழ், BS-128 ஐக் கொண்ட H100 ஆனது அதே குவாண்டைசேஷனைப் (fp16) பயன்படுத்தும் A100 BS-64 உடன் ஒப்பிடும்போது 228% த்ரூபுட்டை அடைகிறது மற்றும் பேட்ச் அளவு இரட்டிப்பாகியிருந்தாலும் குறைந்த பதில் லேட்டன்சியைக் கொண்டுள்ளது. fp8 உடன் குவாண்டைசேஷன் இந்த காரணியை 251% ஆக மேம்படுத்துகிறது.

எங்களின் முதல் இரண்டு படங்களில், நாங்கள் TP-8 இன் உள்ளமைவுகளை மட்டுமே முன்வைக்கிறோம். இரண்டும் fp16 / BS-128 / TP-8 ஐப் பயன்படுத்தும் போது H100 ஆனது A100 உடன் ஒப்பிடும்போது 54% லேட்டன்சி மற்றும் 184% த்ரூபுட்டை அடைகிறது, இது H100 இல் fp8 ஐப் பயன்படுத்தும் போது 49% லேட்டன்சி மற்றும் 202% த்ரூபுட் என மேம்படுகிறது. செயல்திறனில் இந்த முன்னேற்றம் H100 மற்றும் A100 இடையே கணக்கீட்டு சக்தி மற்றும் நினைவக அலைவரிசை அதிகரிப்புகளுக்குக் காரணமாக இருக்கலாம். குறிப்பாக, குறைந்த பேட்ச் அளவுகளில் பயன்பாடு குறைவாக இருக்கக்கூடிய இடங்களில் இந்த வேறுபாடு குறைவாகவே உச்சரிக்கப்படுகிறது.

எங்கள் தளத்தை நாங்கள் உருவாக்கும்போது, ​​த்ரூபுட்டை அதிகரிக்கும் அதே வேளையில் எங்கள் பயனர்களுக்கு சில லேட்டன்சி தேவைகளை மதிக்க விரும்புகிறோம். எனவே, அதே பேட்ச் அளவில் A100 மற்றும் H100 ஐ ஒப்பிடுவதை விட, லேட்டன்சி தேவையை அவை பூர்த்தி செய்யும் உள்ளமைவுகளின் கீழ் மட்டுமே அவற்றின் த்ரூபுட்டை ஒப்பிடுவது உண்மையில் மிகவும் அர்த்தமுள்ளதாக இருக்கிறது. 512 வெளியீட்டு டோக்கன்களை முடிப்பதற்கான 25600ms லேட்டன்சியில் ஒரு கட்ஆப்பை அமைத்தோம் மற்றும் H100 / TP-8 / fp8 / BS-128 ஆனது A100 / TP-8 / fp16 / BS-64 உடன் ஒப்பிடும்போது 251% த்ரூபுட்டை அளிக்கிறது என்பதைக் கண்டறிந்தோம், ஏனெனில் இது குறைந்த லேட்டன்சியில் இரட்டை பேட்ச் அளவை செயலாக்க முடியும். குவாண்டைசேஷன் GPU நினைவக சேமிப்பை வழங்குகிறது என்பதைக் கருத்தில் கொண்டு, டென்சார் பேரலலிசம் எவ்வாறு அடுத்த கட்ட உகப்பாக்கத்தைச் சேர்க்கலாம் என்பதை இப்போது நாம் மதிப்பீடு செய்ய வேண்டும்.

படம் 3 - H100 fp8 க்கான மாறுபட்ட பேட்ச் அளவுகள் மற்றும் டென்சார் பேரலலிசம் முழுவதும் லேட்டன்சி. பேட்ச் அளவை 1 → 32 ஆக அதிகரிக்கும் போது லேட்டன்சி பொதுவாக இருமடங்காகிறது, மேலும் 32 → 128 இலிருந்து மீண்டும் இருமடங்காகிறது. பேட்ச் அளவுகள் சமமாக இருக்கும்போது TP-2 தொடர்ந்து TP-8 ஐ விட தோராயமாக இரண்டு மடங்கு மெதுவாக இருக்கும். GPU-களுக்கு செயலாக்கப்பட்ட தொகுதிகளின் எண்ணிக்கை சீராக இருப்பதால், பேட்ச் அளவை இரட்டிப்பாக்கும் போது டென்சார் பேரலலிசத்தை இரட்டிப்பாக்குவது லேட்டன்சியை ஒப்பீட்டளவில் நிலையானதாக வைத்திருக்கிறது.

குவாண்டைசேஷன் மற்றும் கட்டமைப்பு என்று வரும்போது, தெளிவான வெற்றியாளர்கள் உள்ளனர்: H100 A100 ஐ ஆதிக்கம் செலுத்துகிறது மற்றும் குறைந்த துல்லிய குவாண்டைசேஷன் நினைவக பயன்பாடு, லேட்டன்சி மற்றும் த்ரூபுட்டை மேம்படுத்துகிறது. இருப்பினும், பேட்ச் அளவு மற்றும் டென்சார் பேரலலிசம் எங்கள் முக்கிய மெட்ரிக்குகளில் ஒரு வர்த்தகத்தை வழங்குகின்றன. ஒரு பெரிய பேட்ச் அளவு அதிகரித்த லேட்டன்சி மற்றும் நினைவக நுகர்வு விலையில் த்ரூபுட்டை உகந்ததாக்குகிறது. மறுபுறம், அதிக டென்சார் பேரலலிசம் கிடைக்கும் நினைவகத்தின் ஒட்டுமொத்த அளவை அதிகரிக்கிறது மற்றும் லேட்டன்சிக்காக உகந்ததாக்குகிறது, ஆனால் விநியோகிக்கப்பட்ட மேட்ரிக்ஸ் பெருக்கலின் ஒத்திசைவு செலவுகள் காரணமாகவும், அதிக GPU வளங்களை பூட்டுவதன் மூலமாகவும் த்ரூபுட்டுடன் வர்த்தகம் செய்கிறது.

படம் 4 - H100 fp8 க்கான மாறுபட்ட பேட்ச் அளவுகள் மற்றும் டென்சார் பேரலலிசம் முழுவதும் த்ரூபுட். A100/TP-8/fp16/BS-64 இன் அடிப்படை வரியுடன் ஒப்பிடும்போது, ​​மிக உயர்ந்த த்ரூபுட் TP-2 BS-128 இலிருந்து வருகிறது, இது 460% ஆகும். இருப்பினும், TP-2 BS-128 என்பது படம் 3 இல் உள்ள மிக மெதுவான விளைவு ஆகும்.

எங்கள் சோதனையின் த்ரூபுட்டை அதிகரிக்கும் உள்ளமைவு H100 / fp8 / TP-2 / BS-128 ஆகும், இது GPU-க்கு வினாடிக்கு 767 வெளியீட்டு டோக்கன்கள் ஆகும். இது A100 / fp16 / TP-8 / BS-64 ஐ விட 460% முன்னேற்றமாகும். இருப்பினும், இது இரட்டிப்பாக்கப்பட்ட லேட்டன்சி செலவில் வருகிறது - 512 வெளியீட்டு டோக்கன்களுக்கு 42000msக்கு அருகில் - எனவே இது ஒரு தயாரிப்பு உள்ளமைவாக பொருத்தமற்றதாக இருக்கலாம். TP-4 BS-128 (26188ms பதில் நேரத்தில் 626 tok/sec/gpu) மற்றும் TP-2 BS-32 (18821ms பதில் நேரத்தில் 435 tok/sec/gpu) ஆகியவற்றின் முடிவுகள் எங்கள் முக்கிய மெட்ரிக்குகளில் சிறந்த வர்த்தகங்களைக் குறிக்கலாம்.

முடிவுரை

எங்கள் முடிவுகள் பின்வருவனவற்றைக் காட்டுகின்றன:

ஒரே மாதிரியான உள்ளமைவைக் கருத்தில் கொண்டு A100 உடன் ஒப்பிடும்போது H100 ஐப் பயன்படுத்தி 54% லேட்டன்சி மற்றும் 184% த்ரூபுட்டை அடைகிறோம், H100 அதன் நேட்டிவ் ஆதரவை fp8 க்குப் பயன்படுத்திக் கொள்ளும்போது இது முறையே 49% மற்றும் 202% ஆக மேம்படுகிறது.

லேட்டன்சி கட்டுப்பாட்டிற்கு உட்பட்டு த்ரூபுட்டை அதிகரிக்கும் போது, ​​H100 / fp8 / TP-8 / BS-128 ஆனது A100 / fp16 / TP-8 / BS-64 உடன் ஒப்பிடும்போது 251% த்ரூபுட்டை அளிக்கிறது, ஏனெனில் இது இரட்டை தொகுதியை வேகமாக செயலாக்க முடியும்.

fp8 உடன் TP-2 ஐக் கொண்ட H100 ஐப் பயன்படுத்திக் கொண்டு, A100 / fp16 / TP-8 / BS-128 இன் த்ரூபுட்டைப் போல 373% அடையலாம், லேட்டன்சியில் 10% க்கும் குறைவான அதிகரிப்புடன்.

பேட்ச் அளவு மற்றும் டென்சார் பேரலலிசம் ஒரு LLM இன்ஃபரன்ஸ் அமைப்பின் இயக்குநருக்கு த்ரூபுட் மற்றும் லேட்டன்சிக்கு இடையே ஒரு வர்த்தகத்தை வழங்குகின்றன.

இந்த முடிவுகள் எங்கள் முன்பு A100 இயக்கப்படும் வன்பொருள் ஸ்டாக்கில் H100 GPU-களுக்கு முழுமையான மாற்றத்தைச் செய்வது குறித்து எங்களுக்கு சுயநம்பிக்கையை அளிக்கின்றன. NVIDIA ஆல் விளம்பரப்படுத்தப்பட்ட செயல்திறன் உயர்வுகளை உறுதிப்படுத்த முடிவதில் நாங்கள் மகிழ்ச்சியடைகிறோம் மற்றும் விரைவுபடுத்தப்பட்ட வன்பொருளில் அவர்களின் அடுத்த திருப்புமுனைகளை எதிர்பார்த்துக் காத்திருக்கிறோம்.

அடுத்து என்ன

உகப்பாக்கத்திற்கான எங்கள் அடுத்த எல்லை கட்டமைக்கப்பட்ட ஸ்பார்சிட்டி மற்றும் int4 துல்லியத்தின் துல்லியம் மற்றும் செயல்திறன் தாக்கத்தை ஆராய்வதாகும், இது Llama 2 70B இன் GPU நினைவக தடயத்தை கணிசமாகக் குறைக்கலாம் மற்றும் லேட்டன்சியில் 2x வரை மேம்பாடுகளைத் தரலாம். மின்னல் வேக இன்ஃபரன்ஸ் பயணத்தைத் தொடர்வதில் நாங்கள் மகிழ்ச்சியடைகிறோம் மற்றும் எங்கள் தளத்தின் மேல் சக்திவாய்ந்த பயன்பாடுகளை உருவாக்க எங்கள் பயனர்களை அதிகாரம் செய்வோம் என்று நம்புகிறோம்.

அதிவேக காலத்தில், pplx-api கட்டண வரம்புகளை நீக்கும் மற்றும் உண்மைகளுக்கான கிரவுண்டிங்குடன் கூடிய இணையம் மூலம் இயங்கும் LLM உட்பட மேலும் தனிப்பயன் Perplexity LLM-களை வழங்கும்.

perplexity.ai/pro இல் Perplexity Pro க்கு பதிவுபெறுக. எங்களின் அதிநவீன pplx-apiக்கான அணுகலைப் பெற்று, உங்கள் திட்டங்களில் இந்த மேம்பட்ட திறன்களைப் பயன்படுத்துங்கள். எங்கள் வலைப்பதிவில் pplx-api ஐப் பற்றி மேலும் கண்டறியவும்.

AI இன் எதிர்காலத்தை வடிவமைப்பதில் ஆர்வம் உள்ளதா? நாங்கள் ஆட்களைத் தேடுகிறோம்! பெரிய அளவிலான, ஜெனரேட்டிவ் LLM உள்கட்டமைப்பை இயக்கும் குழுவின் ஒரு பகுதியாக இருங்கள். Perplexity Careers இல் வாய்ப்புகளை ஆராயுங்கள்.

ஆசிரியர்கள்:

ஆராஷ் ஹேய்டாரி, கிரிகோரி அலெக்ஸீவ், கெவின் ஹு, டெனிஸ் யாராட்ஸ்