NVIDIA H100తో Llama 2 70Bని టర్బోఛార్జింగ్ చేయడం

Perplexity యొక్క ఆన్సరింగ్ ఇంజిన్‌లో పనితీరును మెరుగుపరచాలనే మా తపన, NVIDIA మరియు AWS అందించే తాజా టెక్నాలజీని స్వీకరించేలా మాకు ప్రేరేపిస్తుంది. ఈ బ్లాగ్‌లో, మా తాజా ప్రయోగాల ఫలితాలను పంచుకోవడానికి మేము సంతోషిస్తున్నాము: వివిధ హార్డ్‌వేర్ మరియు సాఫ్ట్‌వేర్ సెట్టింగ్‌లలో Llama 2 70B ఇన్‌ఫరెన్స్ యొక్క పోలిక.

మా LLM ఇన్‌ఫరెన్స్ ప్లాట్‌ఫారమ్, pplx-api, ఓపెన్ సోర్స్ లైబ్రరీల ద్వారా శక్తినిచ్చే అత్యాధునిక స్టాక్‌పై నిర్మించబడింది. అక్టోబర్‌లో pplx-api పబ్లిక్ బీటా ప్రారంభమైనప్పటి నుండి, మేము స్కేలింగ్ సవాళ్లను ఎదుర్కొంటున్నాము మరియు భారీ స్థాయిలో సాధించడానికి మా కాన్ఫిగరేషన్‌ను ఎలా ఉత్తమంగా ట్యూన్ చేయాలో తెలుసుకుంటున్నాము. ఇది క్రింది మార్గదర్శక ప్రశ్నలతో ప్రయోగాలు చేయడానికి మాకు దారితీసింది:

ఇతర సెట్టింగ్‌లన్నీ అలాగే ఉంచి, మా GPUలను NVIDIA A100 నుండి NVIDIA H100కి మార్చడం వల్ల కలిగే ముడి పనితీరు లాభం ఏమిటి?

H100 స్థానికంగా మద్దతు ఇచ్చే 8-బిట్ ఫ్లోటింగ్ పాయింట్ (fp8) క్వాంటైజేషన్ యొక్క సామర్థ్య లాభం ఏమిటి? ఈ క్వాంటైజేషన్ యొక్క ఖచ్చితత్వ వ్యయం ఎంత?

టెన్సార్ ప్యారెలెలిజమ్ మరియు బ్యాచ్ సైజ్ లేటెన్సీ మరియు టోకెన్ త్రూపుట్‌ను ఎలా ప్రభావితం చేస్తాయి?

పైవాటిని పరిగణనలోకి తీసుకుంటే, ఏ కాన్ఫిగరేషన్ పనితీరు మరియు ఖర్చు-సామర్థ్యం యొక్క అత్యంత స్కేలబుల్ బ్యాలెన్స్‌ను అందిస్తుంది?

నెట్‌వర్క్ లేటెన్సీని నివారించడానికి మేము కింది ప్రయోగాన్ని స్థానిక బెంచ్‌మార్క్‌ల శ్రేణిగా నిర్వహించాము.

లేటెన్సీ (Latency): ఇన్‌ఫరెన్స్ సర్వర్ దాని పూర్తి ప్రతిస్పందనను రూపొందించడానికి పట్టే మొత్తం సమయం.

త్రూపుట్ (Throughput): ఇన్‌ఫరెన్స్ సర్వర్ అన్ని వినియోగదారులు మరియు అభ్యర్థనలలో ప్రతి సెకనుకు, ప్రతి GPUకి ఉత్పత్తి చేయగల అవుట్‌పుట్ టోకెన్‌ల సంఖ్య.

కింది కారకాలు కీలక కొలమానాలను ప్రభావితం చేస్తాయి, కాబట్టి మేము ప్రయోగం యొక్క వివిధ ట్రయల్స్‌లో వాటిని స్థిరంగా ఉంచాము.

LLM పరిమాణంతో పనితీరు మారుతుంది. ఎక్కువ పారామీటర్‌లకు ఎక్కువ గణనలు అవసరం, ఫలితంగా నెమ్మదిగా ఇన్‌ఫరెన్స్ జరుగుతుంది. ఉదాహరణకు, ఇతర సెట్టింగ్‌లు సమానంగా ఉన్నప్పుడు Llama 2 13B కంటే Llama 2 70B వేగంగా ఉంటుంది. అత్యంత సామర్థ్యం గల ఓపెన్ సోర్స్ మోడళ్లకు సేవలను అందించడానికి మేము ఆప్టిమైజ్ చేయాలనుకుంటున్నందున మేము ఈ ప్రయోగంలో Llama 2 70Bకి కట్టుబడి ఉంటాము.

ప్రతి నమూనా అభ్యర్థన/ప్రతిస్పందన జతలోని ఇన్‌పుట్ మరియు అవుట్‌పుట్ టోకెన్‌ల మొత్తం పనితీరు కొలతలను ప్రభావితం చేస్తుంది. సాధారణంగా, అవుట్‌పుట్ టోకెన్ జనరేషన్ మొత్తం ప్రతిస్పందన సమయాన్ని ప్రభావితం చేస్తుంది. డేటాను నమూనా చేసేటప్పుడు LLM నుండి “అవును/కాదు” ప్రతిస్పందనలను మాత్రమే ప్రేరేపిస్తే, వ్యాసాలు రాయమని LLMని కోరే నమూనాలతో పోలిస్తే ప్రతిస్పందన వేగంగా ఉంటుంది. మా డేటాసెట్ 512 అవుట్‌పుట్ టోకెన్‌లను ప్రేరేపించే 1024 ఇన్‌పుట్ టోకెన్‌లతో కూడిన సింథటిక్ అభ్యర్థనలతో రూపొందించబడింది. Llama2 70B యొక్క మా పబ్లిక్ డిప్లాయ్‌మెంట్‌లో గమనించిన ట్రాఫిక్ పంపిణీకి సరిపోయేలా ఈ పంపిణీ ఎంపిక చేయబడింది.

NVIDIA TensorRT-LLM (విడుదల v0.5.0) అనేది LLM ఇన్‌ఫరెన్స్‌ను ఆప్టిమైజ్ చేయడానికి ఒక ఓపెన్ సోర్స్ లైబ్రరీ. 2023 చివరిలో విడుదల చేయబడింది, ఇది NVIDIA యొక్క అనేక ఇన్‌ఫరెన్స్ ఆప్టిమైజేషన్‌లను సంశ్లేషణ చేస్తుంది మరియు ఈ ప్రయోగం యొక్క కీలక పారామీటర్‌ల కోసం అనుకూలీకరణ యొక్క సౌకర్యవంతమైన పొరను అందిస్తుంది: బ్యాచ్ పరిమాణం, క్వాంటైజేషన్ మరియు టెన్సార్ ప్యారెలెలిజమ్.

మేము కాన్ఫిగరేషన్ యొక్క 4 అక్షాలపై ప్రయోగాలు చేసాము: టెన్సార్ ప్యారెలెలిజమ్, GPU ఆర్కిటెక్చర్, క్వాంటైజేషన్ మరియు గరిష్ట బ్యాచ్ పరిమాణం. ఈ అక్షాలు ఒకదానితో ఒకటి అనుసంధానించబడి ఉన్నాయి ఎందుకంటే అవి ప్రతి ఒక్కటి GPU మెమరీ యొక్క కీలకమైన బాటిల్‌నెక్ వనరుకు సంబంధించి ట్రేడ్‌ఆఫ్‌ను సూచిస్తాయి.

తొమ్మిదవ తరగతి హాప్పర్ (Hopper) (H100-HBM3-80GB / p5.48xlarge) GPU ఆర్కిటెక్చర్ దాని పూర్వీకమైన ఆంపియర్ (Ampere) (A100-SXM4-80GB / p4de.24xlarge) కంటే 2x-6x గణన రేట్లు మరియు దాదాపు 2x GPU మెమరీ బ్యాండ్‌విడ్త్‌తో సహా భారీ జాబితా ఫీచర్‌లను కలిగి ఉంది. GPU మెమరీ బ్యాండ్‌విడ్త్ ఇన్‌ఫరెన్స్‌కు కీలకమైన కొమానంగా ఉంది, ఎందుకంటే ఇన్‌ఫరెన్స్ యొక్క మ్యాట్రిక్స్ గుణకారాల యొక్క ప్రాథమిక లేటెన్సీ బాటిల్‌నెక్ GPU మెమరీ నుండి కంప్యూట్ రిజిస్టర్‌లకు మోడల్ డేటా యొక్క గిగాబైట్‌లను లోడ్ చేయడం నుండి వస్తుంది. ఈ గణాంకాల ఆధారമായി, NVIDIA H100 మరియు A100 యొక్క యాపిల్స్-టు-యాపిల్స్ పోలిక లేటెన్సీ మరియు త్రూపుట్ రెండింటిలోనూ 2x మెరుగుదలను ప్రదర్శిస్తుందని మేము गृహీతము చేసాము.

NVIDIA H100 మరియు A100 మధ్య మరొక ముఖ్యమైన వ్యత్యాసం ఏమిటంటే, H100 టెన్సార్ కోర్ స్థానికంగా 8-బిట్ ఫ్లోటింగ్ పాయింట్ (fp8) సూచనలకు మద్దతును జోడిస్తుంది, ఇది క్రింద వివరించిన తదుపరి ఆప్టిమైజేషన్‌లకు తలుపులు తెరుస్తుంది. అందుకే మేము ప్రత్యేకంగా H100 కోసం fp8 మరియు fp16ని ఉపయోగిస్తాము.

ఈ ప్రయోగంలో ప్రతి GPUకి మెమరీని స్థిరంగా ఉంచడానికి, మేము మా NVIDIA A100లు మరియు H100లు రెండింటి కోసం 8x80GB GPU మెమరీ ఉన్న నోడ్‌లకు కట్టుబడి ఉన్నాము. అధిక బ్యాచ్ పరిమాణాలను ప్రారంభించడంతో పాటు, GPU మెమరీ ముఖ్యం ఎందుకంటే త్వరిత ప్రాప్యత కోసం సర్వర్ ప్రారంభ సమయంలో మోడల్ యొక్క పారామీటర్‌లు GPU మెమరీలోకి లోడ్ చేయబడతాయి. ఉదాహరణకు, మా మోడల్‌లోని 70 బిలియన్ పారామీటర్‌లలో ప్రతి ఒక్కటి 16-బిట్ ఫ్లోటింగ్ పాయింట్ నంబർ అయితే, మోడల్ పరిమాణం దాదాపు 140GB ఉంటుంది, ఇది ఒకే GPUలో సరిపోదు. అందుకే టెన్సార్ ప్యారెలెలిజమ్ అవసరం, దానిని మేము క్రింద వివరిస్తాము.

టెన్సార్ ప్యారెలెలిజమ్ అనేది ఇన్‌ఫరెన్స్ సర్వర్‌ను రన్ చేయడానికి వినియోగించబడే GPU పరికరాల సంఖ్యను సూచిస్తుంది. మేము అనేక GPUలను కేటాయించినప్పుడు, Llama2 70Bని రన్ చేయడానికి అవసరమైన కనీస మెమరీ బడ్జెట్‌ను చేరుకోవడానికి TensorRT-LLM వాటి వనరులను ఒకచోట చేర్చుతుంది. మా హైపోథెసిస్ ఏమిటంటే, అధిక టెన్సార్ ప్యారెలెలిజమ్‌తో పోల్చినప్పుడు తక్కువ టెన్సార్ ప్యారెలెలిజమ్ అధిక లేటెన్సీకి (ప్రతి బ్యాచ్‌ను సంతృప్తి పరచడానికి తక్కువ వనరులు వినియోగించబడటం వల్ల) కానీ ప్రతి GPUకి ఎక్కువ త్రూపుట్‌కు (మెరుగైన వినియోగం కారణంగా) దారితీస్తుంది.

క్వాంటైజేషన్ అనేది న్యూరల్ నెట్‌వర్క్‌లు ఉపయోగించే వెయిట్స్ మరియు యాక్టివేషన్లలో ఖచ్చితత్వాన్ని తగ్గించడం. మేము fp16 నుండి fp8కి మారినప్పుడు GPU మెమరీ వినియోగాన్ని సగానికి తగ్గించడానికి ఈ సాంకేతికతను ఉపయోగిస్తాము. ఇది తక్కువ మొత్తం GPU మెమరీ వినియోగంతో అదే మోడల్‌ను అమలు చేయడం సాధ్యం చేస్తుంది, తక్కువ టెన్సార్ ప్యారెలెలిజమ్‌ను सक्षम చేస్తుంది, ఇది త్రూపుట్‌ను పెంచుతుంది.

క్వాంటైజేషన్ యొక్క అమలులు ఖచ్చితత్వాన్ని తగ్గించే సామర్థ్యాన్ని కలిగి ఉంటాయి. అందువల్ల, WikiText కార్పస్‌పై వాக்கியంలోని ప్రతి తదుపరి టోకెన్‌ను LLM ఎంత బాగా అంచనా వేస్తుందో కొలిచే కొమానం అయిన వాటి పెర్ప్లెక్సిటీ గణాంకాలను పోల్చడం ద్వారా మేము వివిధ ఖచ్చితత్వాల కోసం ఖచ్చితత్వాన్ని అంచనా వేసాము. 8-బిట్ ఫ్లోటింగ్ పాయింట్ మరియు 8-బిట్ వెయిట్ విత్ 8-బిట్ యాక్టివేషన్ అండ్ స్మూత్‌క్వాంట్ (w8a8 SQ) కోసం, WikiTextపై fp16తో పోలిస్తే పెర్ప్లెక్సిటీలో ఎలాంటి గణనీయమైన మార్పు లేదు (< 1%), కాబట్టి మేము ముందుకు వెళ్లడానికి నమ్మకంగా ఉన్నాము. అయితే, w4a16 పెర్ప్లెక్సిటీలో గణనీయమైన 7% మార్పును ప్రదర్శించింది, బహుశా ఇంకా తక్కువ ఖచ్చితత్వం మరియు int4 మరియు fp16 మధ్య అవసరమైన డైనమిక్ మార్పిడిల కారణంగా ఇది జరిగి ఉండవచ్చు.

వనరుల పరిమిత వ్యవస్థ నుండి పనితీరును పిండడానికి బ్యాచింగ్ ద్వారా ప్యారెలెలిజమ్ ఒక క్లాసికల్ వ్యూహం. న్యూరల్ నెట్‌వర్క్ ద్వారా ప్రతి ఫార్వర్డ్ పాస్‌లో బహుళ అభ్యర్థనలను ప్రాసెస్ చేయడం ద్వారా, కొంత లేటెన్సీ ఖర్చుతో త్రూపుట్‌ను పెంచడానికి బ్యాచింగ్ పిలువబడుతుంది. అటెన్షన్ మెకానిజాన్ని నిర్వహించే KV కాష్ పరిమాణం బ్యాచ్ పరిమాణంతో రేఖీయంగా పెరుగుతుంది కాబట్టి బ్యాచింగ్ ఎక్కువ GPU మెమరీ వినియోగాన్ని కూడా కలిగిస్తుంది.

Llama 2 70B (ఇది 80 లేయర్‌లను కలిగి ఉంది) విషయంలో, 4096 కాంటెక్స్ట్ సైజ్ కోసం బ్యాచ్ సైజ్ 32 కలిగిన fp16, KV కాష్ పరిమాణం గణనీయంగా 40 GBకి వస్తుంది. ఇది Llama 2 70B fp16ని నిరోధిస్తుంది, దీని వెయిట్స్ మాత్రమే 140GBని ఆక్రమిస్తాయి, టెన్సార్ ప్యారెలెలిజమ్ 2 (TP-2) వద్ద అందుబాటులో ఉన్న 160GB GPU మెమరీలో హాయిగా సరిపోకుండా చేస్తుంది.

మేము ప్రయోగం యొక్క 4 వేరియబుల్స్ యొక్క అనుకూల కలయికల ద్వారా పరిశీలించాము మరియు అత్యంత అంతర్దృష్టి గల పోకడలను క్రింద అందిస్తున్నాము.

చిత్రం 1 - ఐదు వేర్వేరు కాన్ఫిగరేషన్‌లలో వివిధ బ్యాచ్ పరిమాణాలతో కూడిన అభ్యర్థనల లేటెన్సీ, అన్నీ టెన్సార్ ప్యారెలెలిజమ్ 8తో ఉంటాయి, ఇది అందుబాటులో ఉన్న 8 GPUలతో ఉత్తమ లేటెన్సీని ఇస్తుంది. ప్రతి కాన్ఫిగరేషన్‌లో, బ్యాచ్ పరిమాణాన్ని 1 నుండి 32కి పెంచినప్పుడు లేటెన్సీ సాధారణంగా రెట్టింపు అవుతుంది మరియు 32 నుండి 128కి మళ్లీ రెట్టింపు అవుతుంది. తగినంత పెద్ద బ్యాచ్ పరిమాణాలపై, H100 A100తో పోలిస్తే లేటెన్సీని సుమారుగా సగానికి తగ్గిస్తుంది. ఆర్కిటెక్చర్‌లో fp8కి స్థానిక మద్దతు లేనందున A100 మిశ్రమ ఖచ్చితత్వాన్ని ఉపయోగిస్తుంది. స్మూత్‌క్వాంట్ (SQ)తో కూడిన w8a8 fp8ని పోలి ఉండేలా ఉద్దేశించబడింది.

H100 fp16 → fp8 మరియు A100 fp16 → w8a8 విత్ స్మూత్‌క్వాంట్‌లను పోల్చినప్పుడు క్వాంటైజేషన్ యొక్క లేటెన్సీ మెరుగుదల 10% పరిసరాల్లో ఉంటుంది. అయినప్పటికీ, మిశ్రమ ఖచ్చితత్వం w4a16 వాస్తవానికి తక్కువ బ్యాచ్ పరిమాణాలలో మెరుగ్గా పని చేస్తుంది మరియు fp16తో పోలిస్తే అధిక బ్యాచ్ పరిమాణాలలో అధ్వాన్నంగా పని చేస్తుంది. తక్కువ ఆప్టిమైజ్ చేయబడిన కంప్యూట్ కెర్నల్స్, int4 మరియు fp16 మధ్య కాస్టింగ్ సమయం మరియు w4a16 ఇప్పటికీ యాక్టివేషన్ల కోసం 16-బిట్ ఫ్లోటింగ్ పాయింట్‌లను ఉపయోగిస్తుంది, ఫలితంగా KV కాష్ పరిమాణాలలో ఎటువంటి ఆదా ఉండదు వంటి అనేక కారకాల వల్ల ఇది జరిగి ఉండవచ్చు. w4a16 కూడా తక్కువ ఖచ్చితత్వాన్ని ప్రదర్శించినందున, మేము A100ల కోసం w8a8 SQకి మరియు H100ల కోసం fp8కి కట్టుబడి ఉండాలని మేము నిర్ధారించాము.

చిత్రం 2 - వివిధ ఆర్కిటెక్చర్, క్వాంటైజేషన్ మరియు బ్యాచ్ పరిమాణంతో TP-8 కాన్ఫిగరేషన్‌లలో త్రూపుట్. ప్రతి ఆర్కిటెక్చర్ మరియు క్వాంటైజేషన్ కోసం, 25600ms (512 టోకెన్‌లకు సెకనుకు 20 టోకెన్లు) లేటెన్సీ అవసరానికి కట్టుబడి ఉండే అతిపెద్ద బ్యాచ్ పరిమాణం ఎంపిక చేయబడింది, తద్వారా మేము ఇలాంటి లేటెన్సీని కలిగి ఉన్న కాన్ఫిగరేషన్‌లను పోల్చవచ్చు. ఈ అవసరం ప్రకారం, BS-128తో కూడిన H100 అదే క్వాంటైజేషన్ (fp16)ని ఉపయోగించే A100 BS-64తో పోలిస్తే 228% త్రూపుట్‌ను చేరుకుంటుంది మరియు రెట్టింపు బ్యాచ్ పరిమాణం ఉన్నప్పటికీ తక్కువ ప్రతిస్పందన లేటెన్సీని కూడా కలిగి ఉంటుంది. fp8తో క్వాంటైజేషన్ ఈ కారకాన్ని 251%కి మెరుగుపరుస్తుంది.

మా మొదటి రెండు చిత్రాలలో, మేము TP-8 యొక్క కాన్ఫిగరేషన్‌లను మాత్రమే ప్రదర్శిస్తాము. రెండూ fp16 / BS-128 / TP-8ని ఉపయోగించినప్పుడు A100తో పోలిస్తే H100 54% లేటెన్సీ మరియు 184% త్రూపుట్‌ను సాధిస్తుంది, ఇది H100లో fp8ని ఉపయోగిస్తున్నప్పుడు 49% లేటెన్సీకి మరియు 202% త్రూపుట్‌కు మెరుగుపడుతుంది. పనితీరులో ఈ మెరుగుదల H100 మరియు A100 మధ్య గణన శక్తి మరియు మెమరీ బ్యాండ్‌విడ్త్‌లో పెరుగుదల కారణంగా చెప్పవచ్చు. ముఖ్యంగా, తక్కువ వినియోగం ఉండే తక్కువ బ్యాచ్ పరిమాణాల క్రింద వ్యత్యాసం తక్కువ స్పష్టంగా ఉంటుంది.

మేము మా ప్లాట్‌ఫారమ్‌ను నిర్మಿಸುತ್ತಿರುವಾಗ, త్రూపుట్‌ను పెంచేటప్పుడు మా వినియోగదారుల కోసం నిర్దిష్ట లేటెన్సీ అవసరాలను గౌరవించాలనుకుంటున్నాము. అందువల్ల, A100 vs H100లను ఒకే బ్యాచ్ పరిమాణంలో పోల్చడానికి బదులుగా, వారు లేటెన్సీ అవసరాన్ని సంతృప్తిపరిచే కాన్ఫిగరేషన్‌ల క్రింద మాత్రమే వారి త్రూపుట్‌ను పోల్చడం మాకు మరింత అర్ధవంతంగా ఉంటుంది. 512 అవుట్‌పుట్ టోకెన్‌లను పూర్తి చేయడానికి మేము 25600ms లేటెన్సీ వద్ద ఒక కట్‌ఆఫ్‌ను సెట్ చేసాము మరియు A100 / TP-8 / fp16 / BS-64తో పోలిస్తే H100 / TP-8 / fp8 / BS-128 251% త్రూపుట్‌ను ఇస్తుందని కనుగొన్నాము, ఎందుకంటే ఇది తక్కువ లేటెన్సీ వద్ద రెట్టింపు బ్యాచ్ పరిమాణాన్ని ప్రాసెస్ చేయగలదు. క్వాంటైజేషన్ GPU మెమరీ ఆదాలను అందిస్తుందనే విషయాన్ని దృష్టిలో ఉంచుకుని, ఆప్టిమైజేషన్ యొక్క తదుపరి పొరను టెన్సార్ ప్యారెలెలిజమ్ ఎలా జోడించగలదో ఇప్పుడు మనం అంచనా వేయాలి.

చిత్రం 3 - H100 fp8 కోసం వివిధ బ్యాచ్ పరిమాణాలు మరియు టెన్సార్ ప్యారెలెలిజమ్‌లలో లేటెన్సీ. బ్యాచ్ పరిమాణాన్ని 1 నుండి 32కి పెంచినప్పుడు లేటెన్సీ సాధారణంగా రెట్టింపు అవుతుంది మరియు 32 నుండి 128కి మళ్లీ రెట్టింపు అవుతుంది. బ్యాచ్ పరిమాణాలు సమానంగా ఉన్నప్పుడు TP-2 స్థిరంగా TP-8 కంటే దాదాపు రెండు రెట్లు నెమ్మదిగా ఉంటుంది. బ్యాచ్ పరిమాణాన్ని రెట్టింపు చేసేటప్పుడు టెన్సార్ ప్యారెలెలిజమ్‌ను రెట్టింపు చేయడం వలన లేటెన్సీ సాపేక్షంగా స్థిరంగా ఉంటుంది ఎందుకంటే ప్రతి GPUకి ప్రాసెస్ చేయబడిన బ్యాచ్‌ల సంఖ్య సమానంగా ఉంటుంది.

క్వాంటైజేషన్ మరియు ఆర్కిటెక్చర్ విషయానికి వస్తే, స్పష్టమైన విజేతలు ఉన్నారు: H100 A100ని ఆధిపత్యం చేస్తుంది మరియు తగ్గిన-ఖచ్చితత్వ క్వాంటైజేషన్ మెమరీ వినియోగం, లేటెన్సీ మరియు త్రూపుట్‌ను మెరుగుపరుస్తుంది. అయినప్పటికీ, బ్యాచ్ పరిమాణం మరియు టెన్సార్ ప్యారెలెలిజమ్ మా కీలక కొలమానాలలో ట్రేడ్‌ఆఫ్‌ను ప్రదర్శిస్తాయి. పెద్ద బ్యాచ్ పరిమాణం పెరిగిన లేటెన్సీ మరియు మెమరీ వినియోగం ఖర్చుతో త్రూపుట్ కోసం ఆప్టిమైజ్ చేస్తుంది. మరోవైపు, అధిక టెన్సార్ ప్యారెలెలిజమ్ అందుబాటులో ఉన్న మెమరీ యొక్క మొత్తం పూల్‌ను పెంచుతుంది మరియు లేటెన్సీ కోసం ఆప్టిమైజ్ చేస్తుంది, అయితే పంపిణీ చేయబడిన మ్యాట్రిక్స్ గుణకారం యొక్క సమకాలీకరణ ఖర్చుల కారణంగా మరియు మరిన్ని GPU వనరులను లాక్ చేయడం ద్వారా త్రూపుట్‌తో ట్రేడ్‌ఆఫ్ చేస్తుంది.

చిత్రం 4 - H100 fp8 కోసం వివిధ బ్యాచ్ పరిమాణాలు మరియు టెన్సార్ ప్యారెలెలిజమ్‌లలో త్రూపుట్. అత్యధిక త్రూపుట్ TP-2 BS-128 నుండి వస్తుంది, A100/TP-8/fp16/BS-64 యొక్క బేస్‌లైన్‌తో పోలిస్తే 460%. అయినప్పటికీ, TP-2 BS-128 కూడా చిత్రం 3లో అత్యంత నెమ్మదైన ఫలితం.

మా ప్రయోగం యొక్క త్రూపుట్-పెంచే కాన్ఫిగరేషన్ H100 / fp8 / TP-2 / BS-128, ప్రతి సెకనుకు ప్రతి GPUకి 767 అవుట్‌పుట్ టోకెన్లు. ఇది A100 / fp16 / TP-8 / BS-64 కంటే 460% మెరుగుదల. అయినప్పటికీ, ఇది రెట్టింపు లేటెన్సీ ఖర్చుతో వస్తుంది - 512 అవుట్‌పుట్ టోకెన్‌ల కోసం దాదాపు 42000ms - కాబట్టి ఇది ప్రొడక్షన్ కాన్ఫిగరేషన్‌గా సరిపోకపోవచ్చు. TP-4 BS-128 (26188ms ప్రతిస్పందన సమయంలో 626 tok/sec/gpu) మరియు TP-2 BS-32 (18821ms ప్రతిస్పందన సమయంలో 435 tok/sec/gpu) ఫలితాలు మా కీలక కొలమానాలపై మెరుగైన ట్రేడ్‌ఆఫ్‌లను సూచించవచ్చు.

మా ఫలితాలు ఈ క్రింది వాటిని ప్రదర్శిస్తాయి:

అదే కాన్ఫిగరేషన్ ఇచ్చినప్పుడు A100తో పోలిస్తే H100ని ఉపయోగించి మేము 54% లేటెన్సీ మరియు 184% త్రూపుట్‌ను చేరుకుంటాము, H100 fp8కి దాని స్థానిక మద్దతును సద్వినియోగం చేసుకున్నప్పుడు ఇది వరుసగా 49% మరియు 202%కి మెరుగుపడుతుంది.

లేటెన్సీ నిబంధనకు లోబడి త్రూపుట్‌ను పెంచేటప్పుడు, A100 / fp16 / TP-8 / BS-64తో పోలిస్తే H100 / fp8 / TP-8 / BS-128 251% త్రూపుట్‌ను ఇస్తుంది, ఎందుకంటే ఇది వేగవంతమైన వేగంతో రెట్టింపు బ్యాచ్‌ను ప్రాసెస్ చేయగలదు.

fp8తో TP-2తో కూడిన H100ని సద్వినియోగం చేసుకోవడం ద్వారా, మేము లేటెన్సీలో 10% కంటే తక్కువ పెరుగుదలతో, A100 / fp16 / TP-8 / BS-128 యొక్క త్రూపుట్‌లో 373% సాధించగలము.

బ్యాచ్ పరిమాణం మరియు టెన్సార్ ప్యారెలెలిజమ్ LLM ఇన్‌ఫరెన్స్ సిస్టమ్ యొక్క ఆపరేటర్‌కు త్రూపుట్ మరియు లేటెన్సీ మధ్య ట్రేడ్‌ఆఫ్‌ను అందిస్తాయి.

ఈ ఫలితాలు మా గతంలో A100 ఆధారిత హార్డ్‌వేర్ స్టాక్‌లో H100 GPUలకు పూర్తి మార్పు గురించి మాకు నమ్మకం కలిగించేలా చేస్తాయి. NVIDIA ప్రకటించిన పనితీరు లాభాలను నిర్ధారించగలగడం మాకు సంతోషంగా ఉంది మరియు వేగవంతమైన హార్డ్‌వేర్‌లో వారి తదుపరి సంచలనాల కోసం ఎదురుచూస్తున్నాము.

ఆప్టిమైజేషన్ కోసం మా తదుపరి సరిహద్దు స్ట్రక్చర్డ్ స్పార్సిటీ మరియు int4 ఖచ్చితత్వం యొక్క ఖచ్చితత్వం మరియు పనితీరు ప్రభావాన్ని పరిశీలించడం, ఇది Llama 2 70B యొక్క GPU మెమరీ ఫుట్‌ప్రింట్‌ను గణనీయంగా తగ్గిస్తుంది మరియు లేటెన్సీలో 2x వరకు మెరుగుదలను ఇస్తుంది. మెరుపు వేగవంతమైన ఇన్‌ఫరెన్స్ ప్రయాణాన్ని కొనసాగಿಸಲು మేము సంతోషిస్తున్నాము మరియు మా ప్లాట్‌ఫారమ్‌పై శక్తివంతమైన అప్లికేషన్‌లను రూపొందించడానికి మా వినియోగదారులకు శక్తినిస్తామని ఆశిస్తున్నాము.

సమీప భవిష్యత్తులో, pplx-api రేట్ పరిమితులను ఎత్తివేస్తుంది మరియు ఫ్యాక్ట్‌ల కోసం గ్రౌండింగ్‌తో కూడిన ఇంటర్నెట్-ఆధారిత LLMతో సహా మరిన్ని కస్టమ్ Perplexity LLMలను అందిస్తుంది.

perplexity.ai/proలో Perplexity Pro కోసం సైన్ అప్ చేయండి. మా అత్యాధునిక pplx-apiకి యాక్సెస్ పొందండి మరియు మీ ప్రాజెక్ట్‌లలో ఈ అధ్యానక సామర్థ్యాలను ఉపయోగించుకోండి. మా బ్లాగ్లో pplx-api గురించి మరింత కనుగొనండి.

AI భవిష్యత్తును తీర్చిదిద్దడంలో ఆసక్తి ఉందా? మేము హైరింగ్ చేస్తున్నాము! భారీ-స్థాయి, జనరేటివ్ LLM ఇన్‌ఫ్రాస్ట్రక్చర్‌ను నడిపించే టీమ్‌లో భాగం అవ్వండి. Perplexity కెరీర్స్ వద్ద అవకాశాలను అన్వేషించండి.

ఆరష్ హేడరి, గ్రిగోరి అలెగ్సీవ్, కెవిన్ హు, డెనిస్ యారాట్స్

ప్రయోగాత్మక సెటప్

కీలక కొలమానాలు:

స్థిరాంకాలు:

AI మోడల్

ఇన్‌పుట్/అవుట్‌పుట్ టోకెన్ డేటాసెట్

సాఫ్ట్‌వేర్ వెర్షన్

వేరియబుల్స్

GPU ఆర్కిటెక్చర్

టెన్సార్ ప్యారెలెలిజమ్

క్వాంటైజేషన్

బ్యాచ్ సైజ్

ఫలితాలు

ముగింపు

తదుపరి ఏమిటి

రచయితలు: