డే 0 లో GPT-OSS

ఖచ్చితమైన మరియు విశ్వసనీయమైన సమాధానాలు మరియు ఏజెంట్ చర్యలను కోరుకునే ఆసక్తిగల వినియోగదారులకు అత్యుత్తమ AI మోడళ్లను అందుబాటులోకి తెచ్చేందుకు Perplexity కట్టుబడి ఉంది. OpenAI ఇటీవల వారి ఓపెన్-వెయిట్ మోడళ్లను (gpt-oss-20b మరియు gpt-oss-120b) ప్రకటించింది. అనేక ప్రముఖ మోడళ్ల మాదిరిగానే, gpt-oss-20b మరియు gpt-oss-120b లను అంచనా వేసిన మొదటి సంస్థలలో Perplexity కూడా ఉంది.

ఈ పోస్ట్‌లో, Day-0 మద్దతును సాధ్యం చేసిన మా ఇన్-హౌస్ ఇన్‌ఫరెన్స్ స్టాక్ యొక్క ఇన్‌ఫ్రాస్ట్రక్చర్ నిర్ణయాలను మేము పంచుకుంటాము. కెర్నల్ మార్పులు, డిప్లాయ్‌మెంట్ ఎంపికలు మరియు వేగం-ఖర్చు ట్రేడ్-ఆఫ్‌లను వివరంగా తెలియజేస్తూ, NVIDIA H200 GPUలపై ఈ మోడళ్లను అందించడంపై మేము దృష్టి పెడతాము.

ఓపెన్-వెయిట్ మోడల్స్ MXFP4 క్వాంటైజేషన్‌ను ఉపయోగించి పంపబడతాయి, ఇది వినియోగదారు-గ్రేడ్ హార్డ్‌వేర్‌లోని మెమరీకి సరిపోయేలా లేదా NVIDIA బ్లాక్‌వెల్‌పై గరిష్ట థ్రూపుట్‌ను సాధించడానికి సహాయపడుతుంది. అయినప్పటికీ, ప్రాథమిక మూల్యాంకనం కోసం, కనీస ఇన్‌ఫరెన్స్-ఇంజన్ మార్పులతో వాటిని ఇప్పటికే ఉన్న H200 హాప్పర్ క్లస్టర్‌లలో రన్ చేయాలనుకున్నాము. బ్లాక్‌వెల్ ద్వారా పరిచయం చేయబడిన ప్రత్యేక FP4 టెన్సార్ కోర్లు హాప్పర్‌కు లేవు. ఫలితంగా, కస్టమ్ కెర్నళ్ల అవసరాన్ని తగ్గించడానికి మరియు అందుబాటులో ఉన్న హార్డ్‌వేర్‌ను ఉత్తమంగా ఉపయోగించుకోవడానికి బదులుగా FP8 ఖచ్చితత్వంతో మోడళ్లను అందించాలని మేము నిర్ణయించుకున్నాము.

ఉన్నత స్థాయిలో, ట్రాన్స్‌ఫార్మర్ LLMలు నిర్మాణపరంగా సరళమైనవి:

ఇన్‌పుట్ ఎంబెడ్డింగ్

ట్రాన్స్‌ఫార్మర్ లేయర్‌ల శ్రేణి. ప్రతి ఒక్కటి అటెన్షన్ బ్లాక్‌ను, మరియు డెన్స్ MLP లేదా స్పార్స్ MoE బ్లాక్‌ను కలిగి ఉంటుంది.

అవుట్‌పుట్ లాజిట్ ప్రొజెక్షన్

క్రొత్త ట్రాన్స్‌ఫార్మర్ మోడల్‌ను తీసుకువచ్చినప్పుడు, అవసరమైన మార్పులను గుర్తించడానికి అవి ఇప్పటికే ఉన్న మోడళ్లతో ఎంతవరకు సరిపోలుతున్నాయో తెలుసుకోవడానికి మేము ప్రాథమికంగా ఆసక్తి చూపుతాము. OpenAI దయచేసి వారి మోడళ్ల అవలోకనాన్ని ముందే పంచుకుంది, తద్వారా మా ఇన్‌ఫరెన్స్ సెటప్‌ను తదనుగుణంగా సర్దుబాటు చేయడానికి అనుమతిస్తుంది. మోడల్‌కు చాలా చిన్న మార్పులు అవసరమని మేము కనుగొన్నాము.

అటెన్షన్: అటెన్షన్ సింక్స్‌తో GQA

ప్రతి అటెన్షన్ హెడ్ ముందస్తు శిక్షణ పొందిన సింక్ పరామితిని కలిగి ఉంటుంది, ఇది Softmax లోకి కారకం చేయబడుతుంది

DeepSeek-V3 మాదిరిగానే YaRN పొజిషనల్ ఎన్‌కోడింగ్

Qwen 2 మాదిరిగానే QKV ప్రొజెక్షన్‌లు బయాస్‌లను కలిగి ఉంటాయి

అవుట్‌పుట్ ప్రొజెక్షన్ బయాస్‌ను కలిగి ఉంది

MLP: స్పార్స్ మిక్చర్-ఆఫ్-ఎక్స్‌పర్ట్ (MoE)

SwiGLU యాక్టివేషన్ ఫంక్షన్, చాలా ఓపెన్-వెయిట్ మోడళ్లకు భిన్నంగా ఉంటుంది

ఎక్స్‌పర్ట్ వెయిట్స్ కోసం టాప్-K తర్వాత Softmax

ఎక్స్‌పర్ట్‌లు బయాస్‌లను కలిగి ఉంటారు

పారామీటర్‌ల సంఖ్య సుమారు 100B-200B ఉంటుందని అంచనా వేస్తూ, మేము వీటిని నిర్ణయించాము:

అటెన్షన్ సింక్స్‌కు మద్దతు ఇవ్వడానికి FlashInfer ని పొడిగించండి

DeepSeek-V3 కుటుంబ మోడళ్ల కోసం ఇప్పటికే నిర్మించిన MoE అమలును మళ్లీ ఉపయోగించండి

బయాస్ టర్మ్‌కు మద్దతు ఇవ్వడానికి DeepGEMM కెర్నళ్లను విస్తరిస్తూ, క్వాంటైజేషన్ స్కీమ్‌గా FP8 128x128 బ్లాక్ స్కేలింగ్‌ను ఎంచుకోండి.

మా ఇన్‌ఫరెన్స్ ప్రయత్నాలకు మా ఇన్-హౌస్ ఇన్‌ఫరెన్స్ ఇంజన్, ROSE మద్దతు ఇస్తుంది. కొత్త మోడళ్లను త్వరగా తీసుకురావడానికి వీలు కల్పించే సౌకర్యవంతమైన ఫ్రేమ్‌వర్క్‌గా ROSE ని మేము నిర్మిస్తున్నాము. అదనంగా, ఒక మోడల్‌ను పెద్ద ఎత్తున అందించడానికి మేము కట్టుబడి ఉన్న తర్వాత, ఇది అత్యాధునికతను చేరుకోవడానికి పనితీరును ఆప్టిమైజ్ చేయడానికి మరియు పెంచడానికి ఒక వేదికను అందిస్తుంది.

ROSE ఒక LLM ఇంజిన్‌ను బహిర్గతం చేస్తుంది, ఇది మోడల్‌ను లోడ్ చేయగలదు మరియు ఊహాజనిత మరియు MTP డీకోడర్‌లతో సహా బహుళ డీకోడర్‌ల ద్వారా దాని కోసం డీకోడ్ చేసిన టోకెన్‌లను రూపొందించగలదు. మోడల్‌లు క్వాంటైజేషన్ మరియు సమాంతరత కోసం వివిధ కాన్ఫిగరేషన్ నావ్‌లకు మద్దతు ఇచ్చే కస్టమ్ సెట్ లేయర్‌లతో కూడి ఉంటాయి. లేయర్‌ల క్రింద, ఇది వ్యక్తిగత లేయర్‌ల ద్వారా నిర్వహించబడే గణనలను సమర్థవంతంగా అమలు చేసే మరియు మిళితం చేసే ట్రైటన్ మరియు CUDA కెర్నక్‌లు రెండింటినీ బండిల్ చేస్తుంది.

ROSE ప్రాథమికంగా Python లో నిర్మించబడింది మరియు మోడల్ నిర్వచనాల కోసం PyTorch పై ఆధారపడుతుంది. Python మాకు కొత్త మోడళ్లకు అనుగుణంగా మరియు సౌకర్యవంతంగా ఉండటానికి అనుమతిస్తున్నప్పటికీ, సేవ మరియు బ్యాచ్ షెడ్యూలింగ్ వంటి పనితీరు-సున్నితమైన భాగాలను మేము Rust కి మైగ్రేట్ చేస్తున్నాము.

కొత్త మోడల్‌ను తీసుకురావడానికి, ముందుగా మేము మోడల్ హైరార్కీని నిర్వచించి, దానికి ఒక వెయిట్ కన్వర్టర్‌ను నిర్మిస్తాము. అన్ని వెయిట్లు లెక్కలోకి తీసుకున్న తర్వాత, అత్యంత సులభమైన TP=1 వినియోగ సందర్భం కోసం మేము ఒక ఫార్వర్డ్ పాస్‌ను నిర్వచించి, అది ప్రారంభం నుంచి ముగింపు వరకు సరిగ్గా పనిచేస్తుందో లేదో నిర్ధారిస్తాము. చివరగా, మేము కొత్త కంటైనర్‌ను విడుదల చేసి, మూల్యాంకనం కోసం క్లస్టర్‌పై మోడల్‌ను డిప్లాయ్ చేసే ముందు, వివిధ రకాల ప్యారలలిజం‌కు మద్దతును అమలు చేసి, పరీక్షిస్తాము. ఆపై, డాష్‌బోర్డులు మరియు మరింత సూక్ష్మమైన బెంచ్‌మార్క్‌ల నుండి వచ్చే ప్రతిస్పందనపై ఆధారపడుతూ, పనితీరును మెరుగుపరుచుకుంటూ పునరావృతం చేస్తాము.

ఇంటిగ్రేషన్ టెస్ట్‌ల వెలుపల చాట్ ఫార్మాట్‌ల గురించి తక్కువ జ్ఞానంతో ROSE సంఖ్యా టోకెన్‌లపై పనిచేస్తుంది. సమాంతరంగా, హార్మొనీ టోకనైజర్‌కు మద్దతు ఇవ్వడానికి మరియు ఇన్‌పుట్ టోకెన్ సీక్వెన్స్‌లకు అభ్యర్థనలను సరిగ్గా మ్యాప్ చేయడానికి చుట్టుపక్కల ఇన్‌ఫ్రాస్ట్రక్చర్‌ను పరిశీలించాల్సి వచ్చింది.

GPT OSS మోడల్‌తో, మా డీకోడర్‌లు, CUDA గ్రాఫ్ హార్నెస్‌లు లేదా చుట్టుపక్కల ఇన్‌ఫ్రాస్ట్రక్చర్‌కు ఎలాంటి మార్పులు అవసరం లేదని మేము కనుగొన్నాము, ఇది మోడల్‌కు మద్దతు ఇచ్చే కెర్నళ్లను సర్దుబాటు చేయడంపై మా ప్రయత్నాలను కేంద్రీకరించడానికి అనుమతించింది.

సింక్ అటెన్షన్ softmax కి ముందు అదనపు బయాస్ కారకాన్ని పరిచయం చేస్తుంది, ఇది Q మరియు K ల లబ్ధంతో కూడి ఉంటుంది:

plaintext

attn = softmax(q @ k^T * sm_scale + sink) * V

నైవ్ ఇంప్లిమెంటేషన్ చాలా సులభం అయినప్పటికీ, FlashInfer వంటి సమర్థవంతమైన అటెన్షన్ ఇంప్లిమెంటేషన్‌లు స్వతంత్ర హెడ్‌లు మరియు KV సీక్వెన్స్ పొడవు రెండింటిలోనూ అటెన్షన్ గణనను సమాంతరీకరిస్తాయి. అదనంగా, సంఖ్యా స్థిరత్వం కోసం, సంఖ్యా స్థిరత్వం కోసం గరిష్ట మూలకాన్ని వ్యవకలనం చేస్తూనే Softmax ఆన్‌లైన్‌లో లెక్కించబడుతుంది:

plaintext

softmax(x) = e^x / sum(e^x) = e ^ (x - max(x)) / sum(e ^ (x - max(x))

ఆన్‌లైన్ అమలు, m అనే రన్నింగ్ గరిష్ఠాన్ని -infకు ఆరంభించి, d అనే స్కేల్‌ను 1గా ఉంచి ట్రాక్ చేసింది. గరిష్ఠాన్ని ప్రస్తుత హెడ్ యొక్క సింక్ విలువకు ఆరంభించడం ద్వారా, అది Softmax‌లో సరిగ్గా సమీకరించబడుతుందని మేము నిర్ధారించాము. సీక్వెన్స్ పొడవు అంతటా అటెన్షన్‌ను అనేక బ్లాక్‌లుగా విభజించినప్పుడు, ఈ గరిష్ఠం మొదటి చంక్‌లో మాత్రమే చేర్చబడేలా జాగ్రత్త వహించాల్సి వచ్చింది.

ప్రీఫిల్ మరియు డీకోడ్ రెండింటికీ ఉపయోగించే FlashInfer FA2 కెర్నల్ టెంప్లేట్‌ను సింక్ పారామీటర్‌లను చేర్చడానికి మేము సర్దుబాటు చేసాము.

విభిన్న మోడళ్ల MoE లేయర్ మధ్య ప్రధాన వ్యత్యాసం సాధారణంగా రూటింగ్ స్కీమ్. గణనీయమైన వైవిధ్యాన్ని ఆశిస్తూ, ROSE ఈ కెర్నల్‌ను Triton లో అమలు చేస్తుంది, కొత్త మోడళ్లకు దీన్ని సులభంగా అనుకూలించేలా చేయడానికి మాకు అనుమతిస్తుంది. GPT-OSS విషయంలో, అన్ని ఎక్స్‌పర్ట్‌లపై softmax ని లెక్కించే కొన్ని DeepSeek-శైలి మోడళ్ల వలె కాకుండా, టాప్-K ఎంచుకున్న ఎక్స్‌పర్ట్‌లపై మాత్రమే softmax ని నిర్వహించడానికి మనం వెయిట్ స్కోరింగ్‌ను సర్దుబాటు చేయాల్సి వచ్చింది. bfloat16 ఖచ్చితత్వంలో ఎక్స్‌పర్ట్ వెయిట్‌లను లెక్కించడం ఖచ్చితత్వానికి చాలా కీలకమని మేము కనుగొన్నాము.

MoE లేయర్‌తో ఉన్న సవాలు బయాస్ నిబంధనలకు మద్దతు లేని ఇప్పటికే ఉన్న DeepGEMM కెర్నళ్లను మళ్లీ ఉపయోగించాలనే మా నిర్ణయం వల్ల ఏర్పడింది. అదృష్టవశాత్తూ, కాలక్రమేణా మేము వారితో లోతుగా అనుసంధానించాము, మా కస్టమ్ ఆల్-టు-ఆల్ డిస్పాచ్ కెర్నళ్లతో వాటిని మెరుగ్గా కనెక్ట్ చేయడానికి మార్పులు చేసాము. మెమరీ నుండి లోడ్ చేయబడిన బయాస్ విలువలకు WGMMA అక్యుములేటర్ రిజిస్టర్‌లను ఇనిషియలైజ్ చేయడం ద్వారా మేము DeepGEMM కి బయాస్ మద్దతును జోడించాము. ఇది MN బ్లాక్ యొక్క ప్రాసెసింగ్ సమయంలో ఒకసారి జరుగుతుంది, కాబట్టి ఖర్చు తక్కువగా ఉంటుంది మరియు L2 కాష్ ఈ విలువలకు సమర్థవంతమైన యాక్సెస్‌ను నిర్ధారిస్తుంది.

ఈ మోడల్స్ డేటా పారలలిజం నుండి వెంటనే ప్రయోజనం పొందనందున, మేము TP-మాత్రమే డిస్పాచ్ మరియు కంబైన్ కెర్నళ్లను మళ్లీ ఉపయోగించాము. డిస్పాచ్‌కి వచ్చే ఇన్‌పుట్‌లు అన్ని ర్యాంక్‌లలో రెప్లికేట్ చేయబడతాయి, కాబట్టి డిస్పాచ్ స్థానికంగా అందుబాటులో ఉన్న ఎక్స్‌పర్ట్‌ల కోసం టోకెన్‌లను ఎంచుకుంటుంది. కంబైన్ NVLink అంతటా వెయిటెడ్ సంచితాన్ని నిర్వహిస్తుంది.

మోడళ్లను త్వరగా తీసుకురావడమే మా లక్ష్యం అయినప్పటికీ, పనితీరు ఇప్పటికీ సహేతుకమైనదని మేము నిర్ధారించుకోవాలనుకుంటున్నాము. OpenAI అందించిన రిఫరెన్స్ ఇంప్లిమెంటేషన్‌తో సరైనదాన్ని నిర్ధారించుకున్న తర్వాత, డిఫాల్ట్ PyTorch ప్రొఫైలర్‌ని ఉపయోగించి మా ఇంప్లిమెంటేషన్‌ను ప్రొఫైల్ చేసాము, కెర్నళ్ల అంతటా బ్లాక్ మరియు థ్రెడ్ కేటాయింపులను గమనించాము. GPT-OSS మోడళ్ల 2880 కంటే చాలా పెద్దదైన 7168 యొక్క పెద్ద హిడెన్ డైమెన్షన్‌ను కలిగి ఉన్న మోడళ్ల కోసం మేము పునర్వినియోగించిన కార్యాచరణ నిర్మించబడింది. మెరుగైన గ్రిడ్ పరిమాణాలను ఎంచుకోవడానికి మేము కెర్నల్ లాంచర్‌లను ప్రత్యేకతను సంతరించుకున్నాము, థ్రూపుట్‌ను గణనీయంగా పెంచాము.

సంభాషణలు, తార్కిక కంటెంట్ మరియు ఫంక్షన్ కాల్‌లను నిర్మాణాత్మకంగా మార్చడానికి హార్మొనీ చాట్ ఫార్మాట్ అనేక ముఖ్యమైన భావనలను కలిగి ఉంది. ఈ ఫార్మాట్‌లో, ప్రతి సందేశం హెడర్ మరియు కంటెంట్‌ను కలిగి ఉంటుంది:

plaintext

<|start|>{header}<|message|>{content}<|end|>

హెడర్‌లో మెటాడేటా ఉంటుంది — ముఖ్యంగా పాత్ర (system, developer, user, assistant, tool), ఛానల్, మరియు సాధన కాల్‌ను ప్రారంభించేటప్పుడు to=functions.<function-name> వంటి రిసిపియెంట్.

(విశ్లేషణ, వ్యాఖ్యానం మరియు తుది సమాధానం వంటి) ఛానెల్‌లు మోడల్ అవుట్‌పుట్‌లను మరింత పారదర్శకంగా మరియు విభజించబడినట్లు చేస్తాయి. ఫార్మాట్ ఈ విభజనను అమలు చేయడం వల్ల, ప్రొడక్షన్‌లోకి చెయిన్-ఆఫ్-థాట్ లీక్ కాకుండా మోడల్ పారదర్శకంగా తర్కించగలదు (మరియు డీబੱగింగ్ కోసం తనిఖీ చేయబడుతుంది). గ్రహీత ట్యాగ్‌లు (to= హెడర్‌లు) తదుపరి పేలోడ్‌ను ఏ నటుడు స్వీకరించాలో రన్‌టైమ్‌కు ఖచ్చితంగా చెబుతాయి — అది ఫంక్షన్ అయినా, మోడల్ స్వయంగా అయినా లేదా అంతిమ వినియోగదారు అయినా.

మా ఇన్‌ఫరెన్స్ ఇంజన్ ROSE ఫార్మాట్-అజ్ఞాతవాసి. ఇది ఇన్‌పుట్ టోకెన్‌ల బ్యాచ్‌ను స్వీకరిస్తుంది మరియు అవుట్‌పుట్ టోకెన్‌లను స్ట్రీమ్ చేస్తుంది. మా ఇన్‌ఫరెన్స్ స్టాక్‌లో, ఇన్‌పుట్‌లను టోకనైజ్ చేసిన ప్రాంప్ట్‌గా ఫార్మాట్ చేయడం మరియు LLM ఫలితాలను నిర్మాణాత్మక సందేశాలుగా పార్స్ చేయడం వంటి టాస్క్ ప్రత్యేకమైన JSON API ఫ్రంటెండ్ సర్వీస్ ద్వారా నిర్వహించబడుతుంది. ఫ్రంటెండ్‌కు కొత్త ప్లగ్ చేయదగిన ఫార్మాటర్/పార్సర్‌ని జోడించడం ద్వారా మేము హార్మొనీని ఇంటిగ్రేట్ చేసాము, ఫ్రంటెండ్ చాట్-ఫార్మాట్ నిబంధనలు, టూల్ కాల్‌లు మరియు స్ట్రీమింగ్‌లను శుభ్రంగా నిర్వహిస్తున్నప్పుడు బ్యాకెండ్ మారకుండా ఉండటానికి అనుమతిస్తుంది. ఈ ఆందోళనల విభజన ఆర్కిటెక్చర్‌ను మాడ్యులర్‌గా ఉంచుతుంది, కొత్త ఫార్మాట్‌లను త్వరగా స్వీకరించడానికి, కనిష్ట బ్యాకెండ్ మార్పులతో ప్రతిస్పందన లక్షణాలను అనుమతిస్తుంది.

GPT-OSS మోడళ్ల సాపేక్షంగా చిన్న పరిమాణాన్ని బట్టి, నోడ్-అంతర్గత కమ్యూనికేషన్ ఓవర్‌హెడ్‌ను నివారించడానికి మేము ప్రతిరూపం యొక్క విస్తరణను ఒకే నోడ్‌కు పరిమితం చేస్తాము. మా అమలు ఎక్స్‌పర్ట్ పారలలిజం (EP), డేటా పారలలిజం (DP), మరియు టెన్సార్ పారలలిజం (TP) యొక్క సౌకర్యవంతమైన కలయికలకు మద్దతు ఇస్తుంది. సరైన డిప్లాయ్‌మెంట్ సెటప్‌ను నిర్ణయించడానికి, మేము 1 నుండి 128 వరకు బ్యాచ్ పరిమాణాల అంతటా షార్డింగ్ వ్యూహాల అన్ని కలయికలను బెంచ్‌మార్క్ చేసాము. ప్రీఫిల్-డీకోడ్ డిస్గ్రిగేషన్ ధన్యవాదాలు, ప్రీఫిల్ మరియు డీకోడ్ కోసం పనితీరు-ఖర్చు ట్రేడ్-ఆఫ్ గురించి విడిగా చర్చించగలము.

ఖర్చు అంచనాల కోసం, మేము నామమాత్రపు H200 మార్కెట్ రేటు $3.00/గంటగా భావిస్తాము (గమనిక: ఇది మా వాస్తవిక GPU ధర కాదు).

batch_size=1 మరియు DP=1 ని సెట్ చేయడం ఉత్తమ ప్రీఫిల్ పనితీరును ఇస్తుందని మేము కనుగొన్నాము. వివిధ TP కాన్ఫిగరేషన్‌లు మొదటి-టోకెన్ లేటెన్సీ మరియు ఖర్చు మధ్య విభిన్న ట్రేడ్-ఆఫ్‌లను అందిస్తాయి. దిగువ పట్టికలు వివిధ కాన్ఫిగరేషన్‌లు మరియు ఇన్‌పుట్ పొడవుల కోసం ప్రీఫిల్ లేటెన్సీ మరియు మిలియన్ ఇన్‌పుట్ టోకెన్‌లకు అయ్యే ఖర్చును ప్రదర్శిస్తాయి.

GPT-OSS 120B:

ఇన్‌పుట్ పొడవు	8192	32768	65536	128000
EP1 DP1 TP1	0.364s, $0.037	2.421s, $0.062	7.375s, $0.094	23.902s, $0.156
EP2 DP1 TP2	0.190s, $0.039	1.245s, $0.063	3.786s, $0.096	12.116s, $0.158
EP4 DP1 TP4	0.165s, $0.067	0.900s, $0.092	2.449s, $0.125	7.165s, $0.187
EP8 DP1 TP8	0.179s, $0.145	0.839s, $0.171	2.003s, $0.204	5.119s, $0.267

విభిన్న సమాంతరత కాన్ఫిగరేషన్‌లు మరియు ఇన్‌పుట్ పొడవు ప్రకారం GPT-OSS 120B ప్రీఫిల్ లేటెన్సీ మరియు ప్రతి మిలియన్ ఇన్‌పుట్ టోకెన్లకు ఖర్చు.

GPT-OSS 20B:

ఇన్‌పుట్ పొడవు	8192	32768	65536	128000
EP1 DP1 TP1	0.239s, $0.024	1.610s, $0.041	4.895s, $0.062	16.037s, $0.104
EP2 DP1 TP2	0.127s, $0.026	0.833s, $0.042	2.522s, $0.064	8.143s, $0.106
EP4 DP1 TP4	0.108s, $0.044	0.593s, $0.060	1.616s, $0.082	4.766s, $0.124
EP8 DP1 TP8	0.116s, $0.094	0.547s, $0.111	1.310s, $0.133	3.365s, $0.175

విభిన్న సమాంతరత కాన్ఫిగరేషన్‌లు మరియు ఇన్‌పుట్ పొడవు ప్రకారం GPT-OSS 20B ప్రీఫిల్ లేటెన్సీ మరియు ప్రతి మిలియన్ ఇన్‌పుట్ టోకెన్లకు ఖర్చు.

డీకోడ్ కోసం, చాలా సందర్భాలలో EP4 DP1 TP4 అత్య ఉత్తమ కాన్ఫిగరేషన్ అని మేము కనుగొన్నాము. 8192 మరియు 32768 సీక్వెన్స్ పొడవుల వద్ద 120B మరియు 20B మోడల్స్ రెండింటికీ డీకోడ్ వేగం మరియు మిలియన్ అవుట్‌పుట్ టోకెన్‌లకు అయ్యే ఖర్చు మధ్య ట్రేడ్-ఆఫ్‌ను దిగువ నాలుగు ప్లాట్లు వివరిస్తాయి.

8,192 సీక్వెన్స్ పొడవు వద్ద GPT-OSS 120B కోసం, డీకోడ్-మాత్రమే ప్రతి మిలియన్ అవుట్‌పుట్ టోకెన్లకు ఖర్చు vs డీకోడింగ్ వేగం; EP1, EP2, EP4, మరియు EP8 కాన్ఫిగరేషన్‌లను పోల్చుతూ.

32,768 సీక్వెన్స్ పొడవు వద్ద GPT-OSS 120B కోసం, డీకోడ్-మాత్రమే ప్రతి మిలియన్ అవుట్‌పుట్ టోకెన్లకు ఖర్చు vs డీకోడింగ్ వేగం; EP1, EP2, EP4, మరియు EP8 కాన్ఫిగరేషన్‌లను పోల్చుతూ.

8,192 సీక్వెన్స్ పొడవు వద్ద GPT-OSS 20B కోసం, డీకోడ్-మాత్రమే ప్రతి మిలియన్ అవుట్‌పుట్ టోకెన్లకు ఖర్చు vs డీకోడింగ్ వేగం; EP1, EP2, EP4, మరియు EP8 కాన్ఫిగరేషన్‌లను పోల్చుతూ.

32,768 సీక్వెన్స్ పొడవు వద్ద GPT-OSS 20B కోసం, డీకోడ్-మాత్రమే ప్రతి మిలియన్ అవుట్‌పుట్ టోకెన్లకు ఖర్చు vs డీకోడింగ్ వేగం; EP1, EP2, EP4, మరియు EP8 కాన్ఫిగరేషన్‌లను పోల్చుతూ.

పెద్ద 120B మోడల్ కోసం చిన్న 20B మోడల్‌ను స్పెక్యులేటివ్ డీకోడింగ్ డ్రాఫ్ట్ మోడల్‌గా ఉపయోగించడాన్ని కూడా మేము పరిగణించాము. అయినప్పటికీ, సక్రియం చేయబడిన పారామీటర్‌ల సంఖ్య సమానంగా ఉన్నందున (3B vs. 5B), ఫలితంగా వచ్చే వేగం తక్కువగా ఉంది.

డిస్‌గ్రిగేటెడ్ ప్రీఫిల్ మరియు డీకోడ్

ఊహాగానాల ద్వారా సోనార్‌ను వేగవంతం చేయడం

బహుళ-నోడ్ DeepSeek డిప్లాయ్‌మెంట్‌తో తక్కువ లేటెన్సీ మరియు అధిక థ్రూపుట్

సమర్థవంతమైన మరియు పోర్టబుల్ మిక్చర్-ఆఫ్-ఎక్స్‌పర్ట్స్ కమ్యూనికేషన్

pplx-kernels

DeepGEMM

FlashInfer: LLM ఇన్‌ఫరెన్స్ సర్వింగ్ కోసం సమర్థవంతమైన మరియు అనుకూలీకరించదగిన అటెన్షన్ ఇంజన్

అటెన్షన్ సింక్స్‌తో సమర్థవంతమైన స్ట్రీమింగ్ లాంగ్వేజ్ మోడల్స్

DeepSeek-V3 సాంకేతిక నివేదిక

OpenAI హార్మొనీ రెస్పాన్స్ ఫార్మాట్ | OpenAI కుక్‌బుక్

BibTeX

@online{perplexity2025GptOssOnDay0,
  author = {{Perplexity} and Nandor Licker and Lequn Chen and Vladimir Zaytsev and Kevin Hu and Lauren Kolm and Jesse Dwyer},
  title = {{GPT-OSS on day 0}},
  date = {2025-08-08},
  url = {https://www.perplexity.ai/hub/blog/gpt-oss-on-day-0}
}

హాప్పర్‌పై GPT-OSS

ఇన్-హౌస్ ఇన్‌ఫరెన్స్ ఇంజన్

GPT-OSS కోసం కెర్నక్‌లు

సింక్ అటెన్షన్

MoE

పనితీరు సర్దుబాట్లు

టోకెనైజేషన్ మరియు ఛానెల్‌లు

ఖర్చు మరియు పనితీరు

ప్రస్తావనలు

ఉదాహరణ