Day 0 இல் GPT-OSS

FP8, சிங்க் கவனம் மற்றும் MoE உகப்பாடல்களுடன் ROSE ஐ மாற்றுவதன் மூலம் H200 இல் GPT-OSS க்கான Day‑0 ஆதரவு

ஆசிரியர்கள்Perplexity Engineering

துல்லியமான மற்றும் நம்பகமான பதில்களையும் ஏஜென்டிக் செயல்பாடுகளையும் கோரும் ஆர்வம் உள்ளவர்களுக்குச் சிறந்த AI மாடல்களை வழங்க Perplexity உறுதிபூண்டுள்ளது. OpenAI சமீபத்தில் அவற்றின் திறந்த எடை மாடல்களை (gpt-oss-20b மற்றும் gpt-oss-120b) அறிவித்தது. பல முன்னணி மாடல்களைப் போலவே, gpt-oss-20b மற்றும் gpt-oss-120b ஆகியவற்றை மதிப்பீடு செய்யும் முதல் நிறுவனங்களில் Perplexity-ம் ஒன்றாகும்.

இந்தப் பதிவில், டே-0 (Day-0) ஆதரவைச் சாத்தியமாக்கிய எங்கள் இன்-ஹவுஸ் இன்ஃபெரன்ஸ் ஸ்டாக்கின் உள்கட்டமைப்பு முடிவுகளைப் பகிர்கிறோம். NVIDIA H200 GPU-களில் இந்த மாடல்களை வழங்குவதில் கவனம் செலுத்துகிறோம், கர்னல் மாற்றங்கள், வரிசைப்படுத்தல் தேர்வுகள் மற்றும் வேகம்-செலவு வர்த்தக பரிமாற்றங்கள் ஆகியவற்றை விவரிக்கிறோம்.

ஹாப்பரில் GPT-OSS

திறந்த எடை மாடல்கள் MXFP4 குவாண்டைசேஷனைப் பயன்படுத்தி அனுப்பப்படுகின்றன, இது நுகர்வோர் தர வன்பொருளில் உள்ள நினைவகத்திற்குப் பொருத்தமாக இருக்க உதவுகிறது அல்லது NVIDIA Blackwell-ல் உச்ச செயல்திறனை அடைய உதவுகிறது. இருப்பினும், ஆரம்ப மதிப்பீட்டிற்கு, குறைந்தபட்ச இன்ஃபெரன்ஸ்-என்ஜின் மாற்றங்களுடன் தற்போதுள்ள H200 ஹாப்பர் கிளஸ்டர்களில் அவற்றை இயக்க விரும்பினோம். பிளாக்வெல் அறிமுகப்படுத்திய பிரத்யேக FP4 டென்சார் கோர்கள் ஹாப்பரில் இல்லை. இதன் விளைவாக, தனிப்பயன் கர்னல்களின் தேவையைக் குறைக்க மற்றும் கிடைக்கக்கூடிய வன்பொருளைப் சிறப்பாகப் பயன்படுத்த FP8 துல்லியத்துடன் மாடல்களை வழங்க முடிவு செய்தோம்.

உயர் மட்டத்தில், டிரான்ஸ்பார்மர் LLM-கள் கட்டமைப்பு ரீதியாக எளிமையானவை:

உள்ளீடு உட்பொதிப்பு (Input embedding)

டிரான்ஸ்பார்மர் அடுக்குகளின் தொடர். ஒவ்வொன்றும் கவனத் தொகுதியையும் (attention block), மற்றும் அடர்த்தியான MLP அல்லது சிதறிய MoE தொகுதியையும் கொண்டுள்ளது.

வெளியீட்டு லாகிட் ப்ரொஜெக்ஷன்

புதிய டிரான்ஸ்பார்மர் மாடலைக் கொண்டுவரும் போது, தேவையான மாற்றங்களை அடையாளம் காண தற்போதுள்ள மாடல்களுடன் அவை எந்த அளவிற்குப் பொருந்துகின்றன என்பதை அறிவதில் முதன்மையாக ஆர்வமாக உள்ளோம். OpenAI அன்புடன் தங்கள் மாடல்களின் மேலோட்டத்தை முன்கூட்டியே பகிர்ந்து கொண்டது, அதற்கேற்ப எங்கள் இன்ஃபெரன்ஸ் அமைப்பை மாற்றியமைக்க எங்களுக்கு அனுமதித்தது. மாடலுக்கு கணிசமான எண்ணிக்கையிலான சிறிய மாற்றங்கள் தேவை என்பதை நாங்கள் கண்டறிந்தோம்.

கவனம் (Attention): கவன மூழ்கிகளுடன் (Attention Sinks) கூடிய GQA

ஒவ்வொரு கவனத் தலையும் (attention head) Softmax-ல் காரணியாக்கப்படும் முன்பே பயிற்சி பெற்ற மூழ்கி அளவுருவைக் (sink parameter) கொண்டுள்ளது

DeepSeek-V3 ஐப் போன்ற YaRN நிலைக் குறியாக்கம் (positional encoding)

Qwen 2 ஐப் போன்ற QKV ப்ரொஜெக்ஷன்கள் சார்புகளைக் கொண்டுள்ளன

வெளியீட்டு ப்ரொஜெக்ஷன் சார்பைக் கொண்டுள்ளது

எம்எல்பி: ஸ்பார்ஸ் மிக்சர்-ஆஃப்-எக்ஸ்பர்ட் (MoE)

SwiGLU செயல்படுத்தும் செயல்பாடு, பெரும்பாலான திறந்த எடை மாடல்களிலிருந்து வேறுபட்டது

நிபுணர் எடைகளுக்கான Top-K க்குப் பின் Softmax

நிபுணர்கள் சார்புகளைக் கொண்டுள்ளனர்

அளவுருக்களின் எண்ணிக்கை 100B-200B வரை இருக்கும் என்று எதிர்பார்த்து, நாங்கள் பின்வருவனவற்றை முடிவு செய்தோம்:

கவன மூழ்கிகளை ஆதரிக்க FlashInfer ஐ நீட்டித்தல்

DeepSeek-V3 குடும்ப மாடல்களுக்காக ஏற்கனவே கட்டமைக்கப்பட்ட MoE செயலாக்கத்தை மீண்டும் பயன்படுத்துதல்

சார்பு காலத்தை (bias term) ஆதரிக்க DeepGEMM கர்னல்களை நீட்டிப்பதன் மூலம், குவாண்டைசேஷன் திட்டமாக FP8 128x128 பிளாக் ஸ்கேலிப்பைத் தேர்ந்தெடுக்கவும்.

இன்-ஹவுஸ் இன்ஃபெரன்ஸ் என்ஜின்

எங்களின் இன்ஃபெரன்ஸ் முயற்சிகள் எங்களின் இன்-ஹவுஸ் இன்ஃபெரன்ஸ் என்ஜின், ROSE ஆல் ஆதரிக்கப்படுகின்றன. புதிய மாடல்களை விரைவாகக் கொண்டுவர அனுமதிக்கக்கூடிய ஒரு நெகிழ்வான கட்டமைப்பாக ROSE ஐ உருவாக்கி வருகிறோம். கூடுதலாக, ஒரு மாடலை அளவில் வழங்க நாங்கள் உறுதியளித்தவுடன், அது அதிநவீனத்தை அடைய செயல்திறனை மேம்படுத்தவும் அதிகரிக்கவும் ஒரு தளத்தை வழங்குகிறது.

ROSE ஆனது LLM என்ஜினை வெளிப்படுத்துகிறது, இது ஒரு மாடலை ஏற்றி, ஊக (speculative) மற்றும் MTP டிகோடர்கள் உட்பட பல டிகோடர்கள் மூலம் அதற்கான டிகோட் செய்யப்பட்ட டோக்கன்களை உருவாக்க முடியும். மாடல்களே குவாண்டைசேஷன் மற்றும் இணையாக்கத்திற்கான பல்வேறு கட்டமைப்பு விதிகளை ஆதரிக்கும் தனிப்பயன் அடுக்கு தொகுப்பைக் கொண்டுள்ளன. அடுக்குகளுக்கு அடியில், இது தனிப்பட்ட அடுக்குகளால் செய்யப்படும் கணக்கீடுகளை திறம்பட செயல்படுத்தும் மற்றும் இணைக்கும் Triton மற்றும் CUDA கர்னல்கள் இரண்டையும் தொகுக்கிறது.

ROSE முதன்மையாக Python-ல் கட்டமைக்கப்பட்டுள்ளது மற்றும் மாடல் வரையறைகளுக்கு PyTorch ஐ நம்பியுள்ளது. Python நமக்கு நெகிழ்வாக இருக்கவும் புதிய மாடல்களுக்கு ஏற்ப மாற்றியமைக்கவும் அனுமதிக்கும் அதே வேளையில், சேவை செய்தல் மற்றும் தொகுதி திட்டமிடல் (batch scheduling) போன்ற செயல்திறன் உணர்திறன் கூறுகள் பலவற்றை Rust-க்கு மாற்றி வருகிறோம்.

ஒரு புதிய மாடலை தொடங்குவதற்கு, முதலில் மாடல் வரிசைக்கட்டமைப்பை வரையறுத்து, அதற்கான ஒரு weight converter-ஐ உருவாக்குகிறோம். அனைத்து weight-களும் கணக்கில் எடுத்துக் கொள்ளப்பட்ட பின், மிக எளிய TP=1 பயன்பாட்டு நிலைக்கான ஒரு forward pass-ஐ வரையறுத்து, அது தொடக்கம் முதல் முடிவு வரை சரியாக இயங்குகிறதா என்பதை உறுதிப்படுத்துகிறோம். இறுதியாக, பல்வேறு parallelism வடிவங்களுக்கான ஆதரவைக் கொண்டு வரி, சோதித்து, பின்னர் புதிய container-ஐ வெளியிட்டு, மதிப்பீட்டிற்காக மாடலை ஒரு cluster-ல் deploy செய்கிறோம். அதன் பிறகு, dashboards மற்றும் மேலும் நுணுக்கமான benchmarks ஆகிய இரண்டிலிருந்தும் வரும் பின்னூட்டத்தை நம்பி, செயல்திறனை மறு சுற்றுகளாக மேம்படுத்துகிறோம்.

ROSE எண் டோக்கன்களில் செயல்படுகிறது, ஒருங்கிணைப்பு சோதனைகளுக்கு வெளியே அரட்டை வடிவங்களைப் பற்றி மிகக் குறைவாகவே அறிந்திருக்கிறது. இணையாக, ஹார்மனி டோக்கனைசரை ஆதரிக்கவும், உள்ளீட்டு டோக்கன் வரிசைகளுடன் கோரிக்கைகளை சரியாக மேப் செய்யவும் சுற்றியுள்ள உள்கட்டமைப்பை சரிசெய்வதை நாங்கள் ஆராய வேண்டியிருந்தது.

GPT OSS மாடலுடன், எங்கள் டிகோடர்கள், CUDA கிராஃப் சேகரிப்புகள் அல்லது சுற்றியுள்ள உள்கட்டமைப்பு ஆகியவற்றில் எந்த மாற்றங்களும் தேவையில்லை என்பதைக் கண்டறிந்தோம், இதனால் மாடலை ஆதரிக்கும் கர்னல்களைத் சரிசெய்வதில் எங்கள் முயற்சிகளை மையப்படுத்த அனுமதிக்கிறது.

GPT-OSS க்கான கர்னல்கள்

சங் கவனம் (Sink Attention)

சிங்க் கவனம் என்பது softmax-க்கு முன் ஒரு கூடுதல் சார்புக் காரணியை அறிமுகப்படுத்துகிறது, இது Q மற்றும் K இன் பெருக்கத்துடன் குவிக்கப்படுகிறது:

plaintext
attn = softmax(q @ k^T * sm_scale + sink) * V

எளிய செயலாக்கம் மிகவும் எளிமையானதாக இருந்தாலும், FlashInfer போன்ற திறந்த கவனச் செயலாக்கங்கள், சுயாதீன தலைகள் மற்றும் KV வரிசை நீளம் ஆகிய இரண்டிலும் கவனத்தின் கணக்கீட்டை இணைக்கின்றன. கூடுதலாக, எண் நிலைத்தன்மைக்காக, எண் நிலைத்தன்மைக்காக அதிகபட்ச உறுப்பைக் கழிக்கும் போது Softmax ஆன்லைனில் கணக்கிடப்படுகிறது:

plaintext
softmax(x) = e^x / sum(e^x) = e ^ (x - max(x)) / sum(e ^ (x - max(x))

ஆன்லைன் செயலாக்கம் -inf மற்றும் 1 க்கு d அளவுகோலுக்கு துவக்கப்பட்ட இயங்கும் அதிகபட்ச m ஐக் கண்காணித்தது. தற்போதைய தலையின் மூழ்கி மதிப்புக்கு அதிகபட்சத்தை துவக்குவதன் மூலம், அது Softmax-ல் சரியாகக் குவிக்கப்படுவதை உறுதி செய்வோம். வரிசை நீளத்துடன் பல தொகுதிகளாக கவனம் பிரிக்கப்பட்டால், இந்த அதிகபட்சம் முதல் தொகுதியில் மட்டுமே சேர்க்கப்படுவதை உறுதி செய்வதில் நாங்கள் கவனம் செலுத்த வேண்டும்.

மூழ்கி அளவுருக்களைச் சேர்க்க, ப்ரீஃபில் மற்றும் டிகோட் இரண்டிற்கும் பயன்படுத்தப்படும் FlashInfer FA2 கர்னல் டெம்ப்ளேட்டை நாங்கள் சரிசெய்துள்ளோம்.

MoE

வெவ்வேறு மாடல்களின் MoE அடுக்குக்கு இடையேயான முக்கிய வேறுபாடு பொதுவாக ரூட்டிங் திட்டமாகும். கணிசமான மாறுபாட்டை எதிர்பார்த்து, ROSE இந்த கர்னலை Triton-ல் செயல்படுத்துகிறது, புதிய மாடல்களுக்கு அதை எளிதில் மாற்றியமைக்க நம்மை அனுமதிக்கிறது. GPT-OSS இன் விஷயத்தில், அனைத்து நிபுணர்களிலும் softmax ஐக் கணக்கிடும் சில DeepSeek-பாணி மாடல்களைப் போலல்லாமல், Top-K தேர்ந்தெடுக்கப்பட்ட நிபுணர்களுக்கு மட்டுமே softmax ஐச் செய்ய எடை மதிப்பெண்ணைச் சரிசெய்ய வேண்டியிருந்தது. bfloat16 துல்லியத்தில் நிபுணர் எடைகளைக் கணக்கிடுவது துல்லியத்திற்கு மிகவும் முக்கியமானது என்பதைக் கண்டறிந்தோம்.

MoE அடுக்குடன் உள்ள சவாலானது, சார்பு விதிமுறைகளுக்கான ஆதரவைக் கொண்டிருக்காத, தற்போதுள்ள DeepGEMM கர்னல்களை மீண்டும் பயன்படுத்தும் எங்கள் முடிவால் ஏற்பட்டது. அதிர்ஷ்டவசமாக, காலப்போக்கில் நாங்கள் அவற்றுடன் ஆழமாக ஒருங்கிணைத்து, எங்கள் தனிப்பயன் ஆல்-டூ-ஆல் டிஸ்பாட்ச் கர்னல்களுடன் அவற்றை நன்கு இணைக்க மாற்றங்களைச் செய்தோம். நினைவகத்திலிருந்து ஏற்றப்பட்ட சார்பு மதிப்புகளுக்கு WGMMA குவிப்பான் பதிவுகளைத் தொடங்குவதன் மூலம் DeepGEMM-க்கு சார்பு ஆதரவைச் சேர்த்தோம். இது ஒரு MN தொகுதியின் செயலாட்சியின் போது ஒரு முறை செய்யப்படும் செயலாகும், எனவே செலவு குறைவாகவே இருக்கும் மற்றும் L2 தற்காலிக சேமிப்பு இந்த மதிப்புகளுக்கான திறமையான அணுகலை உறுதி செய்கிறது.

இந்த மாடல்கள் தரவு இணையாக்கத்திலிருந்து (Data Parallelism) உடனடியாகப் பயனடையாது என்பதால், நாங்கள் TP-மட்டுமேயான டிஸ்பாட்ச் மற்றும் கம்பைன் கர்னல்களை மீண்டும் பயன்படுத்தினோம். டிஸ்பாட்சுக்கான உள்ளீடுகள் அனைத்து தரவரிசைகளிலும் நகலெடுக்கப்படுகின்றன, எனவே டிஸ்பாட்ச் உள்ளூர் ரீதியாகக் கிடைக்கும் நிபுணர்களுக்கான டோக்கன்களைத் தேர்ந்தெடுக்கிறது. கம்பைன் ஆனது NVLink முழுவதும் எடையுள்ள குவிப்பைச் செய்கிறது.

செயல்திறன் மாற்றங்கள்

எங்கள் நோக்கம் மாடல்களை விரைவாக தொடங்குவதே என்றாலும், செயல்திறன் இன்னும் நியாயமான அளவில் இருக்க வேண்டும் என்பதையும் உறுதிசெய்ய விரும்பினோம். OpenAI வழங்கிய ஒரு reference implementation-க்கு எதிராக சரிபார்த்து correctness-ஐ உறுதிப்படுத்திய பிறகு, default PyTorch profiler-ஐ பயன்படுத்தி எங்கள் implementation-ஐ profile செய்தோம்; kernels across block மற்றும் த்ரெட் allocations-ஐ கவனித்தோம். நாங்கள் மீண்டும் பயன்படுத்திய functionality, 7168 என்ற hidden dimension கொண்ட மாடல்களுக்காக உருவாக்கப்பட்டதாகும்; இது GPT-OSS மாடல்களின் 2880-ஐ விட குறிப்பிடத்தக்க அளவில் பெரியது. மேலும் சிறந்த grid dimensions-ஐ தேர்வு செய்ய kernel launchers-ஐ சிறப்பு முறையில் அமைத்து, throughput-ஐ குறிப்பிடத்தக்க அளவில் உயர்த்தினோம்.

டோக்கனைசேஷன் மற்றும் சேனல்கள்

ஹார்மணியின் அரட்டை வடிவம் உரையாடல்கள், காரண உள்ளடக்கங்கள் மற்றும் செயல்பாட்டு அழைப்புகளை வடிவமைப்பதற்கான பல முக்கியமான கருத்துகளைக் கொண்டுள்ளது. இந்த வடிவத்தில், ஒவ்வொரு செய்தியும் தலைப்பு மற்றும் உள்ளடக்கத்தைக் கொண்டுள்ளது:

plaintext
<|start|>{header}<|message|>{content}<|end|>

தலைப்பு மெட்டாடேட்டாவைக் கொண்டுள்ளது — மிக முக்கியமாக பங்கு (சிஸ்டம், டெவலப்பர், பயனர், உதவியாளர், கருவி), சேனல் மற்றும் கருவி அழைப்பை invoking செய்யும் போது to=functions.<function-name> போன்ற பெறுநர்.

சேனல்கள் (பகுப்பாய்வு, கருத்து மற்றும் இறுதிப் பதில் போன்றவை) மாடலின் வெளியீடுகளை மிகவும் வெளிப்படையானதாகவும் பிரிக்கப்பட்டதாகவும் ஆக்குகின்றன. வடிவம் இந்தப் பிரிவினையை அமல்படுத்துவதால், உற்பத்தி முறையில் சிந்தனைச் சங்கிலியை கசியவிடாமல் மாடல் வெளிப்படையாகக் காரணம்கூற முடியும் (மற்றும் பிழைத்திருத்தத்திற்காக ஆய்வு செய்யப்படலாம்). பெறுநர் குறிச்சொற்கள் (to= தலைப்புகள்) ரன்நேமுக்கு எந்த நடிகர் அடுத்த பேலோடைப் பெற வேண்டும் என்பதைத் துல்லியமாகச் சொல்கின்றன - அது ஒரு செயல்பாடாக இருந்தாலும், மாடலாக இருந்தாலும் அல்லது இறுதி பயனராக இருந்தாலும் சரி.

எங்களின் இன்ஃபெரன்ஸ் என்ஜின் ROSE வடிவம்-அஞ்ஞானமானது (format-agnostic). இது உள்ளீட்டு டோக்கன்களின் தொகுதியைப் பெற்று வெளியீட்டு டோக்கன்களை மீண்டும் ஸ்ட்ரீம் செய்கிறது. எங்கள் இன்ஃபெரன்ஸ் ஸ்டாக்கில், உள்ளீடுகளை டோக்கனைஸ் செய்யப்பட்ட ப்ராம்ப்ட்டாக வடிவமைத்தல் மற்றும் LLM முடிவுகளை கட்டமைக்கப்பட்ட செய்திகளாக பாகுபடுத்துதல் போன்ற பணி பிரத்யேக JSON API முன்பக்க சேவையால் கையாளப்படுகிறது. இந்த முன்பக்கத்தில் செருகக்கூடிய புதிய ஃபார்மாட்டர்/பார்சரைச் சேர்ப்பதன் மூலம் ஹார்மணியை ஒருங்கிணைத்தோம், முன்பக்கம் அரட்டை-வடிவ விதிகள், கருவி அழைப்புகள் மற்றும் ஸ்ட்ரீமிங்கை நேர்த்தியாக நிர்வகிக்கும் அதே வேளையில் பின்தலம் மாறாமல் இருக்க அனுமதிக்கிறது. இந்த கவலைகளின் பிரிவு கட்டமைப்பை மாடுலராக வைத்திருக்கிறது, குறைந்தபட்ச பின்தல மாற்றங்களுடன் புதிய வடிவங்களை விரைவாக ஏற்றுக்கொள்ள உதவுகிறது.

செலவு மற்றும் செயல்திறன்

GPT-OSS மாடல்களின் ஒப்பீட்டளவில் சிறிய அளவைக் கருத்தில் கொண்டு, முனைகளுக்கு இடையேயான தொடர்பு மேல்நிலையைத் தவிர்க்க, ஒரு நகலை ஒரே முனையில் வரிசைப்படுத்துவதை வரம்புக்குட்படுத்துகிறோம். எங்களின் செயலாக்கம் நிபுணர் இணையாக்கம் (EP), தரவு இணையாக்கம் (DP) மற்றும் டென்சார் இணையாக்கம் (TP) ஆகியவற்றின் நெகிழ்வான கலவைகளை ஆதரிக்கிறது. உகந்த வரிசைப்படுத்தல் அமைப்பைத் தீர்மானிக்க, 1 முதல் 128 வரையிலான தொகுதி அளவுகளில் அனைத்து ஷார்டிங் உத்திகளின் கலவைகளையும் பெஞ்ச்மார்க் செய்தோம். ப்ரீஃபில்-டிகோட் பிரிப்பு (Prefill-Decode Disaggregation) நன்றி, ப்ரீஃபில் மற்றும் டிகோட் ஆகியவற்றுக்கு செயல்திறன்-செலவு வர்த்தக பரிமாற்றத்தை தனித்தனியாக விவாதிக்க முடிகிறது.

செலவு மதிப்பீடுகளுக்கு, $3.00/மணிநேரம் என்ற பெயரளவிலான H200 சந்தை வீதத்தை நாங்கள் கருதுகிறோம் (குறிப்பு: இது எங்கள் உண்மையான GPU விலை அல்ல).

batch_size=1 மற்றும் DP=1 என அமைப்பது சிறந்த ப்ரீஃபில் செயல்திறனை அளிக்கிறது என்பதைக் கண்டறிந்தோம். வெவ்வேறு TP உள்ளமைவுகள் முதல்-டோக்கன் தாமதம் மற்றும் செலவுக்கு இடையே மாறுபட்ட வர்த்தக பரிமாற்றங்களை வழங்குகின்றன. கீழே உள்ள அட்டவணைகள் பல்வேறு உள்ளமைவுகள் மற்றும் உள்ளீட்டு நீளங்களுக்கு மில்லியன் உள்ளீட்டு டோக்கன்களுக்கு ப்ரீஃபில் தாமதம் மற்றும் செலவை முன்வைக்கின்றன.

GPT-OSS 120B:

உள்ளீட்டு நீளம்

8192

32768

65536

128000

EP1 DP1 TP1

0.364s, $0.037

2.421s, $0.062

7.375s, $0.094

23.902s, $0.156

EP2 DP1 TP2

0.190s, $0.039

1.245s, $0.063

3.786s, $0.096

12.116s, $0.158

EP4 DP1 TP4

0.165s, $0.067

0.900s, $0.092

2.449s, $0.125

7.165s, $0.187

EP8 DP1 TP8

0.179s, $0.145

0.839s, $0.171

2.003s, $0.204

5.119s, $0.267

பாரலலிசம் உள்ளமைவு மற்றும் உள்ளீட்டு நீளம் அடிப்படையில், GPT-OSS 120B prefill தாமதமும் மில்லியன் உள்ளீட்டு டோக்கன்களுக்கு செலவும்.

GPT-OSS 20B:

உள்ளீட்டு நீளம்

8192

32768

65536

128000

EP1 DP1 TP1

0.239s, $0.024

1.610s, $0.041

4.895s, $0.062

16.037s, $0.104

EP2 DP1 TP2

0.127s, $0.026

0.833s, $0.042

2.522s, $0.064

8.143s, $0.106

EP4 DP1 TP4

0.108s, $0.044

0.593s, $0.060

1.616s, $0.082

4.766s, $0.124

EP8 DP1 TP8

0.116s, $0.094

0.547s, $0.111

1.310s, $0.133

3.365s, $0.175

பாரலலிசம் உள்ளமைவு மற்றும் உள்ளீட்டு நீளம் அடிப்படையில், GPT-OSS 20B prefill தாமதமும் மில்லியன் உள்ளீட்டு டோக்கன்களுக்கு செலவும்.

டிகோடை பொறுத்தவரை, பெரும்பாலான நிகழ்வுகளுக்கு EP4 DP1 TP4 சிறந்த உள்ளமைவு என்பதைக் கண்டறிந்தோம். கீழே உள்ள நான்கு வரைபடங்கள் 8192 மற்றும் 32768 வரிசை நீளங்களில் 120B மற்றும் 20B மாடல்களுக்கு டிகோட் வேகம் மற்றும் மில்லியன் வெளியீட்டு டோக்கன்களுக்கு செலவு ஆகியவற்றுக்கு இடையேயான வர்த்தக பரிமாற்றத்தை விளக்குகின்றன.

வரிசை நீளம் 8,192-இல் GPT-OSS 120B க்கான decode-only மில்லியன் வெளியீட்டு டோக்கன்களுக்கு செலவும் decoding வேகமும், EP1, EP2, EP4, மற்றும் EP8 உள்ளமைவுகளை ஒப்பிட்டு.
வரிசை நீளம் 32,768-இல் GPT-OSS 120B க்கான decode-only மில்லியன் வெளியீட்டு டோக்கன்களுக்கு செலவும் decoding வேகமும், EP1, EP2, EP4, மற்றும் EP8 உள்ளமைவுகளை ஒப்பிட்டு.
வரிசை நீளம் 8,192-இல் GPT-OSS 20B க்கான decode-only மில்லியன் வெளியீட்டு டோக்கன்களுக்கு செலவும் decoding வேகமும், EP1, EP2, EP4, மற்றும் EP8 உள்ளமைவுகளை ஒப்பிட்டு.
வரிசை நீளம் 32,768-இல் GPT-OSS 20B க்கான decode-only மில்லியன் வெளியீட்டு டோக்கன்களுக்கு செலவும் decoding வேகமும், EP1, EP2, EP4, மற்றும் EP8 உள்ளமைவுகளை ஒப்பிட்டு.

பெரிய 120B மாடலுக்கான ஊக டிகோடிங் (speculative decoding) வரைவு மாடலாக சிறிய 20B மாடலைப் பயன்படுத்துவதையும் நாங்கள் பரிசீலித்துள்ளோம். இருப்பினும், செயல்படுத்தப்பட்ட அளவுருக்களின் எண்ணிக்கை ஒத்ததாக இருப்பதால் (3B vs. 5B), இதன் விளைவாக கிடைக்கும் வேக அதிகரிப்பு குறைவாகவே இருந்தது.

குறிப்புகள்

பிரிக்கப்பட்ட ப்ரீஃபில் மற்றும் டிகோட் (Disaggregated Prefill and Decode)

ஊகங்கள் மூலம் சோனரை துரிதப்படுத்துதல்​

பல முனை DeepSeek வரிசைப்படுத்தலுடன் குறைந்த தாமதம் மற்றும் அதிக செயல்திறன்

​திறமையான மற்றும் போர்ட்டபிள் நிபுணர்களின் கலவை தொடர்பு (Efficient and Portable Mixture-of-Experts Communication)

​pplx-kernels

DeepGEMM

FlashInfer: LLM இன்ஃபெரன்ஸ் சேவைக்கான திறமையான மற்றும் தனிப்பயனாக்கக்கூடிய கவனப் பொறி (Efficient and Customizable Attention Engine for LLM Inference Serving)

கவன மூழ்கிகளுடன் கூடிய திறமையான ஸ்ட்ரீமிங் மொழி மாடல்கள்

DeepSeek-V3 தொழில்நுட்ப அறிக்கை​

​OpenAI ஹார்மனி பதில் வடிவம் | OpenAI குக் புக்​

மேற்கோள்

BibTeX
@online{perplexity2025GptOssOnDay0,
  author = {{Perplexity} and Nandor Licker and Lequn Chen and Vladimir Zaytsev and Kevin Hu and Lauren Kolm and Jesse Dwyer},
  title = {{GPT-OSS on day 0}},
  date = {2025-08-08},
  url = {https://www.perplexity.ai/hub/blog/gpt-oss-on-day-0}
}