Day 0-তে GPT-OSS

FP8, সিঙ্ক অ্যাটেনশন এবং MoE অপ্টিমাইজেশন সহ ROSE অ্যাডাপ্ট করে H200-এ GPT‑OSS-এর জন্য Day‑0 সাপোর্ট

লেখকগণPerplexity Engineering

Perplexity এমন সব কৌতূহলী মানুষের কাছে সেরা এআই মডেলগুলো উপলব্ধ করতে প্রতিশ্রুতিবদ্ধ যারা সঠিক ও নির্ভরযোগ্য উত্তর এবং এজেন্টিক অ্যাকশন চান। OpenAI সম্প্রতি তাদের ওপেন-ওয়েট মডেলগুলো (gpt-oss-20b এবং gpt-oss-120b) ঘোষণা করেছে। অনেক শীর্ষস্থানীয় মডেলের মতো, Perplexity-ও প্রথম দিককার সংস্থাগুলোর মধ্যে একটি যারা gpt-oss-20b এবং gpt-oss-120b মূল্যায়ন করেছে।

এই পোস্টে, আমরা আমাদের ইন-হাউস ইনফারেন্স স্ট্যাকের অবকাঠামোগত সিদ্ধান্তগুলো শেয়ার করছি যা Day-0 সাপোর্ট সম্ভব করে তুলেছে। আমরা NVIDIA H200 জিপিইউ-তে এই মডেলগুলো সার্ভ করার ওপর ফোকাস করেছি, যেখানে কার্নেল পরিবর্তন, ডিপ্লয়মেন্টের পছন্দ এবং গতি-মূল্যের ট্রেড-অফগুলোর বিস্তারিত আলোচনা করা হয়েছে।

হপারে GPT-OSS

ওপেন-ওয়েট মডেলগুলো MXFP4 কোয়ান্টাইজেশন ব্যবহার করে পাঠানো হয়, যা কনজুমার-গ্রেড হার্ডওয়্যারের মেমোরিতে ফিট করতে বা NVIDIA Blackwell-এ সর্বোচ্চ থ্রুপুট অর্জনে সাহায্য করে। তবে, প্রাথমিক মূল্যায়নের জন্য, আমরা ন্যূনতম ইনফারেন্স-ইঞ্জিন পরিবর্তনের মাধ্যমে এগুলোকে বিদ্যমান H200 Hopper ক্লাস্টারে চালাতে চেয়েছিলাম। Hopper-এ কোনো নির্দিষ্ট FP4 টেন্সর কোর নেই, যা Blackwell দ্বারা প্রবর্তিত হয়েছিল। ফলস্বরূপ, কাস্টম কার্নেলের প্রয়োজনীয়তা কম করতে এবং উপলব্ধ হার্ডওয়্যারের সর্বোত্তম ব্যবহার নিশ্চিত করতে আমরা পরিবর্তে FP8 নির্ভুলতার সাথে মডেলগুলো সার্ভ করার সিদ্ধান্ত নিয়েছি।

উচ্চ স্তরে, ট্রান্সফরমার এলএলএম (LLM) কাঠামোগতভাবে সহজ:

ইনপুট এম্বেডিং

ট্রান্সফরমার স্তরের একটি সিকোয়েন্স। প্রতিটিতে একটি অ্যাটেনশন ব্লক এবং একটি ডেন্স MLP বা স্পার্স MoE ব্লক থাকে।

আউটপুট লজিট প্রজেকশন

একটি নতুন ট্রান্সফরমার মডেল চালু করার সময়, প্রয়োজনীয় পরিবর্তনগুলো চিহ্নিত করতে বিদ্যমান মডেলগুলোর সাথে সেগুলো কতটা মেলে তা জানা আমাদের প্রাথমিক আগ্রহের বিষয় থাকে। OpenAI দয়া করে তাদের মডেলগুলোর একটি ওভারভিউ আগে থেকেই শেয়ার করেছে, যা আমাদের সেই অনুযায়ী ইনফারেন্স সেটআপ পরিবর্তন করার সুযোগ করে দিয়েছে। আমরা দেখেছি যে মডেলটিতে বেশ কিছু ছোট পরিবর্তনের প্রয়োজন হয়েছে।

অ্যাটেনশন: অ্যাটেনশন সিঙ্ক সহ GQA

প্রতিটি অ্যাটেনশন হেডের একটি প্রি-ট্রেন্ড সিঙ্ক প্যারামিটার থাকে যা Softmax-এ গণনা করা হয়

YaRN পজিশনাল এনকোডিং, DeepSeek-V3 এর অনুরূপ

QKV প্রজেকশনে বায়াস রয়েছে, Qwen 2 এর অনুরূপ

আউটপুট প্রজেকশনে বায়াস রয়েছে

MLP: স্পার্স মিক্সচার-অফ-এক্সপার্ট (MoE)

SwiGLU অ্যাক্টিভেশন ফাংশন, যা বেশিরভাগ ওপেন-ওয়েট মডেল থেকে আলাদা

এক্সপার্ট ওয়েটগুলোর জন্য Top-K এর পরে Softmax

এক্সপার্টদের বায়াস রয়েছে

প্যারামিটারের সংখ্যা প্রায় 100B-200B হবে আশা করে, আমরা সিদ্ধান্ত নিয়েছি:

অ্যাটেনশন সিঙ্ক সমর্থন করার জন্য FlashInfer প্রসারিত করা

DeepSeek-V3 পরিবারের মডেলগুলোর জন্য ইতিমধ্যেই তৈরি MoE বাস্তবায়ন পুনরায় ব্যবহার করা

বায়াস টার্ম সমর্থন করার জন্য DeepGEMM কার্নেলগুলোকে প্রসারিত করে, কোয়ান্টাইজেশন স্কিম হিসেবে FP8 128x128 ব্লক স্কেলিং বেছে নেওয়া।

ইন-হাউস ইনফারেন্স ইঞ্জিন

আমাদের ইনফারেন্স প্রচেষ্টাগুলো আমাদের ইন-হাউস ইনফারেন্স ইঞ্জিন, ROSE দ্বারা সমর্থিত। আমরা ROSE-কে একটি নমনীয় ফ্রেমওয়ার্ক হিসেবে তৈরি করছি যা নতুন মডেলগুলোকে দ্রুত চালু করার অনুমতি দেয়। অতিরিক্তভাবে, একবার আমরা কোনো মডেল স্কেলে সার্ভ করতে প্রতিশ্রুতিবদ্ধ হলে, এটি অত্যাধুনিক স্তরে পৌঁছানোর জন্য কর্মক্ষমতা অপ্টিমাইজ এবং বৃদ্ধি করার একটি প্ল্যাটফর্ম প্রদান করে।

ROSE একটি এলএলএম (LLM) ইঞ্জিন প্রকাশ করে, যা একটি মডেল লোড করতে পারে এবং স্পেকুলেটিভ ও MTP ডিকোডার সহ একাধিক ডেকোডারের মাধ্যমে এর জন্য ডিকোড করা টোকেন জেনারেট করতে পারে। মডেলগুলো নিজে কাস্টম সেট অফ লেয়ার নিয়ে গঠিত, যা কোয়ান্টাইজেশন এবং প্যারালালিজমের জন্য বিভিন্ন কনফিগারেশন নড সমর্থন করে। লেয়ারগুলোর নিচে, এটি Triton এবং CUDA উভয় কার্নেল বান্ডেল করে যা পৃথক লেয়ার দ্বারা সম্পাদিত গণনাগুলোকে দক্ষতার সাথে বাস্তবায়ন এবং ফিউজ করে।

ROSE মূলত Python-এ তৈরি এবং মডেলের সংজ্ঞাগুলোর জন্য PyTorch-এর ওপর নির্ভর করে। Python আমাদের নমনীয় হতে এবং নতুন মডেলের সাথে খাপ খাইয়ে নিতে সাহায্য করলেও, আমরা সার্ভিং এবং ব্যাচ সিডিউলিংয়ের মতো বেশিরভাগ পারফরম্যান্স-সংবেদনশীল উপাদানগুলোকে Rust-এ মাইগ্রেট করছি।

একটি নতুন মডেল চালু করতে, আমরা প্রথমে মডেলের হায়ারার্কি সংজ্ঞায়িত করি এবং এর জন্য একটি ওয়েট কনভার্টার তৈরি করি। সমস্ত ওয়েট হিসাব করার পরে, আমরা সবচেয়ে সহজ TP=1 ব্যবহারের ক্ষেত্রে ফরোয়ার্ড পাস সংজ্ঞায়িত করি এবং নিশ্চিত করি যে এটি এন্ড-টু-এন্ড কাজ করছে। অবশেষে, আমরা একটি নতুন কন্টেইনার প্রকাশ করার এবং মূল্যায়নের জন্য একটি ক্লাস্টারে মডেলটি ডিপ্লয় করার আগে বিভিন্ন ধরণের প্যারালালিজমের জন্য সমর্থন বাস্তবায়ন এবং পরীক্ষা করি। তারপরে আমরা ড্যাশবোর্ড এবং সূক্ষ্ম গ্রেইন্ড বেঞ্চমার্ক উভয় থেকে ফিডব্যাকের উপর নির্ভর করে পারফরম্যান্সের উপর কাজ চালিয়ে যাই।

ROSE ইন্টিগ্রেশন টেস্টের বাইরে চ্যাট ফরম্যাট সম্পর্কে সামান্য জ্ঞান রেখে সংখ্যাসূচক টোকেনের উপর কাজ করে। সমান্তরালভাবে, আমাদের Harmony টোকেনজার সমর্থন করতে এবং ইনপুট টোকেন সিকোয়েন্সের সাথে অনুরোধগুলোকে সঠিকভাবে ম্যাপ করতে আশেপাশের অবকাঠামো খতিয়ে দেখতে হয়েছিল।

GPT OSS মডেলের সাথে, আমরা দেখেছি যে আমাদের ডিকোডার, CUDA গ্রাফ হার্নেস বা আশেপাশের অবকাঠামোতে কোনো পরিবর্তনের প্রয়োজন হয়নি, যার ফলে আমরা মডেলটিকে সমর্থনকারী কার্নেলগুলো টুইক করার ওপর আমাদের প্রচেষ্টা ফোকাস করতে পেরেছি।

GPT-OSS-এর জন্য কার্নেল

সিঙ্ক অ্যাটেনশন

সিঙ্ক অ্যাটেনশন softmax-এর আগে একটি অতিরিক্ত বায়াস ফ্যাক্টর প্রবর্তন করে, যা Q এবং K-এর গুণের সাথে জমা হয়:

plaintext
attn = softmax(q @ k^T * sm_scale + sink) * V

যদিও একটি সাধারণ বাস্তবায়ন বেশ সহজ, দক্ষ অ্যাটেনশন বাস্তবায়ন, যেমন FlashInfer, স্বাধীন হেড এবং KV সিকোয়েন্স দৈর্ঘ্য উভয় জুড়েই অ্যাটেনশনের গণনাকে প্যারালাল করে। অতিরিক্তভাবে, সংখ্যাসূচক স্থায়িত্বের জন্য, সংখ্যাসূচক স্থায়িত্বের উদ্দেশ্যে সর্বাধিক উপাদান বিয়োগ করার সময় Softmax অনলাইনে গণনা করা হয়:

plaintext
softmax(x) = e^x / sum(e^x) = e ^ (x - max(x)) / sum(e ^ (x - max(x))

অনলাইন বাস্তবায়ন একটি রানিং ম্যাক্সিমাম m-কে -inf-এ এবং একটি স্কেল d-কে 1-এ ইনিশিয়ালাইজ করে ট্র্যাক করে। বর্তমান হেডের সিঙ্ক মানটিতে ম্যাক্সিমাম ইনিশিয়ালাইজ করার মাধ্যমে, আমরা নিশ্চিত করতে পারি যে এটি Softmax-এ সঠিকভাবে জমা হবে। সিকোয়েন্সের দৈর্ঘ্য বরাবর একাধিক ব্লকে অ্যাটেনশন বিভক্ত করা হলে এই ম্যাক্সিমামটি শুধুমাত্র প্রথম চাঙ্কে অন্তর্ভুক্ত করা হয় তা নিশ্চিত করার জন্য আমাদের যত্ন নিতে হয়েছিল।

আমরা প্রিফিল এবং ডিকোড উভয়টির জন্যই ব্যবহৃত FlashInfer FA2 কার্নেল টেমপ্লেটটি সিঙ্ক প্যারামিটারগুলো অন্তর্ভুক্ত করার জন্য সামঞ্জস্য করেছি।

MoE

বিভিন্ন মডেলের MoE স্তরের মধ্যে প্রধান পার্থক্য সাধারণত রাউটিং স্কিম হয়। উল্লেখযোগ্য পরিবর্তনশীলতা আশা করে, ROSE এই কার্নেলটিকে Triton-এ বাস্তবায়ন করে, যা আমাদের সহজেই নতুন মডেলের সাথে খাপ খাইয়ে নিতে দেয়। GPT-OSS-এর ক্ষেত্রে, কিছু DeepSeek-শৈলীর মডেলের মতো যেগুলো সমস্ত এক্সপার্ট জুড়ে softmax গণনা করে, আমাদের শুধুমাত্র Top-K সিলেক্ট করা এক্সপার্ট জুড়ে softmax সম্পাদন করতে ওয়েট স্কোরিং সামঞ্জস্য করতে হয়েছিল। আমরা দেখেছি যে bfloat16 নির্ভুলতায় এক্সপার্ট ওয়েট গণনা করা নির্ভুলতার জন্য অত্যন্ত গুরুত্বপূর্ণ।

MoE স্তর সংক্রান্ত চ্যালেঞ্জটি আমাদের বিদ্যমান DeepGEMM কার্নেলগুলো পুনরায় ব্যবহার করার সিদ্ধান্তের কারণে ছিল, যেগুলোতে বায়াস টার্মের জন্য সমর্থনের অভাব ছিল। সৌভাগ্যবশত, সময়ের সাথে সাথে আমরা সেগুলোর সাথে গভীরভাবে একীভূত হয়েছি, এবং আমাদের কাস্টম অল-টু-অল ডিসপ্যাচ কার্নেলগুলোর সাথে সেগুলোকে আরও ভালোভাবে সংযুক্ত করার জন্য পরিবর্তন করেছি। মেমোরি থেকে লোড করা বায়াস মানে WGMMA অ্যাক্যুমুলেটর রেজিস্টারগুলো ইনিশিয়ালাইজ করে আমরা DeepGEMM-এ বায়াস সমর্থন যোগ করেছি। MN ব্লক প্রক্রিয়াকরণের সময় এটি একটি একবারের ঘটনা, তাই খরচ সম্ভবত সামান্য এবং L2 ক্যাশে এই মানগুলোতে দক্ষ অ্যাক্সেস নিশ্চিত করে।

যেহেতু এই মডেলগুলো ডেটা প্যারালালিজম থেকে সহজেই উপকৃত হয় না, তাই আমরা TP-only ডিসপ্যাচ এবং কম্বাইন কার্নেলগুলো পুনরায় ব্যবহার করেছি। ডিসপ্যাচের ইনপুটগুলো সমস্ত র‍্যাঙ্কে প্রতিলিপি করা হয়, সুতরাং ডিসপ্যাচ স্থানীয়ভাবে উপলব্ধ এক্সপার্টদের জন্য টোকেন নির্বাচন করে। কম্বাইন NVLink জুড়ে ওজনযুক্ত জমা সম্পাদন করে।

পারফরম্যান্স টুইক

যদিও আমাদের লক্ষ্য ছিল মডেলগুলোকে দ্রুত চালু করা, তবুও আমরা নিশ্চিত করতে চেয়েছিলাম যে পারফরম্যান্স যেন যুক্তিসঙ্গত থাকে। OpenAI দ্বারা প্রদত্ত একটি রেফারেন্স বাস্তবায়নের বিপরীতে সঠিকতা নিশ্চিত করার পরে, আমরা ডিফল্ট PyTorch প্রোফাইলার ব্যবহার করে আমাদের বাস্তবায়ন প্রোফাইল করেছি, কার্নেল জুড়ে ব্লক এবং থ্রেড অ্যালোকেশনগুলোর দিকে নজর রেখেছি। আমরা যে কার্যকারিতাটি পুনরায় ব্যবহার করেছি তা এমন মডেলগুলোর জন্য তৈরি করা হয়েছিল যেগুলোর একটি বৃহত্তর হিডেন ডাইমেনশন ছিল 7168, যা GPT-OSS মডেলগুলোর 2880 এর চেয়ে উল্লেখযোগ্যভাবে বড়। আমরা আরও ভালো গ্রিড ডাইমেনশন বেছে নিতে কার্নেল লঞ্চারগুলোকে বিশেষায়িত করেছি, যা থ্রুপুট উল্লেখযোগ্যভাবে বৃদ্ধি করেছে।

টোকেনাইজেশন এবং চ্যানেল

কথোপকথন, রিজনিং কন্টেন্ট এবং ফাংশন কল স্ট্রাকচার করার জন্য Harmony-র চ্যাট ফরম্যাটের বেশ কয়েকটি গুরুত্বপূর্ণ ধারণা রয়েছে। এই ফরম্যাটে, প্রতিটি বার্তা একটি হেডার এবং কন্টেন্ট নিয়ে গঠিত:

plaintext
<|start|>{header}<|message|>{content}<|end|>

হেডার মেটাডেটা বহন করে — সবচেয়ে গুরুত্বপূর্ণভাবে ভূমিকা (system, developer, user, assistant, tool), চ্যানেল এবং কোনো টুল কল করার সময় to=functions.<function-name>-এর মতো একটি প্রাপক।

চ্যানেলগুলো (যেমন অ্যানালিসিস, কমেন্ট্রি এবং ফাইনাল অ্যান্সার) মডেলের আউটপুটগুলোকে আরও স্বচ্ছ এবং সেগমেন্টেড করে তোলে। কারণ ফরম্যাটটি এই পৃথকীকরণ বলবৎ করে, মডেলটি প্রোডাকশনে চেইন-অব-থট লিক না করে স্বচ্ছভাবে রিজনিং করতে পারে (এবং ডিবাগিংয়ের জন্য পরিদর্শন করা যেতে পারে)। প্রাপক ট্যাগগুলো (to= হেডার) রানটাইমকে ঠিক বলে দেয় কোন অভিনেতার পরবর্তী পে-লোড পাওয়া উচিত — তা কোনো ফাংশন হোক, মডেল নিজেই হোক বা শেষ ব্যবহারকারী হোক।

আমাদের ইনফারেন্স ইঞ্জিন ROSE ফরম্যাট-অজ্ঞেয়বাদী (format-agnostic)। এটি ইনপুট টোকেনের একটি ব্যাচ পায় এবং আউটপুট টোকেন স্ট্রিম ব্যাক করে। আমাদের ইনফারেন্স স্ট্যাকে, ইনপুটগুলোকে টোকেনাইজড প্রম্পটে ফরম্যাট করার এবং LLM ফলাফলগুলোকে কাঠামোগত বার্তায় পার্স করার কাজটি ডেডিকেটেড JSON API ফ্রন্টএন্ড সার্ভিস দ্বারা পরিচালিত হয়। আমরা এই ফ্রন্টএন্ডে একটি নতুন প্লাগবল ফরম্যাটার/পার্সার যোগ করে Harmony ইন্টিগ্রেট করেছি, যা ফ্রন্টএন্ড পরিষ্কারভাবে চ্যাট-ফরম্যাট নিয়ম, টুল কল এবং স্ট্রিমিং পরিচালনা করার সময় ব্যাকএন্ডকে অপরিবর্তিত থাকতে দেয়। উদ্বেগের এই পৃথকীকরণ আর্কিটেকচারটিকে মডুলার রাখে, যা ন্যূনতম ব্যাকএন্ড পরিবর্তনের মাধ্যমে নতুন ফরম্যাট, রেসপন্স ফিচারের দ্রুত গ্রহণ সক্ষম করে।

খরচ এবং পারফরম্যান্স

GPT-OSS মডেলগুলোর তুলনামূলকভাবে ছোট আকারের কারণে, আমরা নোডের মধ্যে যোগাযোগের ওভারহেড এড়াতে একটি একক নোডে একটি রেপ্লিকার ডিপ্লয়মেন্ট সীমিত করি। আমাদের বাস্তবায়ন এক্সপার্ট প্যারালালিজম (EP), ডেটা প্যারালালিজম (DP), এবং টেন্সর প্যারালালিজম (TP)-এর নমনীয় সমন্বয় সমর্থন করে। সর্বোত্তম ডিপ্লয়মেন্ট সেটআপ নির্ধারণ করতে, আমরা 1 থেকে 128 পর্যন্ত ব্যাচ সাইজ জুড়ে শার্ডিং কৌশলগুলোর সমস্ত সংমিশ্রণ বেঞ্চমার্ক করেছি। Prefill-Decode Disaggregation-এর ধন্যবাদে, আমরা প্রিফিল এবং ডিকোড উভয়ের জন্য আলাদাভাবে পারফরম্যান্স-মূল্যের ট্রেড-অফ আলোচনা করতে সক্ষম হয়েছি।

খরচের অনুমানের জন্য, আমরা প্রতি ঘন্টায় $3.00-এর নামমাত্র H200 বাজার হার ধরে নিই (দ্রষ্টব্য: এটি আমাদের প্রকৃত জিপিইউ মূল্য নয়)।

আমরা দেখতে পেয়েছি যে batch_size=1 এবং DP=1 সেট করলে সেরা প্রিফিল পারফরম্যান্স পাওয়া যায়। বিভিন্ন TP কনফিগারেশন তখন ফার্স্ট-টোকেন লেটেন্সি এবং খরচের মধ্যে বিভিন্ন ট্রেড-অফ প্রদান করে। নীচের টেবিলগুলো বিভিন্ন কনফিগারেশন এবং ইনপুট দৈর্ঘ্যের জন্য প্রতি মিলিয়ন ইনপুট টোকেনের প্রিফিল লেটেন্সি এবং খরচ উপস্থাপন করে।

GPT-OSS 120B:

ইনপুট দৈর্ঘ্য

8192

32768

65536

128000

EP1 DP1 TP1

0.364s, $0.037

2.421s, $0.062

7.375s, $0.094

23.902s, $0.156

EP2 DP1 TP2

0.190s, $0.039

1.245s, $0.063

3.786s, $0.096

12.116s, $0.158

EP4 DP1 TP4

0.165s, $0.067

0.900s, $0.092

2.449s, $0.125

7.165s, $0.187

EP8 DP1 TP8

0.179s, $0.145

0.839s, $0.171

2.003s, $0.204

5.119s, $0.267

সমান্তরালতার কনফিগারেশন এবং ইনপুট দৈর্ঘ্য অনুযায়ী GPT-OSS 120B-এর প্রিফিল লেটেন্সি এবং প্রতি মিলিয়ন ইনপুট টোকেনে খরচ।

GPT-OSS 20B:

ইনপুট দৈর্ঘ্য

8192

32768

65536

128000

EP1 DP1 TP1

0.239s, $0.024

1.610s, $0.041

4.895s, $0.062

16.037s, $0.104

EP2 DP1 TP2

0.127s, $0.026

0.833s, $0.042

2.522s, $0.064

8.143s, $0.106

EP4 DP1 TP4

0.108s, $0.044

0.593s, $0.060

1.616s, $0.082

4.766s, $0.124

EP8 DP1 TP8

0.116s, $0.094

0.547s, $0.111

1.310s, $0.133

3.365s, $0.175

সমান্তরালতার কনফিগারেশন এবং ইনপুট দৈর্ঘ্য অনুযায়ী GPT-OSS 20B-এর প্রিফিল লেটেন্সি এবং প্রতি মিলিয়ন ইনপুট টোকেনে খরচ।

ডিকোড করার জন্য, আমরা দেখতে পেয়েছি যে EP4 DP1 TP4 বেশিরভাগ ক্ষেত্রে সেরা কনফিগারেশন। নীচের চারটি গ্রাফ 8192 এবং 32768 সিকোয়েন্স দৈর্ঘ্যে 120B এবং 20B উভয় মডেলের জন্য ডিকোড গতি এবং প্রতি মিলিয়ন আউটপুট টোকেনের খরচের মধ্যে ট্রেড-অফ চিত্রিত করে।

সিকোয়েন্স দৈর্ঘ্য 8,192-এ GPT-OSS 120B-এর জন্য শুধুমাত্র ডিকোডিংয়ের ক্ষেত্রে প্রতি মিলিয়ন আউটপুট টোকেনে খরচ বনাম ডিকোডিং গতি, যেখানে EP1, EP2, EP4, এবং EP8 কনফিগারেশন তুলনা করা হয়েছে।
সিকোয়েন্স দৈর্ঘ্য 32,768-এ GPT-OSS 120B-এর জন্য শুধুমাত্র ডিকোডিংয়ের ক্ষেত্রে প্রতি মিলিয়ন আউটপুট টোকেনে খরচ বনাম ডিকোডিং গতি, যেখানে EP1, EP2, EP4, এবং EP8 কনফিগারেশন তুলনা করা হয়েছে।
সিকোয়েন্স দৈর্ঘ্য 8,192-এ GPT-OSS 20B-এর জন্য শুধুমাত্র ডিকোডিংয়ের ক্ষেত্রে প্রতি মিলিয়ন আউটপুট টোকেনে খরচ বনাম ডিকোডিং গতি, যেখানে EP1, EP2, EP4, এবং EP8 কনফিগারেশন তুলনা করা হয়েছে।
সিকোয়েন্স দৈর্ঘ্য 32,768-এ GPT-OSS 20B-এর জন্য শুধুমাত্র ডিকোডিংয়ের ক্ষেত্রে প্রতি মিলিয়ন আউটপুট টোকেনে খরচ বনাম ডিকোডিং গতি, যেখানে EP1, EP2, EP4, এবং EP8 কনফিগারেশন তুলনা করা হয়েছে।

আমরা বৃহত্তর 120B মডেলের জন্য একটি স্পেকুলেটিভ ডিকোডিং ড্রাফ্ট মডেল হিসেবে ছোট 20B মডেলটি ব্যবহার করার কথাও বিবেচনা করেছি। তবে, সক্রিয় প্যারামিটারের সংখ্যা একই রকম হওয়ার কারণে (3B বনাম 5B), ফলে প্রাপ্ত গতি বৃদ্ধি সামান্য ছিল।

রেফারেন্স

ডিসএগ্রিগেটেড প্রিফিল এবং ডিকোড

স্পেকুলেশনের মাধ্যমে Sonar-কে ত্বরান্বিত করা​

মাল্টি-নোড DeepSeek ডিপ্লয়মেন্টের সাথে কম লেটেন্সি এবং উচ্চ থ্রুপুট

​দক্ষ এবং পোর্টেবল মিক্সচার-অফ-এক্সপার্ট কমিউনিকেশন

​pplx-kernels

DeepGEMM

FlashInfer: এলএলএম (LLM) ইনফারেন্স সার্ভিংয়ের জন্য দক্ষ এবং কাস্টমাইজযোগ্য অ্যাটেনশন ইঞ্জিন

অ্যাটেনশন সিঙ্ক সহ দক্ষ স্ট্রিমিং ভাষা মডেল

DeepSeek-V3 প্রযুক্তিগত রিপোর্ট​

​OpenAI Harmony রেসপন্স ফরম্যাট | OpenAI কুকবুক​

উদ্ধৃতি

BibTeX
@online{perplexity2025GptOssOnDay0,
  author = {{Perplexity} and Nandor Licker and Lequn Chen and Vladimir Zaytsev and Kevin Hu and Lauren Kolm and Jesse Dwyer},
  title = {{GPT-OSS on day 0}},
  date = {2025-08-08},
  url = {https://www.perplexity.ai/hub/blog/gpt-oss-on-day-0}
}