বাস্তব জগতের অভিজ্ঞতা থেকে শিক্ষা

ব্যবহারকারীরা বাস্তব বিশ্বে আমাদের পণ্যগুলোর সাথে কীভাবে ইন্টারঅ্যাক্ট করে তা মডেল ট্রেনিংয়ের জন্য একটি মূল্যবান উৎস। ডেটা প্রচুর পরিমাণে রয়েছে, ব্যবহারকারী টাস্কগুলোর প্রকৃত বিতরণ প্রতিফলিত করে এবং ব্যবহারকারীর সংশোধন এবং টুল ব্যর্থতাগুলো ক্যাপচার করে যা সিন্থেটিক পরিবেশগুলো মিস করতে পারে।

বাস্তব বিশ্বের ডেটা থেকে শেখার একটি সাধারণ উপায় হলো রিজেকশন স্যাম্পলিং ফাইন-টিউনিং: প্রতিটি সেশনের ফলাফল বিচার করুন, সফলগুলো রাখুন এবং মডেলকে সেগুলো অনুকরণ করার জন্য ট্রেনিং দিন। কিন্তু একটি সফল ফলাফল মানে এই নয় যে প্রতিটি পদক্ষেপ সঠিক ছিল, তাই পুরো ট্র্যাজেক্টরি অনুকরণ করার ফলে ভালোগুলোর পাশাপাশি খারাপ মধ্যবর্তী আচরণগুলোকেও শক্তিশালী করার ঝুঁকি থাকে। ব্যর্থ সেশনগুলো বাতিল করাও মডেলটি কোথায় কম পড়ে তার গুরুত্বপূর্ণ প্রমাণ হারিয়ে ফেলে।

সফল এবং অসফল উভয় সেশন থেকে শেখার জন্য আমরা রিজেকশন স্যাম্পলিং ফাইন-টিউনিং-এর সাথে হিন্ট-গাইডেড সেল্ফ-ডিস্টিলেশন যুক্ত করি। হিন্ট হলো একটি সংক্ষিপ্ত সংশোধনমূলক নির্দেশ যা মডেলের ভুল করার সময় ইতিমধ্যে থাকা তথ্যের উপর ভিত্তি করে তৈরি। সফল সেশন থেকে কার্যকর পদক্ষেপগুলো অনুকরণের লক্ষ্য হিসেবে থাকে, অন্যদিকে ভিত্তিযুক্ত হিন্টগুলো এড়ানো যায় এমন ভুলগুলোকে সংশোধনের লক্ষ্যে পরিণত করে।

সিন্থেটিক পরিবেশে রিইনফোর্সমেন্ট লার্নিংয়ের পরে আমরা এই পর্যায়টি প্রয়োগ করি যাতে সেই পরিবেশ এবং বাস্তব বিশ্বের ব্যবহারের মধ্যে ব্যবধান দূর করতে সাহায্য করা যায়।

লাইভ ব্যবহারে, একটি পরবর্তী পোস্ট-প্রশিক্ষিত GLM-5.2 চেকপয়েন্ট পূর্বের প্রশিক্ষিত চেকপয়েন্টের তুলনায় টুল-কল ব্যর্থতা ২১.২% হ্রাস করেছে। GLM-5.3-এর ক্ষেত্রে, পোস্ট-প্রশিক্ষণ স্টক মডেলের তুলনায় টুল-কল ব্যর্থতা ৩৩.০% এবং মাঝারি বা উচ্চ ব্যবহারকারী অসন্তুষ্টির গড় আনুমানিক সম্ভাবনা ১৭.২% হ্রাস করেছে।

সিন্থেটিক টাস্কগুলো আমাদের যাচাই করা সহজ ফলাফল সহ নিয়ন্ত্রিত সমস্যা তৈরি করতে দেয়, তবে সেগুলো সাধারণত একটি একক প্রম্পটের মধ্যে সীমাবদ্ধ থাকে এবং শুধুমাত্র আমরা স্পষ্টভাবে ডিজাইন করা দৃশ্যপটগুলো কভার করতে পারে।

এর বিপরীতে, বাস্তব বিশ্বের সেশনের ব্যবহারকারীরা একাধিক মিথস্ক্রিয়া টার্ন জুড়ে উদ্ঘাটিত সেশনগুলোতে বিভিন্ন নির্দেশাবলী, প্রেক্ষাপট এবং টুল সমন্বয় নিয়ে আসেন। এই ধরনের বাস্তব বিশ্বের ব্যবহার স্বাভাবিকভাবেই ভুলের দুটি মূল্যবান সংকেত দেয়: ব্যবহারকারীর সংশোধনগুলো প্রকাশ করে যেখানে এজেন্ট তারা যা চেয়েছিল তা সরবরাহ করতে ব্যর্থ হয়েছে, এবং টুল ত্রুটিগুলো দেখায় যেখানে এর কাজগুলো বাস্তব পরিবেশে ভেঙে পড়েছে। আমাদের স্যাম্পলিং পাইপলাইন ব্যক্তিগতভাবে সনাক্তকরণযোগ্য তথ্য (PII) রয়েছে এমন সেশনগুলো বাদ দিয়ে এবং অপ্ট-আউট করা ব্যবহারকারীদের সেশন বাদ দিয়ে ব্যবহারকারীদের গোপনীয়তা এবং ট্রেনিং পছন্দকে সম্মান করে।

অতএব, বাস্তব বিশ্বের ডেটা আমাদের এমন ব্যর্থতার কেস দেয় যা একটি সিন্থেটিক পরিবেশ প্রকাশ নাও করতে পারে এবং প্রায়শই ব্যর্থতা কোথায় ঘটেছে তা ইতিমধ্যে অন্তর্ভুক্ত থাকে।

বাস্তব বিশ্বের ডেটাতে ট্রেনিং দেওয়ার সময়, স্ট্যান্ডার্ড rejection sampling fine-tuning (RFT) ভালো মধ্যবর্তী পদক্ষেপগুলোকে খারাপগুলো থেকে আলাদা করতে ব্যবহারকারী এবং টুল ফিডব্যাক স্পষ্টভাবে ব্যবহার না করে, চূড়ান্ত ফলাফলের উপর ভিত্তি করে সফল সেশনগুলো নির্বাচন করে। একটি এজেন্ট একটি খারাপ টুল কল থেকে পুনরুদ্ধার করতে পারে বা ব্যবহারকারী ফিডব্্যাকের পরে একটি ভুল সংশোধন করতে পারে এবং এখনও শেষ পর্যন্ত সঠিক আউটপুট সরবরাহ করতে পারে।

ব্যর্থ সেশনগুলো বাদ দেওয়া স্যাম্পল ইফিসিয়েন্সির মাত্রাকেও সীমিত করে। যে সেশনটি কখনোই ভালো ফলাফলে পৌঁছায় না সেটিও একটি পরিষ্কার, এড়ানো সম্ভব ভুলকে দরকারী ট্রেনিং সিগন্যাল হিসেবে প্রকাশ করতে পারে।

আমরা দুটি সিদ্ধান্ত আলাদা করে এই সীমাবদ্ধতাগুলো সমাধান করি: কোন সেশনগুলোতে অনুকরণ করার মতো আচরণ রয়েছে এবং কোন টার্নগুলোতে সংশোধন করার মতো ভুল রয়েছে। ডেটা পাইপলাইন এই সিদ্ধান্তগুলো আলাদাভাবে নেয়, তারপরে মডেল টার্নগুলোকে তিনটি ট্রিটমেন্টের একটি প্রদান করে:

অনুকরণ করুন: সফল সেশনে অ-ত্রুটি টার্নগুলো সাধারণ Cross-Entropy (CE) loss পায়, যা রেকর্ডকৃত টোকেনের সম্ভাব্যতা বৃদ্ধি করে।
সংশোধন করুন: সফল এবং অসফল উভয় সেশনেই, একটি বৈধ ইঙ্গিত সহ ত্রুটি টার্নগুলো একটি Kullback–Leibler (KL) divergence loss পায়, যা মডেলটিকে ইঙ্গিত দেখার সময় এটি তৈরি করা নেক্সট-টোকেন পূর্বাভাসের দিকে নিয়ে যায়।
প্রেক্ষাপট হিসেবে রাখুন: যে সমস্ত সফল নয় এমন সেশনে যাচাইকৃত ইঙ্গিত নেই এবং যেকোনো সেশন ধরনের ক্ষেত্রে যাচাইকৃত ইঙ্গিত ছাড়াই চিহ্নিত খারাপ টার্নগুলো প্রেক্ষাপট হিসেবে কাজ করে কিন্তু কোনো লস পায় না।

ফলস্বরূপ, সফল সেশনগুলো অনুকরণ এবং সংশোধন উভয় লক্ষ্য সরবরাহ করতে পারে, অন্যদিকে অসফল সেশনগুলো কেবল সংশোধন লক্ষ্য সরবরাহ করে। সিস্টেম, ব্যবহারকারী এবং টুল আউটপুট সহ সমস্ত অবশিষ্ট টার্ন প্রেক্ষাপট হিসেবে থেকে যায়।

সেশন-রাউটিং চিত্র: সফল সেশনগুলো CE অনুকরণ এবং যোগ্য ইঙ্গিতকৃত সংশোধন প্রদান করে; অসফল সেশনগুলো শুধুমাত্র যোগ্য সংশোধন প্রদান করে। — বর্তমান সেশন রাউটিং এবং সহকারী-কন্টেন্ট মাস্ক। সফল সেশনগুলো অনুকরণ লক্ষ্য অবদান রাখে; ধরে রাখা ফিডব্যাক রেকর্ডগুলো সেশন সফল না হলেও ইঙ্গিতকৃত সংশোধনে অবদান রাখতে পারে। অন্যান্য কন্টেন্ট প্রেক্ষাপট হিসেবে থেকে যায়। অসম্পূর্ণ সেশনগুলো বাদ দেওয়া হয়। অ-চূড়ান্ত ফলন/স্টপ-টোকেন CE ব্যতিক্রম টানা হয় না, এবং এই চিত্রটি পূর্ববর্তী চেকপয়েন্ট দ্বারা ব্যবহৃত মিশ্রণ প্রতিষ্ঠা করে না।

অনুকরণ অংশটি স্ট্যান্ডার্ড RFT ব্যবহার করে। সংশোধনমূলক অংশটি On-Policy Self-Distillation (OPSD) ব্যবহার করে: একই মডেল শিক্ষক এবং শিক্ষার্থী হিসেবে কাজ করে, যেখানে শিক্ষককে বিশেষ তথ্য দেওয়া হয়। এখানে, সেই বিশেষ তথ্যটি হলো একটি সংক্ষিপ্ত ইঙ্গিত যা একটি এড়ানো সম্ভব ভুল ব্যাখ্যা করে। আমরা শিক্ষার্থীকে ইঙ্গিত না দিয়ে শিক্ষকের নেক্সট-টোকেন পূর্বাভাসের সাথে মেলানোর জন্য ট্রেনিং দিই।

উভয় অংশই গুরুত্বপূর্ণ। শুধুমাত্র-সংশোধন ট্রেনিং একটি শর্টকাট প্রকাশ করতে পারে: শিক্ষক এবং শিক্ষার্থী সংশোধন শেখার পরিবর্তে প্রেক্ষাপট উপেক্ষা করে একমত হতে পারে। CE পদটি ট্রেনিংকে দরকারী আচরণের সাথে যুক্ত করে, যা প্রেক্ষাপট উপেক্ষা করার ফলে হওয়া ঐকমত্যকে নিরুৎসাহিত করতে সাহায্য করে।

পরবর্তী-প্রশিক্ষিত শিক্ষার্থী তখন Computer-এর একটি মডেল অপশনে পরিণত হয়। লাইভ ব্যবহারের তাজা সেশনগুলো ট্রেনিং পাইপলাইনের অন্য রাউন্ডে প্রবেশের আগে একই যোগ্যতা এবং গোপনীয়তা ফিল্ডগুলোর মধ্য দিয়ে যায়।

এর পরে, আমরা একটি সুনির্দিষ্ট উদাহরণের মাধ্যমে হেঁটে যাই যাতে অনুকরণ এবং সংশোধন উভয়ই রয়েছে।

অফিসিয়াল ডকুমেন্টেশন ব্যবহার করে Python 3.13-এ asyncio পরিবর্তনের তুলনা করার জন্য ব্যবহারকারী জিজ্ঞাসা করেন এমন একটি চূড়ান্ত সফল সেশন বিবেচনা করুন। আমাদের টুল ডকুমেন্টেশন বলে যে search.web প্রতিটি url ফিল্ড সহ হিটগুলির একটি তালিকা ফেরত দেয়।

তুলনার জন্য প্রমাণ সংগ্রহের অংশ হিসেবে মডেলটি প্রথমে একটি সংস্করণের জন্য একটি বৈধ সার্চ চালায়, যা অনুকরণ করার মতো একটি ভালো আচরণ।

যাইহোক, পরবর্তী কোড-এক্সিকিউশন কল ভুলভাবে সেই তালিকাটিকে একটি অভিধান হিসেবে behandelt করে। কোড টুলটি TypeError: list indices must be integers or slices, not str ফেরত দেয়। যেহেতু কলের আগে রিটার্ন টাইপ নথিবদ্ধ করা হয়েছিল, এটি এমন একটি ভুল যা মডেলের এড়াতে সক্ষম হওয়া উচিত ছিল। সেই পদক্ষেপটি সংশোধন করার জন্য সঠিক কল সহ একটি ইঙ্গিত তৈরি করা যেতে পারে।

চিত্রিত কোডিং সেশন: সিস্টেম এবং ব্যবহারকারী ইনপুট এবং টুল ত্রুটি প্রেক্ষাপট হিসেবে থেকে যায়; দরকারী রেকর্ডকৃত সার্চ এবং রিকভারি কল একটি সফল সেশনে CE পায়; একটি চিহ্নিত ত্রুটিপূর্ণ তালিকা লুকআপ একটি গ্রাউন্ডেড ইঙ্গিত দেওয়া শিক্ষকের দিকে KL পায়। — একটি চিত্রিত কোডিং সেশন তিনটি ট্রেনিং ভূমিকা দেখায়: শুধুমাত্র-প্রেক্ষাপট ইনপুট এবং টুল আউটপুট (ধূসর), দরকারী রেকর্ডকৃত কলের CE অনুকরণ (গাঢ়), এবং একটি চিহ্নিত ভুলের KL সংশোধন (টিিল)। এখানে, মডেল ভুলভাবে সার্চ হিটের একটি তালিকা একটি অভিধান হিসেবে behandelt করে; পূর্ববর্তী টুল ডকুমেন্টেশনের উপর ভিত্তি করে শুধুমাত্র-শিক্ষক ইঙ্গিত সংশোধনকে পরিচালিত করে। CE লক্ষ্যগুলো শুধুমাত্র তখনই প্রয়োগ করা হয় যখন সম্পূর্ণ সেশনটি সফল হিসেবে বিচার করা হয়, যখন একটি অসফল সেশন এখনও একটি যোগ্য KL সংশোধন লক্ষ্য সরবরাহ করতে পারে।

ট্রেনিং পাইপলাইনের চারটি পর্যায় রয়েছে: সেশন নির্বাচন করুন এবং তাদের ফলাফল বিচার করুন, ব্যবহারকারীর ফিডব্যাক এবং টুল ত্রুটি থেকে ভুলগুলো শনাক্ত করুন এবং ইঙ্গিত তৈরি করুন, শিক্ষক এবং শিক্ষার্থী উভয় থেকে নেক্সট-টোকেন সম্ভাব্যতা তৈরি করুন এবং একটি সম্মিলিত CE এবং KL লস দিয়ে মডেলকে ট্রেনিং দিন।

স্যাম্পলিং পাইপলাইনটি GLM 5.2 দ্বারা পরিবেশিত বাস্তব-জগতের Computer সেশনগুলোর একটি প্রশিক্ষণ-যোগ্য উপসেট থেকে নমুনা নেয়। উদাহরণ নির্বাচন করার আগে এই ওয়ার্কফ্লোর জন্য ট্রেনিং অপ্ট-আউট এবং পাইপলাইনের PII-সম্পর্কিত বর্জনগুলো প্রয়োগ করা হয়।

প্রাথমিক স্ক্রীনিং প্রক্রিয়াটি একটি LLM বিচারকের দ্বারা পাঁচ-পয়েন্ট টাস্ক-কঠিনতার স্কেলে ৪ বা ৫ রেট করা প্রার্থীদের নির্বাচন করে এবং সেগুলোকে ২টি গ্রুপে বিভক্ত করে:

ব্যবহারকারী-ফিডব্যাক গ্রুপ-এ একটি প্রকৃত ব্যবহারকারী ফলো-আপ বা মাঝারি থেকে উচ্চ অসন্তুষ্টির পতাকা সহ সেশন রয়েছে। আমরা এই উচ্চ-উদ্দেশ্যের ফলো-আপগুলো শেখার জন্য বিশেষভাবে দরকারী মনে করি: ব্যবহারকারীরা সক্রিয়ভাবে একটি টাস্ক সম্পন্ন করার চেষ্টা করছেন এবং তাদের সংশোধনগুলো পিনপয়েন্ট করে যে মডেলটি কী মিস করেছে।
টুল-ত্রুটি গ্রুপ-এ নিয়ম-ভিত্তিক চেক দ্বারা চিহ্নিত ব্যর্থ কল সহ সেশন রয়েছে, যা স্বীকৃত অবকাঠামোগত ব্যর্থতা এবং অস্বীকৃত অনুমোদন বাদ দেয়।

ব্যবহারকারীর অনুরোধের বিপরীতে চূড়ান্ত আউটপুট মূল্যায়ন করতে তখন দুটি এলএলএম (LLM) বিচারক কাজ করেন; সেশনটিকে “সফল” হিসেবে চিহ্নিত করতে উভয় বিচারককে অবশ্যই ইতিবাচক রায় দিতে হবে। যেসকল ক্ষেত্রে আর্টিফ্যাক্ট সরবরাহ করা হয়, ফলাফল পর্যায়টি আউটপুট পুনর্গঠন এবং পরীক্ষা করতে পারে, এবং সেই পর্যায়টি ব্যর্থ হলে এর টেক্সট-ভিত্তিক রায়ে ফিরে যায়। ব্যবহারকারীর উত্তরের অপেক্ষায় থাকা কাজের মতো অসম্পূর্ণ হিসেবে শ্রেণীবদ্ধ সেশনগুলো বাদ দেওয়া হয়।

এই পদক্ষেপটি লার্নিং সিগন্যালের সম্ভাব্য উৎসগুলো চিহ্নিত করে; তবে, প্রতিটি ত্রুটির জন্য মডেলকে দায়ী করা যায় না, কারণ কিছু ত্রুটি দ্ব্যর্থহীন নির্দেশাবলী বা অবকাঠামোগত ব্যর্থতা থেকে উদ্ভূত হয়। পরবর্তী অ্যানোটেশন নির্ধারণ করে কোন প্রার্থী ভুলগুলো আসলে এড়ানোর যোগ্য এবং ট্রেনিংয়ের জন্য উপযুক্ত।

ব্যবহারকারী-ফিডব্যাক গ্রুপের একটি নমুনা সেশন বিবেচনা করুন, যেখানে ব্যবহারকারী জিজ্ঞাসা করেন, “How do I find my w3 on paychex”। মডেলটি “w3”-কে W-2-এর একটি টাইপো হিসেবে বিবেচনা করে, W-2 নির্দেশাবলীর জন্য অনুসন্ধান করে এবং সেই ফর্মটি কীভাবে খুঁজে পাওয়া যায় তা ব্যাখ্যা করে। ব্যবহারকারীর ফলো-আপ, “I meant the W-3 transmittal form,” ভুলটি চিহ্নিত করে, এমনকি যদি সেশনটি শেষ পর্যন্ত সফল হয় তবুও।

অভিযোগটি ভুলটি সনাক্ত করতে সাহায্য করে, কিন্তু মূল কারণ হলো “w3”-কে W-2 হিসেবে পুনরায় ব্যাখ্যা করার পূর্ববর্তী সিদ্ধান্ত। মূল অনুরোধটি ভুলটিকে এড়ানোর যোগ্য করে তোলে: মডেলটি W-3 সংরক্ষণ করতে পারত বা স্পষ্টীকরণের জন্য জিজ্ঞাসা করতে পারত। এটি দেখা যায় যে অভিযোগের আগের শেষ সহকারী টার্নটি প্রায় অর্ধেক সময়ই মূল কারণ হয়।

আমাদের অ্যানোটেশন পাইপলাইন প্রতিটি ব্যবহারকারী-ফিডব্যাক সেশনের মধ্যে পদ্ধতিগতভাবে কারণ এবং প্রভাব ম্যাপ করে। অ্যানোটেটর প্রথমে একটি বাদ পড়া প্রয়োজনীয়তা বা পূর্ববর্তী প্রেক্ষাপট দ্বারা সমর্থিত একটি উদ্দেশ্যের জন্য স্ক্রিন করে। তিনটি এলএলএম (LLM) বিচারক তখন দায়ী টার্নগুলো শনাক্ত করেন, যার জন্য প্রদত্ত টার্নে অন্তত দুজনকে একমত হতে হয়। কখনও কখনও পূর্ববর্তী বক্তব্য স্পষ্টভাবে প্রয়োজনীয়তা স্থাপন করে। অন্য ক্ষেত্রে, কোনো একক পূর্ববর্তী বক্তব্য তা করে না, কিন্তু পূর্ববর্তী কথোপকথনের একাধিক অংশ যৌথভাবে উদ্দেশ্যমূলক আচরণকে অনুমিত করে তোলে। এই ডিজাইনটি তাদের একটি অভিযোগকে শেষ উত্তরের সাথে এককভাবে যুক্ত করার পরিবর্তে একটি পূর্ববর্তী মূল ভুলের সাথে সংযুক্ত করতে দেয়।

একটি ইঙ্গিত গ্রহণ করার আগে, পাইপলাইনটি আরও পরীক্ষা করে যে এর সংশোধিত দাবিগুলো চিহ্নিত টার্নের আগে উপলব্ধ তথ্য থেকে অনুসরণ করে কিনা। এই পরীক্ষাগুলো হাইন্ডসাইট বায়াস কমানোর উদ্দেশ্যে করা হয়েছে, যেখানে অভিযোগে প্রকাশিত একটি নতুন পছন্দকে এমন কিছু হিসেবে বিবেচনা করা হয় যা মডেলের ইতিমধ্যেই জানা উচিত ছিল।

এই উদাহরণে, ইঙ্গিতটি মডেলকে W-2-এর পরিবর্তে Paychex-এ W-3 ট্রান্সমিটাল ফর্মের জন্য অনুসন্ধান করতে বলে, অথবা অনুরোধ দ্ব্যর্থহীন হলে ব্যবহারকারী কোন ফর্মটি বোঝাতে চেয়েছেন তা জিজ্ঞাসা করতে বলে। সংশোধনটি কেবল চূড়ান্ত উত্তর নয়, বরং পূর্ববর্তী ব্যাখ্যা এবং সার্চ সিদ্ধান্তকে লক্ষ্য করে। মূল টার্ন অপরিবর্তিত থাকে; অ্যানোটেশন is_bad_turn: true এবং একটি অ-শূন্য hint যোগ করে।

একটি W-3 অনুরোধ ভুলভাবে W-2 হিসেবে ব্যাখ্যা করা হয়; একটি পরবর্তী অভিযোগ পূর্ববর্তী সার্চ সিদ্ধান্তের সাথে চিহ্নিত করা হয় এবং পূর্ববর্তী প্রমাণের সাথে পরীক্ষা করা হয়। — অ্যানোটেশন পদ্ধতি ওভারলে করা সহ, কীভাবে একটি অভিযোগকে পূর্ববর্তী ভুলের সাথে চিহ্নিত করা হয় তা দেখানোর একটি বাস্তব সেশন। ব্যবহারকারী Paychex-এ “w3” এর জন্য জিজ্ঞাসা করেছিলেন, কিন্তু মডেল এটিকে W-2 এর একটি টাইপো হিসেবে বিবেচনা করে ভুল ফর্মের জন্য অনুসন্ধান করেছে। প্রোপোজার কনসেন্সাস মূল কারণ সনাক্ত করে, অন্যদিকে দুটি গ্রাউন্ডেড চেক মূল্যায়ন করে যে প্রমাণটি ভুলের আগের কিনা এবং ইঙ্গিতটির দাবি সেই বিন্দুতে উপলব্ধ তথ্য থেকে অনুসরণ করে কিনা। গৃহীত অ্যানোটেশনগুলো মূল পাঠ্য সংরক্ষণ করে এবং পুনর্লিখিত লক্ষ্যের পরিবর্তে চিহ্ন ও ইঙ্গিত যোগ করে।

টুল-ত্রুটি গ্রুপের একটি সার্চ কল সহ আরেকটি সেশন বিবেচনা করুন যেখানে এজেন্ট recency_filter: "year" দিয়ে সার্চ করে, কিন্তু টুলটি এটি প্রত্যাখ্যান করে কারণ অনুমোদিত মানগুলো হলো “day,” “week,” বা “month”। এটি একটি স্পষ্ট স্কিমা লঙ্ঘন।

টুল-ত্রুটি পথটি পরিচিত ভুলের জন্য নির্দিষ্ট নিয়ম এবং দ্ব্যর্থহীন কেসের জন্য মডেল বিচার ব্যবহার করে। মডেলকে দোষী করার জন্য একা একটি ত্রুটি বার্তা যথেষ্ট নয়; একটি বিচারকৃত সংশোধন এমন কিছু নির্দেশ করতে হবে যা মডেল টুল স্কিমা, সিস্টেম নির্দেশাবলী বা পূর্ববর্তী কথোপকথন থেকে জানতে পারত।

একটি সার্চ কল অবৈধ recency_filter মান year ব্যবহার করে; একটি গ্রাউন্ডেড ইঙ্গিত মডেলকে একটি তালিকাভুক্ত মান ব্যবহার করতে অথবা একটি ঐচ্ছিক ফিল্ড বাদ দিতে নির্দেশ দেয়। — প্রতিবেদনের অবৈধ সার্চ আর্গুমেন্ট বর্তমান টুল-ত্রুটি পদ্ধতিকে চিত্রিত করে। স্কিমা এই ভুলটিকে এড়ানোর যোগ্য করে তোলে; কেবল একটি বিভ্রাট তা করত না। মূল কলটি রেকর্ডে থেকে যায় এবং একটি গ্রাউন্ডেড ইঙ্গিত পায়। ফিল্ডটি ঐচ্ছিক হলে ইঙ্গিতটি একটি তালিকাভুক্ত মান বা বাদ দেওয়ার অনুমতি দেয়; এটি প্রতিটি অনুরোধের জন্য “month” প্রয়োজন করে না।

এখানে, ইঙ্গিতটি ব্যর্থ কলের নাম দেয়, বৈধতা ত্রুটি অন্তর্ভুক্ত করে এবং মডেলকে একটি অনুমোদিত মান ব্যবহার করতে বা ফিল্ডটি ঐচ্ছিক হলে তা বাদ দিতে নির্দেশ দেয়।

একবার একটি টার্ন চিহ্নিত হলে, প্রশিক্ষক একই চেকপয়েন্ট দুবার চালান: একবার শিক্ষক হিসেবে এবং একবার ছাত্র হিসেবে। শিক্ষক হিন্টটি দেখতে পান; ছাত্র দেখতে পায় না।

উভয় পাস শিক্ষক জোরপূর্বক (teacher forcing) ব্যবহার করে, যেখানে আমরা মডেলকে নতুন টোকেন বেছে নেওয়ার অনুমতি না দিয়ে রেকর্ডকৃত সেশন দিই। ফরোয়ার্ড পাস এখনও প্রতিটি ধাপে একটি সম্পূর্ণ নেক্সট-টোকেন বিতরণ তৈরি করে, তবে এটি সর্বদা রেকর্ডিং থেকে নির্দিষ্ট প্রিফিক্সের উপর শর্তযুক্ত থাকে, রোলআউট টোকেনের উপর নয়।

সার্চ উদাহরণের জন্য, ইঙ্গিত দেওয়া হলে একই মডেল “month”-কে অনেক বেশি সম্ভাব্যতা এবং “year”-কে কম সম্ভাব্যতা প্রদান করে। ট্রেনিং এই ডিস্ট্রিবিউশনাল শিফটকে একটি সফট টার্গেট হিসেবে ব্যবহার করে।

একই মডেলটি একটি লগ করা টার্নকে একটি ইঙ্গিতসহ এবং ইঙ্গিত ছাড়া স্কোর করে; বিচ্ছিন্ন শিক্ষক সম্ভাবনাগুলি KL টার্গেট সরবরাহ করে, আর CE অনুকরণের ভিত্তি স্থাপন করে. — দুটি পাস, ওজনের একটি সেট। উভয় পাস লগ করা ধারাবাহিকতা স্কোর করে; শুধুমাত্র শিক্ষক ইঙ্গিত পায়। এর বিচ্ছিন্ন নেক্সট-টোকেন সম্ভাব্যতা ফরোয়ার্ড KL-এর মাধ্যমে শিক্ষার্থীকে পরিচালিত করে। পৃথক CE লক্ষ্য অনুকরণকে লঙ্গর দেয়। উভয় লস একটি ওজন আপডেট ফিড করে। পূর্ববর্তী ইঙ্গিতগুলো শিক্ষকের বর্তমান সেগমেন্টে থাকতে পারে; কোনো পাসই প্রতিস্থাপন ট্রেনিং উত্তর তৈরি করে না।

শিক্ষকের পূর্বাভাসগুলো বিচ্ছিন্ন, বা স্টপ-গ্রেডিয়েন্ট: সেগুলো একটি লক্ষ্য সরবরাহ করে কিন্তু শিক্ষক পাসের মাধ্যমে কোনো আপডেট পায় না। শিক্ষার্থীর পাসের পর, একটি অপটিমাইজার ধাপ যৌথ মডেলকে আপডেট করে।

CE লস অনুকরণ করার জন্য নির্বাচিত রেকর্ডকৃত টোকেনগুলোকে গ্রাউন্ড-ট্রুথ লক্ষ্য হিসেবে বিবেচনা করে এবং কম সম্ভাব্যতা নির্ধারণ করার জন্য মডেলকে শাস্তি দেয়। এটি একটি কঠিন অনুকরণ লক্ষ্য তৈরি করে।

টোকেন অবস্থান -এ, সম্পূর্ণ ভোকাবুলারি -এ টোকেন -এর শিক্ষার্থীর সম্ভাব্যতা হতে দিন। প্রতিক্রিয়া বা টুল কলে রেকর্ড করা পরবর্তী টোকেন হলো , ওয়ান-হট টার্গেট ডিস্ট্রিবিউশন হলো । $i$ $p_i(v)$ $v$ $V$ $y_i$ $r_i$

r_i(v)=\mathbf{1}[v=y_i]

ক্রস-এন্ট্রপি পরিমাপ করে যে শিক্ষার্থী সেই রেকর্ডকৃত টোকেনটি কতটা ভালোভাবে ভবিষ্যদ্বাণী করে। একটি ওয়ান-হট টার্গেট সহ, এটি $y_i$ -কে নির্ধারিত নেতিবাচক লগ-প্রোবাবিলিটিতে হ্রাস পায়।

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

CE মাস্ক $m_i^{\mathrm{CE}}$ হলো $1$ যেখানে টোকেনটি অনুকরণ করা উচিত এবং অন্যথায় $0$ । নির্বাচিত অবস্থানগুলোর যোগফল অনুকরণ লস প্রদান করে।

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

কেএল (KL) লস এর পরিবর্তে শিক্ষকের সম্পূর্ণ নেক্সট-টোকেন প্রোবাবিলিটি ডিস্ট্রিবিউশন $q_i$ -কে একটি সফট কারেকশন টার্গেট হিসেবে ব্যবহার করে। শিক্ষকের প্রেক্ষাপটের মধ্যে বর্তমান ইঙ্গিত এবং সেই ট্রেনিং সেগমেন্টে ধরে রাখা যেকোনো পূর্ববর্তী ইঙ্গিত অন্তর্ভুক্ত থাকে; শিক্ষার্থীর প্রেক্ষাপট সর্বদা ইঙ্গিত-মুক্ত থাকে।

KL মাস্ক $m_i^{\mathrm{KL}}$ হলো $1$ যেখানে টোকেনটি সংশোধন করা উচিত এবং অন্যথায় $0$ ; CE এবং KL মাস্ক ওভারল্যাপ করে না। এই অবস্থানগুলোতে, ফরোয়ার্ড KL সম্পূর্ণ ভোকাবুলারি জুড়ে শিক্ষক এবং শিক্ষার্থীর মধ্যে মতানৈক্যকে শাস্তি দেয়:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

উভয় পদ আলাদাভাবে নরমালাইজ করার পরিবর্তে একটি ডেসোমিনেটর শেয়ার করে। এই ডেসোমিনেটর বৈশ্বিক ট্রেনিং ব্যাচ জুড়ে অনুকরণ করার জন্য নির্বাচিত মোট টোকেন গণনা করে। ওজন $\lambda$ অনুকরণের সাপেক্ষে সংশোধনমূলক ট্রেনিংয়ের অবদান নিয়ন্ত্রণ করে।

এই যৌথ নরমালাইজেশন আমাদের ট্রেনিং অবকাঠামোর একক-ডেসোমিনেটর ইন্টারফেটের সাথে মানানসই এবং $\lambda=0$ হলে স্ট্যান্ডার্ড SFT লস পুনরুদ্ধার করে, যা বেসলাইন তুলনাকে সরল করে। যেহেতু CE টোকেনগুলো KL টোকেনের চেয়ে অনেক বেশি পরিমাণে থাকে, তাই একটি যৌথ ডেসোমিনেটর ব্যবহার করা অল্প চিহ্নিত টোকেন সহ ব্যাচগুলোতে পৃথক KL টোকেনগুলোকে অসঙ্গতভাবে বড় ওজন দেওয়া এড়ায়।

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

পূর্ববর্তী উদাহরণগুলোতে প্রয়োগ করা হলে, W-3/W-2 মিশ্রণ এবং অবৈধ সার্চ কল ধারণকারী টার্নগুলো KL পায়। সফল সেশনে অন্যান্য অনিচিহ্নিত সহকারী কন্টেন্ট এখনও CE পায়। অসফল সেশনের অন্যান্য সহকারী কন্টেন্ট প্রেক্ষাপট হিসেবে রাখা হয় কিন্তু CE বা KL কোনটিই পায় না।

আমাদের মূল্যায়নগুলো দুটি পৃথক প্রশ্নের উত্তর দেয়। প্রথমত, ইঙ্গিত উপস্থিত থাকলে তা কি সত্যিই মডেলকে একটি ত্রুটি সংশোধন করতে সাহায্য করে? দ্বিতীয়ত, ইঙ্গিত ছাড়া পরবর্তীতে মডেলকে সেই ত্রুটি এড়াতে ট্রেনিং কি সাহায্য করে? প্রথমটি পরীক্ষা করে যে ইঙ্গিতগুলো দরকারী ট্রেনিং সিগন্যাল প্রদান করে কিনা। দ্বিতীয়টি পরীক্ষা করে যে মডেল সেগুলোর থেকে শেখে কিনা।

ইঙ্গিতগুলো সত্যিই মডেলকে ভুল থেকে দূরে সরিয়ে নিতে সাহায্য করতে পারে কিনা তা নিশ্চিত করতে ট্রেনিং চালুর আগে আমরা প্রথম প্রশ্নটি পরীক্ষা করি।

একই GLM-5.2 বেস মডেল শূন্য তাপমাত্রায় ব্যবহার করে আমরা ইঙ্গিতসহ এবং ইঙ্গিত ছাড়া চিহ্নিত ব্যবহারকারী-ফিডব্যাক টার্নগুলো পুনরায় তৈরি করেছি। একজন অন্ধ বিচারক পরবর্তী অভিযোগ দেখতে পান, কিন্তু ইঙ্গিত বা কোন শর্তটি উত্তর তৈরি করেছে তার কোনটিই দেখতে পান না।

W-3 উদাহরণের ক্ষেত্রে, ইঙ্গিতটি “W-” উপসর্গের পরে নেক্সট-টোকেনের সম্ভাব্যতা “3”-এর দিকে এবং “2”-এর থেকে দূরে সরিয়ে দেয়।

অপরিবর্তিত বেস মডেল যখন একটি ইঙ্গিত পায় তখন W- এর পরের নেক্সট-টোকেন সম্ভাব্যতা 2-এর পরিবর্তে 3-এর দিকে সরে যায়। — একটি ইঙ্গিত অনুরোধ করা W-3 ফর্ম সংরক্ষণ করে। বারগুলো আটটি ফরোয়ার্ড পাসে গড় নেক্সট-টোকেন সম্ভাব্যতা দেখায়; হুইস্কারগুলো পরিলক্ষিত পরিসর দেখায়, কোনো কনফিডেন্স ইন্টারভাল নয়। উভয় শর্ত অপরিবর্তিত বেস মডেল ব্যবহার করে।

স্পষ্টভাবে বিবৃত পূর্ববর্তী প্রমাণ দ্বারা সমর্থিত একটি বৃহত্তর ৪০-টার্নের হেল্ড-আউট নমুনার উপর, ইঙ্গিত ছাড়া ৪০.০% থেকে ইঙ্গিতসহ ৭৫.০% এ উন্নীত হওয়া স্থির বা অন-ট্র্যাক হিসেবে বিচারকৃত অংশ বৃদ্ধি পায়। অনুমিত উদ্দেশ্য দ্বারা সমর্থিত অন্য ৪০টি টার্নে, এটি ৩২.৫% থেকে ৮০.০% এ বৃদ্ধি পায়।

ইঙ্গিত বৈধতা: স্পষ্ট প্রমাণের জন্য নির্দিষ্ট বা অন-ট্র্যাক হার ৪০.০% থেকে ৭৫.০% এ বৃদ্ধি পায় এবং অনুমিত উদ্দেশ্যের জন্য ৩২.৫% থেকে ৮০.০% এ বৃদ্ধি পায়। — ইঙ্গিত বৈধতা, পোস্ট-ট্রেনিং মূল্যায়ন নয়। শূন্য তাপমাত্রায় অপরিবর্তিত GLM-5.2 ব্যবহার করে প্রতিটি প্রমাণের গ্রুপের একই ৪০টি চিহ্নিত টার্ন ইঙ্গিতসহ এবং ইঙ্গিত ছাড়া পুনরুৎপাদন করা হয়। বিচারক অভিযোগ দেখতে পান কিন্তু ইঙ্গিত বা শর্ত দেখতে পান না। গণনাগুলো প্রতিবেদনের হার এবং নমুনার আকার থেকে উদ্ভূত হয়; কনফিডেন্স ইন্টারভাল রিপোর্ট করা হয় না।

সার্চ টুল ত্রুটির উদাহরণের ক্ষেত্রে, একটি ইঙ্গিত সত্যিই year টোকেন থেকে month টোকেনে সম্ভাব্যতা ভর স্থানান্তর করে।

একটি ইঙ্গিত অপরিবর্তিত বেস মডেলের নেক্সট-টোকেন সম্ভাব্যতা year থেকে দূরে এবং অনুমোদিত মান month-এর দিকে সরিয়ে দেয়। — একটি ইঙ্গিত অনুমোদিত মানের দিকে সম্ভাব্যতা সরিয়ে দেয়। বারগুলো আটটি ফরোয়ার্ড পাসে গড় নেক্সট-টোকেন সম্ভাব্যতা দেখায়; হুইস্কারগুলো পরিলক্ষিত পরিসর দেখায়, কোনো কনফিডেন্স ইন্টারভাল নয়। উভয় শর্ত একই বেস মডেল ব্যবহার করে; কোনো ট্রেন করা চেকপয়েন্ট তুলনা করা হয়নি।

একটি বৃহত্তর ৯৮৫-টার্নের হেল্ড-আউট নমুনার উপর, আমরা একই বেস মডেল ব্যবহার করে শূন্য তাপমাত্রায় ইঙ্গিতসহ এবং ইঙ্গিত ছাড়া প্রতিটি টার্ন চারবার পুনরুৎপাদন করি। একজন অন্ধ বিচারক মূল্যায়ন করেন যে প্রতিটি পুনরুৎপাদন মূল ব্যর্থতা এড়াতে পারে কিনা। ইঙ্গিতগুলো ব্যর্থতা এড়ানোর হার ৭৫.১% থেকে উন্নীত করে ৯৩.৭% করে, যা ১৮.৬ শতাংশ পয়েন্টের একটি জোড়ায় প্রাপ্ত লাভ, এবং সংশোধিত পদক্ষেপ গ্রহণকারী অংশ ৬০.৬% থেকে বাড়িয়ে ৮২.৩% করে। পুনরাবৃত্তি স্যাম্পলিং একা ঠিক করতে সংগ্রাম করে এমন ত্রুটিগুলোর ক্ষেত্রে লাভ সবচেয়ে বেশি হয়।

৯৮৫টি হেল্ড-আউট চিহ্নিত টুল-ত্রুটি টার্নে, ইঙ্গিতগুলো ব্যর্থতা এড়ানোর হার ৭৫.১% থেকে ৯৩.৭% এবং সংশোধিত-পদক্ষেপের হার ৬০.৬% থেকে ৮২.৩% এ উন্নীত করে। — ৯৮৫টি হেল্ড-আউট চিহ্নিত টার্নে টুল-ত্রুটি ইঙ্গিত বৈধতা, প্রতি শর্তে চারটি পুনরুৎপাদন সহ। বারগুলো ইঙ্গিতসহ এবং ইঙ্গিত ছাড়া, অপরিবর্তিত বেস মডেলের জন্য ব্যর্থতা এড়ানো এবং সংশোধিত-পদক্ষেপের হার দেখায়। লক্ষ্যবস্তু ভুল এড়ানো টুল-কল বা টাস্ক সাফল্য প্রতিষ্ঠা করে না।

এরপর আমরা পরীক্ষা করি, হিন্ট না পেলে প্রশিক্ষিত মডেলটি কম ভুল করে কি না। আমরা অফলাইন বেঞ্চমার্ক টাস্ক এবং লাইভ ব্যবহারকারী সেশনে স্টক মডেল ও বিভিন্ন পোস্ট-ট্রেইন্ড চেকপয়েন্ট মূল্যায়ন করি, যেখানে টুল ফেইলিউর কম হওয়া এবং ব্যবহারকারীর অসন্তুষ্টি কম হওয়া পর্যবেক্ষণ করা হয়।

অফলাইন মূল্যায়নে BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, একটি প্রতিনিধি Computer টাস্ক সেট ব্যবহার করা হয় এবং দক্ষতা লোডিং, ডকুমেন্ট রিভিউ এবং ইনলাইন উদ্ধৃতিগুলো পরীক্ষা করা হয়। আমরা মূল্যায়ন ট্র্যাজেক্টরিগুলোতে টুল কলের অংশ পরিমাপ করি যার ফলাফলগুলোকে স্পষ্টভাবে ত্রুটি হিসেবে চিহ্নিত করা হয়েছে।

এই মূল্যায়নগুলোতে, রেকর্ডকৃত টুল-ত্রুটির হার স্টক GLM 5.2-এর জন্য ২.৭৯%, শুধুমাত্র-RFT চেকপয়েন্টের জন্য ১.৩৫%, এবং RFT-plus-OPSD চেকপয়েন্টের জন্য ০.৮৭% ছিল। এই চেকপয়েন্টগুলোকে বিভিন্ন ডেটাতে ট্রেনিং দেওয়া হয়েছিল, তাই এটি OPSD-এর একটি ম্যাচড-ডেটা অ্যাবেশন নয়। টাস্ক-স্তরের বেঞ্চমার্ক ফলাফলগুলো মিশ্র ছিল, তাই কম টুল ত্রুটি একা অগত্যা ব্যাপক টাস্ক সফলতার রূপান্তর ঘটায় না।

অফলাইন রেকর্ডকৃত টুল-ত্রুটির হার: স্টক GLM 5.2-এর জন্য ২.৭৯%, শুধুমাত্র-RFT-এর জন্য ১.৩৫%, এবং RFT plus OPSD-এর জন্য ০.৮৭%; ট্রেনিং ডেটা ভিন্ন। — স্টক GLM-5.2, শুধুমাত্র-RFT, এবং RFT-plus-OPSD চেকপয়েন্টের জন্য অফলাইন টুল-ত্রুটির হার। ট্রেনিং ডেটা চেকপয়েন্ট জুড়ে ভিন্ন; এটি একটি নিয়ন্ত্রিত অ্যাবেশন নয়।

GLM-5.2-এর জন্য, আমরা প্রতিটি শর্তে প্রায় এক লক্ষ ব্যবহারকারী নিয়ে দুটি পৃথক A/B পরীক্ষা চালিয়েছি। প্রথমটিতে, একটি প্রাথমিক RFT-প্লাস-OPSD চেকপয়েন্টের টুল ব্যর্থতার হার স্টক GLM 5.2-এর চেয়ে একটু কম ছিল, ২.৮২% বনাম ২.৯৪%, তবে পার্থক্যটি পরিসংখ্যানগতভাবে উল্লেখযোগ্য ছিল না।

পরবর্তী পরীক্ষায়, আমরা দুটি RFT-plus-OPSD চেকপয়েন্ট তুলনা করেছি: একটি পূর্ববর্তী (চেকপয়েন্ট এক) এবং একটি পরবর্তী (চেকপয়েন্ট দুই)। রেকর্ডকৃত স্ট্যাটাস সহ কলগুলোর ২.২৪% থেকে টুল-কল ব্যর্থতা কমে ১.৭৭% হয়েছে। এটি একটি পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ ২১.২% আপেক্ষিক হ্রাস ছিল। আমরা সরাসরি চেকপয়েন্ট দুইকে অনলাইনে স্টক GLM 5.2-এর সাথে তুলনা করিনি।

ব্যবহারকারীর প্রতিক্রিয়ার ফলাফলগুলো অতটা নিশ্চিত ছিল না। দ্বিতীয় GLM-5.2 পরীক্ষায়, প্রবল অসন্তুষ্টির (মাঝারি বা উচ্চ) গড় সম্ভাবনা প্রথম চেকপয়েন্টের জন্য ছিল ২.৫৮% এবং দ্বিতীয় চেকপয়েন্টের জন্য ২.৫৪%, যার মধ্যে কোনো পরিসংখ্যানগতভাবে উল্লেখযোগ্য পার্থক্য ছিল না।

দুটি পৃথক অনলাইন এ/বি (A/B) পরীক্ষা; শুধুমাত্র পরবর্তী চেকপয়েন্ট তুলনার ক্ষেত্রে উল্লেখযোগ্য টুল-ব্যর্থতা হ্রাস দেখা গেছে, তবে MID+ অসন্তুষ্টির হারে কোনো উল্লেখযোগ্য পরিবর্তন হয়নি। — দুটি পৃথক GLM-5.2 লাইভ A/B পরীক্ষা। চেকপয়েন্ট ১-এর সাথে স্টক GLM-5.2 তুলনা করা হয়েছে; চেকপয়েন্ট ২-এর সাথে চেকপয়েন্ট ১ তুলনা করা হয়েছে। এই দুটি পরীক্ষার মধ্যে, শুধুমাত্র পরবর্তী টুল-ফেইলিওর হ্রাস পরিসংখ্যানগতভাবে উল্লেখযোগ্য। MID+ হার মাঝারি বা উচ্চ অসন্তুষ্টির গড় অনুমানকৃত সম্ভাবনা নির্দেশ করে, কোনো অভিযোগের সংখ্যা নয়।

GLM-5.3-এর জন্য, আমরা একটি পোস্ট-প্রশিক্ষিত চেকপয়েন্টকে সরাসরি স্টক GLM-5.3-এর সাথে তুলনা করেছি। রেকর্ড করা স্ট্যাটাস সহ কলগুলির মধ্যে টুল-কল ব্যর্থতা ৩.৫৬% থেকে কমে ২.৩৮% হয়েছে, যা ৩৩.০৪% আপেক্ষিক হ্রাস। MID+ হার, অর্থাৎ মাঝারি বা উচ্চ অসন্তুষ্টির গড় আনুমানিক সম্ভাবনা, ৪.১২% থেকে কমে ৩.৪১% হয়েছে, যা ১৭.২% আপেক্ষিক হ্রাস। উভয় হ্রাসই পরিসংখ্যানগতভাবে উল্লেখযোগ্য ছিল।

GLM-5.3 A/B পরীক্ষা: টুল ব্যর্থতার হার ৩.৫৬% থেকে কমে ২.৩৮% হয়েছে এবং MID+ হার, যা মাঝারি বা উচ্চ অসন্তুষ্টির গড় আনুমানিক সম্ভাবনা, ৪.১২% থেকে কমে ৩.৪১% হয়েছে। CUPED-সামঞ্জস্যপূর্ণ আপেক্ষিক হ্রাস যথাক্রমে ৩৩.০৪% এবং ১৭.১৬%। উভয় ৯৫% অনুক্রমিক ব্যবধি শূন্য বাদ দেয়; প্রাথমিক এনগেজমেন্ট মেট্রিক উল্লেখযোগ্য নয়। — একটি পৃথক অনলাইন A/B পরীক্ষায় স্টক GLM-5.3 বনাম পোস্ট-প্রশিক্ষিত GLM-5.3। টুল ব্যর্থতা এবং MID+ হার, আপেক্ষিক পরিবর্তন এবং ৯৫% অনুক্রমিক আত্মবিশ্বাসের ব্যবধি CUPED সামঞ্জস্য ব্যবহার করে। উভয় হ্রাসই পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ। MID+ হার যোগ্য স্কোর করা ফলো-আপ থ্রেড জুড়ে মাঝারি বা উচ্চ অসন্তুষ্টির গড় আনুমানিক সম্ভাবনা নির্দেশ করে, অভিযোগের সংখ্যা নয়। টুল ব্যর্থতার হার সফল বা ব্যর্থ স্ট্যাটাস রেকর্ড করা হয়নি এমন কলগুলি বাদ দেয়।

কেন্দ্রীয় ধারণাটি কেবল সেশনের নয়, বরং সিদ্ধান্তের স্তরে শেখা।

একটি সফল ফলাফল ভুল লুকাতে পারে, এবং একটি অসফল সেশন তবুও কীভাবে উন্নতি করতে হয় তা প্রকাশ করতে পারে। আমরা সফল সেশন থেকে দরকারী আচরণকে লঙ্গর হিসেবে রাখি, এড়ানো সম্ভব ব্যর্থতা শনাক্ত করতে অভিযোগ এবং টুল ত্রুটি ব্যবহার করি, এবং যখন সেই ভুল এবং সংশোধনগুলো স্পষ্ট করা হয় তখন এটি যে পূর্বাভাস দেয় তার দিকে মডেলকে ট্রেনিং দিই। সাফল্য সংরক্ষণ করার আচরণ প্রদান করে; ব্যর্থতা উন্নতির দিক নির্দেশনা দেয়।

বাস্তব বিশ্বের ব্যবহার এই পদ্ধতিটিকে বিশেষভাবে দরকারী করে তোলে। বাস্তব ব্যবহারকারীরা লক্ষ্য, সীমাবদ্ধতা এবং ওয়ার্কফ্লো নিয়ে আসেন যা একটি সিন্থেটিক এ অনুমান করা কঠিন। তাদের সংশোধনগুলো এমন প্রয়োজনীয়তা প্রকাশ করে যা মডেল মিস করেছে, অন্যদিকে টুল ত্রুটিগুলো মডেল যা চেষ্টা করেছিল এবং পরিবেশ যা অনুমতি দেয় তার মধ্যে ব্যবধান প্রকাশ করে। এই সংকেতগুলো ফলাফল-ভিত্তিক ট্রেনিংকে পরিপূরক করে: একটি টাস্ক সফল হয়েছে কিনা কেবল তা জিজ্ঞাসা করার পরিবর্তে, আমরা জিজ্ঞাসা করতে পারি যে মডেলটি কোথায় ভুল করেছে এবং কোন তথ্য এটিকে আরও ভালো সিদ্ধান্ত নিতে সাহায্য করতে পারত।

সীমাবদ্ধতাগুলো সমানভাবে গুরুত্বপূর্ণ। বিচারকরা ভুল করতে পারেন, এবং একটি টার্ন সংশোধন করলেই পুরো কাজটি সফল হবে এমন কোনো গ্যারান্টি নেই। লক্ষ্য কেবল এমন একটি এজেন্ট তৈরি করা নয় যা সংশোধনের পরে পুনরুদ্ধার করে। বরং এটি এমন একটি এজেন্ট যার কম বার সংশোধনের প্রয়োজন হয়।

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

সিন্থেটিক থেকে বাস্তব বিশ্বের ডেটা

ভালো পদক্ষেপগুলো অনুকরণ করুন, খারাপগুলো সংশোধন করুন

একটি উদাহরণ: একটি সেশন উভয় পাঠ শেখাতে পারে

ট্রেনিং যেভাবে কাজ করে

সেশন নির্বাচন করুন, তারপর ফলাফল বিচার করুন

ব্যবহারকারী ফিডব্যাক থেকে ভুলগুলো খুঁজুন

টুল ত্রুটি থেকে ভুলগুলো খুঁজুন

দুটি ফরওয়ার্ড পাস

লস ফাংশন

CE লস

KL লস

সংযুক্ত লস

মূল্যায়নগুলো যা দেখায়

ইঙ্গিতগুলো মডেলকে ভুল থেকে দূরে সরিয়ে নিতে সাহায্য করতে পারে

ব্যবহারকারী ফিডব্যাক

টুল ত্রুটি

প্রশিক্ষণের পর টুলের নির্ভরযোগ্যতা এবং ব্যবহারকারীর প্রতিক্রিয়া

অফলাইন মূল্যায়ন

অনলাইন মূল্যায়ন: GLM-5.2

অনলাইন মূল্যায়ন: GLM-5.3

উপসংহার

উদ্ধৃতি