वास्तविक दुनिया के अनुभव से सीखना

वास्तविक दुनिया में उपयोगकर्ता हमारे उत्पादों के साथ कैसे बातचीत करते हैं, यह मॉडल प्रशिक्षण के लिए एक मूल्यवान स्रोत है। डेटा प्रचुर मात्रा में है, उपयोगकर्ता कार्यों के वास्तविक वितरण को दर्शाता है, और उपयोगकर्ता सुधारों तथा टूल विफलताओं को कैप्चर करता है जिन्हें सिंथेटिक वातावरण छूट सकता है।

वास्तविक दुनिया के डेटा से सीखने का एक आम तरीका रिजेक्शन सैंपलिंग फाइन-ट्यूनिंग है: प्रत्येक सत्र के परिणाम का न्याय करें, सफल लोगों को रखें, और उनका अनुकरण करने के लिए मॉडल को प्रशिक्षित करें। लेकिन एक सफल परिणाम का मतलब यह नहीं है कि हर कदम सही था, इसलिए पूरे प्रक्षेपवक्र का अनुकरण करने से अच्छे के अलावा खराब मध्यवर्ती व्यवहारों को भी मजबूत करने का जोखिम होता है। असफल सत्रों को छोड़ना भी इस बात के महत्वपूर्ण साक्ष्य को खो देता है कि मॉडल कहाँ कम पड़ता है।

इस उदाहरण में, संकेत मॉडल को सफल और असफल दोनों सत्रों से सीखने के लिए रिजेक्शन सैंपलिंग फाइन-ट्यूनिंग को संकेत-निर्देशित सेल्फ-डिस्टिलेशन के साथ जोड़ते हैं। एक संकेत एक छोटी सुधारात्मक निर्देश होता है, जो उस जानकारी पर आधारित होता है जो मॉडल के पास गलती करते समय पहले से थी। सफल सत्रों के उपयोगी चरण इमिटेशन लक्ष्यों के रूप में बने रहते हैं, जबकि आधारित संकेत टाली जा सकने वाली गलतियों को सुधार लक्ष्यों में बदल देते हैं।

उपयोगकर्ता सुधार और टूल त्रुटियाँ इस बात के बारे में पर्यवेक्षण जोड़ती हैं कि रास्ते में क्या गलत हुआ, इसके अलावा कि क्या कार्य अंततः सफल हुआ। हम उन वातावरणों और वास्तविक दुनिया के उपयोग के बीच की खाई को पाटने में मदद करने के लिए सिंथेटिक वातावरण में सुदृढीकरण सीखने के बाद इस चरण को लागू करते हैं।

लाइव उपयोग में, बाद के पोस्ट-ट्रेन्ड GLM-5.2 चेकपॉइंट ने पहले प्रशिक्षित चेकपॉइंट की तुलना में टूल-कॉल विफलता को 21.2% तक कम किया। GLM-5.3 के लिए, पोस्ट-ट्रेनिंग ने स्टॉक मॉडल की तुलना में टूल-कॉल विफलता को 33.0% और मध्यम या उच्च उपयोगकर्ता असंतोष की औसत अनुमानित संभावना को 17.2% तक कम कर दिया।

सिंथेटिक कार्य हमें ऐसे नियंत्रित समस्याओं को बनाने की अनुमति देते हैं जिनके परिणाम सत्यापित करने में आसान होते हैं, लेकिन वे आमतौर पर एक ही संकेत तक सीमित होते हैं और केवल उन परिदृश्यों को कवर कर सकते हैं जिन्हें हम स्पष्ट रूप से डिज़ाइन करते हैं।

इसके विपरीत, वास्तविक दुनिया के सत्रों में उपयोगकर्ता सत्रों में विविध निर्देश, संदर्भ और टूल संयोजन लाते हैं जो बातचीत के कई मोड़ों पर सामने आते हैं। इस तरह के वास्तविक दुनिया के उपयोग से स्वाभाविक रूप से गलतियों के दो मूल्यवान संकेत मिलते हैं: उपयोगकर्ता सुधार यह प्रकट करते हैं कि एजेंट ने वह कहाँ वितरित करने में विफल रहा जो वे चाहते थे, और टूल त्रुटियाँ दिखाती हैं कि वास्तविक वातावरण में इसकी कार्रवाई कहाँ टूट गई। हमारी सैंपलिंग पाइपलाइन व्यक्तिगत रूप से पहचान योग्य जानकारी (PII) वाले सत्रों को बाहर करके और ऑप्ट आउट करने वाले उपयोगकर्ताओं से सत्रों को बाहर करके उपयोगकर्ताओं की गोपनीयता और प्रशिक्षण विकल्पों का सम्मान करती है।

इसलिए वास्तविक दुनिया का डेटा हमें ऐसे विफलता के मामले देता है जिन्हें सिंथेटिक वातावरण उजागर नहीं कर सकता है और अक्सर इसके साथ आता है कि विफलता पहले से ही कहाँ हुई थी।

वास्तविक दुनिया के डेटा पर प्रशिक्षण देते समय, मानक रिजेक्शन सैंपलिंग फाइन-ट्यूनिंग (RFT) अच्छे मध्यवर्ती कार्यों को बुरे कार्यों से अलग करने के लिए उपयोगकर्ता और टूल फ़ीडबैक का स्पष्ट रूप से उपयोग किए बिना, उनके अंतिम परिणामों के आधार पर सफल सत्रों का चयन करता है। एक एजेंट खराब टूल कॉल से उबर सकता है या उपयोगकर्ता फ़ीडबैक के बाद गलती को सुधार सकता है और अंत में सही आउटपुट दे सकता है।

विफल सत्रों को छोड़ना नमूना दक्षता को भी सीमित करता है। ऐसा सत्र जो कभी किसी अच्छे परिणाम तक नहीं पहुंचता, फिर भी उपयोगी प्रशिक्षण संकेतों के रूप में एक स्पष्ट, टालने योग्य गलती को प्रकट कर सकता है।

हम दो निर्णयों को अलग करके इन सीमाओं का समाधान करते हैं: किन सत्रों में अनुकरण करने लायक व्यवहार शामिल है, और किन टर्न में सुधार करने लायक गलतियाँ हैं। डेटा पाइपलाइन इन निर्णयों को अलग-अलग करती है, फिर मॉडल टर्न को तीन में से एक ट्रीटमेंट प्रदान करती है:

अनुकरण करें: सफल सत्रों में गैर-त्रुटि टर्न सामान्य क्रॉस-एंट्रॉपी (CE) लॉस प्राप्त करते हैं, जिससे रिकॉर्ड किए गए टोकन की संभावना बढ़ जाती है।
सही: सफल और असफल दोनों सत्रों में, एक वैध संकेत वाले त्रुटि टर्न Kullback–Leibler (KL) डाइवर्जेंस लॉस प्राप्त करते हैं, जो मॉडल को उन अगले-टोकन भविष्यवाणियों की ओर ले जाता है जो यह संकेत देखने पर करता है।
संदर्भ के रूप में रखें: असफल सत्रों में ऐसे टर्न जिनमें एक मान्य संकेत का अभाव होता है, और किसी भी सत्र प्रकार में मान्य संकेत के बिना चिह्नित खराब टर्न, संदर्भ के रूप में कार्य करते हैं लेकिन दोनों में से कोई भी लॉस प्राप्त नहीं करते हैं।

परिणामस्वरूप, सफल सत्र अनुकरण और सुधार दोनों लक्ष्य प्रदान कर सकते हैं, जबकि असफल सत्र केवल सुधार लक्ष्य प्रदान करते हैं। सिस्टम, उपयोगकर्ता और टूल आउटपुट सहित सभी शेष टर्न, संदर्भ के रूप में रहते हैं।

सत्र-मार्जन आरेख: सफल सत्र CE अनुकरण और पात्र संकेतित सुधार प्रदान करते हैं; असफल सत्र केवल पात्र सुधार प्रदान करते हैं। — वर्तमान सत्र रूटिंग और सहायक-सामग्री मास्क। सफल सत्र अनुकरण लक्ष्य योगदान करते हैं; सत्र असफल होने पर भी प्रतिधारण फ़ीडबैक रिकॉर्ड संकेतित सुधारों में योगदान कर सकते हैं। अन्य सामग्री संदर्भ के रूप में रहती है। अधूरे सत्रों को बाहर रखा गया है। गैर-अंतिम उपज/स्टॉप-टोकन CE अपवाद नहीं खींचा गया है, और यह आरेख पहले के चेकपॉइंट द्वारा उपयोग किए जाने वाले मिश्रण को स्थापित नहीं करता है।

अनुकरण भाग मानक RFT का उपयोग करता है। सुधारात्मक भाग On-Policy Self-Distillation (OPSD) का उपयोग करता है: वही मॉडल टीचर और स्टूडेंट के रूप में कार्य करता है, जिसमें टीचर को विशेषाधिकार प्राप्त जानकारी दी जाती है। यहाँ, वह विशेषाधिकार प्राप्त जानकारी एक टालने योग्य गलती को समझाने वाला एक छोटा संकेत है। हम स्टूडेंट को संकेत दिए बिना टीचर के अगले-टोकन भविष्यवाणियों से मेल खाने के लिए प्रशिक्षित करते हैं।

दोनों हिस्से मायने रखते हैं। केवल-करेक्शन प्रशिक्षण एक शॉर्टकट उजागर कर सकता है: सुधार सीखने के बजाय टीचर और स्टूडेंट संदर्भ की उपेक्षा करके सहमत हो सकते हैं। CE टर्म प्रशिक्षण को उपयोगी व्यवहार से जोड़ता है, जिससे उस सहमति को हतोत्साहित करने में मदद मिलती है जो संदर्भ की उपेक्षा करने से आती है।

इसके बाद पोस्ट-ट्रेन किया गया स्टूडेंट Computer में एक मॉडल विकल्प बन जाता है। लाइव उपयोग से मिलने वाले नए सत्र प्रशिक्षण पाइपलाइन के एक अन्य दौर में प्रवेश करने से पहले समान पात्रता और गोपनीयता फ़िल्टर से गुजरते हैं।

इसके बाद, हम एक ठोस उदाहरण के माध्यम से चलते हैं जिसमें अनुकरण और सुधार दोनों शामिल हैं।

एक संभावित सफल सत्र पर विचार करें जहाँ उपयोगकर्ता आधिकारिक दस्तावेज़ीकरण का उपयोग करके Python 3.13 में asyncio परिवर्तनों की तुलना करने के लिए कहता है। हमारा टूल दस्तावेज़ीकरण बताता है कि search.web हिट्स की एक सूची लौटाता है, जिनमें से प्रत्येक में एक url फ़ील्ड होती है।

तुलना के लिए साक्ष्य इकट्ठा करने के हिस्से के रूप में मॉडल पहले एक संस्करण के लिए एक वैध खोज चलाता है, जो अनुकरण करने के लिए एक अच्छा व्यवहार है।

हालांकि, अगला कोड-निष्पादन कॉल गलती से उस सूची को एक शब्दकोश के रूप में मानता है। कोड टूल TypeError: list indices must be integers or slices, not str लौटाता है। चूँकि कॉल से पहले रिटर्न प्रकार का दस्तावेजीकरण किया गया था, यह एक ऐसी गलती है जिससे मॉडल को बचना चाहिए था। उस कार्रवाई को सुधारने के लिए सही कॉल के साथ एक संकेत उत्पन्न किया जा सकता है।

चित्रात्मक कोडिंग सत्र: सिस्टम और उपयोगकर्ता इनपुट और टूल त्रुटियाँ संदर्भ बनी रहती हैं; उपयोगी रिकॉर्ड की गई खोज और पुनर्प्राप्ति कॉल एक सफल सत्र में CE प्राप्त करते हैं; एक चिह्नित त्रुटिपूर्ण सूची लुकअप ग्राउंडेड संकेत दिए गए टीचर की ओर KL प्राप्त करता है। — एक चित्रात्मक कोडिंग सत्र तीन प्रशिक्षण भूमिकाएँ दिखाता है: केवल-संदर्भ इनपुट और टूल आउटपुट (धूसर), उपयोगी रिकॉर्ड किए गए कॉल का CE अनुकरण (गहरा), और एक चिह्नित गलती का KL सुधार (टील)। यहाँ, मॉडल गलती से खोज हिट्स की सूची को एक शब्दकोश के रूप में मानता है; पहले के टूल दस्तावेज़ीकरण में ग्राउंडेड केवल-टीचर संकेत सुधार का मार्गदर्शन करता है। CE लक्ष्य केवल तभी लागू होते हैं जब पूर्ण सत्र सफल आंका जाता है, जबकि एक असफल सत्र अभी भी एक पात्र KL सुधार लक्ष्य प्रदान कर सकता है।

प्रशिक्षण पाइपलाइन के चार चरण हैं: सत्रों का चयन करना और उनके परिणामों का न्याय करना, उपयोगकर्ता फ़ीडबैक और टूल त्रुटियों से गलतियों की पहचान करना और संकेत बनाना, टीचर और स्टूडेंट दोनों से अगली-टोकन संभावनाएँ उत्पन्न करना, और संयुक्त CE और KL लॉस के साथ मॉडल को प्रशिक्षित करना।

सैंपलिंग पाइपलाइन GLM 5.2 द्वारा सर्व किए गए वास्तविक दुनिया के Computer सत्रों के एक प्रशिक्षण-योग्य उपसमूह से डेटा लेती है। इस वर्कफ़्लो के लिए उदाहरण चुनने से पहले, प्रशिक्षण से बाहर होने के विकल्प और पाइपलाइन के PII-संबंधी बहिष्करण लागू किए जाते हैं।

प्रारंभिक स्क्रीनिंग प्रक्रिया LLM जज द्वारा पाँच-बिंदु कार्य-कठिनाई पैमाने पर 4 या 5 रेट किए गए उम्मीदवारों का चयन करती है और उन्हें 2 समूहों में विभाजित करती है:

उपयोगकर्ता-फ़ीडबैक समूह में वास्तविक उपयोगकर्ता फ़ॉलो-अप या मध्यम-से-उच्च असंतोष फ़्लैग वाले सत्र शामिल हैं। हम सीखने के लिए इन उच्च-इरादे वाले फ़ॉलो-अप को विशेष रूप से उपयोगी पाते हैं: उपयोगकर्ता सक्रिय रूप से एक कार्य को पूरा करने की कोशिश कर रहे हैं, और उनके सुधार इस बात को इंगित करते हैं कि मॉडल से क्या छूट गया।
टूल-त्रुटि समूह में नियम-आधारित जाँचों द्वारा फ़्लैग किए गए विफल कॉल वाले सत्र शामिल हैं, जिसमें मान्यता प्राप्त बुनियादी ढाँचा विफलताओं और अस्वीकृत प्राधिकरण को छोड़कर।

इसके बाद दो एलएलएम जज उपयोगकर्ता के अनुरोध के मुकाबले अंतिम डिलीवरी का आकलन करते हैं; सत्र को “सफल” के रूप में लेबल करने के लिए दोनों जजों का सकारात्मक निर्णय देना अनिवार्य है। ऐसे मामलों के लिए जो आर्टिफ़ैक्ट डिलीवर करते हैं, परिणाम चरण डिलीवरी का पुनर्निर्माण और निरीक्षण कर सकता है, और यदि वह चरण विफल हो जाता है, तो इसके टेक्स्ट-आधारित निर्णयों पर वापस लौट सकता है। अधूरे के रूप में वर्गीकृत सत्रों, जैसे कि उपयोगकर्ता की प्रतीक्षा कर रहे कार्य, को बाहर रखा गया है।

यह चरण सीखने के संकेतों के संभावित स्रोतों की पहचान करता है; हालांकि, हर त्रुटि मॉडल के कारण नहीं होती है, क्योंकि कुछ अस्पष्ट निर्देशों या बुनियादी ढाँचे की विफलताओं से उत्पन्न होती हैं। बाद का एनोटेशन निर्धारित करता है कि कौन सी उम्मीदवार गलतियाँ वास्तव में टालने योग्य हैं और प्रशिक्षण के लिए उपयुक्त हैं।

उपयोगकर्ता-फ़ीडबैक समूह में एक नमूना सत्र पर विचार करें, जहाँ उपयोगकर्ता पूछता है, "How do I find my w3 on paychex"। मॉडल "w3" को W-2 की वर्तनी की गलती (टाइपो) के रूप में मानता है, W-2 निर्देशों के लिए खोज करता है, और समझाता है कि उस फ़ॉर्म को कैसे खोजा जाए। उपयोगकर्ता का फ़ॉलो-अप, "I meant the W-3 transmittal form," गलती की पहचान करता है, भले ही सत्र अंततः सफल हो जाए।

शिकायत गलती का पता लगाने में मदद करती है, लेकिन मूल कारण W-2 के रूप में "w3" की पुनर्व्याख्या करने का पहला निर्णय है। मूल अनुरोध गलती को टालने योग्य बनाता है: मॉडल W-3 को संरक्षित कर सकता था या स्पष्टीकरण मांग सकता था। यह पता चलता है कि शिकायत से पहले का आखिरी सहायक टर्न केवल आधे समय ही मूल कारण होता है।

हमारी एनोटेशन पाइपलाइन प्रत्येक उपयोगकर्ता-फ़ीडबैक सत्र के भीतर कारण और प्रभाव को व्यवस्थित रूप से मैप करती है। एनोटेटर पहले छूटी हुई आवश्यकता या पहले के संदर्भ द्वारा समर्थित इरादे की जाँच करता है। इसके बाद तीन LLM जज ज़िम्मेदार टर्न की पहचान करते हैं, जिसमें किसी दिए गए टर्न पर सहमति के लिए कम से कम दो की आवश्यकता होती है। कभी-कभी एक पहला बयान स्पष्ट रूप से आवश्यकता स्थापित करता है। अन्य मामलों में, कोई भी एकल पूर्व बयान ऐसा नहीं करता है, लेकिन पूर्ववर्ती बातचीत के कई हिस्से संयुक्त रूप से इच्छित व्यवहार को अनुमान लगाने योग्य बनाते हैं। यह डिज़ाइन उन्हें अंतिम उत्तर के लिए पूरी तरह से ज़िम्मेदार ठहराने के बजाय किसी शिकायत को पहले की मूल गलती से जोड़ने की अनुमति देता है।

संकेत स्वीकार करने से पहले, पाइपलाइन यह भी जाँच करती है कि इसके सुधारात्मक दावे चिह्नित टर्न से पहले उपलब्ध जानकारी से अनुसरण करते हैं। इन जाँचों का उद्देश्य हिंडसाइट पूर्वाग्रह को कम करना है, जहाँ शिकायत में प्रकट की गई एक नई प्राथमिकता को ऐसी चीज़ के रूप में माना जाता है जिसे मॉडल को पहले से ही पता होना चाहिए था।

इस उदाहरण में, संकेत मॉडल को W-2 के बजाय Paychex पर W-3 ट्रांसमिटल फ़ॉर्म खोजने, या यदि अनुरोध अस्पष्ट हो तो पूछने के लिए कहते हैं कि उपयोगकर्ता का आशय कौन-सा फ़ॉर्म है। सुधार लक्ष्य पहले की व्याख्या और खोज निर्णय पर केंद्रित होते हैं, सिर्फ़ अंतिम उत्तर पर नहीं। मूल टर्न अपरिवर्तित रहता है; एनोटेशन में is_bad_turn: true और एक गैर-रिक्त hint जोड़ा जाता है.

W-3 अनुरोध की गलत व्याख्या W-2 के रूप में की जाती है; बाद की शिकायत का पता पहले के सर्च निर्णय से लगाया जाता है और पूर्व साक्ष्य के मुकाबले इसकी जाँच की जाती है। — एक वास्तविक सत्र जो यह दर्शाता है कि कैसे किसी शिकायत का पता पहले की गलती से लगाया जाता है, जिसमें एनोटेशन प्रक्रिया ओवरले की गई है। उपयोगकर्ता ने Paychex पर “w3” के लिए पूछा, लेकिन मॉडल ने इसे W-2 के लिए एक टाइपो के रूप में माना और गलत फ़ॉर्म की खोज की। प्रस्तावक आम सहमति मूल कारण का पता लगाती है, जबकि दो ग्राउंडिंग जाँचें आकलन करती हैं कि क्या साक्ष्य गलती से पहले के हैं और संकेत के दावे उस बिंदु पर उपलब्ध जानकारी से अनुसरण करते हैं। स्वीकृत एनोटेशन मूल पाठ को संरक्षित करते हैं और पुनर्लेखन लक्ष्यों के बजाय चिह्न और संकेत जोड़ते हैं।

टूल-त्रुटि समूह में एक अन्य सत्र पर विचार करें जिसमें एक सर्च कॉल है जहाँ एजेंट recency_filter: "year" के साथ खोज करता है, लेकिन टूल इसे अस्वीकार कर देता है क्योंकि अनुमत मान “day,” “week,” या “month” हैं। यह एक स्पष्ट स्कीमा उल्लंघन है।

टूल-त्रुटि पथ ज्ञात गलतियों के लिए नियतिवादी नियमों और अस्पष्ट मामलों के लिए मॉडल निर्णय का उपयोग करता है। मॉडल को दोषी ठहराने के लिए अकेले एक त्रुटि संदेश भी पर्याप्त नहीं है; एक मूल्यांकित सुधार को किसी ऐसी चीज़ की ओर इशारा करना चाहिए जिसे मॉडल टूल स्कीमा, सिस्टम निर्देशों या पहले की बातचीत से जान सकता था।

सर्च कॉल अमान्य recency_filter मान year का उपयोग करता है; एक ग्राउंडेड संकेत मॉडल को सूचीबद्ध मान का उपयोग करने या वैकल्पिक फ़ील्ड को छोड़ने का निर्देश देता है। — रिपोर्ट का अमान्य सर्च तर्क वर्तमान टूल-त्रुटि प्रक्रिया को चित्रित करता है। स्कीमा इस गलती को टालने योग्य बनाता है; केवल एक आउटेज ऐसा नहीं कर सकता। मूल कॉल रिकॉर्ड में रहता है और एक ग्राउंडेड संकेत प्राप्त करता है। संकेत सूचीबद्ध मान की अनुमति देता है या यदि फ़ील्ड वैकल्पिक है तो उसे छोड़ने की अनुमति देता है; यह हर अनुरोध के लिए “month” की आवश्यकता नहीं रखता है।

यहाँ, संकेत विफल कॉल का नाम बताता है, सत्यापन त्रुटि को शामिल करता है, और मॉडल को अनुमत मान का उपयोग करने या वैकल्पिक होने पर फ़ील्ड को छोड़ने का निर्देश देता है।

एक बार टर्न चिह्नित हो जाने के बाद, ट्रेनर एक ही चेकपॉइंट को दो बार चलाता है: एक बार टीचर के रूप में और एक बार स्टूडेंट के रूप में। टीचर को हिंट दिखाई देता है; स्टूडेंट को नहीं।

दोनों पास टीचर फ़ोर्सिंग का उपयोग करते हैं, जहाँ हम मॉडल को नए टोकन चुनने देने के बजाय रिकॉर्ड किया गया सत्र फ़ीड करते हैं। फॉरवर्ड पास अभी भी प्रत्येक चरण में एक पूर्ण अगली-टोकन वितरण उत्पन्न करता है, लेकिन यह हमेशा रिकॉर्डिंग से निश्चित उपसर्ग पर आधारित होता है, न कि रोलआउट टोकन पर।

सर्च के उदाहरण के लिए, जब संकेत दिया जाता है तो वही मॉडल "month" को बहुत अधिक संभावना और "year" को कम संभावना प्रदान करता है। प्रशिक्षण इस वितरण संबंधी बदलाव को एक सॉफ्ट लक्ष्य के रूप में उपयोग करता है।

वही मॉडल संकेत के साथ और संकेत के बिना एक लॉग किए गए टर्न को स्कोर करता है; अलग किए गए टीचर की संभावनाएँ KL लक्ष्य प्रदान करती हैं जबकि CE अनुकरण को आधार प्रदान करता है। — दो पास, भार का एक सेट। दोनों पास लॉग किए गए निरंतरता को स्कोर करते हैं; केवल टीचर को संकेत मिलते हैं। इसकी अलग की गई अगली-टोकन संभावनाएँ फॉरवर्ड KL के माध्यम से स्टूडेंट का मार्गदर्शन करती हैं। अलग CE लक्ष्य अनुकरण को आधार प्रदान करते हैं। दोनों लॉस एक वजन अपडेट को फ़ीड करते हैं। पहले के संकेत टीचर के वर्तमान खंड में बने रह सकते हैं; कोई भी पास प्रतिस्थापन प्रशिक्षण उत्तर उत्पन्न नहीं करता है।

टीचर की भविष्यवाणियां अलग-थलग होती हैं, या स्टॉप-ग्रेडिएंट होती हैं: वे एक लक्ष्य प्रदान करती हैं लेकिन टीचर पास के माध्यम से कोई अपडेट प्राप्त नहीं करती हैं। स्टूडेंट के पास के बाद, एक ऑप्टिमाइज़र चरण साझा मॉडल को अपडेट करता है।

CE लॉस अनुकरण के लिए चुने गए रिकॉर्ड किए गए टोकन को ग्राउंड-थ्रूप लक्ष्यों के रूप में मानता है और उन्हें कम संभावनाएँ प्रदान करने के लिए मॉडल को दंडित करता है। यह एक कठिन अनुकरण लक्ष्य बनाता है।

टोकन स्थिति पर, मान लीजिए कि पूर्ण शब्दावली में टोकन की स्टूडेंट की संभावना है। प्रतिक्रिया या टूल कॉल में रिकॉर्ड किया गया अगला टोकन है, वन-हॉट लक्ष्य वितरण है। $i$ $p_i(v)$ $v$ $V$ $y_i$ $r_i$

r_i(v)=\mathbf{1}[v=y_i]

क्रॉस-एन्ट्रॉपी यह मापता है कि स्टूडेंट उस रिकॉर्ड किए गए टोकन की कितनी अच्छी तरह भविष्यवाणी करता है। वन-हॉट लक्ष्य के साथ, यह $y_i$ को निर्दिष्ट नकारात्मक लॉग-संभावना तक कम हो जाता है।

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

CE मास्क $m_i^{\mathrm{CE}}$ वह है जहाँ $1$ टोकन का अनुकरण किया जाना चाहिए और अन्य जगहों पर $0$ है। चयनित स्थानों पर योग करने से अनुकरण लॉस मिलता है।

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

इसके बजाय KL लॉस, सॉफ्ट करेक्शन टारगेट के रूप में टीचर के पूर्ण नेक्स्ट-टोकन प्रोबेबिलिटी वितरण $q_i$ का उपयोग करता है। टीचर के संदर्भ में वर्तमान संकेत और उस प्रशिक्षण खंड में रखे गए कोई भी पहले के संकेत शामिल होते हैं; स्टूडेंट का संदर्भ हमेशा संकेत-मुक्त होता है।

KL मास्क $m_i^{\mathrm{KL}}$ वह है जहाँ $1$ टोकन को सुधारा जाना चाहिए और अन्य जगहों पर $0$ है; CE और KL मास्क ओवरलैप नहीं होते हैं। इन स्थानों पर, फॉरवर्ड KL पूर्ण शब्दावली में टीचर और स्टूडेंट के बीच असहमति को दंडित करता है:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

दोनों पद अलग-अलग सामान्यीकृत होने के बजाय एक हर साझा करते हैं। यह हर वैश्विक प्रशिक्षण बैच में अनुकरण के लिए चुने गए कुल टोकन की गणना करता है। भार $\lambda$ अनुकरण के सापेक्ष सुधारात्मक प्रशिक्षण के योगदान को नियंत्रित करता है।

यह साझा सामान्यीकरण हमारे प्रशिक्षण बुनियादी ढाँचे के एकल-हर इंटरफ़ेस में फिट बैठता है और बेसलाइन तुलना को सरल बनाते हुए जब $\lambda=0$ होता है तो मानक SFT लॉस को पुनर्प्राप्त करता है। चूँकि CE टोकन KL टोकन की तुलना में बहुत अधिक प्रचुर मात्रा में हैं, इसलिए साझा हर का उपयोग करने से कुछ चिह्नित टोकन वाले बैचों में व्यक्तिगत KL टोकन को अनुपातहीन रूप से बड़े भार देने से भी बचा जाता है।

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

पहले के उदाहरणों पर लागू, W-3/W-2 मिश्रण और अमान्य सर्च कॉल वाले टर्न KL प्राप्त करते हैं। एक सफल सत्र में अन्य अनचिह्नित सहायक सामग्री अभी भी CE प्राप्त करती है। एक असफल सत्र में अन्य सहायक सामग्री को संदर्भ के रूप में रखा जाता है लेकिन न तो CE और न ही KL प्राप्त होता है।

हमारे मूल्यांकन दो अलग-अलग सवालों के जवाब देते हैं। पहला, जब संकेत मौजूद होता है तो क्या संकेत वास्तव में मॉडल को किसी त्रुटि को सुधारने में मदद करता है? दूसरा, क्या प्रशिक्षण मॉडल को बिना संकेत के, बाद में उस त्रुटि से बचने में मदद करता है? पहला यह परीक्षण करता है कि क्या संकेत उपयोगी प्रशिक्षण संकेत प्रदान करते हैं। दूसरा यह परीक्षण करता है कि क्या मॉडल उनसे सीखता है।

यह सुनिश्चित करने के लिए कि संकेत वास्तव में मॉडल को गलतियों से दूर ले जा सकते हैं, हम प्रशिक्षण चलने से पहले पहले प्रश्न का परीक्षण करते हैं।

हमने शून्य तापमान पर समान GLM-5.2 बेस मॉडल का उपयोग करते हुए, संकेत के साथ और संकेत के बिना चिह्नित उपयोगकर्ता-फ़ीडबैक टर्न को पुनर्जीवित किया। एक ब्लाइंड जज बाद की शिकायत को देखता है, लेकिन न तो संकेत को और न ही इस बात को देखता है कि किस स्थिति ने उत्तर तैयार किया।

W-3 के उदाहरण में, संकेत उपसर्ग "W-" के बाद अगले-टोकन की संभावना को "3" की ओर और "2" से दूर स्थानांतरित करता है।

अपरिवर्तित बेस मॉडल को संकेत मिलने पर W- संकेत के बाद अगली-टोकन संभावनाएँ 2 के बजाय 3 की ओर स्थानांतरित हो जाती हैं। — एक संकेत अनुरोधित W-3 फ़ॉर्म को सुरक्षित रखता है। बार्स आठ फॉरवर्ड पास में माध्य अगले-टोकन संभावनाओं को दर्शाते हैं; व्हिस्कर्स देखी गई सीमा को दर्शाते हैं, विश्वास अंतराल को नहीं। दोनों स्थितियाँ अपरिवर्तित बेस मॉडल का उपयोग करती हैं।

स्पष्ट रूप से बताए गए पहले के साक्ष्य द्वारा समर्थित एक बड़े 40-टर्न हेल्ड-आउट नमूने पर, निश्चित या ट्रैक पर आंके गए हिस्से की हिस्सेदारी संकेत के बिना 40.0% से बढ़कर संकेत के साथ 75.0% हो जाती है। अनुमानित इरादे द्वारा समर्थित अन्य 40 टर्न पर, यह 32.5% से बढ़कर 80.0% हो जाता है।

संकेत मान्यता: स्पष्ट साक्ष्य के लिए 40.0% से 75.0% और अनुमानित इरादे के लिए 32.5% से 80.0% तक निश्चित या ट्रैक पर दरें बढ़ती हैं। — संकेत मान्यता, पोस्ट-ट्रेनिंग मूल्यांकन नहीं। प्रत्येक साक्ष्य समूह में समान 40 चिह्नित टर्न तापमान शून्य पर अपरिवर्तित GLM-5.2 का उपयोग करके संकेत के साथ और बिना पुनर्जीवित किए जाते हैं। जज शिकायत देखता है लेकिन संकेत या स्थिति नहीं। गिनती रिपोर्ट की दरों और नमूना आकारों से ली गई है; विश्वास अंतराल की रिपोर्ट नहीं की जाती है।

सर्च टूल त्रुटि के उदाहरण में, संकेत वास्तव में वर्ष टोकन से संभाव्यता द्रव्यमान को महीने के टोकन की ओर स्थानांतरित करता है।

एक संकेत अपरिवर्तित बेस मॉडल की अगली-टोकन संभावनाओं को वर्ष से दूर और अनुमत मान महीने की ओर स्थानांतरित करता है। — एक संकेत अनुमत मान की ओर संभावना को स्थानांतरित करता है। बार्स आठ फॉरवर्ड पास में माध्य अगले-टोकन संभावनाओं को दर्शाते हैं; व्हिस्कर्स देखी गई सीमा को दर्शाते हैं, विश्वास अंतराल को नहीं। दोनों स्थितियाँ समान बेस मॉडल का उपयोग करती हैं; किसी प्रशिक्षित चेकपॉइंट की तुलना नहीं की जाती है।

एक बड़े 985-टर्न हेल्ड-आउट नमूने पर, हम समान बेस मॉडल का उपयोग करके संकेत के साथ और संकेत के बिना प्रत्येक टर्न को चार बार पुनर्जीवित करते हैं। एक ब्लाइंड जज मूल्यांकन करता है कि क्या प्रत्येक पुनरुत्थान मूल विफलता से बचता है। संकेत विफलता से बचाव को 75.1% से बढ़ाकर 93.7% कर देते हैं, जो 18.6 प्रतिशत अंकों की एक युग्मित वृद्धि है, और सुधारात्मक कार्रवाई करने वाले हिस्से को 60.6% से बढ़ाकर 82.3% कर देते हैं। अकेले बार-बार सैंपलिंग से ठीक होने में संघर्ष करने वाली त्रुटियों पर लाभ सबसे बड़ा होता है।

985 हेल्ड-आउट चिह्नित टूल-त्रुटि टर्न पर, संकेतों ने विफलता से बचाव को 75.1% से 93.7% तक और सुधारात्मक कार्रवाई दरों को 60.6% से 82.3% तक बढ़ाया। — 985 हेल्ड-आउट चिह्नित टर्न पर टूल-त्रुटि संकेत मान्यता, प्रति स्थिति चार पुनरुत्थान के साथ। बार्स संकेतों के साथ और बिना, अपरिवर्तित बेस मॉडल के लिए विफलता से बचाव और सुधारात्मक कार्रवाई दरों को दर्शाते हैं। लक्षित गलती से बचना टूल-कॉल या कार्य की सफलता स्थापित नहीं करता है।

इसके बाद हम परीक्षण करते हैं कि क्या प्रशिक्षित मॉडल बिना संकेत प्राप्त किए कम गलतियाँ करता है। हम स्टॉक मॉडल और विभिन्न पोस्ट-ट्रेंड चेकपॉइंट्स का मूल्यांकन ऑफ़लाइन बेंचमार्क कार्यों और लाइव उपयोगकर्ता सत्रों में करते हैं, और कम टूल विफलताओं तथा कम उपयोगकर्ता असंतोष की जाँच करते हैं।

ऑफ़लाइन मूल्यांकन BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, एक प्रतिनिधि Computer कार्य सेट का उपयोग करता है, और कौशल लोडिंग, दस्तावेज़ समीक्षा और इनलाइन उद्धरणों की जाँच करता है। हम मूल्यांकन प्रक्षेपवक्रों में उन टूल कॉलों के हिस्से को मापते हैं जिनके परिणामों को स्पष्ट रूप से त्रुटियों के रूप में चिह्नित किया गया है।

इन मूल्यांकनों में, रिकॉर्ड की गई टूल-त्रुटि दर स्टॉक GLM 5.2 के लिए 2.79%, केवल-RFT चेकपॉइंट के लिए 1.35%, और RFT-प्लस-OPSD चेकपॉइंट के लिए 0.87% थी। इन चेकपॉइंट को अलग-अलग डेटा पर प्रशिक्षित किया गया था, इसलिए यह OPSD का मिलान-डेटा एब्लेशन नहीं है। कार्य-स्तरीय बेंचमार्क परिणाम मिश्रित थे, इसलिए कम टूल त्रुटियाँ अकेले आवश्यक रूप से कार्य सफलता में व्यापक सुधार में अनुवाद नहीं करती हैं।

ऑफ़लाइन रिकॉर्ड की गई टूल-त्रुटि दरें: स्टॉक GLM 5.2 के लिए 2.79%, केवल RFT के लिए 1.35%, और RFT प्लस OPSD के लिए 0.87%; प्रशिक्षण डेटा भिन्न हैं। — स्टॉक GLM-5.2, केवल-RFT, और RFT-प्लस-OPSD चेकपॉइंट के लिए ऑफ़लाइन टूल-त्रुटि दरें। प्रशिक्षण डेटा चेकपॉइंट में भिन्न होते हैं; यह एक नियंत्रित एब्लेशन नहीं है।

GLM-5.2 के लिए, हमने प्रत्येक स्थिति में लगभग एक लाख उपयोगकर्ताओं के साथ दो अलग-अलग A/B परीक्षण चलाए। पहले में, एक शुरुआती RFT-plus-OPSD चेकपॉइंट की टूल-विफलता दर स्टॉक GLM 5.2 (2.94%) की तुलना में थोड़ी कम (2.82%) थी, लेकिन अंतर सांख्यिकीय रूप से महत्वपूर्ण नहीं था।

बाद के परीक्षण में, हमने दो RFT-प्लस-OPSD चेकपॉइंट की तुलना की: एक पहले वाला (चेकपॉइंट एक) और एक बाद वाला (चेकपॉइंट दो)। रिकॉर्ड की गई स्थिति वाले कॉल के 2.24% से गिरकर टूल-कॉल विफलताएँ 1.77% हो गईं। यह 21.2% की सांख्यिकीय रूप से महत्वपूर्ण सापेक्ष कमी थी। हमने ऑनलाइन स्टॉक GLM 5.2 के साथ सीधे चेकपॉइंट दो की तुलना नहीं की।

उपयोगकर्ता-प्रतिक्रिया के परिणाम कम निर्णायक थे। दूसरे GLM-5.2 प्रयोग में, मजबूत असंतोष (मध्यम या उच्च) की औसत संभावना पहले चेकपॉइंट के लिए 2.58% और दूसरे चेकपॉइंट के लिए 2.54% थी, जिसमें कोई सांख्यिकीय रूप से महत्वपूर्ण अंतर नहीं था।

दो अलग-अलग ऑनलाइन A/B परीक्षण; केवल बाद वाले चेकपॉइंट की तुलना में टूल-विफलता में उल्लेखनीय कमी आई है, और MID+ असंतोष में कोई उल्लेखनीय बदलाव नहीं हुआ है। — दो अलग-अलग GLM-5.2 लाइव A/B परीक्षण। चेकपॉइंट 1 की तुलना स्टॉक GLM-5.2 से की जाती है; चेकपॉइंट 2 की तुलना चेकपॉइंट 1 से की जाती है। इन दो परीक्षणों में, केवल बाद की टूल-विफलता में कमी सांख्यिकीय रूप से महत्वपूर्ण है। MID+ दरें मध्यम या उच्च असंतोष की औसत अनुमानित संभावनाओं को दर्शाती हैं, न कि शिकायतों की गिनती को।

GLM-5.3 के लिए, हमने पोस्ट-ट्रेन्ड चेकपॉइंट की सीधे स्टॉक GLM-5.3 से तुलना की। दर्ज स्थिति वाली कॉलों में टूल-कॉल विफलताएं 3.56% से घटकर 2.38% हो गईं, जो 33.04% की सापेक्ष कमी है। MID+ दर, यानी मध्यम या उच्च असंतोष की औसत अनुमानित संभावना, 4.12% से घटकर 3.41% हो गई, जो 17.2% की सापेक्ष कमी है। दोनों कमियां सांख्यिकीय रूप से महत्वपूर्ण थीं।

GLM-5.3 A/B परीक्षण: टूल-विफलता दर 3.56% से घटकर 2.38% हो जाती है और MID+ दर (मध्यम या उच्च असंतोष की औसत अनुमानित संभावना) 4.12% से घटकर 3.41% हो जाती है। CUPED-समायोजित सापेक्ष कमी क्रमशः 33.04% और 17.16% है। दोनों 95% क्रमिक अंतराल शून्य को छोड़कर हैं; प्राथमिक सहभागिता मीट्रिक महत्वपूर्ण नहीं है। — एक अलग ऑनलाइन A/B परीक्षण में स्टॉक GLM-5.3 बनाम पोस्ट-ट्रेन्ड GLM-5.3। टूल-विफलता और MID+ दरें, सापेक्ष परिवर्तन, और 95% क्रमिक आत्मविश्वास अंतराल CUPED समायोजन का उपयोग करते हैं। दोनों कमियां सांख्यिकीय रूप से महत्वपूर्ण हैं। MID+ दरें योग्य स्कोर किए गए फ़ॉलो-अप थ्रेड पर मध्यम या उच्च असंतोष की औसत अनुमानित संभावनाओं को दर्शाती हैं, न कि शिकायतों की गिनती को। टूल-विफलता दरों में दर्ज सफलता या विफलता की स्थिति के बिना कॉल शामिल नहीं हैं।

केंद्रीय विचार केवल सत्र के स्तर पर नहीं, बल्कि निर्णय के स्तर पर सीखना है।

एक सफल परिणाम गलतियों को छुपा सकता है, और एक असफल सत्र अभी भी यह प्रकट कर सकता है कि कैसे सुधार किया जाए। हम सफल सत्रों से उपयोगी व्यवहार को एक आधार के रूप में रखते हैं, टालने योग्य विफलताओं की पहचान करने के लिए शिकायतों और टूल त्रुटियों का उपयोग करते हैं, और उन गलतियों और सुधारों को स्पष्ट करने पर मॉडल को उन भविष्यवाणियों की ओर प्रशिक्षित करते हैं जो यह करता है। सफलता संरक्षित करने के लिए व्यवहार प्रदान करती है; विफलता सुधार के लिए दिशा प्रदान करती है।

वास्तविक दुनिया का उपयोग इस दृष्टिकोण को विशेष रूप से उपयोगी बनाता है। वास्तविक उपयोगकर्ता ऐसे लक्ष्य, विवशताएँ और वर्कफ़्लो लाते हैं जिनका सिंथेटिक वातावरण में अनुमान लगाना मुश्किल होता है। उनके सुधार उन आवश्यकताओं को प्रकट करते हैं जो मॉडल से छूट गईं, जबकि टूल त्रुटियाँ इस बात के बीच के अंतराल को उजागर करती हैं कि मॉडल ने क्या प्रयास किया और पर्यावरण क्या अनुमति देता है। ये संकेत परिणाम-आधारित प्रशिक्षण के पूरक हैं: केवल यह पूछने के बजाय कि क्या कोई कार्य सफल हुआ, हम यह पूछ सकते हैं कि मॉडल कहाँ गलत हुआ और कौन सी जानकारी इसे बेहतर निर्णय लेने में मदद कर सकती थी।

सीमाएँ उतनी ही महत्वपूर्ण हैं। जज गलत हो सकते हैं, और एक टर्न को सुधारने से इस बात की गारंटी नहीं मिलती है कि पूरा कार्य सफल हो जाएगा। इसका लक्ष्य केवल ऐसा एजेंट बनना नहीं है जो सुधार के बाद रिकवर हो जाए। बल्कि यह ऐसा एजेंट है जिसे कम बार सुधार की आवश्यकता होती है।

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

सिंथेटिक से वास्तविक दुनिया के डेटा तक

अच्छे चरणों का अनुकरण करें, बुरे चरणों को सुधारें

एक उदाहरण: एक सत्र दोनों सबक सिखा सकता है

प्रशिक्षण कैसे काम करता है

सत्रों का चयन करें, फिर परिणाम का न्याय करें

उपयोगकर्ता फ़ीडबैक से गलतियाँ ढूँढें

टूल त्रुटियों से गलतियाँ ढूँढें

दो फॉरवर्ड पास

लॉस फ़ंक्शन

CE लॉस

KL लॉस

संयुक्त लॉस

मूल्यांकन क्या दर्शाते हैं

संकेत मॉडल को गलतियों से दूर ले जा सकते हैं

उपयोगकर्ता फ़ीडबैक

टूल त्रुटियाँ

प्रशिक्षण के बाद टूल की विश्वसनीयता और उपयोगकर्ता प्रतिक्रिया

ऑफ़लाइन मूल्यांकन

ऑनलाइन मूल्यांकन: GLM-5.2

ऑनलाइन मूल्यांकन: GLM-5.3

निष्कर्ष

उद्धरण