நிஜ உலக அனுபவத்திலிருந்து கற்றல்

நிஜ உலகத்தில் பயனர்கள் எங்கள் தயாரிப்புகளுடன் எவ்வாறு தொடர்பு கொள்கிறார்கள் என்பது மாதிரி பயிற்சிக்கு ஒரு மதிப்புமிக்க மூலமாகும். தரவு ஏராளமானதாக உள்ளது, பயனர் பணிகளின் உண்மையான பரவலை பிரதிபலிக்கிறது, மேலும் செயற்கை சூழல்கள் தவறவிடக்கூடிய பயனர் திருத்தங்கள் மற்றும் கருவி தோல்விகளைப் படம்பிடிக்கிறது.

நிஜ உலக தரவிலிருந்து கற்றுக்கொள்ளும் பொதுவான வழி நிராகரிப்பு மாதிரி நுண்ணாய்வு ஃபைன்-ட்யூனிங் ஆகும்: ஒவ்வொரு அமர்வின் விளைவையும் மதிப்பிடுங்கள், வெற்றிகரமானவற்றை வைத்திருங்கள், அவற்றைப் பின்பற்ற மாதிரிக்குப் பயிற்சி அளிக்கவும். ஆனால் வெற்றிகரமான விளைவு ஒவ்வொரு அடியும் சரியானது என்று அர்த்தமல்ல, எனவே முழு பாதையையும் பின்பற்றுவது நல்ல இடைநிலை நடத்தைகளுடன் கெட்டவற்றையும் வலுப்படுத்தும் அபாயத்தைக் கொண்டுள்ளது. வெற்றிகரமற்ற அமர்வுகளை நிராகரிப்பது மாதிரி எங்கே குறைகிறது என்பதற்கான முக்கியமான ஆதாரத்தையும் இழக்கிறது.

வெற்றிகரமான மற்றும் வெற்றியடையாத அமர்வுகளிலிருந்து கற்றுக்கொள்ள, நிராகரிப்பு மாதிரி ஃபைன்-டியூனிங்குடன் குறிப்பு-வழிகாட்டப்பட்ட சுய-வடித்தலை நாங்கள் இணைக்கிறோம். குறிப்பு என்பது மாதிரி தவறு செய்தபோது ஏற்கனவே வைத்திருந்த தகவலில் அடிப்படையாகக் கொண்ட ஒரு குறுகிய திருத்த அறிவுறுத்தலாகும். வெற்றிகரமான அமர்வுகளிலிருந்து பயனுள்ள படிகள் பாசாங்கு இலக்குகளாகவே இருக்கின்றன, அதே நேரத்தில் அடிப்படையான குறிப்புகள் தவிர்க்கக்கூடிய தவறுகளை திருத்த இலக்குகளாக மாற்றுகின்றன.

பணி இறுதியில் வெற்றி பெற்றதா என்பதைத் தாண்டி, வழியில் என்ன தவறு நடந்தது என்பது பற்றிய மேற்பார்மையை பயனர் திருத்தங்களும் கருவி பிழைகளும் சேர்க்கின்றன. அந்த சூழல்களுக்கும் நிஜ உலக பயன்பாட்டிற்கும் இடையிலான இடைவெளியைக் குறைக்க செயற்கை சூழல்களில் வலுவூட்டல் கற்றலுக்குப் பிறகு இந்த நிலையைப் பயன்படுத்துகிறோம்.

நேரலை பயன்பாட்டில், பிந்தைய பயிற்சி பெற்ற GLM-5.2 சோதனைச் சாவடியானது, முன்னதாகப் பயிற்சி பெற்ற சோதனைச் சாவடியுடன் ஒப்பிடும்போது கருவி-அழைப்பு தோல்விகளை 21.2% குறைத்தது. GLM-5.3-க்கு, பிந்தைய பயிற்சி கருவி-அழைப்பு தோல்விகளை 33.0% குறைத்தது மற்றும் ஸ்டாக் மாடலுடன் ஒப்பிடும்போது நடுத்தர அல்லது உயர் பயனர் அதிருப்தியின் சராசரி மதிப்பிடப்பட்ட நிகழ்தகவை 17.2% குறைத்தது.

செயற்கை பணிகள் சரிபார்க்க எளிதான விளைவுகளுடன் கட்டுப்படுத்தப்பட்ட சிக்கல்களை உருவாக்க அனுமதிக்கின்றன, ஆனால் அவை பொதுவாக ஒற்றை தூண்டுதலுடன் வரம்பிடப்பட்டு நாம் வெளிப்படையாக வடிவமைக்கும் காட்சிகளை மட்டுமே உள்ளடக்கும்.

இதற்கு மாறாக, நிஜ உலக அமர்வுகளில் உள்ள பயனர்கள் பல திருப்பங்களாக விரியும் அமர்வுகளில் பல்வேறு வழிமுறைகள், சூழல் மற்றும் கருவி சேர்க்கைகளைக் கொண்டு வருகிறார்கள். அத்தகைய நிஜ உலக பயன்பாடு இயற்கையாகவே பிழைகளின் இரண்டு மதிப்புமிக்க சமிக்ஞைகளை அளிக்கிறது: பயனர் திருத்தங்கள் முகவர் அவர்கள் விரும்பியதை வழங்குவதில் எங்கே தோல்வியடைந்தார் என்பதை வெளிப்படுத்துகின்றன, மேலும் கருவி பிழைகள் நிஜ சூழல்களில் அதன் செயல்கள் எங்கே முறிந்தன என்பதைக் காட்டுகின்றன. எங்கள் மாதிரி எடுக்கும் பைப்லைன் தனிப்பட்ட முறையில் அடையாளம் காணக்கூடிய தகவல்களை (PII) கொண்ட அமர்வுகள் மற்றும் விலகிய பயனர்களின் அமர்வுகளை விலக்குவதன் மூலம் பயனர்களின் தனியுரிமை மற்றும் பயிற்சி தேர்வுகளை மதிக்கிறது.

எனவே நிஜ உலக தரவு செயற்கை சூழல் வெளிப்படுத்தாத தோல்வி நிகழ்வுகளை நமக்கு வழங்குகிறது மற்றும் பெரும்பாலும் தோல்வி ஏற்கனவே உள்ள இடத்தோடு வருகிறது.

நிஜ உலக தரவில் பயிற்சி பெறும்போது, நிலையான rejection sampling fine-tuning (RFT) நல்ல இடைநிலை நடவடிக்கைகளை கெட்டவற்றிலிருந்து வேறுபடுத்த பயனர் மற்றும் கருவி feedbacks ஐ வெளிப்படையாகப் பயன்படுத்தாமல், அவற்றின் இறுதி விளைவுகளின் அடிப்படையில் வெற்றிகரமான அமர்வுகளைத் தேர்ந்தெடுக்கிறது. ஒரு முகவர் கெட்ட கருவி அழைப்பிலிருந்து மீளலாம் அல்லது பயனர் கருத்துக்குப் பிறகு ஒரு தவறைத் திருத்தலாம் மற்றும் இறுதியில் சரியான வெளியீட்டை வழங்கலாம்.

தோல்வியுற்ற அமர்வுகளை நிராகரிப்பது மாதிரி திறனையும் வரம்புக்குட்படுத்துகிறது. நல்ல முடிவை எட்டாத அமர்வு கூட, பயனுள்ள பயிற்சி சமிக்ஞைகளாக தெளிவான, தவிர்க்கக்கூடிய தவானை வெளிப்படுத்தக்கூடும்.

இரண்டு முடிவுகளைப் பிரிப்பதன் மூலம் இந்த வரம்புகளை நிவர்த்தி செய்கிறோம்: எந்த அமர்வுகள் பின்பற்றத்தக்க நடத்தையைக் கொண்டுள்ளன, எந்த திருப்பங்கள் திருத்தத் தகுதியான தவறுகளைக் கொண்டுள்ளன. தரவு பைப்லைன் இந்த முடிவுகளை தனித்தனியாக மேற்கொள்கிறது, பின்னர் மாதிரி திருப்பங்களுக்கு மூன்று சிகிச்சைகளில் ஒன்றை ஒதுக்குகிறது:

பின்பற்றுங்கள்: வெற்றிகரமான அமர்வுகளில் பிழையற்ற திருப்பங்கள் சாதாரண Cross-Entropy (CE) loss ஐப் பெறுகின்றன, இது பதிவு செய்யப்பட்ட டோக்கன்களின் நிகழ்தகவை உயர்த்துகிறது.
சரி: வெற்றிகரமான மற்றும் வெற்றிகரமற்ற அமர்வுகள் இரண்டிலும், சரியான குறிப்பைக் கொண்ட பிழை திருப்பங்கள் Kullback–Leibler (KL) விலகல் இழப்பு ஐப் பெறுகின்றன, குறிப்பைக் காணும்போது அது செய்யும் அடுத்த-டோக்கன் கணிப்புகளை நோக்கி மாதிரியை நகர்த்துகிறது.
சூழலாக வைத்திருங்கள்: சரிபார்க்கப்பட்ட குறிப்பு இல்லாத வெற்றிகரமற்ற அமர்வுகளில் உள்ள திருப்பங்கள் மற்றும் எந்த அமர்வு வகையிலும் சரிபார்க்கப்பட்ட குறிப்பு இல்லாத குறிக்கப்பட்ட தவறான திருப்பங்கள் சூழலாகப் பயன்படுகின்றன ஆனால் எந்த இழப்பையும் பெறாது.

இதன் விளைவாக, வெற்றிகரமான அமர்வுகள் பின்பற்றுதல் மற்றும் திருத்தம் ஆகிய இரண்டு இலக்குகளையும் வழங்க முடியும், அதே நேரத்தில் வெற்றிகரமற்ற அமர்வுகள் திருத்த இலக்குகளை மட்டுமே வழங்குகின்றன. கணினி, பயனர் மற்றும் கருவி வெளியீடு உட்பட மீதமுள்ள அனைத்து திருப்பங்களும் சூழலாகவே இருக்கும்.

அமர்வு-ரூட்டிங் வரைபடம்: வெற்றிகரமான அமர்வுகள் CE பின்பற்றுதல் மற்றும் தகுதியான குறிப்பு திருத்தங்களை வழங்குகின்றன; வெற்றிகரமற்ற அமர்வுகள் தகுதியான திருத்தங்களை மட்டுமே வழங்குகின்றன. — தற்போதைய அமர்வு ரூட்டிங் மற்றும் உதவியாளர்-உள்ளடக்க முகமூடிகள். வெற்றிகரமான அமர்வுகள் பின்பற்றும் இலக்குகளுக்கு பங்களிக்கின்றன; தக்கவைக்கப்பட்ட பின்னூட்டப் பதிவுகள் அமர்வு வெற்றிகரமாக இல்லாதபோதும் குறிப்பு திருத்தங்களுக்கு பங்களிக்கலாம். பிற உள்ளடக்கம் சூழலாகவே இருக்கும். முழுமையற்ற அமர்வுகள் விலக்கப்படுகின்றன. இறுதி அல்லாத ஈடுபாடு/நிறுத்து-டோக்கன் CE விதிவிலக்கு வரையப்படவில்லை, மேலும் இந்த வரைபடம் முந்தைய செக்பாயிண்டால் பயன்படுத்தப்படும் கலவையை நிறுவவில்லை.

பின்பற்றும் பகுதி நிலையான RFT ஐப் பயன்படுத்துகிறது. திருத்தப் பகுதி On-Policy Self-Distillation (OPSD) ஐப் பயன்படுத்துகிறது: அதே மாதிரி ஆசிரியர் மற்றும் மாணவராகச் செயல்படுகிறது, ஆசிரியருக்கு சலுகை பெற்ற தகவல் வழங்கப்படுகிறது. இங்கே, அந்த சலுகை பெற்ற தகவல் என்பது தவிர்க்கக்கூடிய தவறை விளக்கும் ஒரு குறுகிய குறிப்பு ஆகும். குறிப்பு கொடுக்கப்படாமல் ஆசிரியரின் அடுத்த-டோக்கன் கணிப்புகளுடன் பொருந்த மாணவருக்குப் பயிற்சி அளிக்கிறோம்.

இரண்டு பகுதிகளும் முக்கியம். திருத்தம்-மட்டும் பயிற்சி ஒரு குறுக்குவழியை வெளிப்படுத்தலாம்: திருத்தத்தைக் கற்றுக்கொள்வதற்குப் பதிலாக சூழலைப் புறக்கணிப்பதன் மூலம் ஆசிரியரும் மாணவரும் உடன்படலாம். CE காலமானது பயிற்சியை பயனுள்ள நடத்தையுடன் நங்கூரமிடுகிறது, சூழலைப் புறக்கணிப்பதிலிருந்து வரும் உடன்பாட்டைத் தவிர்க்க உதவுகிறது.

பயிற்சி பெற்ற மாணவர் பின்னர் Computer இல் மாதிரி விருப்பமாக மாறுகிறார். நேரலை பயன்பாட்டிலிருந்து புதிய அமர்வுகள் பயிற்சி பைப்லைனின் மற்றொரு சுற்றுக்குச் செல்வதற்கு முன்பு அதே தகுதி மற்றும் தனியுரிமை வடிப்பான்கள் வழியாகச் செல்கின்றன.

அடுத்து, பின்பற்றுதல் மற்றும் திருத்தம் இரண்டையும் கொண்ட உறுதியான எடுத்துக்காட்டு வழியாக செல்கிறோம்.

அதிகாரப்பூர்வ ஆவணங்களைப் பயன்படுத்தி Python 3.13 இல் asyncio மாற்றங்களின் ஒப்பீட்டைக் கேட்கும் இறுதி வெற்றிகரமான அமர்வைக் கவனியுங்கள். எங்கள் கருவி ஆவணங்கள் search.web ஒவ்வொரு முறையும் url புலத்தைக் கொண்ட ஹிட்களின் பட்டியலைத் தருகிறது எனக் கூறுகிறது.

ஒப்பீட்டிற்கான சான்றுகளைச் சேகரிப்பதன் ஒரு பகுதியாக மாதிரி முதலில் ஒரு பதிப்பிற்கான சரியான தேடலை இயக்குகிறது, இது பின்பற்ற வேண்டிய ஒரு நல்ல நடத்தையாகும்.

இருப்பது போல், அடுத்த குறியீடு-செயல்படுத்தல் அழைப்பு அந்த பட்டியலை தவறாக அகராதியாகக் கையாளுகிறது. குறியீட்டுக் கருவி TypeError: list indices must be integers or slices, not str ஐ வழங்குகிறது. அழைப்புக்கு முன் திரும்பும் வகை ஆவணப்படுத்தப்பட்டதால், இது மாதிரி தவிர்த்திருக்க வேண்டிய ஒரு பிழையாகும். அந்த செயலைச் சரிசெய்ய சரியான அழைப்புடன் ஒரு குறிப்பை உருவாக்கலாம்.

விளக்கக் குறியீட்டு அமர்வு: கணினி மற்றும் பயனர் உள்ளீடு மற்றும் கருவி பிழைகள் சூழலாகவே இருக்கும்; வெற்றிகரமான அமர்வில் பயனுள்ள பதிவு செய்யப்பட்ட தேடல் மற்றும் மீட்பு அழைப்புகள் CE ஐப் பெறுகின்றன; குறிக்கப்பட்ட பிழையான பட்டியல் தேடல் நிலுவு நிலை நிலைநிறுத்தப்பட்ட குறிப்பு கொடுக்கப்பட்ட ஆசிரியரை நோக்கி KL ஐப் பெறுகிறது. — ஒரு விளக்கக் குறியீட்டு அமர்வு மூன்று பயிற்சிப் பாத்திரங்களைக் காட்டுகிறது: சூழல்-மட்டும் உள்ளீடுகள் மற்றும் கருவி வெளியீடுகள் (சாம்பல்), பயனுள்ள பதிவு செய்யப்பட்ட அழைப்புகளின் CE பின்பற்றுதல் (கருப்பு), மற்றும் குறிக்கப்பட்ட தவாரின் KL திருத்தம் (டீல்). இங்கே, மாதிரி தவறாக தேடல் ஹிட்களின் பட்டியலை அகராதியாகக் கையாளுகிறது; முந்தைய கருவி ஆவணங்களில் நிலைநிறுத்தப்பட்ட ஆசிரியர்-மட்டும் குறிப்பு திருத்தத்திற்கு வழிகாட்டுகிறது. முழுமையான அமர்வு வெற்றிகரமாக மதிப்பிடப்படும் போது மட்டுமே CE இலக்குகள் பொருந்தும், அதே நேரத்தில் வெற்றிகரமற்ற அமர்வு இன்னும் தகுதியான KL திருத்த இலக்கை வழங்க முடியும்.

பயிற்சி பைப்லைனில் நான்கு நிலைகள் உள்ளன: அமர்வுகளைத் தேர்ந்தெடுத்து அவற்றின் விளைவுகளை மதிப்பிடுதல், பயனர் கருத்து மற்றும் கருவி பிழைகளிலிருந்து தவறுகளை அடையாளம் கண்டு குறிப்புகளை உருவாக்குதல், ஆசிரியர் மற்றும் மாணவர் இருவரிடமிருந்தும் அடுத்த-டோக்கன் நிகழ்தகவுகளை உருவாக்குதல், மற்றும் கூட்டு CE மற்றும் KL இழப்புடன் மாதிரிக்குப் பயிற்சி அளித்தல்.

பயிற்சிக்குத் தகுதியான நிஜ உலக Computer அமர்வுகளின் ஒரு துணைக்கூட்டத்திலிருந்து, GLM 5.2 வழங்கியவற்றிலிருந்து, மாதிரி எடுக்கும் குழாய் எடுத்துக்கொள்கிறது. இந்த பணிப்பாய்விற்கான எடுத்துக்காட்டுகளைத் தேர்ந்தெடுக்கும் முன், பயிற்சி விலகல்கள் மற்றும் குழாயின் PII தொடர்பான விலக்குகள் பயன்படுத்தப்படுகின்றன.

ஆரம்ப ஸ்கிரீனிங் செயல்முறை LLM நீதிபதியால் ஐந்து-புள்ளி பணி-சிரமச் স্কেলে 4 அல்லது 5 என மதிப்பிடப்பட்ட வேட்பாளர்களைத் தேர்ந்தெடுத்து அவற்றை 2 குழுக்களாகப் பிரிக்கிறது:

பயனர்-கருத்து குழுவில் உண்மையான பயனர் பின்தொடர்தல் அல்லது நடுத்தர-முதல்-உயர் அதிருப்திக் கொடியைக் கொண்ட அமர்வுகள் உள்ளன. இந்த உயர்-நோக்க பின்தொடர்தல்கள் கற்றலுக்கு மிகவும் பயனுள்ளதாக இருப்பதாக நாங்கள் காண்கிறோம்: பயனர்கள் ஒரு பணியை முடிக்க தீவிரமாக முயற்சிக்கிறார்கள், மேலும் அவர்களின் திருத்தங்கள் மாதிரி விடுபட்டதைச் சுட்டிக்காட்டுகின்றன.
கருவி-பிழை குழுவில் அறியப்பட்ட உள்கட்டமைப்பு தோல்விகள் மற்றும் குறைந்த அங்கீகாரத்தைத் தவிர்த்து, விதி அடிப்படையிலான சோதனைகளால் கொடியிடப்பட்ட தோல்வியுற்ற அழைப்புகளைக் கொண்ட அமர்வுகள் உள்ளன.

இரண்டு LLM நீதிபதிகள் பின்னர் பயனரின் கோரிக்கைக்கு எதிரான இறுதி விநியோகத்தை மதிப்பிடுகின்றனர்; அமர்வு “வெற்றிகரமானது” என பெயரிட இரண்டும் நீதிபதிகளும் நேர்மறையான தீர்ப்பை வழங்க வேண்டும். ஆர்ட்டிஃபேக்ட்களை வழங்கும் வழக்குகளுக்கு, விளைவு நிலை விநியோகத்தை மீண்டும் கட்டமைத்து ஆய்வு செய்யலாம், அந்த நிலை தோல்வியுற்றால் அதன் உரை அடிப்படையிலான தீர்ப்புகளுக்குத் திரும்பும். பயனுக்காகக் காத்திருக்கும் பணி போன்ற முழுமையற்றவை என வகைப்படுத்தப்பட்ட அமர்வுகள் விலக்கப்படுகின்றன.

இந்தப் படி கற்றல் சமிக்ஞைகளின் சாத்தியமான மூலங்களை அடையாளம் காட்டுகிறது; இருப்பினும், சில பிழைகள் தெளிவற்ற வழிமுறைகள் அல்லது உள்கட்டமைப்பு தோல்விகளிலிருந்து எழுவதால், ஒவ்வொரு பிழையும் மாதிரிக்குக் காரணமானதல்ல. எந்த வேட்பாளர் தவறுகள் உண்மையில் தவிர்க்கக்கூடியவை மற்றும் பயிற்சிக்கு ஏற்றவை என்பதை பிற்கால சிறுகுறிப்பு தீர்மானிக்கிறது.

பயனர் கருத்து குழுவில் ஒரு மாதிரி அமர்வைக் கவனியுங்கள், அங்கு பயனர் “How do I find my w3 on paychex” என்று கேட்கிறார். மாதிரி “w3” என்பதை W-2 இன் எழுத்துப் பிழையாகக் கருதுகிறது, W-2 வழிமுறைகளைத் தேடுகிறது, மேலும் அந்தப் படிவத்தை எவ்வாறு கண்டுபிடிப்பது என்பதை விளக்குகிறது. பயனரின் பின்தொடர்தல், “I meant the W-3 transmittal form,” அமர்வு இறுதியில் வெற்றிகரமாக முடிந்தாலும், தவறை அடையாளம் காட்டுகிறது.

புகார் தவாரைக் கண்டறிய உதவுகிறது, ஆனால் மூலக் காரணம் “w3” ஐ W-2 என மறுவியாபகம் செய்வதற்கான முந்தைய முடிவாகும். அசல் கோரிக்கை தவாரைத் தவிர்க்கக்கூடியதாக்குகிறது: மாதிரி W-3 ஐப் பாதுகாத்திருக்கலாம் அல்லது தெளிவுபடுத்தலைக் கேட்டிருக்கலாம். புகாருக்கு முன்னால் உள்ள கடைசி உதவியாளர் திருப்பம் பாதியளவு மட்டுமே மூலக் காரணம் என்பது தெரியவந்துள்ளது.

எங்கள் சிறுகுறிப்பு பைப்லைன் ஒவ்வொரு பயனர்-கருத்து அமர்வுக்குள்ளும் காரணத்தையும் விளைவையும் முறையாக வரைபடமாக்குகிறது. சிறுகுறிப்பாளர் முதலில் விடுபட்ட தேவை அல்லது முந்தைய சூழலால் ஆதரிக்கப்படும் நோக்கத்திற்காகத் திரையிடுகிறார். மூன்று LLM நீதிபதிகள் பொறுப்பான திருப்பங்களை அடையாளம் காண்கிறார்கள், கொடுக்கப்பட்ட திருப்பத்தில் உடன்பட குறைந்தபட்சம் இரண்டு பேர் தேவைப்படுகிறார்கள். சில நேரங்களில் முந்தைய அறிக்கை தேவையை வெளிப்படையாக நிறுவுகிறது. மற்ற சந்தர்ப்பங்களில், முந்தைய ஒற்றை அறிக்கை அவ்வாறு செய்யாது, ஆனால் முந்தைய உரையாடலின் பல பகுதிகள் சேர்ந்து உத்தேசிக்கப்பட்ட நடத்தையைக் கணிக்கக்கூடியதாக மாற்றுகின்றன. இந்த வடிவமைப்பு ஒரு புகாரை கடைசி பதிலுக்கு மட்டுமே காரணம் என்று கூறுவதற்கு பதிலாக முந்தைய மூல தவறுடன் இணைக்க அனுமதிக்கிறது.

குறிப்பை ஏற்றுக்கொள்வதற்கு முன், அதன் திருத்தக் கூற்றுக்கள் குறிக்கப்பட்ட திருப்பத்திற்கு முன்பு கிடைக்கும் தகவல்களிலிருந்து பெறப்பட்டதா என்பதையும் பைப்லைன் சரிபார்க்கிறது. இந்த சோதனைகள் பின்தங்கிய பார்வைப் பக்கச்சார்பைக் குறைக்கின்றன, அங்கு புகாரில் வெளிப்படுத்தப்பட்ட புதிய முன்னுரிமை மாதிரி ஏற்கனவே அறிந்திருக்க வேண்டிய ஒன்றாகக் கருதப்படும்.

இந்த எடுத்துக்காட்டில், குறிப்பு W-2 ஐ விட Paychex இல் W-3 பரிமாற்றப் படிவத்தைத் தேடுமாறு மாதிரிக்குக் கூறுகிறது, அல்லது கோரிக்கை தெளிவற்றதாக இருந்தால் பயனர் எந்தப் படிவத்தைக் குறிக்கிறார் என்று கேட்கிறது. திருத்தம் இறுதி பதிலுக்கு மட்டும் அல்லாமல், முந்தைய விளக்கம் மற்றும் தேடல் முடிவை இலக்காகக் கொண்டுள்ளது. அசல் திருப்பம் மாறாமல் உள்ளது; சிறுகுறிப்பு is_bad_turn: true மற்றும் காலியாக இல்லாத hint ஐச் சேர்க்கிறது.

W-3 கோரிக்கை W-2 என தவறாகப் புரிந்து கொள்ளப்படுகிறது; பிற்கால புகார் முந்தைய தேடல் முடிவுக்குக் கண்காணிக்கப்பட்டு முந்தைய சான்றுகளுக்கு எதிராகச் சரிபார்க்கப்படுகிறது. — புகார் எவ்வாறு முந்தைய தவறுக்குக் கண்காணிக்கப்படுகிறது என்பதைக் காட்டும் உண்மையான அமர்வு, சிறுகுறிப்பு நடைமுறை மேலெழுப்பப்பட்டுள்ளது. பயனர் Paychex இல் “w3” கேட்டார், ஆனால் மாதிரி அதை W-2 இன் எழுத்துப் பிழையாகக் கருதி தவறான படிவத்தைத் தேடியது. முன்மொழிபவர் ஒருமித்த கருத்து மூலக் காரணத்தைக் கண்டறிகிறது, அதே நேரத்தில் இரண்டு அடிப்படையான சோதனைகள் சான்றுகள் தவறுக்கு முந்தியதா மற்றும் குறிப்பின் கூற்றுக்கள் அந்தப் புள்ளியில் கிடைக்கும் தகவல்களிலிருந்து பெறப்பட்டதா என்பதை மதிப்பிடுகின்றன. ஏற்றுக்கொள்ளப்பட்ட சிறுகுறிப்புகள் அசல் உரையைப் பாதுகாத்து, மீண்டும் எழுதப்பட்ட இலக்குகளுக்குப் பதிலாக குறிகளையும் குறிப்புகளையும் சேர்க்கின்றன.

முகவர் recency_filter: "year" உடன் தேடும் தேடல் அழைப்புடன் கருவி-பிழை குழுவில் மற்றொரு அமர்வைக் கவனியுங்கள், ஆனால் அனுமதிக்கப்பட்ட மதிப்புகள் “day,” “week,” அல்லது “month” என்பதால் கருவி அதை நிராகரிக்கிறது. இது தெளிவான ஸ்கீமா மீறலாகும்.

கருவி-பிழை பாதை அறியப்பட்ட தவறுகளுக்கு உறுதியான விதிகளையும் தெளிவற்ற நிகழ்வுகளுக்கு மாதிரி தீர்ப்பையும் பயன்படுத்துகிறது. பிழைச் செய்தி மட்டும் மாதிரியைக் குற்றப்படுத்த போதுமானதல்ல; கருவி ஸ்கீமா, கணினி வழிமுறைகள் அல்லது முந்தைய உரையாடலில் இருந்து மாதிரி அறிந்திருக்கக்கூடிய ஒன்றை மதிப்பிடப்பட்ட திருத்தம் சுட்டிக்காட்ட வேண்டும்.

ஒரு search call தவறான recency_filter மதிப்பு year-ஐ பயன்படுத்துகிறது; ஒரு grounded hint, பட்டியலிடப்பட்ட மதிப்பை பயன்படுத்த அல்லது விருப்பமான field-ஐ விடுபடுத்த model-க்கு அறிவுறுத்துகிறது. — அறிக்கையின் தவறான தேடல் வாதம் தற்போதைய கருவி-பிழை நடைமுறையை விளக்குகிறது. ஸ்கீமா இந்த தவறை தவிர்க்கக்கூடியதாக்குகிறது; ஒரு செயலிழப்பு மட்டும் அவ்வாறு செய்யாது. அசல் அழைப்பு பதிவில் தங்கி நிலைநிறுத்தப்பட்ட குறிப்பைப் பெறுகிறது. புலம் விருப்பத்தேர்வாக இருந்தால் பட்டியலிடப்பட்ட மதிப்பை அல்லது தவிர்த்தலை குறிப்பு அனுமதிக்கிறது; ஒவ்வொரு கோரிக்கைக்கும் “month” தேவைப்படுவதில்லை.

இங்கே, குறிப்பு தோல்வியுற்ற அழைப்பின் பெயரைக் குறிப்பிடுகிறது, சரிபார்ப்பு பிழையை உள்ளடக்கியது, மேலும் அனுமதிக்கப்பட்ட மதிப்பிடத்தைப் பயன்படுத்த அல்லது புலம் விருப்பத்தேர்வாக இருந்தால் அதைத் தவிர்க்க மாதிரிக்கு அறிவுறுத்துகிறது.

ஒரு திருப்பம் குறிக்கப்பட்டதும், பயிற்சியாளர் அதே சோதனைச்சாவடியை இரண்டு முறை இயக்குகிறார்: ஒருமுறை ஆசிரியராகவும், ஒருமுறை மாணவராகவும். ஆசிரியர் குறிப்பைக் காண்கிறார்; மாணவர் பார்க்கவில்லை.

இரண்டு பாஸ்களும் ஆசிரியர் கட்டாயப்படுத்தலைப் பயன்படுத்துகின்றன, அங்கு புதிய டோக்கன்களைத் தேர்ந்தெடுக்க அனுமதிப்பதற்கு பதிலாக பதிவு செய்யப்பட்ட அமர்வை மாதிரிக்கு வழங்குகிறோம். முன்னோக்கி பாஸ் இன்னும் ஒவ்வொரு அடியிலும் முழு அடுத்த-டோக்கன் பரவலை உருவாக்குகிறது, ஆனால் அது எப்போதும் ரோல்அவுட் டோக்கன்களில் அல்லாமல், பதிவிலிருந்து நிலையான முன்னொட்டில் நிபந்தனை செய்யப்படுகிறது.

தேடல் எடுத்துக்காட்டுக்கு, குறிப்பு வழங்கப்பட்டால் அதே மாதிரி “month” என்பதற்கு மிக உயர்ந்த நிகழ்தகவையும் “year” என்பதற்கு குறைவாகவும் ஒதுக்குகிறது. பயிற்சியானது இந்த பரவல் மாற்றத்தை மென்மையான இலக்காகப் பயன்படுத்துகிறது.

அதே மாதிரி குறிப்புடன் மற்றும் குறிப்பு இல்லாமல் பதிவு செய்யப்பட்ட திருப்ப மதிப்பெண்கள்; பிரிக்கப்பட்ட ஆசிரியர் நிகழ்தகவுகள் KL இலக்குகளை வழங்குகின்றன, அதே நேரத்தில் CE பின்பற்றுதலை நங்கூரமிடுகிறது. — இரண்டு பாஸ்கள், எடைகளின் ஒரு தொகுப்பு. இரண்டு பாஸ்களும் பதிவு செய்யப்பட்ட தொடர்ச்சியை மதிப்பெண் செய்கின்றன; ஆசிரியர் மட்டுமே குறிப்புகளைப் பெறுகிறார். அவசியமான அடுத்த-டோக்கன் நிகழ்தகவுகள் முன்னோக்கி KL மூலம் மாணவருக்கு வழிகாட்டுகின்றன. தனித்தனி CE இலக்குகள் பின்பற்றுதலை நங்கூரமிடுகின்றன. இரண்டும் இழப்புகளும் ஒரு எடை புதுப்பிப்பிற்கு உணவளிக்கின்றன. முந்தைய குறிப்புகள் ஆசிரியரின் தற்போதைய பிரிவில் தங்கலாம்; எந்த பாஸும் மாற்றீட்டு பயிற்சி பதிலை உருவாக்காது.

ஆசிரியரின் கணிப்புகள் பிரிக்கப்பட்டவை அல்லது ஸ்டாப்-கிரேடியண்ட் ஆனவை: அவை இலக்கை வழங்குகின்றன ஆனால் ஆசிரியர் பாஸ் மூலம் புதுப்பிப்பைப் பெறுவதில்லை. மாணவரின் பாஸுக்குப் பிறகு, ஒரு ஆப்டிமைசர் படி பகிரப்பட்ட மாதிரியைப் புதுப்பிக்கிறது.

CE loss, imitation-க்கு தேர்ந்தெடுக்கப்பட்ட பதிவான tokens-ஐ ground-truth இலக்குகளாகக் கருதி, அவற்றுக்கு குறைந்த probabilities அளித்ததற்காக model-ஐ தண்டிக்கிறது. இது ஒரு கடுமையான imitation இலக்கை உருவாக்குகிறது.

டோக்கன் நிலையில் , முழு சொற்களஞ்சியத்தில் டோக்கனின் மாணவரின் நிகழ்தகவு இருக்கட்டும். பதிலில் அல்லது கருவி அழைப்பில் பதிவு செய்யப்பட்ட அடுத்த டோக்கன் ஆகும், ஒன்-ஹாட் இலக்கு பரவல் ஆகும். $i$ $p_i(v)$ $v$ $V$ $y_i$ $r_i$

r_i(v)=\mathbf{1}[v=y_i]

குறுக்கு-என்ட்ரோபி மாணவர் அந்த பதிவு செய்யப்பட்ட டோக்கனை எவ்வளவு நன்றாகக் கணிக்கிறார் என்பதை அளவிடுகிறது. ஒன்-ஹாட் இலக்குடன், இது $y_i$ க்கு ஒதுக்கப்பட்ட எதிர்மறை பதிவு-நிகழ்தகவுக்குக் குறைகிறது.

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

CE மாஸ்க் $m_i^{\mathrm{CE}}$ என்பது டோக்கன் பின்பற்றப்பட வேண்டிய இடத்தில் $1$ மற்றும் மற்றபடி $0$ ஆகும். தேர்ந்தெடுக்கப்பட்ட நிலைகளின் மீது கூட்டுவது பின்பற்றும் இழப்பைத் தருகிறது.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

KL இழப்பு அதற்கு பதிலாக ஆசிரியரின் முழு அடுத்த டோக்கன் நிகழ்தகவு பரவலை $q_i$ மென்மையான திருத்த இலக்காகப் பயன்படுத்துகிறது. ஆசிரியரின் சூழலில் தற்போதைய குறிப்பு மற்றும் அந்த பயிற்சி பிரிவில் தக்கவைக்கப்பட்ட முந்தைய குறிப்புகள் அடங்கும்; மாணவரின் சூழல் எப்போதும் குறிப்பு இல்லாதது.

KL மாஸ்க் $m_i^{\mathrm{KL}}$ என்பது டோக்கன் திருத்தப்பட வேண்டிய இடத்தில் $1$ மற்றும் மற்றபடி $0$ ஆகும்; CE மற்றும் KL முகமூடுகள் ஒன்றுடன் ஒன்று சேராது. இந்த நிலைகளில், முன்னோக்கி KL முழு சொற்களஞ்சியத்திலும் ஆசிரியருக்கும் மாணவருக்கும் இடையிலான கருத்து வேறுபாட்டைத் தண்டிக்கிறது:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

இரண்டு விதிமுறைகளும் தனித்தனியாக இயல்பாக்கப்படுவதற்கு பதிலாக ஒரு வகுப்பியைப் பகிர்ந்து கொள்கின்றன. இந்த வகுப்பி உலகளாவிய பயிற்சி தொகுதி முழுவதும் பின்பற்றுவதற்காக தேர்ந்தெடுக்கப்பட்ட மொத்த டோக்கன்களைக் கணக்கிடுகிறது. எடை $\lambda$ பின்பற்றுதலுடன் தொடர்புடைய திருத்தப் பயிற்சியின் பங்களிப்பைக் கட்டுப்படுத்துகிறது.

இந்த பகிரப்பட்ட இயல்பாக்கம் எங்கள் பயிற்சி உள்கட்டமைப்பின் ஒற்றை-பகுப்பு இடைமுகத்திற்குப் பொருந்துகிறது மற்றும் $\lambda=0$ போது நிலையான SFT இழப்பை மீட்டெடுக்கிறது, அடிப்படை ஒப்பீடுகளை எளிதாக்குகிறது. CE டோக்கன்கள் KL டோக்கன்களை விட மிகவும் ஏராளமானவை என்பதால், பகிரப்பட்ட பகுதியைப் பயன்படுத்துவது சில குறிக்கப்பட்ட டோக்கன்களைக் கொண்ட தொகுதிகளில் தனிப்பட்ட KL டோக்கன்களுக்கு விகிதாசாரமற்ற பெரிய எடைகளைக் கொடுப்பதைத் தவிர்க்கிறது.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

முந்தைய examples-க்கு இதைப் பயன்படுத்தினால், W-3/W-2 mix-up மற்றும் தவறான search call உள்ள turns KL பெறும். successful session-இல் குறிக்கப்படாத பிற assistant content இன்னும் CE பெறும். unsuccessful session-இல் உள்ள பிற assistant content context-ஆகத் தக்கவைக்கப்படும், ஆனால் CE-யோ KL-யோ பெறாது.

எங்கள் மதிப்பீடுகள் இரண்டு தனித்தனி கேள்விகளுக்கு பதிலளிக்கின்றன. முதலாவதாக, குறிப்பு இருக்கும் போது ஒரு பிழையைத் திருத்த குறிப்பு உண்மையில் மாதிரிக்கு உதவுகிறதா? இரண்டாவதாக, பயிற்சி மாதிரிக்கு குறிப்பு இல்லாமல், அந்தப் பிழையைத் பின்னர் தவிர்க்க உதவுகிறதா? குறிப்புகள் பயனுள்ள பயிற்சி சமிக்ஞைகளை வழங்குகிறதா என்பதை முதலாவது சோதிக்கிறது. மாதிரியானது அவசியமானவற்றிலிருந்து கற்றுக்கொள்கிறதா என்பதை இரண்டாவது சோதிக்கிறது.

மாதிரியானது தவறுகளில் இருந்து விலகிச் செல்ல குறிப்புகள் உண்மையில் வழிகாட்ட முடியுமா என்பதை உறுதிப்படுத்த பயிற்சி தொடங்குவதற்கு முன்பு முதல் கேள்வியைச் சோதிக்கிறோம்.

சுழற்சி பூச்சியத்தில் அதே GLM-5.2 அடிப்படை மாதிரியைப் பயன்படுத்தி, குறிப்புடன் மற்றும் குறிப்பு இல்லாமல் குறிக்கப்பட்ட பயனர் கருத்து திருப்பங்களை நாங்கள் மீண்டும் உருவாக்கினோம். ஒரு குருட்டு நீதிபதி பிந்தைய புகாரைக் காண்கிறார், ஆனால் குறிப்போ அல்லது எந்த நிபந்தனை பதிலைத் தந்தது என்றோ பார்க்க முடியாது.

W-3 எடுத்துக்காட்டில், “W-” முன்னொட்டுக்குப் பிறகு அடுத்த-டோக்கன் நிகழ்தகவை “3” ஐ நோக்கி மற்றும் “2” இலிருந்து விலகி குறிப்பு மாற்றுகிறது.

மாறாத அடிப்படை மாதிரி குறிப்பைப் பெறும்போது W- க்குப் பிந்தைய அடுத்த-டோக்கன் நிகழ்தகவுகள் 2 ஐ விட 3 ஐ நோக்கி மாறும். — ஒரு குறிப்பு கோரப்பட்ட W-3 வடிவத்தைப் பாதுகாக்கிறது. பட்டைகள் எட்டு முன்னோக்கி பாஸ்களில் சராசரி அடுத்த-டோக்கன் நிகழ்தகவுகளைக் காட்டுகின்றன; விஸ்கர்கள் கவனிக்கப்பட்ட வரம்பைக் காட்டுகின்றன, நம்பிக்கை இடைவெளியைக் காட்டவில்லை. இரண்டு நிபந்தனைகளும் மாறாத அடிப்படை மாதிரியைப் பயன்படுத்துகின்றன.

வெளிப்படையாகக் கூறப்பட்ட முந்தைய சான்றுகளால் ஆதரிக்கப்படும் பெரிய 40-திருப்ப வைத்திருக்கும் மாதிரியில், சரிசெய்யப்பட்டதாக அல்லது பாதையில் உள்ளதாக மதிப்பிடப்பட்ட பங்கு குறிப்பு இல்லாமல் 40.0% இலிருந்து குறிப்புடன் 75.0% ஆக உயர்கிறது. ஊகிக்கப்பட்ட நோக்கத்தால் ஆதரிக்கப்படும் மற்றொரு 40 திருப்பங்களில், இது 32.5% இலிருந்து 80.0% ஆக உயர்கிறது.

குறிப்பு சரிபார்ப்பு: வெளிப்படையான சான்றுகளுக்கு 40.0% இலிருந்து 75.0% ஆகவும், ஊகிக்கப்பட்ட நோக்கத்திற்கு 32.5% இலிருந்து 80.0% ஆகவும் நிலையான அல்லது பாதையில் உள்ள விகிதங்கள் அதிகரிக்கின்றன. — குறிப்பு சரிபார்ப்பு, பிந்தைய பயிற்சி மதிப்பீடு அல்ல. ஒவ்வொரு சான்று குழுவிலும் உள்ள அதே 40 குறிக்கப்பட்ட திருப்பங்கள் பூஜ்ஜிய வெப்பநிலையில் மாறாத GLM-5.2 ஐப் பயன்படுத்தி குறிப்புடன் மற்றும் குறிப்பு இல்லாமல் மீண்டும் உருவாக்கப்படுகின்றன. நீதிபதி புகாரைக் காண்கிறார் ஆனால் குறிப்பு அல்லது நிபந்தனையைக் காணவில்லை. அறிக்கையின் விகிதங்கள் மற்றும் மாதிரி அளவுகளிலிருந்து எண்ணிக்கைகள் பெறப்படுகின்றன; நம்பிக்கை இடைவெளிகள் புகாரளிக்கப்படவில்லை.

தேடல் கருவி பிழை எடுத்துக்காட்டில், குறிப்பு உண்மையில் நிகழ்தகவு நிறைய வருட டோக்கனில் இருந்து மாத டோக்கனுக்கு மாற்றுகிறது.

ஒரு குறிப்பு மாறாத அடிப்படை மாதிரியின் அடுத்த-டோக்கன் நிகழ்தகவுகளை ஆண்டிலிருந்து விலக்கி அனுமதிக்கப்பட்ட மதிப்பு மாதத்தை நோக்கி மாற்றுகிறது. — ஒரு குறிப்பு அனுமதிக்கப்பட்ட மதிப்பை நோக்கி நிகழ்தகவை மாற்றுகிறது. பட்டைகள் எட்டு முன்னோக்கி பாஸ்களில் சராசரி அடுத்த-டோக்கன் நிகழ்தகவுகளைக் காட்டுகின்றன; விஸ்கர்கள் கவனிக்கப்பட்ட வரம்பைக் காட்டுகின்றன, நம்பிக்கை இடைவெளியைக் காட்டவில்லை. இரண்டு நிபந்தனைகளும் ஒரே அடிப்படை மாதிரியைப் பயன்படுத்துகின்றன; பயிற்சி பெற்ற செக்பாயிண்ட் எதுவும் ஒப்பிடப்படவில்லை.

பெரிய 985-திருப்ப வைத்திருக்கும் மாதிரியில், அதே அடிப்படை மாதிரியைப் பயன்படுத்தி ஒவ்வொரு திருப்பத்தையும் குறிப்புடன் மற்றும் குறிப்பு இல்லாமல் நான்கு முறை மீண்டும் உருவாக்குகிறோம். ஒரு குருட்டு நீதிபதி ஒவ்வொரு மீளுருவாக்கமும் அசல் தோல்வியைத் தவிர்க்கிறதா என்பதை மதிப்பிடுகிறார். குறிப்புகள் தோல்வி தவிர்ப்பை 75.1% இலிருந்து 93.7% ஆக உயர்த்துகின்றன, இது 18.6 சதவீத புள்ளிகளின் இணைக்கப்பட்ட ஆதாயமாகும், மேலும் திருத்தப்பட்ட நடவடிக்கையை எடுக்கும் பங்கை 60.6% இலிருந்து 82.3% ஆக அதிகரிக்கின்றன. மாதிரி எடுத்தல் மட்டும் சரிசெய்ய சிரமப்படும் பிழைகளில் ஆதாயங்கள் மிகப்பெரியவை.

985 வைத்திருக்கும் குறிக்கப்பட்ட கருவி-பிழை திருப்பங்களில், குறிப்புகள் தோல்வி தவிர்ப்பை 75.1% இலிருந்து 93.7% ஆகவும், திருத்தப்பட்ட-நடவடிக்கை விகிதங்களை 60.6% இலிருந்து 82.3% ஆகவும் உயர்த்துகின்றன. — 985 வைத்திருக்கும் குறிக்கப்பட்ட திருப்பங்களில் கருவி-பிழை குறிப்பு சரிபார்ப்பு, நிலைநிறுத்தத்திற்கு நான்கு மீளுருவாக்கங்கள். குறிப்புகளுடன் மற்றும் இல்லாமல், மாறாத அடிப்படை மாதிரிக்கான தோல்வி தவிர்ப்பு மற்றும் திருத்தப்பட்ட-நடவடிக்கை விகிதங்களை பட்டைகள் காட்டுகின்றன. இலக்கு வைக்கப்பட்ட தவாரைத் தவிர்ப்பது கருவி-அழைப்பு அல்லது பணி வெற்றியை நிறுவவில்லை.

பின்னர், குறிப்புகள் எதையும் பெறாமல் பயிற்சி பெற்ற மாதிரி குறைவான தவறுகளைச் செய்கிறதா என்பதை நாம் சோதிக்கிறோம். ஆஃப்லைன் தரப்படுத்தல் பணிகளிலும் நேரடி பயனர் அமர்வுகளிலும், stock model மற்றும் பல post-trained checkpoints-ஐ மதிப்பீடு செய்து, குறைவான tool failures மற்றும் குறைந்த user dissatisfaction இருக்கிறதா என்பதைக் கண்காணிக்கிறோம்.

ஆஃப்லைன் மதிப்பீடு BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, ஒரு பிரதிநிதி Computer பணித் தொகுப்பைப் பயன்படுத்துகிறது, மேலும் திறன் ஏற்றுதல், ஆவண மதிப்பாய்வு மற்றும் இன்லைன் மேற்கோள்களைச் சரிபார்க்கிறது. மதிப்பீட்டுப் பாதைகளில் முடிவுகள் வெளிப்படையாக பிழைகள் எனக் கொடியிடப்பட்ட கருவி அழைப்புகளின் பங்க We அளவிடுகிறோம்.

இந்த மதிப்பீடுகளில், பதிவு செய்யப்பட்ட கருவி-பிழை விகிதம் ஸ்டாக் GLM 5.2 க்கு 2.79%, RFT-மட்டும் செக்பாயிண்டிற்கு 1.35%, மற்றும் RFT-plus-OPSD செக்பாயிண்டிற்கு 0.87% ஆகும். இந்த செக்பாயிண்ட்கள் வெவ்வேறு தரவுகளில் பயிற்றுவிக்கப்பட்டன, எனவே இது OPSD இன் பொருத்தப்பட்ட-தரவு அப்லேஷன் அல்ல. பணி-நிலை பெஞ்ச்மார்க் முடிவுகள் கலவையாக இருந்தன, எனவே குறைவான கருவி பிழைகள் மட்டும் பணி வெற்றியில் பரந்த மேம்பாட்டிற்கு அவசியமாக மொழிபெயர்க்கப்படாது.

ஆஃப்லைன் பதிவு செய்யப்பட்ட கருவி-பிழை விகிதங்கள்: ஸ்டாக் GLM 5.2 க்கு 2.79%, RFT-மட்டுத்திற்கு 1.35%, மற்றும் RFT plus OPSD க்கு 0.87%; பயிற்சி தரவு வேறுபடுகிறது. — ஸ்டாக் GLM-5.2, RFT-மட்டும், மற்றும் RFT-plus-OPSD செக்பாயிண்ட்களுக்கான ஆஃப்லைன் கருவி-பிழை விகிதங்கள். பயிற்சி தரவு செக்பாயிண்ட்களில் வேறுபடுகிறது; இது கட்டுப்படுத்தப்பட்ட அப்லேஷன் அல்ல.

GLM-5.2 க்காக, ஒவ்வொரு நிலையிலும் சுமார் நூறாயிரம் பயனர்களுடன் இரண்டு தனித்தனி A/B சோதனைகளை நடத்தினோம். முதலாவதாக, ஆரம்பகால RFT-பிளஸ்-OPSD சோதனைச்சாவடி ஸ்டாக் GLM 5.2 ஐ விட சற்று குறைவான கருவி-தோல்வி விகிதத்தைக் கொண்டிருந்தது, 2.82% மற்றும் 2.94%, ஆனால் வேறுபாடு புள்ளிவிவர ரீதியாக குறிப்பிடத்தக்கதாக இல்லை.

பிற்கால சோதனையில், நாங்கள் இரண்டு RFT-plus-OPSD செக்பாயிண்ட்களை ஒப்பிட்டோம்: முந்தையது (செக்பாயிண்ட் ஒன்று) மற்றும் பிந்தையது (செக்பாயிண்ட் இரண்டு). கருவி-அழைப்பு தோல்விகள் பதிவு செய்யப்பட்ட நிலையுடன் அழைப்புகளில் 2.24% இலிருந்து 1.77% ஆகக் குறைந்தன. இது புள்ளியியல் ரீதியாக குறிப்பிடத்தக்க 21.2% ஒப்பீட்டு குறைப்பு ஆகும். செக்பாயிண்ட் இரண்டை ஆன்லைனில் ஸ்டாக் GLM 5.2 உடன் நாங்கள் நேரடியாக ஒப்பிடவில்லை.

பயனர் கருத்து முடிவுகள் உறுதியானதாக இல்லை. இரண்டாவது GLM-5.2 சோதனையில், வலுவான அதிருப்தியின் (நடுத்தர அல்லது உயர்) சராசரி நிகழ்தகவு சோதனைச்சாவடி ஒன்றுக்கு 2.58% ஆகவும், சோதனைச்சாவடி இரண்டுக்கு 2.54% ஆகவும் இருந்தது, புள்ளிவிவர ரீதியாக குறிப்பிடத்தக்க வேறுபாடு இல்லை.

இரண்டு தனித்தனி ஆன்லைன் A/B சோதனைகள்; பிற்கால செக்பாயிண்ட் ஒப்பீட்டில் மட்டுமே குறிப்பிடத்தக்க கருவி-தோல்வி குறைப்பு உள்ளது, குறிப்பிடத்தக்க MID+ அதிருப்தி மாற்றம் இல்லை. — இரண்டு தனித்தனி GLM-5.2 நேரலை A/B சோதனைகள். சோதனைச்சாவடி 1 ஸ்டாக் GLM-5.2 உடன் ஒப்பிடப்படுகிறது; சோதனைச்சாவடி 2 சோதனைச்சாவடி 1 உடன் ஒப்பிடப்படுகிறது. இந்த இரண்டு சோதனைகளில், பிந்தைய கருவி-தோல்வி குறைப்பு மட்டுமே புள்ளிவிவர ரீதியாக குறிப்பிடத்தக்கது. MID+ விகிதங்கள் நடுத்தர அல்லது உயர் அதிருப்தியின் சராசரி மதிப்பிடப்பட்ட நிகழ்தகவுகளைக் குறிக்கின்றன, புகார்களின் எண்ணிக்கையையல்ல.

GLM-5.3-க்கு, பிந்தைய பயிற்சி பெற்ற சோதனைச் சாவடியை ஸ்டாக் GLM-5.3 உடன் நேரிடையாக ஒப்பிட்டோம். பதிவுசெய்யப்பட்ட நிலையைக் கொண்ட அழைப்புகளில் கருவி-அழைப்பு தோல்விகள் 3.56% இலிருந்து 2.38% ஆகக் குறைந்தன, இது 33.04% ஒப்பீட்டுக் குறைப்பு ஆகும். நடுத்தர அல்லது உயர் அதிருப்தியின் சராசரி மதிப்பிடப்பட்ட நிகழ்தகவான MID+ விகிதம், 4.12% இலிருந்து 3.41% ஆகக் குறைந்தது, இது 17.2% ஒப்பீட்டுைக் குறைப்பு ஆகும். இரண்டு குறைப்புகளும் புள்ளிவிவர ரீதியாக குறிப்பிடத்தக்கவை.

GLM-5.3 A/B சோதனை: கருவி-தோல்வி விகிதம் 3.56% இலிருந்து 2.38% ஆகக் குறைகிறது மற்றும் நடுத்தர அல்லது உயர் அதிருப்தியின் சராசரி மதிப்பிடப்பட்ட நிகழ்தகவான MID+ விகிதம், 4.12% இலிருந்து 3.41% ஆகக் குறைகிறது. CUPED-சரிசெய்யப்பட்ட ஒப்பீட்டுக் குறைப்புகள் முறையே 33.04% மற்றும் 17.16% ஆகும். இரண்டு 95% தொடர்ச்சியான இடைவெளிகளும் சுழியத்தை விலக்குகின்றன; முதன்மை ஈடுபாடு அளவீடு குறிப்பிடத்தக்கது அல்ல. — ஒரு தனி ஆன்லைன் A/B சோதனையில் ஸ்டாக் GLM-5.3 உடன் பிந்தைய பயிற்சி பெற்ற GLM-5.3. கருவி-தோல்வி மற்றும் MID+ விகிதங்கள், ஒப்பீட்டு மாற்றங்கள் மற்றும் 95% தொடர்ச்சியான நம்பிக்கை இடைவெளிகள் CUPED சரிசெய்தலைப் பயன்படுத்துகின்றன. இரண்டு குறைப்புகளும் புள்ளிவிவர ரீதியாக குறிப்பிடத்தக்கவை. MID+ விகிதங்கள், புகார்களின் எண்ணிக்கைகள் அல்ல, தகுதிபெற்ற மதிப்பெண் பெற்ற பின்தொடர்தல் த்ரெட் மீதான நடுத்தர அல்லது உயர் அதிருப்தியின் சராசரி மதிப்பிடப்பட்ட நிகழ்தகவுகள் ஆகும். கருவி-தோல்வி விகிதங்கள் பதிவுசெய்யப்பட்ட வெற்றி அல்லது தோல்வி நிலை இல்லாத அழைப்புகளை விலக்குகின்றன.

அமர்வில் மட்டுமல்ல, முடிவின் மட்டத்தில் கற்றுக்கொள்வதே மைய யோசனையாகும்.

வெற்றிகரமான விளைவு தவறுகளை மறைக்க முடியும், மேலும் வெற்றிகரமற்ற அமர்வு எவ்வாறு மேம்படுத்துவது என்பதை வெளிப்படுத்த முடியும். வெற்றிகரமான அமர்வுகளிலிருந்து பயனுள்ள நடத்தையை நங்கூரமாக வைத்திருக்கிறோம், தவிர்க்கக்கூடிய தோல்விகளை அடையாளம் காண புகார்கள் மற்றும் கருவி பிழைகளைப் பயன்படுத்துகிறோம், மேலும் அந்தத் தவறுகளும் திருத்தங்களும் வெளிப்படையாகச் செய்யப்படும்போது அது செய்யும் கணிப்புகளை நோக்கி மாதிரிக்குப் பயிற்சி அளிக்கிறோம். வெற்றி பாதுகாக்க வேண்டிய நடத்தையை வழங்குகிறது; தோல்தி மேம்பாட்டிற்கான திசையை வழங்குகிறது.

நிஜ உலக பயன்பாடு இந்த அணுகுமுறையை மிகவும் பயனுள்ளதாக்குகிறது. நிஜ பயனர்கள் செயற்கை சூழலில் எதிர்பார்ப்பது கடினமான இலக்குகள், கட்டுப்பாடுகள் மற்றும் பணிப்பாய்வுகளைக் கொண்டுவருகிறார்கள். அவர்களின் திருத்தங்கள் மாதிரி விடுபட்ட தேவைகளை வெளிப்படுத்துகின்றன, அதே நேரத்தில் கருவி பிழைகள் மாதிரி முயற்சித்தவற்றுக்கும் சூழல் அனுமதிப்பதற்கும் இடையிலான இடைவெளிகளை வெளிப்படுத்துகின்றன. இந்த சமிக்ஞைகள் விளைவு அடிப்படையிலான பயிற்சிக்கு கூடுதல் துணைபுரிகின்றன: ஒரு பணி வெற்றி பெற்றதா என்று மட்டும் கேட்பதற்கு பதிலாக, மாதிரி எங்கே தவறு செய்தது மற்றும் என்ன தகவல் சிறந்த முடிவை எடுக்க உதவியிருக்கக்கூடும் என்று கேட்கலாம்.

வரம்புகளும் சமமாக முக்கியமானது. நீதிபதிகள் தவறாக இருக்கலாம், மேலும் ஒரு திருப்பத்தை சரிசெய்வது முழுப் பணியும் வெற்றிபெறும் என்பதற்கு உத்தரவாதம் அளிக்காது. திருத்தத்திற்குப் பிறகு மீளும் ஒரு ஏஜென்ட் மட்டுமே குறிக்கோள் அல்ல. இது குறைவான திருத்தங்கள் தேவைப்படும் ஒரு ஏஜென்ட் ஆகும்.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

செயற்கை தரவிலிருந்து நிஜ உலக தரவுக்கு

நல்ல படிகளைப் பின்பற்றுங்கள், கெட்டவற்றைத் திருத்துங்கள்

ஒரு எடுத்துக்காட்டு: ஒரு அமர்வு இரண்டு பாடங்களையும் கற்பிக்க முடியும்

பயிற்சி எவ்வாறு செயல்படுகிறது

அமர்வுகளைத் தேர்ந்தெடுத்து, பின்னர் விளைவை மதிப்பிடுங்கள்

பயனர் கருத்திலிருந்து தவறுகளைக் கண்டறியவும்

கருவி பிழைகளிலிருந்து தவறுகளைக் கண்டறியவும்

இரண்டு முன்னோக்கி பாஸ்கள்

இழப்பு செயல்பாடு

CE இழப்பு

KL இழப்பு

கூட்டு இழப்பு

மதிப்பீடுகள் என்ன காட்டுகின்றன

தவறுகளில் இருந்து மாதிரியை குறிப்புகள் விலக்கி வழிகாட்ட முடியும்

பயனர் கருத்து

கருவி பிழைகள்

பயிற்சிக்குப் பிறகு கருவி நம்பகத்தன்மை மற்றும் பயனர் கருத்து

ஆஃப்லைன் மதிப்பீடு

ஆன்லைன் மதிப்பீடு: GLM-5.2

ஆன்லைன் மதிப்பீடு: GLM-5.3

முடிவுரை

மேற்கோள் காட்டி