Perplexity Decider

Decider v1.3 மற்றும் Decider Flash v1.3-ஐ வெளியிடுகிறோம்; இவை எங்கள் முந்தைய முடிவு மாடல்களான v1, v1.1, v1.2, Flash v1.2 ஆகியவற்றின் அடுத்த பதிப்புகள்.

Decider Flash v1.3 என்பது Decider v1.3-இலிருந்து வடித்தெடுக்கப்பட்ட (distilled) சிறிய மாடல். இரண்டு மாடல்களும் Apache உரிமத்தின் கீழ் Hugging Face-இலும், OpenRouter மற்றும் Perplexity Decisions API வழியாகவும் கிடைக்கின்றன.

Perplexity Decider, TypeSafe AI-இன் System One Model ஆன Jev-ஆல் ஈர்க்கப்பட்டது. இது வரிசைப்படுத்தப்பட்ட அல்லது வரிசைப்படுத்தப்படாத லேபிள்களுடன் இருநிலை மற்றும் பல-வகுப்பு வகைப்படுத்தலை ஆதரிக்கிறது; உள்ளீடுகளை வகைப்படுத்த, வழிப்படுத்த, தரவரிசைப்படுத்த, மதிப்பிடப் பயன்பாடுகள் பயன்படுத்தக்கூடிய நிகழ்தகவுகளைத் தருகிறது.

இருதிசை கவனம் (bidirectional attention), சிறப்பாகத் தேர்ந்தெடுக்கப்பட்ட பயிற்சித் தரவு, மேம்படுத்தப்பட்ட பயிற்சி முறை ஆகியவற்றின் மூலம், இரண்டு v1.3 மாடல்களும் பரந்த அளவிலான உரை மற்றும் காட்சிப் பணிகளில் செயல்திறனையும் உறுதித்தன்மையையும் மேம்படுத்துகின்றன. பெயரிடப்பட்ட entity அங்கீகாரம், தனிப்பட்ட தகவல் அடையாளம் காணல், பிரித்தெடுக்கும் கேள்வி-பதில் பணிகளுக்காக, தேர்ந்தெடுக்கப்பட்ட உள்ளடக்கத்தை முன்னிலைப்படுத்தும் locate என்ற புதிய அம்சத்தையும் அறிமுகப்படுத்துகிறோம்.

இந்தப் பதிவில், Decider-ஐ எவ்வாறு பயிற்றுவித்து மதிப்பிடுகிறோம் என்பதை விளக்குகிறோம், மேலும் Perplexity-இல் அதை உள்நாட்டில் எவ்வாறு பயன்படுத்துகிறோம் என்பதையும் பகிர்கிறோம்.

முடிவு மாடல் என்றால் என்ன?

முடிவு மாடல் என்பது ஒரு பொது-நோக்க வகைப்படுத்தி. நீங்கள் அதற்கு ஒரு உள்ளீட்டையும், ஒவ்வொன்றும் அதன் சாத்தியமான பதில்களைக் கொண்ட கேள்விகளின் தொகுப்பையும் வழங்குகிறீர்கள். ஒவ்வொரு கேள்விக்கும், அது பதில்களின் மீதான நிகழ்தகவுப் பரவலைத் தருகிறது. இது 3 கேள்வி வகைகளை ஆதரிக்கிறது:

• ஆம் / இல்லை: இருநிலை முடிவுகள்.
• பல தேர்வு: தனிப்பயன் பல-வகுப்பு லேபிள்கள்.
• மதிப்பெண்: வரிசைப்படுத்தப்பட்ட நிலைகள்.

முடிவு மாடல்கள் பரந்த அளவிலான வகைப்படுத்தல் மற்றும் மதிப்பெண் வழங்கும் பணிகளை ஆதரிக்கின்றன:

• வெளியீடுகளை மதிப்பிடுதல்: நம்பகத்தன்மை, தரம், பாதுகாப்பு ஆகியவற்றை மதிப்பீடு செய்தல்.
• வழிப்படுத்தல்: சிரமத்தின் அடிப்படையில் கோரிக்கைகளைச் சிறிய அல்லது பெரிய மாடல்களுக்கு அனுப்புதல்.
• உள்ளடக்க மதிப்பாய்வு மற்றும் பாதுகாப்பு: கருவி வெளியீடுகளில் தீங்கான உள்ளடக்கம், ஃபிஷிங், prompt injection ஆகியவற்றைக் கண்டறிதல்.
• வடிகட்டுதல் மற்றும் குறியிடுதல்: பெரிய உள்ளடக்கத் தொகுப்புகளை ஒழுங்கமைத்தல்.
• மீட்டெடுப்பு மற்றும் மறுதரவரிசைப்படுத்தல்: தேடல் முடிவுகளுக்குப் பொருத்தத்தின் அடிப்படையில் மதிப்பெண் வழங்குதல்.

இந்தப் பணிகளில் பலவற்றுக்குக் கட்டற்ற உரை உருவாக்கம் தேவைப்படாவிட்டாலும், அவை முன்பு LLM-கள் போன்ற உருவாக்க மாடல்களால் கையாளப்பட்டன. முடிவு மாடல்கள் (decision models) LLM-களுக்கும் பணி சார்ந்த வகைப்படுத்திகளுக்கும் இடையில் அமைகின்றன. அவை ஒரே உள்ளீட்டைப் பற்றிய பல கேள்விகளுக்கான நிகழ்தகவுகளை ஒரே ஃபார்வர்ட் பாஸில் வழங்குகின்றன; இதனால் டோக்கன்-வாரியான பதில் உருவாக்கம் தவிர்க்கப்பட்டு, கேள்விகளுக்கிடையே கணக்கீடு பகிரப்படுகிறது. பணி சார்ந்த வகைப்படுத்திகளைப் போலல்லாமல், அவை இயல்மொழி ப்ராம்ப்ட்கள் மூலம் புதிய பணிகளைக் கையாள முடியும்; பகிரப்பட்ட கேள்வி-பதில் வடிவத்தில் பல்வேறு பணிகளில் பயிற்சி பெற்றதன் மூலம் கற்றுக்கொண்ட நெகிழ்வுத்தன்மை இது.

பயிற்சி

ஒரு generative LLM-ஐ முடிவு மாடலாக மாற்றுதல்

வலுவான உருவாக்க (generative) LLM பேக்போன்களைத் தகவமைத்து Decider-ஐ உருவாக்குகிறோம். இந்தத் தகவமைப்பை விளக்க, ஒரு கோரிக்கை எவ்வாறு குறிப்பிடப்படுகிறது என்பதை முதலில் விவரிக்கிறோம். கீழே காட்டப்பட்டுள்ளபடி, ஒரு கோரிக்கையானது பகிரப்பட்ட ஒரு சூழலையும் (நிலை, state) பல கேள்விகளையும் கொண்டுள்ளது. நிலையை அனைத்துக் கேள்விகளும் மீண்டும் பயன்படுத்தும்.

எடுத்துக்காட்டாக, ஒரு ஆவணமும் அதன் சுருக்கமும் கொடுக்கப்பட்டால், சுருக்கம் ஆவணத்தை நம்பகத்தன்மையுடன் பிரதிபலிக்கிறதா, அது நிபுணருக்கானதா அல்லது பொது வாசகர்களுக்கானதா என்பதை ஒரே கோரிக்கையில் கேட்கலாம். நிலைக்குப் பிறகு, ஒவ்வொரு கேள்வித் தொகுதியிலும் ஒரு கேள்வியும் அதன் சாத்தியமான பதில்களும் உள்ளன; ஒவ்வொரு பதிலுக்கும் A, B, அல்லது C போன்ற முன்வரையறுக்கப்பட்ட லேபிள் டோக்கன் ஒதுக்கப்படுகிறது. மாடலின் கணிப்பை எங்கிருந்து படிக்க வேண்டும் என்பதை ஒரு சிறப்பு <|marker|> டோக்கன் குறிக்கிறது. இந்த இடத்தில், கற்றுக்கொள்ளப்பட்ட ஒரு நேரியல் வெளியீட்டு அடுக்கு (decision head), மறைநிலையை (hidden state) கேள்வியின் பதில் விருப்பங்களுக்கான மதிப்பெண்களாக மாற்றுகிறது; அவை பின்னர் நிகழ்தகவுகளாக மாற்றப்படுகின்றன.

விரிவாக்கு

வழக்கமாக முழுச் சொற்களஞ்சியத்திலிருந்தும் அடுத்த டோக்கனுக்கு மதிப்பெண் வழங்கும் அடிப்படை மாடலிலிருந்து வெளியீட்டு அடுக்கைத் தொடக்கமாக அமைத்து, A, B, அல்லது C போன்ற முன்வரையறுக்கப்பட்ட விருப்ப டோக்கன்களுக்குரிய வரிசைகளை மட்டும் வைத்துக்கொள்கிறோம். இவ்வாறு குறைக்கப்பட்ட அடுக்கு, <|marker|> டோக்கனின் மறைநிலையைப் பதில் மதிப்பெண்களாக மாற்றும் வகையில் பயிற்றுவிக்கப்படுகிறது. அனைத்து வகைப்படுத்தல் கேள்விகளையும் பல-தேர்வாக வடிவமைக்க முடியும் என்பதால், இந்த அணுகுமுறை அவை அனைத்தையும் உள்ளடக்குகிறது.

பயிற்சிக்காக, பல்வேறு பணிகளை (உணர்வு, இயற்கை மொழி அனுமானம், நோக்கக் கண்டறிதல், entity பொருத்துதல், உள்ளடக்க மதிப்பாய்வு, உண்மைச் சரிபார்ப்பு, மதிப்பீடுகள் போன்றவை) உள்ளடக்கிய நூற்றுக்கணக்கான பொதுத் தரவுத்தொகுப்புகளை எடுத்து, ஒவ்வொரு எடுத்துக்காட்டையும் மேலே விவரிக்கப்பட்ட ஒருங்கிணைந்த வடிவத்திற்கு மாற்றுகிறோம்: ஒரு நிலை, ஒன்று அல்லது அதற்கு மேற்பட்ட கேள்விகள், அவற்றின் விருப்பங்கள், ஒரு இலக்கு. எங்களிடம் gold லேபிள்கள் இருந்தால் இலக்கு ஒற்றைச் சரியான விருப்பமாக இருக்கலாம், அல்லது விருப்பங்களின் மீதான நிகழ்தகவுப் பரவலாக இருக்கலாம்.

v1.3-இல், locate-ஐ அறிமுகப்படுத்துகிறோம்; இது முன்வரையறுக்கப்பட்ட விருப்பங்களிலிருந்து தேர்ந்தெடுப்பதற்குப் பதிலாக நிலையிலிருந்து (state) உரையைப் பிரித்தெடுக்கிறது. ஒரு locate கேள்வி, “இருப்பிடம்” போன்ற சிறிய லேபிளையோ அல்லது “வேலை அமைந்துள்ள நகரத்தின் பெயரைப் பிரித்தெடுக்கவும்.” போன்ற அறிவுறுத்தலையோ பயன்படுத்தி, எதைக் கண்டறிய வேண்டும் என்பதை விவரிக்கிறது. மாடல், நிலையிலிருந்து பொருந்தும் துல்லியமான உரையை, அதன் தொடக்க மற்றும் முடிவு எழுத்து இருப்பிடங்களுடன் சேர்த்துத் தருகிறது. பொருத்தங்கள் எதுவும் கண்டறியப்படவில்லை என்றால், அது வெற்றுப் பட்டியலைத் தருகிறது.

விரிவாக்கு

பகிரப்பட்ட நிலையின் காரணமாக, ஒரே உள்ளீட்டைப் பற்றிய locate, வகைப்படுத்தல், மதிப்பெண் கேள்விகளை ஒரே கோரிக்கையில் இணைக்க முடியும். எடுத்துக்காட்டாக, ஒரு வேலைக்கு மூத்த-அளவிலான அனுபவம் தேவையா என்று கேட்டு, தேவையான திறன்களையும் பிரித்தெடுக்கலாம்.

இருதிசை கவனம்: மாடலை இரு திசைகளிலும் படிக்க அனுமதித்தல்

எங்கள் மாடல்கள் வலுவான முன்பயிற்சி பெற்ற generative backbone-களிலிருந்து தொடங்குகின்றன; அவற்றின் causal attention ஒவ்வொரு டோக்கனும் தன்னையும் முந்தைய டோக்கன்களையும் மட்டுமே கவனிக்க அனுமதிக்கிறது. backbone-இன் full-attention அடுக்குகளை இருதிசையாக்குவது செயல்திறனை மேம்படுத்துவதை எங்கள் ablation ஆய்வுகள் காட்டின; எனவே ஒவ்வொரு டோக்கனும் முழு உள்ளீட்டிலிருந்தும் சூழலை உள்வாங்கும் வகையில் இந்த வடிவமைப்பை ஏற்றுக்கொள்கிறோம்.

இருதிசை கவனம் மற்றொரு வடிவமைப்புத் தேர்வை அறிமுகப்படுத்துகிறது: நிலையும் கேள்விகளும் எவ்வாறு ஊடாட வேண்டும்? செயல்திறன், பதில் நிலைத்தன்மை, cache மறுபயன்பாடு ஆகியவற்றில் வெவ்வேறு தாக்கங்களைக் கொண்ட மூன்று கவன முறைகளைப் பரிசீலித்தோம்:

• அனைத்தும் அனைத்தையும் பார்க்கின்றன (v1.2): நிலையும் அனைத்துக் கேள்விகளும் முழு இருதிசை கவனத்துடன் ஒன்றாகச் செயலாக்கப்படுகின்றன. நிலையின் மீதான கணக்கீடு பகிரப்படுகிறது, ஆனால் ஒரு கேள்விக்கான பதில் வேறு என்ன கேட்கப்படுகிறது என்பதைப் பொறுத்து மாறக்கூடும்.
• தனிமைப்படுத்தப்பட்ட கேள்விகள் (v1.3): நிலை அனைத்துக் கேள்விகளையும் கவனிக்கிறது, ஆனால் ஒவ்வொரு கேள்வியும் நிலையையும் தனது சொந்த டோக்கன்களையும் மட்டுமே கவனிக்கிறது. பகிரப்பட்ட நிலை வழியாகக் கேள்விகள் ஒன்றையொன்று மறைமுகமாகப் பாதிக்க முடியும், ஆனால் முடிவுகள் அதிக நிலைத்தன்மையுடன் இருக்கும்.
• முழுமையாக கேச் செய்யக்கூடியது: நிலை தன்மீது மட்டுமே கவனம் செலுத்துகிறது; ஒவ்வொரு கேள்வியும் நிலையின் மீதும் தனது சொந்த டோக்கன்களின் மீதும் கவனம் செலுத்துகிறது. நிலை கேள்விகளைச் சாராதது; ப்ராம்ப்ட் கேச்சிங்கைப் பயன்படுத்திக்கொள்ள, அதைக் கோரிக்கைகள் முழுவதும் மீண்டும் பயன்படுத்தலாம். பல பணிகளுக்கு நிலை கேள்விகளைப் பார்க்க அனுமதிப்பது மிகவும் முக்கியம் என்பதால், இதை இயல்பாக நாங்கள் பயன்படுத்துவதில்லை; ஆனால் ஒரு சிறிய ஃபைன்-ட்யூனிங் மூலம் ஒரு மாடலை இதற்கு மாற்ற முடியும்.

அவற்றின் வலுவான செயல்திறன் மற்றும் நிலைத்தன்மைக்காக, இறுதியில் தனிமைப்படுத்தப்பட்ட கேள்விகளைத் தேர்ந்தெடுத்தோம்.

விரிவாக்கு

பயிற்சி முறை

இரண்டு மாடல் அளவுகளுக்கும் பயிற்சி மூன்று கட்டங்களாக நடைபெறுகிறது. முதலில், Qwen3.8-27B அடிப்படையிலான பெரிய மாடலை, பெரிய தரவுத்தொகுப்புகளில் கிராஸ்-என்ட்ரோபியைப் பயன்படுத்திப் பயிற்றுவிக்கிறோம்; பின்னர் அதைச் சிறிய Qwen3.5-4B மாடலாக டிஸ்டில் செய்கிறோம்.

முதல் கட்டம் பொதுப் பயிற்சி; இதில் பெரிய அளவிலான corpus-களில் மாடலை முழுமையாக நுண்-சரிசெய்கிறோம். இந்தக் கட்டத்தில், எந்தப் பெஞ்ச்மார்க்கிற்கும் குறிப்பிட்டதாக இல்லாமல், அனைத்து வகையிலும் மாடலுக்கு உதவும் தரவை மட்டுமே ஏற்றுக்கொள்கிறோம்; எனவே எந்தப் பெஞ்ச்மார்க் பயிற்சிப் பிரிவுகளையும் விலக்குகிறோம்.

இந்தப் பொது மாடல் பயிற்றுவிக்கப்பட்ட பிறகு, LoRA-வைப் பயன்படுத்தி இரண்டாவது, இன்னும் நுணுக்கமான கட்டத்தை இயக்குகிறோம். இந்தக் கட்டத்தில் பயன்படுத்தப்படும் தரவு குறிப்பிட்ட துறைகள் மற்றும் பணிகளை இலக்காகக் கொண்டது. குறுகிய அளவிலான ஆதாயங்களைக் கண்டால் அல்லது பிற பணிகளில் சில பின்னடைவுகளைக் கண்டால், தரவை முதல் கட்டத்திற்குப் பதிலாக இரண்டாவது கட்டத்தில் சேர்க்கிறோம். பொது மாடலிலிருந்து அதிகமாக விலகிச் செல்வதையும், அந்தக் குறிப்பிட்ட துறைகளுக்குப் பொருந்துவதற்காகச் செயல்திறனை இழக்கும் அபாயத்தையும் தவிர்க்க LoRA-வைப் பயன்படுத்துகிறோம். பேக்போனின் பொது அறிவைத் தக்கவைத்துக்கொண்டே செயல்திறனை மேம்படுத்துவதே இலக்கு. LoRA-வை மீண்டும் அடிப்படை மாடலுடன் இணைக்கும்போது ஒரு எடையையும் பயன்படுத்துகிறோம்; இது விலகலை இன்னும் துல்லியமாகக் கட்டுப்படுத்தவும், துறைக்குள் கிடைக்கும் எந்த ஆதாயங்களையும் விட ஒதுக்கி வைக்கப்பட்ட (held-out) அளவீடுகளுக்கு முன்னுரிமை அளிக்கவும் உதவுகிறது.

இறுதியாக, காட்சிக்கென ஒரு குறிப்பிட்ட படியைச் சேர்க்கிறோம். இரண்டாம் கட்டத்தைப் போலவே, காட்சிப் படியும் மற்றொரு நுணுக்கமான சிறப்புப் பயிற்சிப் படியாகக் கருதப்படுகிறது; இதில் ஒரு எடையுடன் அடிப்படை மாடலுடன் மீண்டும் இணைக்கப்படும் LoRA அடாப்டர் பயன்படுத்தப்படுகிறது. சில காட்சித் திறன்கள் உரைச் செயல்திறனை விலையாகக் கொடுத்து வரக்கூடும். மாடல்கள் உரையில் மிக அதிகமாகப் பயன்படுத்தப்படுவதை நாங்கள் கவனிப்பதால், காட்சி அளவீடுகளை விட உரை அளவீடுகளுக்கு முன்னுரிமை அளிக்கிறோம்.

இரண்டு உரைக் கட்டங்களுக்கும், ஒவ்வொன்றும் வெவ்வேறு ரேண்டம் seed-ஐப் பயன்படுத்தும் மூன்று ஓட்டங்களின் சராசரி எடைகளைப் பயன்படுத்துகிறோம். இது ஒருங்கிணைந்த மாடலின் செயல்திறனையும் உறுதித்தன்மையையும் மேம்படுத்துவதைக் கண்டறிந்தோம்.

இறுதிப் பெரிய மாடல் கிடைத்ததும், அதே மூன்று-கட்டப் பயிற்சி முறையைச் சிறிய மாடலுக்கும் பயன்படுத்துகிறோம். இங்கு, பெரிய மாடல் ஆசிரியராகச் செயல்படுகிறது: அதன் கணிக்கப்பட்ட வெளியீட்டுப் பரவல் தங்க லேபிள்களுக்குப் (gold labels) பதிலாக அமைகிறது; சிறிய மாடல் தனது கணிப்புகளுக்கும் ஆசிரியரின் கணிப்புகளுக்கும் இடையிலான KL விலகலைக் (KL divergence) குறைக்கும் வகையில் பயிற்றுவிக்கப்படுகிறது. இந்த டிஸ்டிலேஷன் இலக்கு, அதே பயிற்சித் தரவில் கிராஸ்-என்ட்ரோபியை விடச் சிறப்பாகச் செயல்படுகிறது. பிரத்யேகப் பயிற்சித் தரவு உள்ள பெஞ்ச்மார்க்குகளில் கிராஸ்-என்ட்ரோபி சிறப்பாகச் செயல்பட்டாலும், ஒதுக்கி வைக்கப்பட்ட (held-out) தரவுக்கு அது அவ்வளவு நன்றாகப் பொதுமைப்படுவதில்லை. டிஸ்டிலேஷன், தங்கமல்லாத மாற்றுகள் மீதான நம்பிக்கை உட்பட, ஆசிரியரின் வெளியீட்டுப் பரவலைச் சிறப்பாகக் கடத்துகிறது என்றும், கிராஸ்-என்ட்ரோபியோ பெஞ்ச்மார்க் சார்ந்த பயிற்சிப் பரவலுக்கு ஓவர்ஃபிட் ஆவதை ஊக்குவிக்கிறது என்றும் நாங்கள் கருதுகிறோம். எனவே KL அடிப்படையிலான டிஸ்டிலேஷன் இலக்கை ஏற்றுக்கொள்கிறோம்.

பயிற்சி-சோதனை மாசுபாட்டைக் (train-test contamination) குறைக்க, நாங்கள் பயன்படுத்தும் எந்த மதிப்பீட்டுடனும் மேற்பொருந்தக்கூடிய அனைத்துப் பயிற்சி மாதிரிகளையும் நீக்குகிறோம். சில பொதுப் பயிற்சித் தரவுத்தொகுப்புகளில் சில மதிப்பீட்டுத் தரவுத்தொகுப்புகளின் பெரும் பகுதிகள் உள்ளதால் இது முக்கியமானது. எங்கள் ஆதாயங்கள் நம்பகமானவை என்பதையும், கற்றுக்கொண்ட சார்புகளால் மட்டுமே ஏற்பட்டவை அல்ல என்பதையும் உறுதிசெய்ய, விரிவான சார்புத் தணிக்கைகளையும் சார்பு நீக்கத்தையும் மேற்கொள்கிறோம்.

தகவல்களைப் பிரித்தெடுக்கும் வசதியைச் சேர்த்தல்

locate அம்சம் சாதாரண கோரிக்கைகளுக்கு மாடல் பதிலளிக்கும் விதத்தை மாற்றாமல், உரையிலிருந்து பெயரிடப்பட்ட entity-கள் போன்ற தகவல்களைப் பிரித்தெடுக்கிறது. இதைச் செய்ய, கூடுதல் பயிற்சிக் கட்டத்தை அறிமுகப்படுத்துகிறோம்: புதிய சிறப்பு டோக்கனான <|locate|>, ஒரு span head, ஒரு LoRA அடாப்டர் ஆகியவற்றை Decider-இல் சேர்க்கிறோம்.

<|locate|>-இன் embedding-ஐ, முந்தைய பயிற்சிக் கட்டங்களில் கற்றுக்கொள்ளப்பட்ட <|marker|>-இலிருந்து தொடக்கமாக அமைக்கிறோம். இந்தப் புதிய embedding, span head, LoRA அடாப்டர்கள் ஆகியவற்றை மட்டுமே பயிற்றுவிக்கிறோம்; அசல் backbone எடைகளும் decision head-உம் மாற்றப்படாமல் உறைநிலையில் (frozen) வைக்கப்படுகின்றன. கோரப்பட்ட ஒவ்வொரு புலத்திற்கும் அதற்கென ஒரு <|locate|> டோக்கன் கிடைக்கிறது.

ஸ்பான் ஹெட், <|locate|> இன் பிரதிநிதித்துவத்தையும் நிலை-டோக்கன் பிரதிநிதித்துவங்களையும் ஒன்றாகப் பயன்படுத்தி, பொருந்தும் ஸ்பான்கள் எங்கே தொடங்கி எங்கே முடிகின்றன என்பதையும், எந்தத் தொடக்க-முடிவு ஜோடிகள் ஒன்றுசேர்ந்தவை என்பதையும் மதிப்பிடுகிறது. இந்த மதிப்பெண்களுக்கான புலம் சார்ந்த வரம்புகளைக் கணிக்கவும் இது <|locate|> டோக்கனின் பிரதிநிதித்துவத்தைப் பயன்படுத்துகிறது. தேர்ந்தெடுக்கப்பட்ட ஸ்பான்கள் அசல் உரையில் உள்ள எழுத்து நிலைகளாகத் திருப்பி அனுப்பப்படுகின்றன.

ஒவ்வொரு தங்க ஸ்பானையும் வரம்புக்கு மேலேயும், வரம்பை மற்ற ஒவ்வொரு ஸ்பானுக்கும் மேலேயும் தள்ளும், தகவமைக்கப்பட்ட InfoNCE இழப்பைக் கொண்டு ஸ்பான் ஹெட்டைப் பயிற்றுவிக்கிறோம். இந்த இழப்பில் இரண்டு உறுப்புகள் உள்ளன: முதலாவது, சரியான ஸ்பான்களின் மதிப்பெண்களை வரம்புக்கும் தவறான ஸ்பான்களுக்கும் மேலே தள்ளுகிறது. இரண்டாவது உறுப்பு, வரம்பைத் தவறான ஸ்பான்களின் மதிப்பெண்களுக்கு மேலே தள்ளுகிறது. பதில் இல்லாத புலங்களுக்கு இரண்டாவது உறுப்பு மட்டுமே பொருந்தும்; இது வெற்றுப் பட்டியலைத் திருப்பி அனுப்ப மாடலுக்குக் கற்பிக்கிறது.

பெயரிடப்பட்ட entity அங்கீகாரம், PII கண்டறிதல், பிரித்தெடுக்கும் கேள்வி-பதில் உள்ளிட்ட span பிரித்தெடுப்புப் பணிகளின் கலவையில் பயிற்சி அளிக்கிறோம். புல விளக்கங்களைச் சிறிய லேபிள்கள் முதல் விரிவான அறிவுறுத்தல்கள் வரை மாற்றுகிறோம்; இதனால் மாடல் ஒரு நிலையான லேபிள் தொகுப்பை மனப்பாடம் செய்வதற்குப் பதிலாக, கோரிக்கையைப் பின்பற்றக் கற்றுக்கொள்கிறது.

Locate மாடலுக்குக் கட்டமைப்பு ரீதியாக வேறுபட்ட ஒரு பணியைக் கற்பிக்கிறது; மாடல் ஏற்கனவே சிறப்பாகச் செய்வதை இழக்காமல் அதைச் சேர்க்க விரும்புகிறோம். locate அடாப்டர்களை பேக்போனுடன் இணைப்பது, முடிவுக் கோரிக்கைகளில் சில பின்னடைவை ஏற்படுத்துகிறது. இதைக் கட்டுப்படுத்த, முந்தைய கட்டங்களிலிருந்து அதிக ரீப்ளே தரவு, முடிவுக் கோரிக்கைகளில் மாடலின் வெளியீடுகளை அசல் மாடலின் வெளியீடுகளுக்கு நெருக்கமாக வைத்திருக்கும் துணை இலக்குகள் போன்றவற்றை ஆராய்ந்து வருகிறோம். இருப்பினும், இணைப்பது தற்போதும் இழப்பற்றதாக இல்லை என்பதைக் கண்டறிந்துள்ளோம்; எனவே அடாப்டர்களை இணைக்காமல் வைத்து, locate கோரிக்கைகளுக்கு மட்டுமே அவற்றைச் செயல்படுத்துகிறோம்.

மதிப்பீடு

Decider v1.3 மற்றும் Decider Flash v1.3-ஐ Hugging Face Decision Index, Vals AI-இன் ClaimBench, Artificial Analysis Decision Index ஆகியவற்றின் வெளிப்புற பெஞ்ச்மார்க்குகளில் மதிப்பிடுகிறோம்.

இந்த மதிப்பீடுகள் அனைத்திலும், எங்கள் மாடல்கள் வலுவான செயல்திறனை வெளிப்படுத்துகின்றன. இந்த லீடர்போர்டுகளில் தனிப்பட்ட முறையில் வைக்கப்பட்டுள்ள பணிகள் இருந்தாலும், மீண்டும் மீண்டும் சமர்ப்பித்தல் மற்றும் லீடர்போர்டு பின்னூட்டத்தின் அடிப்படையிலான தொடர் ட்யூனிங் மூலம் அவற்றை இன்னும் ஏமாற்ற முடியும். இந்த லீடர்போர்டுகளுக்குத் துணையாக, தனிப்பட்ட புரொடக்‌ஷன் பணிகளையும், பெஞ்ச்மார்க் அல்லாத பொதுத் தரவுத்தொகுப்புகளிலிருந்து எடுக்கப்பட்ட ஒதுக்கி வைக்கப்பட்ட மதிப்பீடுகளையும் இணைக்கும் ஒரு உள் தொகுப்பில் மாடல்களை மதிப்பிடுகிறோம். இந்த மதிப்பீடுகள் பொது பெஞ்ச்மார்க்குகளுக்கு அப்பால் பொதுமைப்படுத்தலைச் சரிபார்க்கும் கூடுதல் வழியை வழங்குகின்றன; பரிச்சயமான மதிப்பீட்டுத் தொகுப்புகளுக்கு மட்டுமே உரிய ஆதாயங்களிலிருந்து பரந்த மேம்பாடுகளை வேறுபடுத்தி அறிய இவை எங்களுக்கு உதவுகின்றன.

எங்கள் நிறுவனத்திற்குள்ளேயே, வகைப்படுத்தல், மதிப்பெண் வழங்குதல், மறுதரவரிசைப்படுத்தல், உருப்பொருள் (entity) பிரித்தெடுத்தல் போன்ற பல்வேறு களங்களையும் பணிகளையும் உள்ளடக்கிய 200-க்கும் மேற்பட்ட பணிகளின் தொகுப்பை உருவாக்கினோம். Decider-இன் நிஜ உலகச் செயல்திறனை நேர்மையாக மதிப்பிட, அனைத்து மதிப்பீடுகளும் பணி-சார்ந்த நுண்-சரிசெய்தல் (fine-tuning) இல்லாமல் zero-shot முறையில் செய்யப்படுகின்றன; இது மாடலை எங்கு மேம்படுத்த வேண்டும் என்பதற்கான தெளிவான சமிக்ஞையை எங்களுக்குத் தருகிறது.

வினவல் வகைப்படுத்தல்

Perplexity-இல், ஒவ்வொரு பயனர் வினவலையும் செயலாக்க பல-head வகைப்படுத்தல் அமைப்பைப் பயன்படுத்துகிறோம். ஒவ்வொரு வினவலும் முதலில் feature extractor-ஆகச் செயல்படும் embedding மாடல் வழியாக அனுப்பப்படுகிறது. இதன் விளைவாகக் கிடைக்கும் embedding பின்னர் இருநிலை (binary) மற்றும் பல-லேபிள் வகைப்படுத்திகள் உட்பட, பல தனித்தனி வகைப்படுத்தல் head-களுக்கு வழங்கப்படுகிறது. எடுத்துக்காட்டாக, ஒரு பயனர் வினவல் வலைத் தேடலைத் தூண்ட வேண்டுமா என்பதை ஒரு head தீர்மானிக்கிறது.

முன்னணி LLM ஒன்றால் சுயாதீனமாக மீண்டும் லேபிளிடப்பட்ட குறிப்புகளைக் கொண்ட 63 வகைப்படுத்தல் பணிகளில், Decider v1.3 91.6% சராசரித் துல்லியத்தை அடைகிறது; இது எங்கள் நேரடிப் பயன்பாட்டு வகைப்படுத்திகளை 6.54 சதவீதப் புள்ளிகள் விஞ்சுகிறது. Decider Flash v1.3-ம் நேரடிப் பயன்பாட்டு அடிப்படையை விஞ்சுகிறது, அதேசமயம் Decider v1.3, Jev 1.14-ஐ விஞ்சுகிறது.

விரிவாக்கு

கள-சார்ந்த வகைப்படுத்தல்

ஏழு களங்களில் முடிவு மாடல்களின் வகைப்படுத்தல் செயல்திறனை மதிப்பிட, பொதுத் தரவுத்தொகுப்புகளிலிருந்து ஒரு கள-சார்ந்த மதிப்பீட்டுத் தொகுப்பை உருவாக்கினோம்: கூற்றுச் சரிபார்ப்பு (6 பணிகள்), சுகாதாரம் (7), சைபர் பாதுகாப்பு (8), நிரலாக்கம் (16), அரசு (7), சட்டம் (9), நிதி (9).

எடுத்துக்காட்டாக, “ஒரு Python நிரலின் நேரச் சிக்கலை மதிப்பிடு” அல்லது “ஒரு நிறுவனத்தின் கட்டுப்பாடற்ற ரொக்கம் அடுத்த பன்னிரண்டு மாதங்களுக்குள் செலுத்த வேண்டிய கடன் அசலை ஈடுசெய்கிறதா என்பதைத் தீர்மானிக்க ஆண்டு நிதி அறிக்கையைப் பயன்படுத்து”. Decider v1.3 ஏழு களங்களிலும் முன்னிலை வகிக்கிறது; நிதியில் 12.9 சதவீதப் புள்ளிகள் வரையும் சட்டத்தில் 9.3 புள்ளிகள் வரையும் Jev 1.14-ஐ விஞ்சுகிறது. Decider Flash v1.3 நிதி, நிரலாக்கம், சட்டம் ஆகியவற்றில் Jev 1.14-ஐ விடப் பின்தங்கியுள்ளது, மற்ற களங்களில் ஏறக்குறைய ஒத்த செயல்திறனைக் காட்டுகிறது.

விரிவாக்கு

மீட்டெடுப்பு மற்றும் மறுதரவரிசைப்படுத்தல்

Perplexity-இன் மையத்தில் இருப்பது தேடல். எங்கள் மாடல்களின் மறுதரவரிசைப்படுத்தல் செயல்திறனை மதிப்பிட, மீட்டெடுப்புப் பணிகளின் பரந்த தொகுப்பைப் பராமரிக்கிறோம். ஒவ்வொரு பணிக்கும், முதலில் embedding மாடல்களின் தொகுப்பைப் பயன்படுத்தி ஒவ்வொரு corpus-இலிருந்தும் முதல் 50 வேட்பாள ஆவணங்களை மீட்டெடுக்கிறோம். பின்னர் Decider-ஐப் பயன்படுத்தி இந்த வேட்பாளர்களை மறுதரவரிசைப்படுத்தி, அதன் செயல்திறனை வலுவான reranker அடிப்படையான Qwen3-Reranker-8B-உடன் ஒப்பிடுகிறோம்.

Decider-ஐ zero-shot, pointwise அமைப்பில் மதிப்பிடுகிறோம்; ஒவ்வொரு வினவல்–ஆவண ஜோடிக்கும் தனித்தனியாக நேரடியாக மதிப்பெண் வழங்கி, பொருத்தத்தின் அடிப்படையில் ஆவணங்களைத் தரவரிசைப்படுத்த மாடலைப் பயன்படுத்துகிறோம். 72 மீட்டெடுப்புப் பணிகளில், Decider v1.3 சராசரியாக 83.99 nDCG@10-ஐ அடைகிறது; இது Qwen3-Reranker-8B-ஐ 1.81 புள்ளிகளும் Jev 1.14-ஐ 2.24 புள்ளிகளும் விஞ்சுகிறது.

BEIR பெஞ்ச்மார்க்கில், இரண்டு மாடல்களும் Qwen3-Reranker-8B-ஐ முறையே 8.78 மற்றும் 7.05 nDCG@10 புள்ளிகள் விஞ்சுகின்றன. Jev 1.14-உடன் ஒப்பிடுகையில், Decider v1.3 1.33 புள்ளிகள் அதிகம் பெறுகிறது, அதேசமயம் Flash பதிப்பு 0.4 புள்ளிகள் குறைவாகப் பெறுகிறது.

விரிவாக்கு

பன்மொழி வகைப்படுத்தல்

ஆங்கிலத்திற்கு அப்பால் முடிவு மாடல்களை மதிப்பிட, 8 பொதுத் தரவுத்தொகுப்புகளிலிருந்து 19 மொழி-சார்ந்த பணிகளைக் கொண்ட பன்மொழி வகைப்படுத்தல் பெஞ்ச்மார்க்கை உருவாக்கினோம்; இது ஜெர்மன், ஸ்பானிஷ், பிரெஞ்சு, இத்தாலியன், ரஷ்யன், ஜப்பானியம், கொரியன், சீனம் ஆகிய எட்டு மொழிகளில் 46,484 எடுத்துக்காட்டுகளைக் கொண்டுள்ளது. இந்தப் பெஞ்ச்மார்க் நோக்கக் கண்டறிதல், தலைப்பு வகைப்படுத்தல், உணர்வுப் பகுப்பாய்வு, இயற்கை மொழி அனுமானம், மறுசொற்றொடர் (paraphrase) கண்டறிதல், புண்படுத்தும் மொழிக் கண்டறிதல், இலக்கண ஏற்புடைமை ஆகியவற்றை உள்ளடக்கியது.

ஒவ்வொரு மொழிக்குள்ளும் உள்ள பணிகளின் சராசரித் துல்லியத்தை, ஒவ்வொரு பணிக்கும் சம எடை அளித்துத் தெரிவிக்கிறோம். Decider v1.3 எட்டு மொழிகளிலும் Jev 1.14-ஐ விஞ்சுகிறது, Decider Flash v1.3 ஆறு மொழிகளில் விஞ்சுகிறது; சராசரிப் பணித் துல்லியம் Decider v1.3-க்கு 88.16%, Decider Flash v1.3-க்கு 86.50%, Jev 1.14-க்கு 85.41%.

விரிவாக்கு

NER, PII மற்றும் பிரித்தெடுக்கும் QA

பல்வேறு களங்கள், உள்ளீட்டு வடிவங்கள் (உரை, அட்டவணைகள், கட்டமைக்கப்பட்ட ஆவணங்கள்) மற்றும் அறிவுறுத்தல்கள் (சிறிய லேபிள்கள், கேள்விகள், விரிவான விளக்கங்கள்) முழுவதும் பிரித்தெடுக்கும் திறனைச் சோதிக்கும் 17 களத்திற்கு அப்பாற்பட்ட (out-of-domain) பணிகளில் locate அம்சத்தை மதிப்பிடுகிறோம். களங்கள் Wikipedia முதல் அறிவியல் ஆய்வுக் கட்டுரைகள், சைபர் அச்சுறுத்தல் அறிக்கைகள், தொழில்நுட்ப ஆதரவு, தனியுரிமைக் கொள்கைகள், சுயவிவரக் குறிப்புகள் (resume), சட்ட ஒப்பந்தங்கள் வரை பரந்துள்ளன. கோரிக்கைகள் “நபர்” அல்லது “மின்னஞ்சல் முகவரி” போன்ற சிறிய லேபிள் பெயர்கள் முதல், ஒரு அட்டவணை அல்லது ஆதரவு டிக்கெட் பற்றிய கேள்விகள் வழியாக, NDA-வின் தரப்பினர்கள் அல்லது விலைப்பட்டியலின் மொத்தத் தொகை போன்ற கட்டமைக்கப்பட்ட பிரித்தெடுப்புக்கான விரிவான புல விளக்கங்கள் வரை உள்ளன.

NER மற்றும் PII-ஐ துல்லிய-ஸ்பான் F1 (exact-span F1) மூலம் மதிப்பிடுகிறோம்; இதில் கணிக்கப்பட்ட ஸ்பான்கள் குறிப்பு எல்லைகளுடன் சரியாகப் பொருந்த வேண்டும். பிரித்தெடுக்கும் QA எழுத்து-நிலை F1-ஐப் பயன்படுத்துகிறது; இது ஒன்றுடன் ஒன்று மேற்பொருந்தும் பதில் உரைக்குப் பகுதி மதிப்பெண் வழங்குகிறது. கட்டமைக்கப்பட்ட பிரித்தெடுத்தல், சரியாகப் பிரித்தெடுக்கப்பட்ட புலங்களின் விகிதமான புலத் துல்லியத்தைப் பயன்படுத்துகிறது. CV பாகுபடுத்தலுக்கு, NER மற்றும் PII துல்லிய-ஸ்பான் F1 மதிப்பெண்களின் சராசரியைக் கணக்கிடுகிறோம்.

வெவ்வேறு அளவுகளைக் கொண்ட பொது-நோக்கப் பிரித்தெடுப்பு மாடல்களுடன் எங்கள் மாடல்களை ஒப்பிடுகிறோம்: GLiNER large v2.5 (0.5B), Liquid d1 (2B), Cloudflare-இன் Clairic (அளவு வெளியிடப்படவில்லை). Decider v1.3 சராசரியாக 69.0 மதிப்பெண்ணையும் (ஒவ்வொரு பணியின் முதன்மை அளவீட்டைப் பயன்படுத்தி), Decider Flash v1.3 63.6 மதிப்பெண்ணையும் அடைகின்றன; Liquid d1-க்கு இது 43.3, Clairic-க்கு 41.5, GLiNER large v2.5-க்கு 33.6. இரண்டு Decider மாடல்களும் ஒவ்வொரு வகையிலும் முன்னிலை வகிக்கின்றன.

விரிவாக்கு

பட வகைப்படுத்தல்

v1 முதலே Decider காட்சிப் பணிகளை இயல்பாக ஆதரித்து வருகிறது. உரைக்கு அப்பால் அதன் செயல்திறனை மதிப்பிட, விலைப்பட்டியல்கள், கடிதங்கள், சுயவிவரக் குறிப்புகள் உள்ளிட்ட ஆவண வகைப்படுத்தலில் சிறப்புக் கவனம் செலுத்தி, ஐந்து பணிகளைக் கொண்ட பெஞ்ச்மார்க் தொகுப்பை உருவாக்கினோம். இந்தத் தொகுப்பு செயற்கைக்கோள் பட வகைப்படுத்தல், அமைப்புமுறை (texture) வகைப்படுத்தல், செல்லப்பிராணி இன வகைப்படுத்தல், விலங்கு எண்ணிக்கை ஆகியவற்றையும் உள்ளடக்கியது.

ஐந்து காட்சிப் பணிகளில் Decider v1.3 சராசரியாக 76.99% துல்லியத்தை அடைகிறது; இது Jev 1.14-ஐ 1.47 சதவீதப் புள்ளிகள் விஞ்சுகிறது. Decider Flash v1.3 72.77%-ஐ அடைகிறது; இது சிறிய மாடலிலும் காட்சி வகைப்படுத்தல் திறன்களை வெளிப்படுத்துகிறது.

விரிவாக்கு

நிஜ உலக முடிவுக் கோரிக்கைகள்

Perplexity Decision API கிடைக்கத் தொடங்கிய முதல் 18 நாட்களில் அதற்குச் சமர்ப்பிக்கப்பட்ட, நகல் நீக்கப்பட்ட, PII மறைக்கப்பட்ட பத்து லட்சம் கோரிக்கைகளை மாதிரியாக எடுத்தோம். ஒவ்வொரு கோரிக்கையிலும் ஒரே நிலையைப் பற்றிய பல கேள்விகள் இருக்கலாம் என்பதால், இந்த மாதிரியில் 23,18,887 தனிப்பட்ட கேள்விகள் உள்ளன. அனைத்துக் கோரிக்கைகளும் ஆய்வுக்காகப் பயனரின் வெளிப்படையான அனுமதியுடன் சேர்க்கப்பட்டன.

நேரடிப் பயன்பாட்டுக் கோரிக்கைகளுக்கு ground-truth லேபிள்கள் இருப்பதில்லை; எனவே குறிப்புப் பதில்களை உருவாக்க முன்னணி (frontier) LLM நடுவர்களைப் பயன்படுத்தி, ஒவ்வொரு மாடலும் அவற்றுடன் எவ்வளவு ஒத்துப்போகிறது என்பதை அளவிடுகிறோம். கோரிக்கைகளை 10 பணி வகைகளாகவும் பிரிக்கிறோம்: தகவல் பிரித்தெடுத்தல், கள வகைப்படுத்தல், உணர்வுப் பகுப்பாய்வு, நோக்கம் மற்றும் வழிப்படுத்தல், பொருத்தத் தரவரிசைப்படுத்தல், உள்ளடக்க மட்டுப்படுத்தல், தரம் மற்றும் இணக்க மதிப்பாய்வு, entity பொருத்துதல், வணிகப் பகுப்பாய்வு, மற்றும் “பிற” வகை. நிஜ உலகப் பயன்பாடுகளில் செயல்திறன் எவ்வாறு மாறுபடுகிறது என்பதை இந்தப் பிரிவு காட்டுகிறது.

பணிக் கலவை சமமாக இல்லை: தகவல் பிரித்தெடுத்தல் 4,25,402 கேள்விகளையும், கள வகைப்படுத்தல் 4,09,564 கேள்விகளையும், உணர்வுப் பகுப்பாய்வு 3,44,158 கேள்விகளையும் கொண்டுள்ளன. இந்த மூன்று வகைகளும் சேர்ந்து மாதிரி எடுக்கப்பட்ட கேள்விகளில் 50.8% ஆகும்.

Decider v1.3 நடுவர்களுடன் மிக அதிகமாக 93.98% ஒத்துப்போகிறது; Decider v1.2-க்கு இது 93.68%, Jev 1.14-க்கு 93.35%. கள வகைப்படுத்தல் மற்றும் உணர்வுப் பகுப்பாய்வில் Decider v1.3-ம் Jev 1.14-ம் நெருக்கமாகப் பொருந்துகின்றன; இடைவெளிகள் முறையே 0.34 மற்றும் 0.07 சதவீதப் புள்ளிகள். பொருத்தத் தரவரிசைப்படுத்தலில் Jev 0.69 புள்ளிகள் முன்னிலை வகிக்கிறது; அதேசமயம் தகவல் பிரித்தெடுத்தலில் (மாதிரியில் மிகவும் பொதுவான பணி) 0.93 புள்ளிகளும், நோக்கம் மற்றும் வழிப்படுத்தலில் 1.21 புள்ளிகளும் Decider v1.3 முன்னிலை வகிக்கிறது.

விரிவாக்கு

அதே பத்து லட்சம் நேரடிப் பயன்பாட்டுக் கோரிக்கைகளை இயக்குவதற்கான அறிவிக்கப்பட்ட செலவைக் கீழே உள்ள வரைபடம் ஒப்பிடுகிறது. ஒவ்வொரு கோரிக்கையிலும் பல கேள்விகள் இருக்கலாம் என்பதால், இங்கு அலகு தனிப்பட்ட கேள்விகள் அல்ல, கோரிக்கைகள்.

விரிவாக்கு

உறுதித்தன்மை

372 பல-தேர்வுக் கேள்விகளில் லேபிள் உணர்திறனை மதிப்பிட்டோம்; ஒவ்வொரு மாடலுக்கும் 4,788 கோரிக்கைகளை அனுப்பினோம். ஒவ்வொரு கேள்வியின் பொருளையும் பாதுகாத்தபடியே, விருப்பங்களின் வரிசையை மாற்றினோம், லேபிள்களைப் பதில் உரைகளுக்கு மறுஒதுக்கீடு செய்தோம், லேபிள்களுக்கு மறுபெயரிட்டோம்; பின்னர் மாடலின் சொற்பொருள் பதில் மாறியதா என்பதைச் சரிபார்த்தோம். குறைந்த மாற்ற விகிதங்கள் அதிக நிலைத்தன்மையைக் குறிக்கின்றன.

ஒவ்வொரு உருமாற்றத்தின் கீழும் Decider v1.3 வெறும் 0.27% கேள்விகளில் மட்டுமே தனது பதிலை மாற்றியது; Jev 1.14-க்கு இது 2.69–4.84% ஆக இருந்தது. சேவையின்போது ஏற்படும் மாறுபாட்டை அளவிட, ஒரே மாதிரியான உள்ளீடுகளையும் மீண்டும் அனுப்பினோம்: Decider v1.3 எந்த மாற்றத்தையும் காட்டவில்லை, அதேசமயம் Jev 1.14 1.88% கேள்விகளில் மாறியது.

விரிவாக்கு

நாங்கள் Decider-ஐ எவ்வாறு பயன்படுத்துகிறோம்

வேகமான, கட்டமைக்கப்பட்ட முடிவுகள் தேவைப்படும் பணிப்பாய்வுகளுக்காக Decider உருவாக்கப்பட்டுள்ளது. இந்தப் பகுதியில், நாங்கள் பணியாற்றும் விதத்தில் அர்த்தமுள்ள தாக்கத்தை ஏற்படுத்த அவற்றை எவ்வாறு பயன்படுத்தலாம் என்பதை ஆராய்கிறோம். அவற்றில் தனித்துத் தெரிந்த சில இங்கே.

தானாக மேம்படும் பாதுகாப்பு விதிகள்

எங்கள் பாதுகாப்புக் கொள்கைகளை மேம்படுத்த, நிறுவனத்திற்குள் நாங்கள் ஏற்கனவே Decider-ஐப் பயன்படுத்தி வருகிறோம்.

எங்கள் ஏஜென்ட்களின் செயல்பாடு பதிவு செய்யப்பட்டு, சிக்கலான நடத்தை எதையும் கண்டறிய விதி-அடிப்படையிலான தொடர் சோதனைகள் மேற்கொள்ளப்படுகின்றன. விதி-அடிப்படையிலான அணுகுமுறை என்பதால், மிகக் குறைந்த கூடுதல் தாமதத்துடன் எங்கள் ஏஜென்ட்களை நிகழ்நேரத்தில் கண்காணிக்க முடியும். ஆஃப்லைனில், பதிவுசெய்யப்பட்ட இந்த ஏஜென்ட் பதிவுகளிலிருந்து மாதிரிகளை ஆய்வு செய்ய Decider-ஐப் பயன்படுத்துகிறோம். சிக்கலான நடத்தை எதுவும் கொடியிடப்படாத நிலையில், எங்கள் விதிகளின் தொகுப்பு எதையாவது தவறவிட்டதா என்பதை Decider சரிபார்க்கிறது; எச்சரிக்கை எழுப்பப்பட்ட நிலையில், அது தவறான எச்சரிக்கையா என்பதை Decider சரிபார்க்கிறது. இவ்விரண்டில் எந்த நிலையிலும் எங்கள் விதித் தொகுப்பு தோல்வியடையும் பதிவுகள் முன்னுரிமைப் பரிசீலனைக்காக ஒரு ஏஜென்ட்டுக்கு அனுப்பப்பட்டு, விதிகளுக்கான திருத்தம் முன்மொழியப்படுகிறது; அதை எங்கள் பாதுகாப்புக் குழு உறுப்பினர் ஒருவர் அங்கீகரிக்க வேண்டும்.

ஒரே நாளில், Decider 7,000 ஏஜென்ட் அமர்வுகளில் 100 கோடி டோக்கன்களைப் படித்து, 14 விதித் திருத்தங்களுக்கு வழிவகுத்த குறைபாடுகளைக் கண்டறிந்தது; அவற்றில் 6 இரண்டு நாட்களுக்குள் அங்கீகரிக்கப்பட்டு வெளியிடப்பட்டன. ஒரு வாரப் பதிவுகளில் மீண்டும் இயக்கியபோது, இந்தத் திருத்தங்கள் எங்கள் மிகவும் பரபரப்பான விதியின் அளவை 52% குறைத்தன, மேலும் விரிவாக்கப்பட்ட விதிகள் விசாரிக்க வேண்டிய முறையான செயல்களைச் சுமார் 40% அதிகமாகக் கண்டறிந்தன.

விரிவாக்கு

RL ரோல்அவுட்களைக் கண்காணித்தல்

வலுவூட்டல் கற்றல் (reinforcement learning) மூலம் மாடல்களுக்குப் பிந்தைய பயிற்சி (post-training) அளிக்கும்போது, இறுதி வெகுமதி போன்ற ஒட்டுமொத்த அளவீடுகள் ஒரு ரோல்அவுட் (ஒரு பணியில் மேற்கொள்ளப்படும் தனிப்பட்ட முயற்சி) ஏன் வெற்றியடைந்தது அல்லது தோல்வியடைந்தது என்பதை விளக்குவதில்லை. கருவிச் சேவை அல்லது சாண்ட்பாக்ஸ் தோல்வியடைந்ததால் அது நியாயமற்ற முறையில் வெகுமதியை இழக்கலாம்; அல்லது எந்தக் கருவியும் தராத ஒரு புனைந்த மதிப்பு போன்ற ஆதாரமற்ற கூற்றை மதிப்பீட்டாளர் கவனிக்கத் தவறினால், தகுதியற்ற வெகுமதியைப் பெறலாம்.

இத்தகைய நிகழ்வுகளுக்காக ரோல்அவுட்களைக் கண்காணிக்க Decider-ஐப் பயன்படுத்துகிறோம். முதலில் குறியீடு, நெருக்கமான ஆய்வு தேவைப்படும் ரோல்அவுட்டின் பகுதிகளைக் கண்டறிகிறது: தோல்வியடைந்த கருவி அழைப்பும் அதைச் சுற்றியுள்ள பகுத்தறிதலும், பிழைகள் இல்லாமல் இயங்கிய குறியீடு, அல்லது இறுதிப் பதில். பின்னர் Decider ஒவ்வொரு பகுதியைப் பற்றியும் பல-தேர்வுக் கேள்விகளுக்குப் பதிலளிக்கிறது; எடுத்துக்காட்டாக, ஒரு படியில் எது தோல்வியடைந்தது (கருவிச் சேவை, வெளிப்புறத் தளம், சாண்ட்பாக்ஸ், harness, அல்லது ஏஜென்ட்டின் சொந்தக் குறியீடு), ஏஜென்ட் முடிவைச் சரியாகப் புரிந்துகொண்டதா என்பது போன்றவை. ஒரு குறிப்பிட்ட பகுதியைப் பற்றிய அனைத்துக் கேள்விகளையும் ஒரே கோரிக்கையில் தொகுத்து, தீர்ப்புக்குப் பதிலாக நிகழ்தகவுகளைச் சேமிக்கிறோம்; இதனால் Decider-ஐ மீண்டும் வினவாமலேயே பின்னர் வரம்பு மதிப்புகளைச் சரிசெய்ய முடியும். இந்தக் கண்காணிப்பு அமைப்பு கவனித்துச் சிக்கல்களைக் கண்டறிவது மட்டுமே செய்கிறது: அது ஒருபோதும் வெகுமதியை மாற்றுவதோ ஓட்டத்தை நிறுத்துவதோ இல்லை.

விரிவாக்கு

பக்கத் தர வடிகட்டல்

பயனர்களுக்கு அட்டவணைப்படுத்தி வழங்குவதற்காக வலைப் பக்கங்களை crawl செய்யும்போது, பல பக்கங்கள் எந்தப் பயனும் இல்லாத அளவுக்குத் தரம் குறைந்தவையாக உள்ளன. இதில் anti-bot சுவர்கள், CAPTCHA-க்கள், பிழைப் பக்கங்கள் ஆகியவையும், சரியாக ஏற்றப்பட்டாலும் spam, SEO நிரப்பு உள்ளடக்கம், அல்லது வழிசெலுத்தல் மட்டுமே கொண்ட பக்கங்கள் போன்ற பயனுள்ள தகவல் எதுவும் இல்லாத வலைப் பக்கங்களும் அடங்கும். இந்தத் தரம் குறைந்த பக்கங்களைக் கண்டறிந்து எங்கள் அட்டவணையிலிருந்து (index) வடிகட்டி நீக்க வேண்டும்.

Decider-ஐப் பயன்படுத்தி, பக்கங்களை கிரால் செய்யும்போதே அவற்றின் தரத்தை மதிப்பிட முடிகிறது. அதே ஃபார்வர்ட் பாஸில், உள்ளடக்கத்தின் துறையையும் இலக்கு பார்வையாளர்களையும் கண்டறிதல், அதில் தீங்கு விளைவிக்கும், சட்டவிரோதமான அல்லது தனிப்பட்ட முறையில் அடையாளம் காணக்கூடிய தகவல்கள் உள்ளதா என்பதைக் கண்டறிதல் போன்ற பிற வகைப்படுத்தல் பணிகளின் தொகுப்பையும் செய்கிறோம். LLM மதிப்பீட்டாளரைப் பயன்படுத்துவதுடன் ஒப்பிடும்போது, Decider கணிசமாக வேகமானது, மலிவானது.

விரிவாக்கு

இந்த உள் பயன்பாடுகளுக்கு அப்பால், பின்வருவன போன்ற பணிப்பாய்வுகளுக்கும் Decider பொருந்துகிறது.

காட்சி QA

Decider படங்களைப் படிப்பதால், இது ஒரு காட்சிச் சரிபார்ப்பாளராகவும் செயல்படுகிறது; வலைப் பக்கங்கள் அல்லது ஆப்களில் செய்யப்படும் ஸ்டைல் மாற்றங்களை மதிப்பாய்வு செய்து குறைபாடுகளைக் கண்டறிகிறது. ஒரு மாற்றம் வெளியிடப்படுவதற்கு முன், வெட்டுப்பட்ட உரை, ஒன்றின் மேல் ஒன்று படியும் கூறுகள், உடைந்த தளவமைப்புகள் ஆகியவற்றுக்காகப் பக்க ஸ்கிரீன்ஷாட்களை மதிப்பாய்வு செய்யலாம், அல்லது வாசகரைத் தவறாக வழிநடத்தக்கூடிய அல்லது பிராண்ட் வழிகாட்டியை மீறக்கூடிய வடிவமைப்பைக் கொண்ட வரைபடங்களைக் கொடியிடலாம்.

விரிவாக்கு

உலாவி வழிசெலுத்தல்

பெரிய பணிகளுக்குள் இருக்கும் சிறிய முடிவுகளுக்கு ஏஜென்ட்கள் Decider-ஐப் பயன்படுத்தலாம். ஒரு பிரவுசர் ஏஜென்ட் ஒவ்வொரு படியிலும் ஒரு ஸ்கிரீன்ஷாட்டை அனுப்பி, பக்கத்தின் நிலை மற்றும் சாத்தியமான ஒவ்வொரு செயலின் எதிர்பார்க்கப்படும் விளைவு பற்றிய விரிவான தகவல்களைப் பெறலாம்.

விரிவாக்கு

ஆய்வுப் பணிகளைத் திட்டமிடுதல்

பயனர்களின் கேள்விகள் சிக்கலான தன்மையில் பெரிதும் வேறுபடலாம்; அதுபோலவே, பதிலைக் கண்டறிய மேற்கொள்ள வேண்டிய தேடலின் ஆழமும் வேறுபடும். தேடல் தொடங்கும் முன்பே Decider இதை மதிப்பிட முடியும்; இதனால் எளிய கேள்விகளுக்குக் குறைவான வளங்களைச் செலவிட முடிகிறது.

விரிவாக்கு

தொடங்குதல்

Decider நிகழ்தகவுகளைத் தருகிறது. பொருத்தமான முடிவு வரம்பு பயன்பாட்டைப் பொறுத்தது. லேபிள் அதிர்வெண்களும், தவறான நேர்மறைகள் மற்றும் தவறான எதிர்மறைகளின் ஒப்பீட்டுச் செலவுகளும் பயன்பாட்டுக்குப் பயன்பாடு மாறுபடுகின்றன. எனவே, ஒரு நிலையான வரம்பு அனைத்துப் பணிகளிலும் சமமாகச் செயல்படும் என்று கருதுவதற்குப் பதிலாக, சிறிய, பிரதிநிதித்துவமான, லேபிளிடப்பட்ட மேம்பாட்டுத் தொகுப்பில் வரம்புகளைச் சரிசெய்யுமாறு பயனர்களை ஊக்குவிக்கிறோம்.

நுணுக்கமான தீர்ப்புகள், விரிவான மதிப்பீட்டு அளவுகோல்கள் மற்றும் பிழைகள் அதிக விலை கொடுக்கக்கூடிய பணிப்பாய்வுகளுக்கு Decider v1.3-ஐப் பயன்படுத்துமாறு பரிந்துரைக்கிறோம். தாமதமும் செலவும் முக்கியக் கட்டுப்பாடுகளாக இருக்கும் அதிக அளவிலான ரூட்டிங், லேபிளிங் மற்றும் வடிகட்டலுக்கு Decider Flash v1.3-ஐத் தேர்ந்தெடுங்கள். உங்கள் பணிச்சுமையைப் பிரதிபலிக்கும் எடுத்துக்காட்டுகளில் இரண்டு மாடல்களையும் மதிப்பிட்டு, பின்னர் உங்கள் தரம், தாமதம் மற்றும் பட்ஜெட் தேவைகளைப் பூர்த்தி செய்யும் மாடலைத் தேர்ந்தெடுங்கள்.

இரண்டு மாடல்களும் Apache உரிமத்தின் கீழ் Hugging Face-இல் பதிவிறக்கக்கூடிய எடைகளாகவும், OpenRouter மற்றும் Perplexity Decisions API வழியாகவும் கிடைக்கின்றன.

மேற்கோள்

@online{perplexity2026PerplexityDecider,
  author = {{Perplexity} and Antoine Chaffin and Jonas Golde and Louis Milliken and Sarah Eslami and Markus Krimmel and Nandor Licker and Aleksandr Nikolenko and Ron Heichman and Bo Wang and Jarrod Bryan and Jeremy Yang and Denis Yarats},
  title = {{Perplexity Decider}},
  date = {2026-11-12},
  url = {https://www.perplexity.ai/hub/blog/perplexity-decider}
}