DRACO அளவுகோல் மூலம் இயற்கையில் ஆழமான ஆய்வு செயல்திறனை மதிப்பீடு செய்தல்

இன்று, பயனர்கள் உண்மையான சிக்கலான ஆய்வுப் பணிகளுக்கு AI-யை எவ்வாறு பயன்படுத்துகிறார்கள் என்பதை அடிப்படையாகக் கொண்ட ஆழமான ஆய்வு முகவர்களை மதிப்பிடுவதற்கான திறந்த அளவுகோலான, Deep Research Accuracy, Completeness, and Objectivity (DRACO) அளவுகோலை வெளியிடுகிறோம். DRACO-வை திறந்த மூலமாக மாற்றுவதன் மூலம், உண்மையான பயனர் தேவைகளுக்குச் சிறப்பாகப் சேவை செய்யும் ஆய்வுத் கருவிகளை உருவாக்கப் பரந்த AI சமூகத்திற்கு உதவ விரும்புகிறோம்.

செயற்கை பணிகளைத் தீர்ப்பதற்கும் உண்மையான ஆய்வுத் தேவைகளைப் பூர்த்தி செய்வதற்கும் இடையே உள்ள இடைவெளியை DRACO எடுத்துக்காட்டுகிறது. மதிப்பீட்டு முறை மாதிரி சார்ந்தது அல்ல: வலுவான முகமைசார் LLM-கள் வெளிவரும்போது, நாங்கள் மதிப்பீடுகளை மீண்டும் இயக்கி, புதுப்பிக்கப்பட்ட முடிவுகளை வெளியிடுவோம். மேலும் Perplexity.ai-ல் ஆழமான ஆய்வில் மேம்பாடுகளை நாங்கள் வழங்கும் போது, பயனர்கள் அந்த முன்னேற்றங்களை தயாரிப்பு செயல்திறன் மற்றும் அளவுகோல் மதிப்பெண்கள் இரண்டிலும் காண்பார்கள்.

நவீன கால ஆழமான ஆய்வு

Google DeepMind இன் DeepSearchQA மற்றும் Scale AI இன் ResearchRubrics உள்ளிட்ட முன்னணி வெளிப்புற அளவுகோல்களில் Perplexity ஆழமான ஆய்வு அதிநவீன செயல்திறனை அடைகிறது.

விரிவாக்கு

விரிவாக்கு

இந்த முடிவுகள் கிடைக்கக்கூடிய சிறந்த மாதிரிகளை Perplexity-ன் பிரத்யேகமாக உருவாக்கப்பட்ட முகமைசார் திறன்களுடன் இணைப்பதன் மூலம் பெறப்படுகின்றன: தனியுரிம தேடல் கருவிகள், உலாவி உள்கட்டமைப்பு மற்றும் குறியீடு செயலாக்கம். இவை அனைத்தும் இணைந்து, உண்மையான உலகத் தகவல்களை மீட்டெடுத்தல், ஒருங்கிணைத்தல் மற்றும் பகுப்பாய்வு செய்வதற்காக முழுமையாக உகந்ததாக்கப்பட்ட ஒரு அமைப்பை உருவாக்குகின்றன.

இந்த தயாரிப்பை உருவாக்கும் செயல்பாட்டில், மாதிரிகளை ஒப்பிடுவதற்கு வெளிப்புற அளவுகோல்கள் பயனுள்ளதாக இருந்தாலும், அவை உண்மையான பயனர்கள் ஒவ்வொரு நாளும் கேட்கும் பன்முக வினவலிகளையும் ஒருங்கிணைப்புத் தேவைகளையும் அடிக்கடி பிரதிபலிப்பதில்லை என்பதை நாங்கள் உணர்ந்தோம். இன்று, பத்து டொமைன்களில் மில்லியன் கணக்கான தயாரிப்புப் பணிகளால் ஈர்க்கப்பட்ட, மக்கள் ஆழமான ஆய்வை எவ்வாறு உண்மையாகப் பயன்படுத்துகிறார்கள் என்பதை அடிப்படையாகக் கொண்ட DRACO அளவுகோலை நாங்கள் திறந்த மூலமாக வெளியிடுகிறோம்.

விரிவாக்கு

உற்பத்தி அடிப்படையிலான மதிப்பீடு ஏன் முக்கியமானது

தற்போதைய அளவுகோல்கள் பெரும்பாலும் குறுகிய திறன்களை தனித்தனியாகச் சோதிக்கின்றன: ஒற்றை உண்மையை மீட்டெடுத்தல், அற்பமான கேள்விக்கு பதிலளித்தல் அல்லது நன்கு வரையறுக்கப்பட்ட சிக்கலைத் தீர்ப்பது. ஆனால் உண்மையான ஆய்வு வினவல்கள் மூலங்கள் முழுவதும் ஒருங்கிணைப்பு, நுணுக்கமான பகுப்பாய்வு மற்றும் செயல்படக்கூடிய வழிகாட்டுதல் ஆகியவற்றைக் கோருகின்றன, அதே நேரத்தில் உண்மையான துல்லியம் மற்றும் முறையான மேற்கோளைப் பராமரிக்கின்றன.

DRACO அளவுகோல், கல்வி, நிதியியல், சட்டம், மருத்துவம், தொழில்நுட்பம், பொது அறிவு, UX வடிவமைப்பு, தனிப்பயனாக்கப்பட்ட உதவியாளர், ஷாப்பிங்/தயாரிப்பு ஒப்பீடு மற்றும் Needle in a Haystack ஆகியவற்றை உள்ளடக்கிய 100 கவனமாகத் தேர்ந்தெடுக்கப்பட்ட பணிகளைக் கொண்டுள்ளது, ஒவ்வொரு பணியும் சராசரியாக ~40 மதிப்பீட்டு அளவுகோல்களைக் கொண்ட நிபுணர் வடிவமைக்கப்பட்ட ரூப்ரிக்ஸ்களுடன் இணைக்கப்பட்டுள்ளது.

இந்தப் பணிகள் Perplexity ஆழமான ஆய்வில் உள்ள உண்மையான பயனர் கோரிக்கைகளிலிருந்து பெறப்பட்டவை, மில்லியன் கணக்கான தயாரிப்பு கோரிக்கைகளிலிருந்து மாதிரி எடுக்கப்பட்டு, பின்னர் முறையாக மாற்றியமைக்கப்பட்டு, செறிவூட்டப்பட்டு, ஐந்து கட்ட குழாய்லைன் மூலம் வடிகட்டப்படுகின்றன: தனிப்பட்ட முறையில் அடையாளம் காணக்கூடிய தகவல்களை அகற்றுவது, சூழல் மற்றும் நோக்கத்தைச் சேர்ப்பது, புறநிலை மற்றும் சிரமத்திற்காக வடிகட்டுவது, மற்றும் துறை நிபுணர்களின் இறுதி மதிப்பாய்வை நடத்துவது. இதன் விளைவாக செயற்கை பயிற்சிகள் அல்லது நிபுணர் தொகுக்கப்பட்ட பணிகளை விட உண்மையான பயனர் தேவைகளைப் பிரதிபலிக்கும் அளவுகோல் கிடைக்கிறது.

DRACO அளவுகோல் எவ்வாறு செயல்படுகிறது

விரிவாக்கு

அளவுகோலில் உள்ள ஒவ்வொரு பணியும் கடுமையான ரூப்ரிக் மேம்பாட்டு செயல்முறைக்கு உட்பட்டது. Perplexity, தரவு உருவாக்கும் கூட்டாளரான The LLM Data Company உடன் இணைந்து, தொகுப்புக்கான மதிப்பீட்டு ரூப்ரிக்ஸ்களை உருவாக்கி அழுத்தம்-சோதனை செய்தது. பொருள் சார்ந்த நிபுணர்கள் LLM கருவிகளின் உதவியுடன் ஆரம்ப ரூப்ரிக்ஸ்களை வரைவு செய்தனர், பின்னர் சமான மதிப்பாய்வு மற்றும் அளவுத்திருத்தம் மூலம் மீண்டும் மீண்டும் செய்தனர். சரியாகக் குறிப்பிடப்படாத மற்றும் மிகக் கருணையான ரூப்ரிக்ஸ்கள் திருத்தத்திற்காகத் திருப்பி அனுப்பப்பட்டன, இந்தச் செயல்முறை மூலம் சுமார் 45% ரூப்ரிக்ஸ்கள் குறைந்தது ஒரு முறையாவது செம்மைப்படுத்தப்பட்டன. இதன் விளைவாக கணினி திறன்களை உண்மையாக வேறுபடுத்திக் காட்டும் மதிப்பீட்டு அளவுகோல்கள் கிடைக்கின்றன.

ரூப்ரிக்ஸ்கள் நான்கு பரிமாணங்களை மதிப்பிடுகின்றன: உண்மைத் துல்லியம் (அனைத்து அளவுகோல்களில் தோராயமாக பாதி), பகுப்பாய்வின் அகலம் மற்றும் ஆழம், விளக்கக்காட்சி தரம் மற்றும் முதன்மை மூலங்களின் மேற்கோள். ஒவ்வொரு அளவுகோலும் அதன் முக்கியத்துவத்தைப் பிரதிபலிக்கும் எடையைப் பெறுகிறது மற்றும் சில அளவுகோல்கள் எதிர்மறையானவை, ஹாலுசினேஷன்கள் அல்லது ஆதரிக்கப்படாத கூற்றுகள் போன்ற பிழைகளைத் தண்டிக்கின்றன.

பதில்கள் LLM-as-judge நெறிமுறையைப் பயன்படுத்தி தரப்படுத்தப்படுகின்றன, அங்கு ஒவ்வொரு அளவுகோலும் இருமைத் தீர்ப்பைப் பெறுகிறது. உண்மைத் துல்லிய மதிப்பீட்டிற்கு இந்த அணுகுமுறை மிகவும் பொருத்தமானது, ஏனெனில் ரூப்ரிக்ஸ் நீதிபதியை தேடல் முடிவுகளில் இருந்து பெறப்பட்ட உண்மையான உலகத் தரவுகளில் நிலைநிறுத்துகிறது, இது அகநிலை மதிப்பீட்டை சரிபார்க்கக்கூடிய உண்மைச் சரிபார்ப்பாக மாற்றுகிறது. மூன்று நீதிபதி மாடல்களில் நம்பகத்தன்மையை நாங்கள் சரிபார்த்தோம் மற்றும் முழுமையான மதிப்பெண்கள் வேறுபட்டாலும், உறவினர் கணினி தரவரிசைகள் சீராக இருப்பதைக் கண்டறிந்தோம்.

விரிவாக்கு

கருவித்தொகுப்பு மற்றும் மதிப்பீட்டு சூழல்

குறியீடு செயலாக்க சாண்ட்பாக்ஸ் மற்றும் உலாவி திறன்கள் உட்பட முழுமையான ஆய்வு கருவித்தொகுப்புக்கான அணுகலைக் கொண்ட முகவர்களை மதிப்பிடுவதற்காக இந்த அளவுகோல் வடிவமைக்கப்பட்டுள்ளது.

நாங்கள் கண்டறிந்தவை

டொமைன் வாரியான செயல்திறன். 10 அறிவுத் துறைகளில் நான்கு ஆழமான ஆய்வு அமைப்புகளை, தேர்ச்சி விகிதங்களை (மதிப்பீட்டு அளவுகோல்கள் பூர்த்தி செய்யப்பட்ட சதவீதம்) அளந்து, நாம் மதிப்பாய்வு செய்தோம். ஆழமான ஆய்வு அனைத்து துறைகளிலும் மிக உயர்ந்த தேர்ச்சி விகிதங்களை பெற்றது; குறிப்பாக சட்டத்தில் (89.4%) மற்றும் கல்வித்துறையில் (82.4%) மிக வலுவான செயல்திறனை வெளிப்படுத்தியது.

விரிவாக்கு

பயனர்களைப் பொறுத்தவரை, நீங்கள் ஒரு சட்டப் படிவத்தைத் தயாரித்தாலும், இலக்கிய ஆய்வை மேற்கொண்டாலும் அல்லது மருத்துவச் சிகிச்சை விருப்பங்களை ஒப்பிட்டாலும் இது மிகவும் நம்பகமான பதில்களைக் குறிக்கிறது. சிக்கலான காரணப் பணிகளில் செயல்திறன் இடைவெளிகள் கணிசமாக விரிவடைந்தன: தனிப்பயனாக்கப்பட்ட உதவியாளர் மற்றும் Needle in a Haystack சூழ்நிலைகளில், Perplexity குறைந்த மதிப்பெண் பெற்ற அமைப்பை விட 20 சதவீத புள்ளிகளுக்கு மேல் சிறப்பாகச் செயல்பட்டது. இந்த டொமைன்கள் தனிப்பயனாக்கப்பட்ட பரிந்துரைகள் மற்றும் பெரிய ஆவணங்களில் புதைந்திருக்கும் குறிப்பிட்ட உண்ைகளைக் கண்டறிதல் போன்ற உண்மையான பயனர் தேவைகளைப் பிரதிபலிக்கின்றன.

விரிவாக்கு

மதிப்பீட்டுப் பகுதி வாரியான செயல்திறன். நான்கு முக்கிய மதிப்பீட்டு பரிமாணங்களில், ஆழமான ஆய்வு மூன்றில் முன்னணியில் இருந்தது: உண்மைத் துல்லியம், பகுப்பாய்வின் அகலம் மற்றும் ஆழம், மற்றும் மேற்கோள் தரம். நீங்கள் ஒரு வாடிக்கையாளருக்கு ஆலோசனை வழங்கினாலும், முதலீடு செய்தாலும் அல்லது உங்கள் பெயர் பொறிக்கப்பட்ட அறிக்கையை எழுதினாலும், உங்கள் ஆராய்ச்சியை நீங்கள் நம்ப வேண்டியிருக்கும் போது மிகவும் முக்கியமான பரிமாணங்கள் இவை. விளக்கக்காட்சி தரத்தில் Perplexity ஆழமான ஆய்வுக்கு ஒப்பிடக்கூடிய செயல்திறனைக் காட்டியது வேறு ஒரு அமைப்பு மட்டுமே, இது ஆழமான ஆய்வில் உள்ள கடிமான சிக்கல்கள் வடிவமைப்பு பற்றியது அல்ல, மாறாக உண்மைகளைப் பெறுவது மற்றும் பகுப்பாய்வை முடிப்பது பற்றியது என்பதைக் காட்டுகிறது.

விரிவாக்கு

தரம் மற்றும் திறன். குறிப்பாக்க, அதிக செயல்திறன் கொண்ட அமைப்பு மிகக் குறைந்த தாமதத்தையும் அடைந்தது (போட்டியாளர்களுக்கு 592 முதல் 1808 வினாடிகளுடன் ஒப்பிடும்போது 459.6 வினாடிகள்). பயனர்களைப் பொறுத்தவரை, இதன் பொருள் முழுமையான ஆராய்ச்சிக்கும் விரைவாக பதில்களைப் பெறுவதற்கும் இடையில் நீங்கள் தேர்வு செய்ய வேண்டியதில்லை. இது செங்குத்தாக ஒருங்கிணைக்கப்பட்ட, இறுதி முதல் இறுதி வரையிலான உள்கட்டமைப்பின் நன்மையைப் பிரதிபலிக்கிறது: உகந்த செயலாக்க சூழல்களுடன் கூடிய சிறந்த தேடல்¹ [எங்கள் தேடல் ஏபிஐக்கான அடிக்குறிப்பு இணைப்பு] மற்றும் உலாவி ஒருங்கிணைப்பு ஆகியவை நேரடியாக வேகமான, துல்லியமான ஆராய்ச்சிக்கு மொழிபெயர்க்கப்படுகின்றன.

அடுத்து என்ன

Perplexity இன் Deep Research harness என்பது மாடல் சார்பற்றது: மேலும் சக்திவாய்ந்த agentic LLMகள் உருவாகும் போது, நாங்கள் மதிப்பீடுகளை மீண்டும் இயக்கி, புதுப்பிக்கப்பட்ட முடிவுகளை வெளியிடுவோம். மேலும் Perplexity.ai இல் ஆழமான ஆய்விற்கான மேம்பாடுகளை நாங்கள் வெளியிடும் போது, பயனர்கள் அந்த முன்னேற்றங்களை தயாரிப்பு செயல்திறனிலும் benchmark மதிப்பெண்களிலும் பிரதிபலிக்கப்படுவதை காண்பார்கள்.

இந்த அளவுகோல் தற்போது ஆங்கிலத்தை மட்டுமே மதிப்பிடுகிறது, பத்து டொமைன்களில் ஒற்றை திருப்ப தொடர்புகளைக் கொண்டுள்ளது. எதிர்கால மறுபரிசீலனைகள் மொழி பன்முகத்தன்மையை விரிவுபடுத்தும், பல திருப்ப மதிப்பீட்டைச் சேர்க்கும், மற்றும் டொமைன் கவரேஜை விரிவுபடுத்தும்.

DRACO அளவுகோல் மூலம் சிறந்த ஆய்வு முகவர்களை உருவாக்குங்கள்

DRACO அளவுகோல் இப்போது முழுமையாக திறந்த மூலமாகும். ஆழமான ஆய்வு அமைப்புகளை உருவாக்கும் எந்தவொரு குழுவும் செயற்கை கல்விப் புதிர்களுக்குப் பதிலாக உண்மையான உலக ஆய்வுப் பணிகளுக்கு எதிராக தங்கள் மாதிரிகளை மதிப்பிடலாம். முழு அளவுகோல், அனைத்து ரூப்ரிக்ஸ்கள் மற்றும் நீதிபதி தூண்டுதலை நாங்கள் வெளியிடுகிறோம்.

முறை மற்றும் விரிவான முடிவுகள் பற்றி மேலும் அறிய, முழு தொழில்நுட்ப அறிக்கையைப் படியுங்கள்: DRACO அளவுகோல் மற்றும் Hugging Face-ல் தரவுத்தொகுப்பை ஆராயுங்கள்.

மேற்கோள்

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}