DRACO Kıyaslaması ile Doğada Derin Araştırma Performansını Değerlendirme

Bugün; kullanıcıların karmaşık araştırma görevleri için yapay zekayı gerçekte nasıl kullandıklarına dayanan, derin araştırma aracılarını değerlendirmeye yönelik açık bir kıyaslama olan Derin Araştırma Doğruluğu, Eksiksizliği ve Nesnelliği (DRACO) Kıyaslaması'nı yayınlıyoruz. DRACO'yu açık kaynaklı hale getirerek, daha geniş yapay zeka topluluğunun gerçek kullanıcı ihtiyaçlarına daha iyi hizmet eden araştırma araçları oluşturmasına yardımcı olmayı amaçlıyoruz.

DRACO, yapay görevlerin çözülmesi ile gerçek araştırma ihtiyaçlarının karşılanması arasındaki uçurumu gözler önüne seriyor. Değerlendirme altyapısı modelden bağımsızdır: Daha güçlü aracı LLM'ler ortaya çıktıkça değerlendirmeleri yeniden çalıştıracak ve güncellenen sonuçları yayınlayacağız. Perplexity.ai üzerindeki Derin Araştırma'da iyileştirmeler yaptıkça kullanıcılar bu kazanımların hem ürün performansına hem de kıyaslama puanlarına yansıdığını görecekler.

Perplexity Derin Araştırma, Google DeepMind'ın DeepSearchQA ve Scale AI'ın ResearchRubrics'i dahil olmak üzere önde gelen harici kıyaslamalarda son teknoloji performans elde eder.

Derin araştırma sistemlerinin Google DeepMind’ın DeepSearchQA kıyaslamasındaki puanları.

Derin araştırma sistemlerinin Scale AI’ın ResearchRubrics kıyaslamasındaki puanları.

Bu sonuçlar, mevcut en iyi modellerin Perplexity'nin amaca yönelik özel aracı yetenekleriyle birleştirilmesinden kaynaklanmaktadır: tescilli arama araçları, tarayıcı altyapısı ve kod yürütme. Bunlar bir araya gelerek gerçek dünyadaki bilgileri almaya, sentezlemeye ve bunlar üzerinde akıl yürütmeye yönelik baştan sona optimize edilmiş bir sistem oluşturur.

Bu ürünü oluşturma sürecinde, modelleri karşılaştırmak için yararlı olmakla birlikte harici kıyaslamaların, gerçek kullanıcıların her gün sorduğu çok yönlü sorguları ve sentez taleplerini genellikle yansıtmadığını fark ettik. Bugün, on farklı alandaki milyonlarca üretim görevinden motive olan ve insanların derin araştırmayı gerçekte nasıl kullandığına dayanan bir kıyaslama olan DRACO Kıyaslaması'nı açık kaynaklı hale getiriyoruz.

Dört derin araştırma sistemine ait genel DRACO kıyaslama puanları.

Mevcut kıyaslamalar genellikle dar becerileri tek başına test eder: tek bir gerçeği almak, bir trivia sorusunu yanıtlamak veya iyi tanımlanmış bir problemi çözmek. Ancak gerçek araştırma sorguları, olgusal doğruluğu ve uygun alıntıyı korurken kaynaklar arasında sentez, nüanslı analiz ve eyleme geçirilebilir rehberlik gerektirir.

DRACO Kıyaslaması; Akademik, Finans, Hukuk, Tıp, Teknoloji, Genel Kültür, UX Tasarımı, Kişiselleştirilmiş Asistan, Alışveriş/Ürün Karşılaştırması ve Samanlıkta İğne Arama gibi alanları kapsayan ve ortalama ~40 değerlendirme kriterine sahip, uzmanlar tarafından hazırlanmış derecelendirme kurallarıyla eşleştirilmiş özenle seçilmiş 100 görevden oluşur.

Bu görevler, Perplexity Derin Araştırma'daki gerçek kullanıcı isteklerinden kaynaklanır; milyonlarca üretim isteğinden örneklenir ve ardından beş aşamalı bir boru hattı aracılığıyla sistematik olarak yeniden formüle edilir, zenginleştirilir ve filtrelenir: kişisel olarak tanımlanabilir bilgileri kaldırır, bağlam ve kapsam ekler, nesnellik ve zorluk açısından filtreler ve alan uzmanları tarafından son incelemeyi yürütürüz. Sonuç, sentetik egzersizleri veya uzman küratörlüğündeki görevleri değil, gerçek kullanıcı ihtiyaçlarını yansıtan bir kıyaslamadır.

İlk rubrik oluşturmadan nihai kalite güvencesine kadar, dört aşamalı rubrik tasarımı ve inceleme süreci.

Kıyaslamadaki her görev, sıkı bir derecelendirme kuralı geliştirme sürecinden geçmiştir. Perplexity, set için değerlendirme kuralları geliştirmek ve test etmek amacıyla bir veri oluşturma ortağı olan The LLM Data Company ile çalışmıştır. Konu uzmanları, LLM araçlarının yardımıyla ilk derecelendirme kuralları taslakları hazırlamış, ardından akran incelemesi ve kalibrasyon yoluyla yineleme yapmıştır. Belirsiz ve aşırı hoşgörülü derecelendirme kuralları revizyon için iade edilmiş olup, bu süreçte kuralların kabaca %45'i en az bir kez iyileştirilmiştir. Sonuç, sistem yeteneklerini gerçekten ayırt eden değerlendirme kriterleridir.

Derecelendirme kuralları dört boyutu değerlendirir: olgusal doğruluk (tüm kriterlerin kabaca yarısı), analizin kapsamı ve derinliği, sunum kalitesi ve birincil kaynaklara atıf. Her kriter, önemini yansıtan bir ağırlık alır ve bazı kriterler olumsuzdur; hallüsinasyonlar veya desteklenmeyen iddialar gibi hataları cezalandırır.

Yanıtlar, her kriterin ikili bir karar aldığı, hakem olarak LLM protokolü kullanılarak derecelendirilir. Bu yaklaşım, olgusal doğruluk değerlendirmesi için çok uygundur çünkü derecelendirme kuralları, hakemi arama sonuçlarından elde edilen gerçek dünya verilerine dayandırır ve öznel değerlendirmeyi doğrulanabilir gerçek kontrolüne dönüştürür. Üç hakem modeli arasında güvenilirliği doğruladık ve mutlak puanlar değişse de göreceli sistem sıralamalarının tutarlı kaldığını gördük.

DRACO değerlendirme çerçevesi: görevler ve rubrikler, derin araştırma ajanları, LLM yargıçları ve sonuçlar.

Kıyaslama, kod yürütme korumalı alanı ve tarayıcı yetenekleri dahil olmak üzere eksiksiz bir araştırma araç setine erişimi olan aracıları değerlendirmek için tasarlanmıştır.

Alana göre performans. Başarı oranlarını (karşılanan değerlendirme kriterlerinin yüzdesi) ölçerek 10 bilgi alanında dört derin araştırma sistemini değerlendirdik. Derin Araştırma, Hukuk (%89,4) ve Akademik (%82,4) alanlarında özellikle güçlü performans göstererek tüm alanlarda en yüksek başarı oranlarına ulaştı.

DRACO kıyaslama görevlerinin on alan arasındaki dağılımı.

Kullanıcılar için bu, ister yasal bir özet hazırlıyor, ister literatür taraması yapıyor veya tıbbi tedavi seçeneklerini karşılaştırıyor olun, daha güvenilir yanıtlar almanız anlamına gelir. Karmaşık akıl yürütme görevlerinde performans uçurumları önemli ölçüde genişledi: Kişiselleştirilmiş Asistan ve Samanlıkta İğne Arama senaryolarında Perplexity, en düşük puan alan sistemi 20 yüzde puanından fazla farkla geride bıraktı. Bu alanlar, kişiselleştirilmiş öneriler ve büyük belgelerin içine gömülmüş belirli gerçekleri bulma gibi gerçek kullanıcı ihtiyaçlarını yansıtır.

Dört derin araştırma sisteminde alana göre ölçüt geçme oranları.

Değerlendirme açısına göre performans. Dört temel değerlendirme boyutunda Derin Araştırma üçünde liderdi: Olgusal Doğruluk, Analizin Kapsamı ve Derinliği ile Atıf Kalitesi. Bunlar, ister bir müşteriye danışmanlık yapıyor, ister yatırım yapıyor, ister adınızın yazılı olduğu bir rapor yazıyor olun, araştırmanıza gerçek kararlar için güvenmeniz gerektiğinde en önemli olan boyutlardır. Sunum Kalitesi konusunda yalnızca bir diğer sistem Perplexity Derin Araştırma ile karşılaştırılabilir performans gösterdi; bu da derin araştırmadaki zor sorunların biçimlendirmeyle ilgili olmadığını, gerçekleri doğru alıp analizi tamamlamakla ilgili olduğunu gösteriyor.

Dört derin araştırma sisteminde değerlendirme boyutuna göre ölçüt geçme oranları.

Kalite ve verimlilik. Dikkat çekici bir şekilde, en iyi performans gösteren sistem aynı zamanda en düşük gecikme süresine de ulaştı (rakipler için 592 ila 1808 saniyeye karşılık 459,6 saniye). Kullanıcılar için bu, kapsamlı araştırma ile hızlı bir şekilde yanıt almak arasında seçim yapmak zorunda kalmadığınız anlamına gelir. Bu, dikey olarak entegre edilmiş uçtan uca altyapının avantajını yansıtır: optimize edilmiş yürütme ortamlarına sahip daha iyi arama¹ [arama API'mıza dipnot bağlantısı] ve tarayıcı entegrasyonu doğrudan daha hızlı ve daha doğru araştırmaya dönüşür.

Perplexity'nin Derin Araştırma altyapısı modelden bağımsızdır: daha güçlü aracı LLM'ler ortaya çıktıkça değerlendirmeleri yeniden çalıştıracak ve güncellenen sonuçları yayınlayacağız. Ve Perplexity.ai üzerindeki Derin Araştırma'da iyileştirmeler yaptıkça kullanıcılar bu kazanımların hem ürün performansına hem de kıyaslama puanlarına yansıdığını görecekler.

Kıyaslama şu anda on alanda yalnızca İngilizce, tek turlu etkileşimleri değerlendirmektedir. Gelecekteki yinelemeler dilsel çeşitliliği genişletecek, çok turlu değerlendirme ekleyecek ve alan kapsamını artıracaktır.

DRACO Kıyaslaması artık tamamen açık kaynaklıdır. Derin araştırma sistemleri oluşturan herhangi bir ekip, modellerini sentetik akademik bulmacalar yerine gerçek dünyadaki araştırma görevlerine karşı değerlendirebilir. Eksiksiz kıyaslamayı, tüm derecelendirme kurallarını ve hakem istemini yayınlıyoruz.

Metodoloji ve ayrıntılı sonuçlar hakkında daha fazla bilgi edinmek için tam teknik raporu okuyun: DRACO kıyaslaması ve veri setini Hugging Face üzerinden inceleyin.

BibTeX

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}

Son Teknoloji Derin Araştırma

Üretime dayalı değerlendirmenin neden önemli olduğu

DRACO Kıyaslaması nasıl çalışır?

Araç seti ve değerlendirme ortamı

Ne bulduk?

Sırada ne var?

DRACO Kıyaslaması ile daha iyi araştırma aracıları oluşturun

Atıf