WANDR kıyaslaması: Geniş ve derin arama yapması gereken araştırma ajanlarını değerlendirme

Yüksek hacimli, kanıt ağırlıklı bilgi çalışmaları için bir kıyaslama.

YazarlarPerplexity Research

Bugün, bilgi çalışması için 500 gerçekçi ve zorlu veri toplama görevi etrafında inşa edilmiş açık bir kıyaslama ve değerlendirme aracı olan WANDR (Wide ANd Deep Research) sistemini yayınlıyoruz. WANDR, derin araştırma için DRACO kıyaslamamızın geniş kardeşidir. DRACO, bir ajanın doğru, eksiksiz ve nesnel bir uzun biçimli rapor üretip üretemeyeceğini sorarken; WANDR, büyük bir koleksiyon oluşturup her bir üyeyi belirli kanıtlarla destekleyip destekleyemeyeceğini sorar.

Bunlar, insanların araştırma ajanlarına halihazırda verdiğii türden işlerdir: rekabetçi haritalama, durum tespiti, literatür taraması, pazar analizi, ürün karşılaştırması, yetenek bulma ve daha fazlası. Görevler, onlarca ila binlerce bağımsız olarak doğrulanabilir kayıt arasında değişir. Yüksek çaba ayarında bile, değerlendirmemizdeki en güçlü sistem yalnızca 0,363 yumuşak F1 ve 0,133 sert F1 değerine ulaşıyor. Geniş ve derin araştırma, çözülmesinden hâlâ çok uzakta.

WANDR benchmark ölçeği ve bu değerlendirmede bildirilen en iyi soft F1 ve hard F1 skorları.

Geniş ve derin araştırma neden önemlidir?

Bir ajan tek bir yanıt bulduğunda pek çok yararlı araştırma işi bitmez. Bir pazar analisti, her biri için aynı kanıta sahip olan tüm nitelikli rakipleri bulmak isteyebilir. Bir durum tespiti ekibinin düzinelerce şirkete ve ardından bunların her biri için mülkiyete, yöneticilere, finansmana ve düzenleyici duruma ihtiyacı olabilir. Bu durum iki ayrı talep yaratır:

Geniş: Büyük ve genellikle uçsuz bucaksız bir nitelikli varlık kümesi keşfedin.

Derin: İstenen her iddiayı kanıtla desteklemeye yetecek kadar her varlığı araştırın.

İkisini birleştirmek sorunu değiştirir. Bir avuç ilgi çekici örnek yeterli değildir; eksik araştırma üzerine kurulmuş cilalı bir anlatı da yeterli değildir. Ajan, kayıttan kayıta olgu kalitesinden ödün vermeden geniş keşif sürecini sürdürmelidir.

WANDR, esnek ve bileşenlere ayrılabilen bir nitelendirme anahtarı hiyerarşisi ile bu yapıyı yakalar. Bir görev şu şekilde talepte bulunabilir:

company(n) → employee(m) → url(k)

Bu, n nitelikli şirket, her şirkette m nitelikli çalışan ve her çalışan için k destekleyici sayfa bulmak anlamına gelir. Ağaçtaki her eksiksiz yol bağımsız olarak doğrulanabilir. Aynı temel yapı düz bir listeyi, iç içe geçmiş bir aramayı, bir matrisi veya birden çok kanıt dalına sahip bir görevi temsil edebilir. Bu kalıplar ayrıca birleştirilerek tek bir temsilin çok çeşitli gerçek dünya kullanım senaryolarını kapsamasına olanak tanır.

Altı yaygın hiyerarşi deseni. Doldurulmuş daireler varlıkları, kesikli daireler sabit etiketleri ve kareler URL yapraklarını temsil eder. Matriste, tekrarlanan alt etiketler, farklı ebeveynler altındaki aynı alt değerleri belirtir.

Yayınlanan bir görev, bu yapıyı pratikte göstermektedir.

ceo_cfo_appointments

Birincil görev. 1 Mart - 30 Nisan 2026 tarihleri arasında CEO veya CFO ataması ilk kez duyurulan ABD merkezli en az 70 şirket bulun. Her şirket için şirketi ve atanan kişiyi tanımlayan, rolü ve duyuru tarihini belirleyen ve ihraççıdan, bir dosyalamadan, bir ajanstan veya doğrudan atfedilen birinci elden iş gazeteciliğinden gelen yetkili bir atama sayfası sağlayın.

Birincil hiyerarşi. company(70) → company_appointee(1) → url(1).

Şirket listeleme alt görevi. Aynı şirketler için, bir ABD ulusal menkul kıymetler borsasında listelemeyi veya ABD'de yerleşik bir SEC Borsa Kanunu raporlama ihraççısı statüsünü gösteren tanınmış bir listeleme yetkilisi sayfası sağlayın.

Alt görev hiyerarşisi. company(70) → url(1).

Gerekli kayıtlar. 140: 70 atama kaydı artı 70 listeleme kaydı.

Her yol, değerlendiricinin yeniden kontrol edebileceği bir sayfada ve alıntılarda sona erer. Paylaşılan şirket anahtarı, atama ve listeleme dallarını aynı hizaya getirir, bu nedenle ayrı bir listeleme durumu kanıtı olmayan bir atama, o şirketi yine de eksik bırakır.

Ölçekli olarak üretilen gerçekçi görevler

WANDR, sentetik istemler yerine üretim kullanımında gözlemlenen kimliği gizlenmiş kalıplardan başlar. Bu, kıyaslamayı insanların gerçekten delege ettiği işe yakın tutar: açık uçlu keşif, tekrarlanan zenginleştirme, kaynaklar arası kontroller ve profesyonel ölçekte yapılı karşılaştırmalar. Yarı otomasyonlu bir boru hattı, bu kalıpları görevlere dönüştürerek insan çabasını ayrıntılı yanıt açıklaması yerine kalite kontrolü için ayırır.

Boru hattının dört aşaması vardır. Tohumlama (Seeding), yeniden kullanılabilir bir geniş araştırma modeli için kimliği gizlenmiş ürün isteklerini toplar. Yazarlık (Authoring), iç içe geçmiş bir yazar-eleştirmen döngüsü çalıştırır: ajanlar tasarımı taslaklaştırır ve stres testine tabi tutar, görev özelliklerini ve hakemi yazar, fikstür kayıtları oluşturur ve her şeyi hizada tutmak için mekanik bir linter kullanır. Kabul (Admission), 10-12 yazar yayınını birleştirerek hedef hacme ulaşılabildiğini kontrol eder, göreve özel hakemi denetler ve isteğe bağlı olarak insan onayı ekler. Küratörlük (Curation), kabul edilen görevleri etiketler ve konular, ölçek, topoloji ve zorluk arasında dengeli bir nihai küme seçer.

Görev oluşturma hattı dört aşamadan oluşur. Tohumlama gerçekçi bir isteği belirler; yazarlık bunu yazar-kritik döngüsü ve mekanik kontroller aracılığıyla bağımsız bir göreve dönüştürür; kabul testleri uygulanabilirliği ve yargıç kalitesini değerlendirir; kürasyon ise dengeli bir sürüm seçer. Çıktı, 500 herkese açık görev paketidir.

Medyan görev 50 üye, üye başına dört kayıt ve toplamda 245 kayıt talep eder. Toplamda 500 görev, kaynak destekli 170.495 kayıt gerektirir. Zorluğu geçmiş tasarım aşaması sürümlerinden kalibre ediyor, ardından görevleri dereceye göre 167 düşük, 166 orta ve 167 yüksek zorluklu örneğe bölüyoruz. Aşağıdaki grafik, zorluğun yalnızca ölçekle belirlenmediğini; aynı zamanda her kayıt için gereken işe de bağlı olduğunu gösteriyor.

Genişlik-derinlik düzleminde genel görev zorluğu (log-log; 500 kıyaslama görevi). Genişlik, gerekli üye sayısıdır; derinlik ise gerekli kayıt sayısının bu üye sayısına bölünmüş halidir. Nokta rengi genel zorluk etiketini belirtir. Kesikli kılavuzlar medyan genişliği (50 üye) ve medyan derinliği (üye başına 4,00 kayıt) işaretler.

Referanssız, kanıt doğrulamalı derecelendirme

Sabit bir yanıt anahtarı, açık uçlu araştırma için uygun değildir. Oluşturulması pahalıdır, hızla eskimektedir ve yanıtları zamanla değişen soruları kötü bir şekilde temsil eder. Bunun yerine WANDR, gönderilen her iddianın ajanın alıntı yaptığı kanıta karşı derecelendirilmesini sağlar.

Her kayıt bir öğe, bir URL, seçilen alıntılar ve bir yanıt içerir. Derecelendirici sayfayı yeniden getirir ve sayfanın kullanılabilir olup olmadığını, iddianın açık ve kapsam dahilinde olup olmadığını, alıntıların sayfada sadık bir şekilde görünip görünmediğini ve hem sayfanın hem de alıntıların her gereksinimi destekleyip desteklemediğini kontrol eder.

Bu ikili kayıt hükümleri hiyerarşi aracılığıyla yukarı doğru iletilir. Kesinlik (Precision), sistemin gönderdiği şeyin kalitesini ölçer. Geri çağırma (Recall), talep edilen hacme kıyasla kaliteye göre ayarlanmış tamamlama oranını ölçer ve her türlü açığı sıfırlarla doldurur. F1 ikisini dengeler. Yumuşak puanlar eksik üyelere kısmi krediler verir; sert puanlar yalnızca gerekli tüm alt ağacı doğru olan üyeleri sayar. Tanı için WANDR ayrıca, geçerlilik ve gönderilen alıntılar üzerindeki daha katı kontrolleri eklemeden önce getirilen sayfanın görevi karşılayıp karşılamadığını soran yalnızca alma (retrieval-only) kararı bildirir.

Bu, hataların yorumlanabilir ve yerelleştirilebilir olmasını sağlar. Düşük geri çağırmaya sahip yüksek kesinlik genellikle sistemin bazı iyi üyeler bulduğunu ancak yeterince bulamadığını gösterir. Büyük bir yumuşaktan-serte düşüş, kısmi ilerleme kaydettiğini ancak tam kredi için gereken her dalı nadiren tamamladığını gösterir. Puan ağacı kaybı keşfe, zenginleştirmeye, kimlik işlemeye, sayfa nitelendirmeye veya kanıt çıkarmaya daraltabilir.

Derecelendirme boru hattı. Çözümleme (Solve) her sistemin çıktısını normalleştirir; getirme (fetch) alıntı yapılan her sayfayı alır ve bozuk getirmeleri bir tarayıcıda yeniden dener; hakem (judge) kimlikleri çözer ve her kaydı değerlendirir; puanlama (score) ise hükümleri görev düzeyinde kesinliğe, geri çağırmaya ve F1'e dönüştürür.

Ne bulduk

Altı üretim sistemini karşılaştırdık: barındırılan görev ve arama API'leri, genel web ajanı API'leri, derin araştırma ürünü ve programlı arama düzenleme sistemimiz Search as Code (SaC). Her biri sabit bir yapılandırma altında 500 görevin tümü için zamanlandı, ardından aynı getirme, hakem, kimlik çözme ve puanlama boru hattından geçirildi.

Perplexity Search as Code, 0,363 yumuşak F1 ve 0,133 sert F1 ile liderdir. Anthropic 0,249 ve 0,072 ile ikinci sırada yer alırken; diğer tüm sistemler en fazla 0,35 yumuşak F1 ve 0,035 sert F1 değerine ulaşmaktadır. Hiçbir sistem hem kalite hem de verimlilik açısından baskün değildir. Perplexity, görev başına 5,20 $ maliyet aralığının ortasında yer alır; 14,9 dakikalık medyan çözüm süresi ve görev başına bildirilen 3,82 milyon token değerine sahiptir. OpenAI ve Exa daha hızlı ve daha ucuzdur ancak çok daha düşük puanlar alır. Anthropic kalite konusunda en yakın olanıdır, ancak önemli ölçüde daha fazla zaman, para ve token kullanır.

WANDR'da maliyete, medyan gecikmeye ve bildirilen token kullanımına karşı soft ve hard precision ile recall.
Maliyet, medyan çözüm gecikmesi ve bildirilen token kullanımına karşı yumuşak ve sert kesinlik ve geri çağırma (üst) ile yumuşak ve sert F1 (alt). Daha yüksek ve daha solda olması daha iyidir. Exa ve Parallel, token sayılarını açığa çıkarmadıkları için token görünümlerinde yer almamaktadır.

Ayrıca aynı 45 görevlik alt küme üzerinde mevcut tüm çaba ayarlarını değerlendirdik. Daha fazla çaba her adımda Perplexity, Gemini ve Exa'yı geliştirir; Perplexity, xhigh ayarında 0,447 yumuşak F1 ve 0,224 sert F1 değerine ulaşır. Ancak daha yüksek çaba her zaman daha iyi değildir: OpenAI high ayarında zirve yapar ve Parallel'in sert F1 değeri ultra2x ile ultra4x arasında hafifçe düşer. Maliyet, Exa low için görev başına 0,03 $'dan Gemini max için 324,83 $'a kadar dört büyüklük mertebesinden fazlasını kapsar.

45 görevli WANDR alt kümesinde, çaba ayarları genelinde maliyete, medyan gecikmeye ve bildirilen token kullanımına karşı soft F1.
Eşleşen 45 görevlik alt kümedeki tüm mevcut çaba ayarlarında yumuşak F1 (üst) ve sert F1 (alt). Daha koyu yollar daha yüksek çabayı belirtir.

Dört bulgu öne çıkıyor.

Kısmi ilerleme yaygındır; eksiksiz kapsam yaygın değildir. Yumuşak geri çağırma, her sistem için yumuşak kesinliğin altındadır; bu da talep edilen hacmin tamamı paydaya girdiğinde performansın düştüğü anlamına gelir. Perplexity, 0,389 kesinlikten 0,357 geri çağırmayı korur (en küçük fark); Anthropic ise 0,354'ten 0,222'ye düşer. Yumuşaktan-serte dönüşüm daha da serttir. Perplexity 0,363 yumuşak F1'den 0,133 sert F1'e, Anthropic ise 0,249'dan 0,072'ye düşer. En iyi sert kesinlik 0,150 ve en iyi sert geri çağırma 0,134'tür: lider bile gönderdiği her yedi üyeden sadece biri ve görevin istediği her yedi üyeden biri için tam kredi alır.

Ölçek sorunu katlar. En küçük hedef hacim kutusundan en büyük hedef hacim kutusuna kadar, Perplexity'nin sert kesinliği 0,235'ten 0,096'ya ve sert geri çağırması 0,219'dan 0,079'a düşer. Anthropic 0,205'ten 0,113'e ve 0,127'den 0,042'ye düşer; OpenAI 0,109'dan 0,034'e ve 0,102'den 0,016'ya düşer. Geri çağırma genellikle kesinlikten daha hızlı düşer: bir sistem, istenen kümenin giderek daha azını kapsarken küçük bir eksiksiz üye cebini koruyabilir.

Daha derin hiyerarşiler daha da serttir. Ara anahtar olmamasından üç veya daha fazla anahtara geçildiğinde, Perplexity'nin sert kesinliği 0,392'den 0,019'a ve sert geri çağırması 0,378'den 0,017'ye düşer; Anthropic 0,311'den 0,049'a ve 0,229'dan 0,022'ye düşer; OpenAI 0,136'dan 0,012'ye ve 0,120'den 0,011'e düşer. Eklenen her dal, bir üyenin hep-ya-da-hiç sert puanını kaçırabileceği başka bir yer yaratır. Maliyet ve gecikme ortak bir monoton kalibre izlemez.

Hedef kayıt hacmi (üst) ve ara hiyerarşi derinliği (alt) genelinde sert kesinlik, sert geri çağırma, medyan çözüm gecikmesi ve ortalama maliyet. Her çizgi sabit bir ana çalışma yapılandırmasını temsil eder. Çizgiler okunabilirlik için görev kutusu toplamlarını birbirine bağlar ve ölçek veya yapının nedensel bir etkisini ima etmez.

Kaliteyi değerlendirmeden önce bile keşif ilk yapısal darboğazdır. Yalnızca ham, çökme öncesi sayımlara bakıldığında, ortalama üst düzey keşif tamamlama oranı 0,611 ile 0,951 arasında değişmektedir. Koşullu zenginleştirme 0,767–0,967 ile daha güçlüdür ve uç nokta kanıt yuvası tamamlama oranı, bir üye ve zenginleştirme yolu mevcut olduğunda 0,799-0,994'e ulaşır. Perplexity 0,951 ile keşifte ve 0,967 ile zenginleştirmede liderdir, ancak OpenAI 0,994'e karşılık 0,991 ile uç nokta kanıt yuvalarında biraz daha yüksektir. Yinelenenlerin çökmesi, altı tam çalıştırma genelinde sayı kaybının yalnızca yüzde 0,017–0,205 puanını oluşturur, bu nedenle kimlik birleştirme değil, yetersiz teslimat ana toplu açıklamadır. En büyük ham yapısal kayıplar son URL eklenmeden önce gerçekleşir.

Doğrulayıcı ağaçlarından ortalama görev düzeyinde ham yapısal tamamlama. Keşif en üstteki anahtardır, zenginleştirme ara anahtarları kapsar ve kanıt uç anahtardır. Değerler çökme öncesi sağlanan sayıları kullanır, böylece rakip, kayıt kalitesi değerlendirilmeden önce gönderilen hacmin nerede eksik olduğunu izole eder.

Kullanılabilir bir sayfa bulmak genellikle kolaydır; eksiksiz kanıt bulmak zordur. Beş sistem için gönderilen sayfaların yalnızca %3,2-%8,9'u kullanılamaz durumdadır; OpenAI %23,1 ile aykırı değerdir. Geçersiz veya yanlış türde kayıtlar da %4,2-%17,4 oranında nispeten nadirdir. Baskın kayıplar sıradakilerdir: gönderilen sayfaların %33,6-%68,3'ü en az bir ana görev gereksinimini karşılayamamaktadır ve gönderilen alıntıların %57,5-%86,6'sı kaydın iddia ettiği her şeyi destekleyememektedir. Perplexity'nin oranları %41,4 ve %57,5'tir. Yumuşak F1 değeri, yalnızca sayfanın her bir ana gereksinimi karşılayıp karşılamadığını soran yalnızca alma kontrolü altında 0,531'den, evrensel kontrolleri, görevlere özel geçerliliği ve eksiksiz alıntı desteğini de gerektiren tam hüküm altında 0,363'e düşer. Sert F1 de benzer şekilde 0,245'ten 0,133'e düşer. Zor kısım yalnızca makul bir sayfaya ulaşmak değildir; o sayfayı tüm iddia için yeterli kanıta dönüştürmektir.

Mevcut doğrulayıcı ayrıntılarından ölçülen kayıt düzeyinde hata yoklamaları (yüzde cinsinden); ne kadar düşükse o kadar iyidir. Sayfa ve alıntı gereksinimlerindeki hatalar, kullanılamaz sayfa veya geçersiz kayıt hatalarından çok daha yaygındır. Parallel 350 görev için tanı ayrıntılarına sahipken, diğer satırlar 490-500 görevi kapsamaktadır.

Search as Code bu görev şekliyle iyi uyumludur. Bir model; alma, filtreleme, yayınlama, oluşturma, birleştirme (joins), yinelenenleri giderme ve durdurma mantığını bir program olarak ifade edebilirken, belirleyici hesaplama model bağlamının dışındaki tekrarlanan işlemleri yönetir. Bu profil, her katmanda lider olmasa da Perplexity'nin daha güçlü genişlik tutma ve alıntı oluşturma özelliğiyle tutarlıdır: Anthropic en düşük sayfa gereksinimi hata oranına sahiptir.

Sırada ne var

WANDR tek bir liderlik tablosu puanından fazlasını sağlar. Ortak görev yapısı ve yarı otomasyonlu boru hattı, çeşitli, yüksek hacimli görev oluşturmayı desteklerken; kayıt başına kararlar ve hiyerarşi düzeyindeki puanlar bir çalıştırmanın nerede başarısız olduğunu gösterir: keşif, zenginleştirme, kimlik işleme, semantik nitelendirme veya kanıt oluşturma. Yayınlanan görevler, doğrulayıcı ve yapısal tanılar, kapsamlı arama sistemlerini geliştirmek ve bu kazançların ölçekte kalıp kalmadığını test etmek için bir temel sağlar.

Aynı yapı, WANDR'ı takviyeli öğrenme için de yararlı hale getirebilir. Tek bir seyrek uç nokta ödüle güvenmek yerine bir eğitmen; kayıt ve dal düzeyinde kararlar kullanabilir, keşif ve zenginleştirme ilerlemesi için kısmi krediler atayabilir ve zamanla gerekli sayıları artırarak bir müfredat oluşturabilir. Boru hattı, altın yanıtları numaralandırmadan alanlar, hiyerarşi şekilleri, kanıt kuralları ve genişlik-derinlik ayarları genelinde tutulan kardeş görevler üretebilir. Bu, ajanları yalnızca doğru olguları bulmak için değil, aynı zamanda kapsama göre plan yapmak, eksik dalları tespit etmek ve durmadan önce kurtarmak için eğitmenin bir yolunu yaratır.

Kıyaslama görevleri, değerlendirme aracı ve tam teknik rapor GitHub üzerinde mevcuttur.

Alıntı

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}