Perplexity Decider

Decider v1.3 ve Decider Flash v1.3 modellerini yayımlıyoruz. Bu modeller, önceki karar modellerimiz olan v1, v1.1, v1.2 ve Flash v1.2 modellerinin halefleridir.

Decider Flash v1.3, Decider v1.3’ten damıtılmış daha küçük bir modeldir. Her iki model de Apache lisansı altında Hugging Face üzerinde, ayrıca OpenRouter ve Perplexity Decisions API aracılığıyla kullanılabilir.

Perplexity Decider, TypeSafe AI’ın System One Model’i olan Jev’den ilham alıyor. Sıralı veya sırasız etiketlerle ikili ve çok sınıflı sınıflandırmayı destekliyor; uygulamaların girdileri sınıflandırmak, yönlendirmek, sıralamak ve değerlendirmek için kullanabileceği olasılıklar döndürüyor.

Her iki v1.3 modeli de çift yönlü dikkat, daha özenle derlenmiş eğitim verileri ve iyileştirilmiş bir eğitim reçetesi sayesinde çok çeşitli metin ve görme görevlerinde performansı ve sağlamlığı artırıyor. Ayrıca adlandırılmış varlık tanıma, kişisel bilgi tespiti ve çıkarımsal soru yanıtlama görevleri için seçilen içeriği vurgulayan yeni bir özellik olan locate özelliğini de sunuyoruz.

Bu yazıda Decider’ı nasıl eğittiğimizi ve değerlendirdiğimizi açıklıyor, Perplexity’de şirket içinde onu nasıl kullandığımızı paylaşıyoruz.

Karar modeli nedir?

Karar modeli genel amaçlı bir sınıflandırıcıdır. Ona bir girdi ve her biri olası yanıtlarıyla birlikte bir dizi soru verirsiniz. Model her soru için yanıtlar üzerinde bir olasılık dağılımı döndürür. 3 soru türünü destekler:

• Evet / Hayır: ikili kararlar.
• Çoktan seçmeli: özel çok sınıflı etiketler.
• Puan: sıralı düzeyler.

Karar modelleri çok çeşitli sınıflandırma ve puanlama görevlerini destekler:

• Çıktıları değerlendirme: aslına uygunluğu, kaliteyi ve güvenliği ölçme.
• Yönlendirme: istekleri zorluk derecesine göre daha küçük veya daha büyük modellere yönlendirme.
• Moderasyon ve güvenlik: araç çıktılarındaki zararlı içeriği, kimlik avını ve istem enjeksiyonunu (prompt injection) tespit etme.
• Filtreleme ve etiketleme: büyük içerik koleksiyonlarını düzenleme.
• Erişim ve yeniden sıralama: arama sonuçlarını alaka düzeyine göre puanlama.

Bu görevlerin çoğu, serbest biçimli metin üretimi gerektirmemesine rağmen daha önce LLM'ler gibi üretken modellerle yürütülüyordu. Karar modelleri, LLM'ler ile göreve özgü sınıflandırıcılar arasında konumlanır. Aynı girdiyle ilgili birden fazla soru için olasılıkları tek bir ileri geçişte döndürür, böylece yanıtı token token üretmekten kaçınır ve hesaplamayı sorular arasında paylaşırlar. Göreve özgü sınıflandırıcıların aksine, ortak bir soru-yanıt biçiminde çeşitli görevler üzerinde eğitilerek kazandıkları esneklik sayesinde doğal dil istemleriyle yeni görevleri ele alabilirler.

Eğitim

Üretken bir LLM’i karar modeline dönüştürmek

Decider'ı güçlü üretken LLM omurgalarını uyarlayarak oluşturuyoruz. Bu uyarlamayı açıklamak için önce bir isteğin nasıl temsil edildiğini anlatalım. Aşağıda gösterildiği gibi bir istek, paylaşılan bir bağlamdan (durum) ve birkaç sorudan oluşur. Durum, tüm sorular tarafından yeniden kullanılır.

Örneğin bir belge ve özeti verildiğinde, tek bir istek özetin belgeyi aslına uygun biçimde yansıtıp yansıtmadığını ve bir uzmana mı yoksa genel bir kitleye mi yönelik olduğunu sorabilir. Durumdan sonra her soru bloğu bir soru ve bu sorunun olası yanıtlarını içerir; her yanıta A, B veya C gibi önceden tanımlanmış bir etiket token’ı atanır. Özel bir <|marker|> token’ı, modelin tahmininin nereden okunacağını belirtir. Bu konumda öğrenilmiş doğrusal bir çıktı katmanı (karar başlığı), gizli durumu sorunun yanıt seçenekleri için puanlara eşler; bu puanlar daha sonra olasılıklara dönüştürülür.

Büyüt

Çıktı katmanını, normalde tüm sözcük dağarcığı üzerinden bir sonraki token’ı puanlayan temel modelden başlatıyor ve yalnızca A, B veya C gibi önceden tanımlanmış seçenek token’larına karşılık gelen satırları tutuyoruz. Budanmış bu katman daha sonra <|marker|> token’ının gizli durumunu yanıt puanlarına dönüştürmek üzere eğitilir. Tüm sınıflandırma soruları çoktan seçmeli olarak formüle edilebildiği için bu yaklaşım tüm sınıflandırma sorularını kapsar.

Eğitim için çeşitli görevleri (duygu, doğal dil çıkarımı, niyet tespiti, varlık eşleştirme, moderasyon, doğruluk kontrolü, derecelendirmeler vb.) kapsayan yüzlerce herkese açık veri kümesini alıyor ve her örneği yukarıda açıklanan birleşik biçime dönüştürüyoruz: bir durum, bir veya daha fazla soru, bunların seçenekleri ve bir hedef. Altın standart etiketlerimiz varsa hedef tek doğru seçenek olabilir; aksi hâlde seçenekler üzerinde bir olasılık dağılımı olabilir.

v1.3’te, önceden tanımlanmış seçenekler arasından seçim yapmak yerine durumdan metin çıkaran locate özelliğini sunuyoruz. Bir locate sorusu, neyin bulunacağını “konum” gibi kısa bir etiketle ya da “İşin bulunduğu şehrin adını çıkar.” gibi bir talimatla tanımlar. Model, durumdaki tam eşleşen metni başlangıç ve bitiş karakter konumlarıyla birlikte döndürür. Hiç eşleşme bulamazsa boş bir liste döndürür.

Büyüt

Paylaşılan durum sayesinde tek bir istek, aynı girdiyle ilgili locate, sınıflandırma ve puanlama sorularını bir araya getirebilir. Örneğin bir işin kıdemli düzeyde deneyim gerektirip gerektirmediğini sorabilir ve gerekli becerileri çıkarabilir.

Çift yönlü dikkat: modelin her iki yönde de okumasını sağlamak

Modellerimiz güçlü, önceden eğitilmiş üretken omurgalardan yola çıkar; bu omurgaların nedensel dikkat mekanizması her token’ın yalnızca kendisine ve kendisinden önceki token’lara dikkat etmesine izin verir. Ablasyon çalışmalarımız, omurganın tam dikkat katmanlarını çift yönlü hâle getirmenin performansı artırdığını gösterdi; bu nedenle her token’ın girdinin tamamından bağlam alabilmesi için bu tasarımı benimsiyoruz.

Çift yönlü dikkat başka bir tasarım tercihini de beraberinde getirir: Durum ve sorular nasıl etkileşmeli? Performans, yanıt kararlılığı ve önbelleğin yeniden kullanımı açısından farklı sonuçları olan üç dikkat örüntüsünü değerlendirdik:

• Her şey her şeyi görür (v1.2): Durum ve tüm sorular tam çift yönlü dikkatle birlikte işlenir. Durum üzerindeki hesaplama paylaşılır ancak bir sorunun yanıtı, başka neyin sorulduğuna bağlı olarak değişebilir.
• Yalıtılmış sorular (v1.3): Durum tüm sorulara dikkat ederken her soru yalnızca duruma ve kendi token’larına dikkat eder. Sorular paylaşılan durum aracılığıyla birbirlerini yine de dolaylı olarak etkileyebilir ancak sonuçlar daha kararlıdır.
• Tamamen önbelleğe alınabilir: Durum yalnızca kendisine dikkat eder; her soru ise duruma ve kendi token'larına dikkat eder. Durum sorudan bağımsızdır ve istem önbelleğe alma özelliğinden yararlanmak için istekler arasında yeniden kullanılabilir. Durumun soruları görebilmesi birçok görev için çok önemli olduğundan bu yöntemi varsayılan olarak kullanmıyoruz; ancak küçük bir ince ayarla bir model bu yönteme geçirilebilir.

Güçlü performansları ve kararlılıkları nedeniyle sonunda yalıtılmış soruları seçtik.

Büyüt

Eğitim reçetesi

Eğitim, her iki model boyutu için de üç aşamada ilerler. Önce Qwen3.8-27B tabanlı büyük modeli büyük veri kümeleri üzerinde çapraz entropi kullanarak eğitiyor, ardından bunu daha küçük Qwen3.5-4B modeline damıtıyoruz.

İlk aşama, modeli büyük ölçekli derlemler üzerinde tamamen ince ayardan geçirdiğimiz genel eğitim aşamasıdır. Bu aşamada yalnızca modele genel olarak yardımcı olan ve herhangi bir kıyaslama testine özgü olmayan verileri kabul ediyoruz; bu nedenle kıyaslama testlerinin eğitim bölümlerini hariç tutuyoruz.

Bu genel amaçlı model eğitildikten sonra LoRA kullanarak ikinci ve daha ayrıntılı bir aşama yürütüyoruz. Bu aşamada kullanılan veriler belirli alanlara ve görevlere yöneliktir. Dar kapsamlı kazanımlar gözlemlersek veya diğer görevlerde bazı gerilemeler görürsek verileri ilk aşama yerine ikinci aşamada ekliyoruz. LoRA'yı, genel amaçlı modelden çok fazla uzaklaşmamak ve bu belirli alanlara uyum sağlarken performans kaybı riskine girmemek için kullanıyoruz. Amaç, omurga modelin genel bilgisini korurken performansı artırmaktır. Ayrıca LoRA'yı temel modelle yeniden birleştirirken sapmayı daha hassas biçimde kontrol etmek ve ayrılmış veri metriklerini alan içi kazanımların önünde tutmak için bir ağırlık kullanıyoruz.

Son olarak görmeye özgü bir adım ekliyoruz. İkinci aşamaya benzer şekilde görme adımı da başka bir ince taneli uzmanlaşma adımı olarak ele alınır ve temel modele bir ağırlıkla geri birleştirilen bir LoRA adaptörü kullanılır. Bazı görme yetenekleri metin performansı pahasına gelebilir. Modellerin metin üzerinde çok daha fazla kullanıldığını gözlemlediğimiz için metin metriklerini görme metriklerine göre önceliklendiriyoruz.

Her iki metin aşamasında da her biri farklı bir rastgele tohum (seed) kullanan üç çalıştırmanın ortalama ağırlıklarını kullanıyoruz. Bunun, birleştirilmiş modelin performansını ve sağlamlığını artırdığını gördük.

Nihai büyük model elde edildikten sonra aynı üç aşamalı eğitim prosedürünü küçük modele uyguluyoruz. Burada büyük model öğretmen rolündedir: Tahmin ettiği çıktı dağılımı altın etiketlerin yerini alır ve küçük model, kendi tahminleri ile öğretmenin tahminleri arasındaki KL ıraksamasını en aza indirecek şekilde eğitilir. Bu damıtma hedefi, aynı eğitim verileri üzerinde çapraz entropiden daha iyi performans gösterir. Çapraz entropi, kendine özel eğitim verileri bulunan kıyaslamalarda daha iyi sonuç verse de ayrılmış verilere daha zayıf genelleme yapar. Damıtmanın, altın etiket dışındaki alternatiflere ilişkin güveni de dahil olmak üzere öğretmenin çıktı dağılımını daha iyi aktardığını, çapraz entropinin ise kıyaslamaya özgü eğitim dağılımına aşırı uyumu teşvik ettiğini varsayıyoruz. Bu nedenle KL tabanlı damıtma hedefini benimsiyoruz.

Eğitim-test kontaminasyonunu azaltmak için, kullandığımız herhangi bir değerlendirmeyle örtüşebilecek tüm eğitim örneklerini kaldırıyoruz. Bu önemlidir, çünkü bazı herkese açık eğitim veri kümeleri, bazı değerlendirme veri kümelerinin büyük bölümlerini içerir. Ayrıca kazanımlarımızın güvenilir olduğundan ve yalnızca öğrenilmiş yanlılıklardan kaynaklanmadığından emin olmak için kapsamlı yanlılık denetimleri yapıyor ve bu yanlılıkları gideriyoruz.

Bilgi çıkarma yeteneği ekleme

locate özelliği, sıradan isteklere nasıl yanıt verdiğini değiştirmeden metinden adlandırılmış varlıklar gibi bilgileri çıkarır. Bunu yapmak için ek bir eğitim aşaması sunuyoruz: Decider’a yeni bir özel token olan <|locate|>, bir span başlığı ve bir LoRA adaptörü ekliyoruz.

<|locate|> token’ının gömmesini, önceki eğitim aşamalarında öğrenilen <|marker|> gömmesiyle başlatıyoruz. Yalnızca bu yeni gömmeyi, span başlığını ve LoRA adaptörlerini eğitirken orijinal omurga ağırlıklarını ve karar başlığını dondurulmuş hâlde tutuyoruz. İstenen her alan kendi <|locate|> token’ını alır.

Aralık başlığı, eşleşen aralıkların nerede başlayıp bittiğini ve hangi başlangıç-bitiş çiftlerinin birbirine ait olduğunu puanlamak için <|locate|> token'ının temsilini durum token'larının temsilleriyle birlikte kullanır. Ayrıca bu puanlar için alana özgü eşikleri tahmin etmek amacıyla <|locate|> token'ının temsilinden yararlanır. Seçilen aralıklar, orijinal metindeki karakter konumları olarak döndürülür.

Aralık başlığını, her altın aralığı eşiğin üzerine ve eşiği de diğer tüm aralıkların üzerine iten uyarlanmış bir InfoNCE kaybıyla eğitiyoruz. Kaybın iki terimi vardır: Birincisi, doğru aralıkların puanlarını eşiğin ve yanlış aralıkların üzerine iter. İkinci terim ise eşiği yanlış aralıkların puanlarının üzerine iter. Yanıtı olmayan alanlar yalnızca ikinci terimi alır; bu da modele boş bir liste döndürmeyi öğretir.

Adlandırılmış varlık tanıma, PII tespiti ve çıkarımsal soru yanıtlama dahil olmak üzere çeşitli metin aralığı (span) çıkarma görevlerinin bir karışımıyla eğitim yapıyoruz. Alan açıklamalarını kısa etiketlerden ayrıntılı talimatlara kadar çeşitlendiriyoruz; böylece model sabit bir etiket kümesini ezberlemek yerine isteği takip etmeyi öğreniyor.

Locate, modele yapısal olarak farklı bir görev öğretir ve biz bunu, modelin zaten iyi yaptığı şeyleri kaybetmeden eklemek istiyoruz. Locate adaptörlerini omurgayla birleştirmek, karar isteklerinde bir miktar gerilemeye neden oluyor. Bunu sınırlamak için önceki aşamalardan daha fazla tekrar verisi kullanmak ve modelin karar isteklerindeki çıktılarını orijinal modelinkilere yakın tutan yardımcı hedefler eklemek gibi araştırmalar yürütüyoruz. Ancak birleştirmenin şu anda hâlâ kayıpsız olmadığını görüyoruz; bu nedenle adaptörleri birleştirmeden tutuyor ve yalnızca locate istekleri için etkinleştiriyoruz.

Değerlendirme

Decider v1.3 ve Decider Flash v1.3'ü Hugging Face Decision Index, Vals AI'ın ClaimBench kıyaslaması ve Artificial Analysis Decision Index kaynaklı harici kıyaslamalar üzerinde değerlendiriyoruz.

Bu değerlendirmelerin tamamında modellerimiz güçlü bir performans sergiliyor. Bu lider tabloları özel olarak tutulan görevler içerse de tekrarlanan gönderimler ve lider tablosu geri bildirimlerine dayalı yinelemeli ayarlamalarla yine de manipüle edilebilir. Bu lider tablolarını tamamlamak için modelleri, özel üretim görevlerini herkese açık ve kıyaslama amaçlı olmayan veri kümelerinden alınan ayrılmış değerlendirmelerle birleştiren şirket içi bir paket üzerinde değerlendiriyoruz. Bu değerlendirmeler, herkese açık kıyaslamaların ötesinde genelleme konusunda ek bir kontrol sağlar ve daha kapsamlı iyileştirmeleri tanıdık değerlendirme paketlerine özgü kazanımlardan ayırt etmemize yardımcı olur.

Şirket içinde, sınıflandırma, puanlama, yeniden sıralama ve varlık çıkarımı gibi çeşitli alanları ve görevleri kapsayan 200’den fazla görevden oluşan bir paket oluşturduk. Decider’ın gerçek dünyadaki performansını dürüstçe değerlendirmek için tüm değerlendirmeler, göreve özgü ince ayar yapılmadan zero-shot olarak gerçekleştirilir; bu da modeli nerede geliştirmemiz gerektiğine dair bize net bir sinyal verir.

Sorgu sınıflandırması

Perplexity’de her kullanıcı sorgusunu işlemek için çok başlıklı bir sınıflandırma sistemi kullanıyoruz. Her sorgu önce özellik çıkarıcı görevi gören bir gömme (embedding) modelinden geçirilir. Ortaya çıkan gömme daha sonra hem ikili hem de çok etiketli sınıflandırıcılar dahil olmak üzere birden fazla ayrı sınıflandırma başlığına beslenir. Örneğin başlıklardan biri, bir kullanıcı sorgusunun web aramasını tetikleyip tetiklememesi gerektiğini belirler.

Referansları öncü bir LLM tarafından bağımsız olarak yeniden etiketlenmiş 63 sınıflandırma görevinde Decider v1.3, %91,6 ortalama doğruluk elde ederek üretimdeki sınıflandırıcılarımızı 6,54 yüzde puan geride bırakıyor. Decider Flash v1.3 de üretimdeki referans sistemden daha iyi performans gösteriyor; Decider v1.3 ise Jev 1.14’ü de geride bırakıyor.

Büyüt

Alana özgü sınıflandırma

Karar modellerinin yedi alandaki sınıflandırma performansını değerlendirmek için herkese açık veri kümelerinden alana özgü bir değerlendirme paketi oluşturduk: iddia doğrulama (6 görev), sağlık (7), siber güvenlik (8), programlama (16), kamu (7), hukuk (9) ve finans (9).

Örneğin, “bir Python programının zaman karmaşıklığını değerlendir” veya “bir şirketin kısıtlanmamış nakdinin önümüzdeki on iki ay içinde vadesi gelen borç anaparasını karşılayıp karşılamadığını belirlemek için yıllık finansal raporu kullan”. Decider v1.3 yedi alanın tamamında önde yer alıyor ve Jev 1.14’ü finansta 12,9 yüzde puana, hukukta ise 9,3 puana varan farklarla geride bırakıyor. Decider Flash v1.3 ise finans, programlama ve hukukta Jev 1.14’ün gerisinde kalıyor, diğer alanlarda benzer performans gösteriyor.

Büyüt

Erişim ve yeniden sıralama

Arama, Perplexity’nin merkezinde yer alır. Modellerimizin yeniden sıralama performansını değerlendirmek için geniş bir erişim görevleri paketi sürdürüyoruz. Her görev için önce bir gömme modelleri havuzu kullanarak her derlemden en iyi 50 aday belgeyi getiriyoruz. Ardından bu adayları Decider ile yeniden sıralıyor ve performansını güçlü bir yeniden sıralayıcı referans modeli olan Qwen3-Reranker-8B ile karşılaştırıyoruz.

Decider’ı zero-shot, noktasal (pointwise) bir düzende değerlendiriyoruz; model her sorgu–belge çiftini doğrudan ve bağımsız olarak puanlıyor ve belgeleri alaka düzeyine göre sıralıyor. 72 erişim görevinde Decider v1.3 ortalama 83,99 nDCG@10 değerine ulaşarak Qwen3-Reranker-8B’yi 1,81 puan, Jev 1.14’ü ise 2,24 puan geride bırakıyor.

BEIR kıyaslama testinde her iki model de Qwen3-Reranker-8B’yi sırasıyla 8,78 ve 7,05 nDCG@10 puan farkla geride bırakıyor. Jev 1.14 ile karşılaştırıldığında Decider v1.3 1,33 puan daha yüksek, Flash sürümü ise 0,4 puan daha düşük puan alıyor.

Büyüt

Çok dilli sınıflandırma

Karar modellerini İngilizcenin ötesinde değerlendirmek için 8 herkese açık veri kümesinden alınan 19 dile özgü görevden oluşan ve sekiz dilde 46.484 örnek içeren çok dilli bir sınıflandırma kıyaslama testi oluşturduk: Almanca, İspanyolca, Fransızca, İtalyanca, Rusça, Japonca, Korece ve Çince. Kıyaslama testi niyet tespiti, konu sınıflandırması, duygu analizi, doğal dil çıkarımı, açımlama (paraphrase) tespiti, saldırgan dil tespiti ve dilbilgisel kabul edilebilirliği kapsıyor.

Her görevi eşit ağırlıkla değerlendirerek her dildeki görevler genelinde ortalama doğruluğu raporluyoruz. Decider v1.3 sekiz dilin tamamında, Decider Flash v1.3 ise altısında Jev 1.14’ü geride bırakıyor; ortalama görev doğrulukları Decider v1.3 için %88,16, Decider Flash v1.3 için %86,50, Jev 1.14 için ise %85,41.

Büyüt

NER, PII ve çıkarımsal soru-cevap

locate özelliğini, çıkarım yeteneğini çeşitli alanlarda, girdi biçimlerinde (metin, tablolar, yapılandırılmış belgeler) ve talimatlarda (kısa etiketler, sorular ve ayrıntılı açıklamalar) test eden 17 alan dışı görevde değerlendiriyoruz. Alanlar Wikipedia’dan bilimsel makalelere, siber tehdit raporlarına, teknik desteğe, gizlilik politikalarına, özgeçmişlere ve hukuki sözleşmelere kadar uzanıyor. İstekler ise “kişi” veya “e-posta adresi” gibi kısa etiket adlarından bir tablo ya da destek talebiyle ilgili sorulara, oradan da bir NDA’nın tarafları veya bir faturadaki toplam tutar gibi yapılandırılmış çıkarım için ayrıntılı alan açıklamalarına kadar uzanıyor.

NER ve PII görevlerini, tahmin edilen aralıkların referans sınırlarıyla tam olarak eşleşmesini gerektiren tam aralık F1 ölçütüyle değerlendiriyoruz. Çıkarımsal soru yanıtlama (QA), örtüşen yanıt metni için kısmi puan veren karakter düzeyinde F1 kullanırken yapılandırılmış çıkarım, doğru çıkarılan alanların oranı olan alan doğruluğunu kullanır. Özgeçmiş (CV) ayrıştırma için NER ve PII tam aralık F1 puanlarının ortalamasını alıyoruz.

Modellerimizi farklı boyutlardaki genel amaçlı çıkarım modelleriyle karşılaştırıyoruz: GLiNER large v2.5 (0,5B), Liquid d1 (2B) ve Cloudflare’in Clairic modeli (açıklanmamış). Decider v1.3 ortalama 69,0 puana (her görevin birincil metriği kullanılarak), Decider Flash v1.3 ise 63,6 puana ulaşırken bu değer Liquid d1 için 43,3, Clairic için 41,5 ve GLiNER large v2.5 için 33,6. Her iki Decider modeli de tüm kategorilerde önde.

Büyüt

Görüntü sınıflandırma

Decider, v1’den bu yana görme görevlerini yerel olarak destekliyor. Metnin ötesindeki performansını değerlendirmek için faturalar, mektuplar ve özgeçmişler dahil olmak üzere belge sınıflandırmasına özellikle odaklanan beş görevlik bir kıyaslama paketi oluşturduk. Paket ayrıca uydu görüntüsü sınıflandırması, doku sınıflandırması, evcil hayvan ırkı sınıflandırması ve hayvan sayımını da kapsıyor.

Decider v1.3, beş görsel görevde ortalama %76,99 doğruluk elde ederek Jev 1.14’ü 1,47 yüzde puan geride bırakıyor. Decider Flash v1.3 ise %72,77’ye ulaşarak daha küçük bir modelde görsel sınıflandırma yeteneklerini ortaya koyuyor.

Büyüt

Gerçek dünyadaki karar istekleri

Perplexity Decision API’ye kullanıma sunulduğu ilk 18 gün içinde gönderilen, tekilleştirilmiş ve kişisel tanımlayıcı bilgileri (PII) maskelenmiş bir milyon isteği örnekledik. Her istek aynı durumla ilgili birden fazla soru içerebildiğinden örneklem 2.318.887 ayrı sorudan oluşuyor. Tüm istekler, araştırma amacıyla açık kullanıcı izniyle dahil edildi.

Üretim ortamındaki istekler doğruluk etiketleriyle (ground truth) gelmez; bu nedenle referans yanıtlar oluşturmak için öncü LLM hakemleri kullanıyor ve her modelin bu yanıtlarla uyumunu ölçüyoruz. Ayrıca istekleri bilgi çıkarımı, alan sınıflandırması, duygu analizi, niyet ve yönlendirme, alaka sıralaması, içerik moderasyonu, kalite ve uyumluluk incelemesi, varlık eşleştirme, iş analizi ve “Diğer” kategorisi dahil olmak üzere 10 görev kategorisine ayırıyoruz. Bu döküm, performansın gerçek dünyadaki kullanım senaryolarına göre nasıl değiştiğini gösteriyor.

Görev dağılımı dengesiz: bilgi çıkarımı 425.402, alan sınıflandırması 409.564 ve duygu analizi 344.158 soruyu oluşturuyor. Bu üç kategori birlikte örneklenen soruların %50,8’ini oluşturuyor.

Decider v1.3, %93,98 ile hakemlerle en yüksek uyumu elde ediyor; bu oran Decider v1.2 için %93,68, Jev 1.14 için ise %93,35. Decider v1.3 ve Jev 1.14, alan sınıflandırması ve duygu analizinde sırasıyla 0,34 ve 0,07 yüzde puanlık farklarla birbirine çok yakın. Jev alaka sıralamasında 0,69 puan önde olurken Decider v1.3 bilgi çıkarımında (örneklemdeki en yaygın görev) 0,93 puan, niyet ve yönlendirmede ise 1,21 puan önde.

Büyüt

Aşağıdaki grafik, aynı bir milyon üretim isteğini çalıştırmanın raporlanan maliyetini karşılaştırıyor. Her istek birden fazla soru içerebildiğinden buradaki birim tek tek sorular değil isteklerdir.

Büyüt

Sağlamlık

Etiket hassasiyetini 372 çoktan seçmeli soru üzerinde değerlendirdik ve model başına 4.788 istek gönderdik. Her sorunun anlamını koruyarak seçeneklerin sırasını değiştirdik, etiketleri yanıt metinlerine yeniden atadık ve etiketleri yeniden adlandırdık; ardından modelin anlamsal yanıtının değişip değişmediğini kontrol ettik. Daha düşük değişim oranları daha yüksek kararlılığa işaret eder.

Decider v1.3, her dönüşümde soruların yalnızca %0,27’sinde yanıtını değiştirirken bu oran Jev 1.14 için %2,69–4,84 oldu. Ayrıca hizmet sunumundaki değişkenliği ölçmek için aynı girdileri tekrarladık: Decider v1.3’te hiçbir değişiklik görülmezken Jev 1.14 soruların %1,88’inde yanıtını değiştirdi.

Büyüt

Decider’ı nasıl kullanıyoruz

Decider, hızlı ve yapılandırılmış kararlar gerektiren iş akışları için geliştirildi. Bu bölümde, çalışma biçimimiz üzerinde anlamlı bir etki yaratmak için bunlardan nasıl yararlanabileceğimizi inceliyoruz. İşte öne çıkanlardan bazıları.

Kendini geliştiren güvenlik kuralları

Şirket içinde güvenlik politikalarımızı iyileştirmek için Decider'ı zaten kullanıyoruz.

Ajanlarımızın etkinliği kaydedilir ve sorunlu davranışları belirlemek için bir dizi kural tabanlı kontrol gerçekleştirilir. Kural tabanlı bir yaklaşım, ajanlarımızı ihmal edilebilir düzeyde ek gecikmeyle gerçek zamanlı olarak izleyebileceğimiz anlamına gelir. Çevrimdışı olarak ise kaydedilen bu ajan günlüklerinden alınan örnekleri incelemek için Decider’ı kullanırız. Herhangi bir sorunlu davranış işaretlenmediyse Decider, kural setimizin gözden kaçırdığı bir şey olup olmadığını kontrol eder; bir alarm verildiyse de bunun yanlış alarm olup olmadığını kontrol eder. Kural setimizin her iki durumda da başarısız olduğu tüm kayıtlar triyaj için bir ajana gönderilir ve kurallar için, güvenlik ekibimizden bir üyenin onayına sunulacak bir düzeltme önerilir.

Decider bir günde 7.000 ajan oturumunda 1 milyar token okudu ve 14 kural düzeltmesine yol açan kusurlar tespit etti; bunların 6’sı iki gün içinde onaylanıp yayına alındı. Bir haftalık günlükler üzerinde yeniden oynatıldığında düzeltmeler en yoğun kuralımızın hacmini %52 azalttı ve genişletilen kurallar, incelenmesi gereken meşru eylemlerden yaklaşık %40 daha fazlasını yakaladı.

Büyüt

RL rollout’larını izleme

Modelleri pekiştirmeli öğrenmeyle son eğitimden (post-training) geçirdiğimizde, nihai ödül gibi toplu metrikler bir rollout’un (bir görevdeki tek bir deneme) neden başarılı ya da başarısız olduğunu açıklamaz. Bir rollout, bir araç hizmeti veya korumalı alan başarısız olduğu için haksız yere ödül kaybedebilir ya da değerlendirici, hiçbir aracın döndürmediği uydurma bir değer gibi desteklenmeyen bir iddiayı gözden kaçırırsa hak edilmemiş bir ödül alabilir.

Bu durumlar için rollout’ları izlemek amacıyla Decider’ı kullanıyoruz. Önce kod, bir rollout’un daha yakından incelenmesi gereken kısımlarını belirler: başarısız bir araç çağrısı ve çevresindeki akıl yürütme, hatasız çalışan kod veya nihai yanıt. Ardından Decider her kısımla ilgili çoktan seçmeli soruları yanıtlar; örneğin bir adımda neyin başarısız olduğu (bir araç hizmeti, harici bir site, korumalı alan, harness veya ajanın kendi kodu) ve ajanın sonucu doğru yorumlayıp yorumlamadığı gibi. Belirli bir kısımla ilgili tüm soruları tek bir istekte topluyor ve bir hüküm yerine olasılıkları saklıyoruz; böylece Decider’ı yeniden sorgulamadan eşikleri daha sonra ayarlayabiliyoruz. İzleyici yalnızca gözlemler ve teşhis eder: hiçbir zaman bir ödülü değiştirmez veya bir çalıştırmayı durdurmaz.

Büyüt

Sayfa kalitesine göre filtreleme

Dizine eklemek ve kullanıcılara sunmak için web sayfalarını tararken birçok sayfa işe yaramayacak kadar düşük kalitededir. Bunlar arasında bot engelleme duvarları, CAPTCHA’lar ve hata sayfalarının yanı sıra doğru yüklenen ancak spam, SEO dolgusu veya yalnızca gezinme içeren sayfalar gibi yararlı hiçbir bilgi içermeyen web sayfaları da bulunur. Bu düşük kaliteli sayfaların tespit edilip dizinimizden filtrelenmesi gerekir.

Decider sayesinde sayfaları tararken kalitelerini değerlendirebiliyoruz. Aynı ileri geçişte, içeriğin konu alanını ve hedef kitlesini belirlemek, zararlı, yasa dışı veya kişisel olarak tanımlanabilir bilgi içerip içermediğini tespit etmek gibi bir dizi başka sınıflandırma görevini de gerçekleştiriyoruz. Bir LLM değerlendiricisi kullanmaya kıyasla Decider çok daha hızlı ve ucuzdur.

Büyüt

Bu şirket içi kullanımların ötesinde Decider, aşağıdakiler gibi iş akışlarına da uygundur.

Görsel soru-cevap

Decider görüntüleri okuyabildiği için görsel bir denetleyici olarak da çalışır; web sayfalarındaki veya uygulamalardaki stil değişikliklerini inceler ve hataları tespit eder. Bir değişiklik yayına alınmadan önce sayfa ekran görüntülerini kırpılmış metin, çakışan öğeler ve bozuk düzenler açısından inceleyebilir ya da tasarımı okuru yanıltabilecek veya bir marka kılavuzunu ihlal edebilecek grafikleri işaretleyebilir.

Büyüt

Tarayıcı gezintisi

Ajanlar, daha büyük görevlerin içindeki küçük kararlar için Decider’ı kullanabilir. Bir tarayıcı ajanı her adımda bir ekran görüntüsü gönderip sayfanın durumu ve olası her eylemin beklenen sonucu hakkında ayrıntılı bilgi alabilir.

Büyüt

Araştırma görevlerini planlama

Kullanıcıların sorularının karmaşıklığı ve bir yanıt bulmak için yapılması gereken aramanın derinliği büyük ölçüde farklılık gösterebilir. Decider bunu arama başlamadan önce tahmin edebilir ve böylece basit sorulara daha az kaynak harcanmasını sağlar.

Büyüt

Başlarken

Decider olasılık döndürür. Uygun karar eşiği uygulamaya bağlıdır. Etiket sıklıkları ile yanlış pozitif ve yanlış negatiflerin göreli maliyetleri kullanım senaryolarına göre farklılık gösterir. Bu nedenle kullanıcıları, sabit bir kesme değerinin tüm görevlerde eşit derecede iyi çalışacağını varsaymak yerine eşikleri küçük ve temsili, etiketlenmiş bir geliştirme kümesi üzerinde ayarlamaya teşvik ediyoruz.

Nüanslı değerlendirmeler, ayrıntılı değerlendirme ölçütleri ve hataların maliyetli olduğu iş akışları için Decider v1.3'ü kullanmanızı öneriyoruz. Gecikme ve maliyetin temel kısıtlar olduğu yüksek hacimli yönlendirme, etiketleme ve filtreleme işleri için Decider Flash v1.3'ü seçin. Her iki modeli de iş yükünüzden alınan temsili örnekler üzerinde değerlendirin, ardından kalite, gecikme ve bütçe gereksinimlerinizi karşılayan modeli seçin.

Her iki model de Apache lisansı altında Hugging Face üzerinde indirilebilir ağırlıklar olarak, ayrıca OpenRouter ve Perplexity Decisions API aracılığıyla kullanılabilir.

Atıf

@online{perplexity2026PerplexityDecider,
  author = {{Perplexity} and Antoine Chaffin and Jonas Golde and Louis Milliken and Sarah Eslami and Markus Krimmel and Nandor Licker and Aleksandr Nikolenko and Ron Heichman and Bo Wang and Jarrod Bryan and Jeremy Yang and Denis Yarats},
  title = {{Perplexity Decider}},
  date = {2026-11-12},
  url = {https://www.perplexity.ai/hub/blog/perplexity-decider}
}