Arama Artırılmış Dil Modellerini İlerletmek

Son teknoloji web arama ajanlarını eğitmek, birden fazla hedefin eş zamanlı olarak optimize edilmesini gerektirir: olgusal doğruluk, yörünge verimliliği ve kullanıcı tercihi uyumu. Ancak herhangi bir boyutu tek başına iyileştirmek genellikle diğerlerini kötüleştirir: yalnızca doğruluk için eğitilen modeller araçları aşırı kullanma eğilimindeyken, kısalık için optimize edilen modeller ise güvenilirlik veya eksiksizlikten ödün verebilir. Perplexity'de bu sonuçların hiçbirikabul edilebilir değildir.

Bu makale, açık kaynaklı modellere dayanan son teknoloji web arama ajanları geliştirmek için Perplexity'nin eğitim sonrası (post-training) boru hattını (pipeline) açıklamaktadır. Temel bir fikir, arama ajanı eğitiminde veri kürasyonu (curation) ve ödül tasarımının birlikte tasarlanması gerektiğidir: veriler hangi davranışların gözlemlenebilir ve doğrulanabilir olduğunu belirler, ödül ise bu sinyallerin optimizasyon sinyaline nasıl dönüştürüleceğini belirler. Bu ilke, iki aşamalı boru hattımızı motive eder: ilk olarak politika modelini başlatmak için bir Denetimli İnce Ayar (Supervised Fine-Tuning - SFT) ısınması gerçekleştirir ve ardından küratörlüğü yapılmış bir veri kümesi ile dikkatlice tasarlanmış ödüller üzerinden Pekiştirmeli Öğrenme (Reinforcement Learning - RL) kullanarak politika modelini iyileştiririz. Bu iki aşamalı yaklaşım, üretim kısıtlamaları altında doğruluk, verimlilik ve yanıt kalitesinde güvenilir kazanımlar sağlar.

Öncelikle iki aşamalı eğitim boru hattımızı (SFT → politika içi RL) açıklıyor, ardından hem doğrulanabilir arama ajanı Soru-Cevap (QA) hem de rubrik tabanlı genel sohbet konularını kapsayan RL eğitim verisi yapımızı ele alıyoruz. Ardından, ödül hacklenmesini (reward hacking) azaltırken kalite ve verimliliği dengeleyen, bu heterojen veri ortamından türetilmiş bir bileşik ödül tasarımı sunuyoruz. Son olarak eğitim dinamiklerini ve kıyaslama (benchmark) sonuçlarını analiz ediyoruz.

İki aşamalı bir eğitim sonrası tarifi benimseriz: (i) koruma rayları (ör. kaçınma), yönerge takip etme ve dil tutarlılığı gibi dağıtım açısından kritik davranışları oluşturmak için SFT ve (ii) ilk aşamadaki davranışları korurken yanıt doğruluğu ve araç kullanım verimliliği dahil olmak üzere arama yeteneğini geliştirmek için politika içi (on-policy) RL.

Neden iki aşama? Arama kalitesini ve dağıtım kısıtlamalarını tek bir RL aşamasında ortaklaşa optimize etmek, en azından bir hedefden ödün vermeden zordur. Ampirik olarak, yalnızca RL ile eğitim arama performansını artırır ancak dağıtım koruma raylarında yetersiz kalma eğilimindedir; buna karşılık SFT ise arama performansı pahasına uyumluluğu artırır. Hedefleri birbirinden ayırmak, SFT aşamasının öncelikle müzakere edilemez gereksinimleri ele almasını sağlar; bundan sonra RL, ağırlıklı olarak arama yeteneğini geliştirmeye odaklanabilir.

Qwen3 model ailesinden (Qwen3.5-122B-A10B ve Qwen3.5-397B-A17B) (Yang ve ark., 2025, Qwen3.5 blog yazısı) başlayarak, temel modelin genel arama yeteneğini korurken yukarıda açıklanan dağıtım açısından kritik davranışları hedefleyen iki bileşenli bir SFT karışım veri kümesi oluşturuyoruz.

Tercih odaklı örnekler. Ton, dil tutarlılığı, netlik ve biçimlendirmeyi hedefleyen yönerge takip ve stil odaklı örnekler küratörlükle seçiyoruz. Bu örneklerin benzersiz bir temel gerçekliğe (ground truth) sahip olması gerekmez; bunun yerine ürün yazma gereksinimlerini yansıtmak ve çeşitli sorgu türleri arasında biçimsel tutarlılığı sağlamak için seçilirler.

Üretim formatında araç kullanım yörüngeleri. Ampirik olarak, dikkatli veri kümesi kürasyonu olmaksızın yapılan SFT'nin temel modelin arama yeteneğini önemli ölçüde bozabileceğini görüyoruz. Bunu hafifletmek için, çeşitli etkileşim kalıpları (tek, iki ve çok turlu) genelinde sorguları ve dahili görevleri örnekliyor ve bunları araç çağrı donanımımızla (tool-calling harness) etiketliyoruz.

SFT kontrol noktasından (checkpoint) başlayarak, arama doğruluğunu ve verimliliğini artırmak için politika içi RL uyguluyoruz. Politika modelini Grup Göreceli Politika Optimizasyonu (Group Relative Policy Optimization - GRPO) (Shao ve ark., 2024) kullanarak optimize ediyoruz.

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

burada $G$ grubun boyutunu, $o_{i}$ $i$ . örneklenen çıktıyı ve $\hat{A}_{i, t} = \hat{A}_{i}$ avantajı belirtir. Ödül tasarımı, ödül tasarımı bölümünde ayrıntılı olarak açıklanmıştır; kısaca, temel doğruluğu tercih tabanlı ve sabitlenmiş (anchored) verimlilik şekillendirmesiyle birleştiriyoruz. Önceki çalışmalara (Liu ve ark., 2025a; Yao ve ark., 2025; Zheng ve ark., 2025a) bağlı olarak, eğitim-çıkarım uyumsuzluğunu düzeltmek için belirteç düzeyinde (token-level) Önem Örneklemesi (Importance Sampling - IS) uyguluyoruz:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

Dizi düzeyinde IS (Zheng ve ark., 2025b), yönlendirme yeniden oynatma (routing replay) (Ma ve ark., 2025; Zheng ve ark., 2025b) ve eğitim sırasında çıkarım motorunun çekirdeğini entegre eden biteviye tutarlı (bitwise consistent) eğitim (vLLM ve TorchTitan Ekipleri, 2025) dahil olmak üzere eğitim-çıkarım uyumsuzluğunu hafifletmek için birkaç yaklaşımı değerlendiriyoruz. Ampirik olarak, politika içi ortamımızda, belirteç düzeyinde IS'nin uygulanması basit kalırken eğitim çöküşünü önlemek için yeterli olduğunu buluyoruz; bu, Zheng ve ark.'nın (2025a) bulgularıyla tutarlıdır.

RL eğitim verilerimiz iki tamamlayıcı bileşenden oluşur: genel arama yeteneğini hedefleyen doğrulanabilir arama ajanı Soru-Cevap (QA) ve RL eğitim aşaması sırasında gerilemeyi önlemek için dağıtım koruma raylarını açıkça pekiştiren rubrik tabanlı genel sohbet.

Veri kümesi oluşturma. Sıralı genişletme yöntemini (Tao ve ark., 2025) takip ederek, küratörlüğü yapılmış bir bilgi grafiğine güvenmeden, boru hattını hafif ve yenilenmesi kolay tutarak dahili başlangıç (seed) sorgularından kurum içi sentetik bir Soru-Cevap veri kümesi oluşturuyoruz. Her sentetik örnek şu adımlarla oluşturulur:

Başlangıç (Seed) seçimi. Başlangıç sorguları için belgeleri alır ve başlangıç noktaları olarak çok kaynaklı gerçek onayına sahip varlıkları seçer, bunlar hakkında atomik ifadeler çıkarırız.
Çok adımlı zincir oluşturma. Başlangıç varlığının ifadelerinden, ikinci bir varlığı tanıtan birini seçeriz (örneğin, "The Mom Test" başlangıcı için, "Rob Fitzpatrick tarafından yazılmıştır" ifadesi yazarı sonraki varlık olarak tanıştırır). Her varlığın farklı olmasını ve hiçbir tekil ifadenin nihai yanıtı kolayca ele vermemesini sağlayarak bu bağlama sürecini 2–4 kez tekrarlarız.
İsimsiz soru sentezi. Varlık zincirini, varlık adlarını birbirine bağlayan ifadeleriyle özyinelemeli olarak değiştirerek çok adımlı akıl yürütme gerektiren iç içe bir soru oluşturup bir soruya dönüştürürüz.
Doğrulama. Yalnızca birden fazla bağımsız web özellikli çözücü tarafından doğrulanan benzersiz yanıtlara sahip soruları tutarız.

"The Mom Test" başlangıç sorgusunu ele alalım. Belgeleri alır ve bu kitabı başlangıç varlığı olarak belirleriz, ardından atomik olgusal ifadeler çıkarır ve yinelemeli olarak bir varlık zinciri kurarız: (i) The Mom Test Rob Fitzpatrick tarafından yazılmıştır, bu da Rob Fitzpatrick'i tanıtır; (ii) Rob Fitzpatrick'in ilk girişimi Y Combinator'dan (Yaz 2007) geçmiştir, bu da Y Combinator'ı tanıtır; (iii) Y Combinator Mart 2005'te başlatılmıştır. Her varlık adını tanımlayıcısıyla özyinelemeli olarak değiştirmek, isimsiz soruyu verir: "Mart 2005'te başlatılan hızlandırıcının Yaz 2007 kohortundan geçen kişinin ilk girişimi olan kitap hangisidir?" yanıtı ise "The Mom Test"dir.

Biçim çeşitliliği artırımı. Yalnızca ham sentetik Soru-Cevap ile eğitilen modeller, sorgunun nasıl ifade edildiğine bakılmaksızın biçimlendirme tercihlerini yok sayma ve sabit bir yanıt yapısına varsayılan olarak geçme eğilimindedir. Biçim çeşitliliğini artırmak için, temel yanıtı değiştirmeden bırakarak veri kümesini açık biçimlendirme yönergeleri içeren sorgularla (ör. “... listesini göster” veya “... bir tabloda özetle”) zenginleştiriyoruz.

Açık kaynaklı doğrulanabilir Soru-Cevap (temel çizgi - baseline). Kalite filtrelemesiyle artırılmış komut istemi (prompt) formatımız altında birleştirilmiş beş açık kaynaklı veri kümesinden (Lu ve ark., 2025; Pham ve ark., 2025; Press ve ark., 2023; Tao ve ark., 2025; Wu ve ark., 2025) bir temel doğrulanabilir Soru-Cevap veri kümesi oluşturuyoruz. Bu karışım, doğrulama deneyimlerimizde birincil temel çizgi (baseline) olarak hizmet eder. Kontrollü karşılaştırmalar için, kurum içi sentetik Soru-Cevap veri kümemizin ölçeğini bu açık kaynaklı karışımla eşleştiriyoruz.

Hızlı doğrulama. Hızlı yineleme sağlamak için Qwen3-30B-A3B-Instruct-2507 kullanarak bu boru hattının etkinliğini doğruluyoruz; sonuçlar Tablo 1'de özetlenmiştir.

Sentetik Doğrulanabilir Soru-Cevap Veri Kümesinin Doğrulanması

Doğrulanabilir Soru-Cevap, arama merkezli sorgular için temiz bir eğitim sinyali sağlasa da, üretim trafiğinin önemli bir kısmı benzersiz bir şekilde doğrulanabilir değildir (ör. yeniden yazma, planlama ve açık uçlu yardım). Bu tür sorguların RL'den hariç tutulması, politika modelinin gerçek kullanıcı etkileşimleri için yetersiz optimize edilmesine neden olur. Dahası, SFT aşaması dağıtım açısından kritik koruma rayları oluştururken, verilerle açıkça pekiştirilmediği sürece RL bunlarda gerileme yaşayabilir.

Dağıtım açısından kritik gereksinimleri (yönerge takip etme, biçimlendirme kısıtlamaları ve güvenlik kuralları) bir yanıtın sağlaması gereken atomik, nesnel olarak kontrol edilebilir kriterler olan rubriklere dönüştürerek doğrulanamayan sorguları RL eğitimine dahil ediyoruz. Sorgu başına rubrik setleri oluşturarak rubrik tabanlı veri oluşturmayı (Gunjal ve ark., 2025; Liu ve ark., 2025b) benimseriz.

Rubrik üretimi. Tam konuşma geçmişi göz önüne alındığında, bir LLM'den bir referans yanıt ve buna karşılık gelen bir rubrik seti üretmesini isteriz. Rubrikler sabit bir öncelik sırasına göre türetilir: kullanıcı tarafından açıkça belirtilen gereksinimler öncelik kazanır, ardından iç kısıtlamalar ve son olarak referans yanıttan çıkarılan gerekli içerik gereksinimleri gelir. Her rubrik şunları sağlamalıdır:

Atomik: tek, iyi tanımlanmış bir kontrol;
Nesnel: öznel yargı olmaksızın doğrulanabilir;
Gerekli: yalnızca stilistik bir tercih değil, sorguyu yanıtlamak için gerekli.

Sorgu.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rubrikler.

Yanıt İngilizce olarak yazılmıştır.
Düzeltilen ifade "lodging" ve "boarding" kelimelerini içermektedir.
Düzeltilen ifade, "man power" yerine tek bir kelime olarak "manpower" kelimesini kullanır (örneğin, "manpower plan" veya "manpower planning").
Düzeltilen ifade gayri resmi kısaltma belirteçleri olan "u" veya "Plz" içermez ve "&" ampersand karakterini içermez.
Yanıt, type öğesinin bir veri kaynağını (örneğin, web, chart, memory, attached_file) belirttiği \\[type:idx\\] biçimindeki alıntı işaretlerini içermez.

Rubrik kalibrasyonu. Aşırı katı veya aşırı hoşgörülü rubrik setlerinden kaçınmak için pass@4 filtresi uygularız. Her sorgu için dört bağımsız yanıt örnekler ve bunları bir yönerge takip eden yargıç (instruction-following judge) ile tam rubrik setine göre değerlendiririz. Hiçbir yanıtın rubrik setini karşılamadığı veya tüm yanıtların karşıladığı sorguları atarak, yalnızca bilgilendirici eğitim sinyali sağlayanları tutarız.

Çok amaçlı RL'deki pratik bir zorluk, veri bileşenleri arasındaki varyans dengesizliğidir (Duchi ve Namkoong, 2016; Liu ve ark., 2026; Qi ve ark., 2026). Hem doğrulanabilir Soru-Cevap hem de rubrik tabanlı veriler ikili (binary) ödüller verse de görev zorluğu açısından önemli ölçüde farklılık gösterirler: rubrik memnuniyeti genellikle eğitimin başlarında elde edilmesi daha kolaydır; bu durum, daha zor olan doğrulanabilir Soru-Cevap sinyaline kıyasla politika optimizasyonuna aşırı derecede baskın gelebilecek daha büyük ve daha sık gradyan güncellemeleri üretir. Bunu ele almak için, bileşenler arasındaki optimizasyon sinyalini dengelemek amacıyla veri kümesi düzeyinde komut istemi karışımını yeniden ağırlıklandırıyor, doğrulanabilir Soru-Cevap'tan %90 ve rubrik tabanlı verilerden %10 örnekliyoruz.

Ödül tasarımımız doğrudan yukarıda açıklanan veri oluşturmadan türetilir. Hem doğrulanabilir Soru-Cevap hem de rubrik görevlerini kapsamasına rağmen, tüm eğitim verileri ortak bir temel ödül yapısını paylaşır: bir çıktı (rollout), Soru-Cevap görevleri için doğru bir yanıt ürettiğinde veya genel sohbet için belirtilen tüm rubrikleri karşıladığında kredi alır. Bu ortak temel üzerine inşa ederek, tercih tabanlı puanlama ve verimlilik şekillendirmesini dahil etmek için bileşik bir ödül oluşturuyoruz.

İlk deneyimlerde gözlemlenen temel bir zorluk, ödül hacklenmesiydi: ödüllerin basit bir doğrusal kombinasyonu, güçlü tercih sinyallerinin olgusal veya yönetsel hataları telafi etmesine izin veriyordu. Bu nedenle, resmi olarak şu şekilde tanımlanan kapılı toplama (gated aggregation) yöntemini temel bir tasarım ilkesi olarak benimseriz:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

burada $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ Soru-Cevap doğruluğunu veya rubrik memnuniyetini, $s(\tau_i)\in[0,1]$ tercih puanını ve $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ sabitlenmiş bir verimlilik cezasını belirtir. Bu, gereksiz araç kullanımını ve ayrıntıcılığı (verbosity) caydırmaya devam ederken, doğruluğu tercih kredisi almak için gerekli bir koşul haline getirir. Şekil 1, bileşenlerini aşağıda açıkladığımız tam ödül boru hattını göstermektedir:

Ödül tasarımına genel bakış. Bir temel doğruluk sinyalini (doğrulanabilir/rubrik), bir Bradley–Terry tercih puanını ve sabitlenmiş verimlilik cezalarını birleştiriyoruz. Tercih, ödül hacklenmesini önlemek için temel doğruluk tarafından kapılanır (gated).

Görev doğruluğunu veya yönerge uyumluluğunu yakalayan ikili bir temel sinyal tanımlıyoruz. Doğrulanabilir arama ajanı verileri için, nihai yanıt temel gerçeklikle eşleşiyorsa , aksi takdirde olur. Rubrik tabanlı genel sohbet verileri için, tüm rubrikler karşılandıysa , aksi takdirde olur. Bu temel çizgi, koşullu toplama kuralı Eşitlik 2'de sert kapı görevi görür. $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ $r_{\mathrm{base}}(\tau_i)=1$ $0$ $r_{\mathrm{base}}(\tau_i)=1$ $0$

Politika modelini, LLM-yargıç komut istemleriyle yakalanması zor olan, yanıt kalitesi üzerindeki kullanıcıların gizli tercihleriyle (bilgilendiricilik, netlik ve profesyonel ton) uyumlu hale getirmeyi amaçlıyoruz. Bu nedenle, bu nitelikleri doğrudan puanlamak için öğrenilmiş bir tercih ödül modeli eğitiyoruz.

Tercih öğrenmesini Bradley–Terry çerçevesi altında formüle ediyoruz. Bir $x$ bağlamı ve iki $y_a, y_b$ aday yanıtı verildiğinde, model $s_{\theta}(x, y) \in \mathbb{R}$ skaler puanlarını üretir ve şunu en aza indirir,

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

burada $r \in \{0, 1\}$ , $y_a$ öğesinin tercih edilip edilmediğini gösterir. Konumsal önyargıyı (positional bias) ortadan kaldırmak için, her eğitim çifti her iki sıralama ile zenginleştirilir ve simetrik olarak optimize edilir,

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

Çıkarım zamanında, her iki permütasyonu ortalamasını alarak konumdan bağımsız bir tercih puanı elde ederiz:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

Çıktı tercih puanı daha sonra $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ olarak tanımlanır; yani aynı komut istemi için politika çıktısının $y_i$ referans model çıktısına tercih edilme olasılığıdır.

Tercih modellemesi için eğitim verileri, küratörlüğü yapılmış açık kaynaklı veri kümelerinden, kullanıcı yan yana geri bildirimlerinden ve dahili etiketlemelerden alınır. Etiket gürültüsünü ele almak için, tutarlı modeller arası anlaşmaya sahip örnekleri yalnızca tutarak, Datbench'ten (DatologyAI, 2026) ilham alan hafif bir filtreleme ve kalibrasyon boru hattı uyguluyoruz. Ödül modeli, dil modelleme başlığı bir değer başlığıyla değiştirilmiş olarak politika modeliyle aynı omurgayı paylaşır. Daha küçük ödül modelleri karşılaştırılabilir tutulan (held-out) doğruluk elde etse de, ampirik olarak ince ayrıntılı tercihleri yakalayamadıklarını ve istenmeyen politika davranışlarını pekiştirebileceklerini görüyoruz.

Açık verimlilik şekillendirmesinin yokluğunda, politika basit komut istemlerinde bile araçları aşırı kullanma eğilimindedir. Koşulsuz cezalars (ör. araç çağrı sayısı veya çıktı uzunluğu ile doğrusal olarak ölçeklenenler) doğal bir temel çizgidir, ancak keşfi bastırdıklarını ve öğrenmeyi bozduklarını görüyoruz. Bu nedenle, her GRPO grubu içindeki etkili çözümlere göre araç kullanımını ve yanıt uzunluğunu düzenleyen grup göreceli, sabitlenmiş cezaları benimseriz. Bir 𝑔 grubu için kazanan setini şu şekilde tanımlarız:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

Sabitlenmiş araç çağrısı cezası. Herhangi bir $\tau_i$ çıktısı için, $c_i$ araç çağrısı sayısını ve $e_i$ araç yürütme başarısızlıklarının sayısını belirtsin. Etkili araç çağrısı sayısını $\tilde{c}_i = c_i - e_i$ olarak tanımlar ve tekdüze bir grup taban çizgisi örnekleriz:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

Fazlalığı $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ hesaplar ve düzgün bir ceza skaler $p_i = 1 - \exp\!\left(-\Delta_i\right)$ tanımlarız. Araç cezası daha sonra şöyledir:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

Sabitlenmiş uzunluk cezası. $L_i$ ve $L_i^{\mathrm{ref}}$ , sırasıyla aday ve referans model nesillerinin belirteç uzunluklarını belirtsin. Şekillendirme setini $\widehat{W}_g$ hem doğru hem de tercih edilen çıktılar olarak tanımlarız:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

Ardından gruba özel uzunluk taban çizgilerini hesaplarız:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

Uzunluk cezası şu şekilde tanımlanır:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

burada ilk satır sert bir üst sınır (hard cap) niteliğindedir; ikinci satır ayrıntılı kazananları cezalandırır; ve üçüncü satır kısa ve öz kaybedenleri cezalandırır.

Birleştirilmiş verimlilik cezası. Birleştirilmiş verimlilik cezası, her iki bileşenin ağırlıklı toplamıdır:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

Eğitim sonrası boru hattımızı iki eksende değerlendiriyoruz: (i) optimizasyon kararlılığını değerlendirmek ve ödül sinyallerinin beklendiği gibi davranıp davranmadığını görmek için eğitim dinamikleri ve (ii) kontrollü değerlendirme ayarları altında aşağı akış kalitesini, güvenliğini ve verimliliğini ölçmek için çevrimdışı kıyaslamalar.

Varsayılan eğitim ayarları. Politika modeli bir web arama aracıyla (search_web) etkileşime girer; her araç çağrısı en fazla 10 sonuç alır, sorgular 250 karakterle sınırlandırılmıştır ve çıktı başına en fazla 5 sorgu yapılır.

Ödül ilerlemesine ve verimlilik davranışına odaklanarak optimizasyon dinamiklerini inceliyoruz. Çizim kolaylığı için Qwen3.5-397B-A11B kullanıyoruz.

Eğitim sırasında temel ve tercih sinyallerinin evrimi.

Şekil 2, artan tercih puanlarının yanı sıra temel ödüllerdeki (doğrulanabilir Soru-Cevap ve rubrik memnuniyeti) istikrarlı iyileşmeyi göstermekte olup doğruluk, uyumluluk ve yanıt kalitesinde tutarlı kazanımlara işaret etmektedir.

Eğitim sırasında verimlilik davranışı ve sabitlenmiş şekillendirme cezaları.

Şekil 3, hem araç çağrı sıklığının hem de üretim uzunluğunun eğitim boyunca iyi kontrol edildiğini göstermektedir. Özellikle, hem araç çağrısı hem de uzunluk cezaları, modelin daha kısa üretime ve daha seçici araç çağırmaya doğru aşamalı adaptasyonunu yansıtarak eğitim süreci boyunca monoton bir şekilde azalmaktadır.

Şekil 4, geçici sıçramalar dışında gradyan normlarının kararlı kaldığını, eğitim-çıkarım KL sapmasının ise 1e-3 ölçeği içinde kalarak hafif bir yukarı yönlü eğilim sergilediğini göstermektedir. Bu sürüklenme kalıbı, diğer RL eğitim çerçevelerindeki gözlemlerle tutarlıdır; eğitim baştan sona kararlı kaldığından, ek müdahale olmaksızın Eşitlik 1'de basit bir IS düzenlileştirmesi tutuyoruz.

Hem genel açık kaynaklı kıyaslamaları hem de dahili Perplexity (PPLX) metriklerini içeren; arama doğruluğu, olgusal güvenilirlik, yönerge takip etme ve güvenliği kapsayan bir dizi kıyaslama üzerindeki sonuçları bildiriyoruz. Açık kaynaklı kıyaslamalar SimpleQA, FRAMES ve Facts Open içermektedir.

pplx-sbs-search: Dahili bir ödül modeli kullanan yan yana (side-by-side) tercih değerlendirmesi. Adaylar güçlü bir temel çizgiyle karşılaştırılır.
pplx-abstention: Güvenilir kanıt bulunmadığında uygun şekilde reddetme yeteneği.
pplx-language-mismatch: Uzun kuyruklu (long-tail) ve çok turlu ayarlarda dil tutarlılığı.
pplx-broken-tool-calls (↓): Araç çağrısı şeması uyumluluğu ve kısıtlama takibi, örneğin tool_choice=none.

Varsayılan değerlendirme ayarları. Açık kaynaklı kıyaslamalar için, örnek başına en fazla 5 araç çağrısı bütçesi ve çağrı başına en fazla 10 sonuç ile yalnızca web arama aracına izin veriyor, 0.6 sıcaklıkta (temperature) en fazla 8192 çıkış belirteci üretiyoruz.

Çevrimdışı değerlendirme sonuçları. Parantez içindeki sayılar ortalama araç kullanımını belirtmektedir. Qwen3.5-397B-A17B modelini Qwen3.5-Large ve Qwen3.5-122B-A10B modelini Qwen3.5-Medium olarak not ediyoruz.

Tablo 2, Qwen3.5-Large-SFT-RL'nin genel kıyaslamalarda güçlü arama doğruluğu elde ettiğini, karşılaştırılabilir araç bütçeleri kullanırken FRAMES ve Facts Open üzerinde gpt-5.4 ile eşleştiğini veya onu aştığını göstermektedir. Temel modele kıyasla yaklaşımımız, dahili metriklerde, özellikle tercihte (pplx-sbs-search: 0.602 → 0.742), dil tutarlılığında ve kaçınmada önemli kazanımlar sağlayarak iki aşamalı boru hattının arama yeteneğinden ödün vermeden dağıtım açısından kritik davranışları etkili bir şekilde iyileştirdiğini göstermektedir.

Bunu ölçmek için bütçe zorlamalı (budget-forced) bir değerlendirme protokolü tasarlıyoruz. Her modele bir web arama aracı (search_web) ve izin verilen araç çağrısı sayısında sert bir üst sınırı ("bütçe") belirten bir sistem komut istemi verilir. Bu bütçeyi 0'dan (araç kullanımı yok, saf parametrik bilgi) 10'a (cömert çok adımlı erişim) kadar tarar ve her seviyedeki doğruluğu kaydederiz. Bu, bir araç verimlilik eğrisi üretir: modelin izin verilen erişim bütçesinin bir fonksiyonu olarak skoru. İki olgusal Soru-Cevap kıyaslaması olan FRAMES ve Facts Open üzerinde değerlendirme yapıyoruz.

Maksimum Araç Çağrısı Sayısına Karşı Kıyaslama Doğruluğu.

Bu iki kıyaslamadan birkaç kalıp öne çıkmaktadır:

Eğitim sonrası modelimiz Qwen3.5-397B-SFT-RL, her iki kıyaslamada da en iyi arama doğruluğunu elde etmektedir. Tek bir araç çağrısıyla bile FRAMES üzerinde %57,3 puan alarak GPT-5.4'ün 5,7 puan ve Sonnet 4.6'nın 4,7 puan üzerine çıkmaktadır.
- Avantaj, üretim dağıtımları için pratik çalışma aralığı olan orta bütçelerde (b=2-7) en belirgindir.
Eğitim sonrası tarifimiz (SFT + RL), temel kontrol noktasına kıyasla araç kullanımı verimliliğini önemli ölçüde artırır; Şekil 5'teki düz çizgilere (eğitim sonrası) ve kesikli çizgilere (başlangıç kontrol noktası) bakın.
Tüm modeller için, iki kıyaslama ve tüm modellerde tutarlı olarak bütçe=7 civarında azalan verimler gözlemliyoruz; bu da bunun modellerden ziyade olgu arama görevlerinin bir özelliği olduğunu düşündürmektedir.

Yukarıdaki sonuçlar Qwen3.5-397B-SFT-RL'nin daha az araç çağrısıyla daha yüksek doğruluk elde ettiğini göstermektedir. Ancak bu durum gerçek maliyete nasıl yansımaktadır? Karşılaştırmayı somutlaştırmak için yayınlanmış API fiyatlandırmasını (Alibaba DashScope, OpenAI, Anthropic) kullanarak belirteç düzeyindeki ölçümleri dolar maliyetlerine dönüştürüyoruz.

Orta profilde (b=4), Qwen3.5-397B-SFT-RL sorgu başına 2,0 sente FRAMES üzerinde %73,9 puan alırken, GPT-5.4 sorgu başına 8,5 sente %67,8 ve Sonnet 4.6 sorgu başına 15,3 sente %62,4 puan almaktadır. Bu, GPT-5.4'e kıyasla 4 kat daha düşük maliyetle +6 puan doğruluk ve Sonnet 4.6'ya kıyasla 7,5 kat daha düşük maliyetle +11,5 puan demektir.

Bu tahminler önbelleğe alma olmaksızın liste API fiyatlandırmasını kullanır. KV önbellek yeniden kullanımı, önek önbelleğe alma ve kuantize edilmiş MoE sunumu (397B yalnızca 17B aktif parametre kullanır) gibi kurum içi çıkarım optimizasyonları ile efektif maliyet, liste API fiyatlandırmasının çok altına düşürülebilir.

İki aşamalı bir SFT ve RL boru hattı aracılığıyla dağıtım uyumluluğunu arama optimizasyonundan ayırmak, üretim kısıtlamaları altında hem yetenekli hem de güvenilir bir model ortaya çıkarır. Doğrulanabilir Soru-Cevap ve rubrik tabanlı eğitim verilerinin birleşimi, kapılı ödül toplama ve sabitlenmiş verimlilik şekillendirmesiyle birlikte, arama doğruluğundan veya koruma rayı uyumluluğundan ödün vermeden kararlı çok amaçlı optimizasyon sağlar.

Birkaç yönün daha fazla araştırılması gerekmektedir. Şekil 4'te gözlemlendiği gibi, eğitim-çıkarım KL sapması, uzatılmış eğitim adımlarında kalıcı bir yukarı yönlü sürüklenme sergilemektedir. Belirteç düzeyindeki IS düzeltmesinin mevcut ayarımız altında yeterli olduğu kanıtsa da, bunun daha büyük ölçekte geçerli olup olmadığı belirsizdir; altyapı düzeyindeki tutarsızlıkları ve MoE yönlendirmesi gibi mimariye özel faktörleri kapsayan bu uyumsuzluğa ilişkin daha ilkeli teorik bir yaklaşım — hafifletme stratejilerinin nicel ampirik karşılaştırmalarıyla birlikte — önemli bir açık soru olmaya devam etmektedir. Özellikle çok amaçlı RL için umut verici yollar arasında, hedefleri aşamalı olarak optimize ederken felaket niteliğindeki unutmayı hafifletmek için politika içi distilasyonla sıralı eğitim (Zeng ve ark., 2026); ve göreve özel optimizasyonu yetenek agregasyonundan ayırmak için model birleştirme (Fu ve ark., 2025; Yang ve ark., 2026) yer almaktadır. Son olarak, uzun ufuklu yörüngelere sahip gerçekçi çoklu araç iş akışlarına (workflows) ölçeklendirmek, muhtemelen daha iyi kredi ataması, kısmi çıktılar için destek ve değerlendirmeler gerektiren önemli bir açık zorluk olmaya devam etmektedir.

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Oca. 2026. 6 Oca 2026'da yayınlandı. Erişim: 2026-03-04.

J. Duchi ve H. Namkoong. Variance-based regularization with convex objectives. arXiv ön baskısı arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng ve X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu ve S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv ön baskısı arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu ve Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng ve ark. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv ön baskısı arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao ve H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv ön baskısı arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang ve Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv ön baskısı arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui ve F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv ön baskısı arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng ve T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv ön baskısı arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith ve M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin ve W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv ön baskısı arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu ve ark. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv ön baskısı arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang ve ark. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv ön baskısı arXiv:2507.15061, 2025.

vLLM ve TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, kas 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie ve F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv ve ark. Qwen3 technical report. arXiv ön baskısı arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang ve D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang ve J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Ağu. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang ve ark. Glm-5: from vibe coding to agentic engineering. arXiv ön baskısı arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu ve ark. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv ön baskısı arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang ve ark. Group sequence policy optimization. arXiv ön baskısı arXiv:2507.18071, 2025b.

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}

Giriş

İki Aşamalı Eğitim Boru Hattı

SFT aşaması

RL aşaması

RL Eğitim Verileri

Doğrulanabilir arama ajanı verileri

Örnek (3 adımlı)

Rubrik tabanlı genel sohbet verileri

Örnek

Komut istemi karışımı ve varyans dengeleme

Ödül tasarımı

Temel ödül

Tercih modelleme

Verimlilik cezası

Ana sonuçlar

Eğitim dinamikleri

Çevrimdışı değerlendirmeler

Araç Kullanımı Verimliliği Değerlendirmeleri

Sonuç

Kaynaklar

Alıntı