Harness mühendisliği: Nedir ve nasıl çalışır?

Harness mühendisliği ne anlama gelir

Harness mühendisliği, bir yapay zeka aracının harness'ini, yani yapay zeka modeli dışındaki her parçasını oluşturma işidir.

Model, dili okuyup yazabilmesi için büyük hacimli metinlerle eğitilmiş yapay zeka sistemidir. OpenAI'ın GPT'si, Anthropic'in Claude'u ve Google'ın Gemini'si yapay zeka modellerine örnektir.

Bir model tek başına yalnızca metin (ve bazen görsel ya da ses) alıp yanıt olarak metin yazabilir. Geçmiş sohbetleri hatırlayamaz, güncel bilgilere bakamaz veya kod çalıştıramaz. Bu nedenle modelin hangi bilgileri alacağını, hangi uygulamaları kullanabileceğini, neleri yapmasına izin verildiğini ve çalışmasının nasıl kontrol edileceğini yöneten bir harness'e ihtiyaç duyar.

Basit bir sohbet asistanının bile bir harness'e ihtiyacı vardır. Model her etkileşimi, yanıtını verir vermez unutur; bu yüzden sohbetin kaydını harness tutar. Biri Paris hakkında soru sorup ardından “Onun nüfusu ne kadar?” diye devam ederse harness iki soruyu birlikte modele gönderir. Model, “onun” sözcüğünün Paris'i kastettiğini bu sayede anlar.

Harness mühendisliği, aynı model üzerine kurulu iki aracın bu kadar farklı performans gösterebilmesinin nedenlerinden biridir. Örneğin bağımsız bir testte araştırmacılar modeli (GPT5) aynı tutup yalnızca harness'i değiştirdi ve modelin bir kodlama testindeki puanı %11'e varan oranda değişti.

Anthropic ve OpenAI gibi yapay zeka modeli geliştiricileri, Claude Code ve Codex gibi kendi yapay zeka ürünleri için harness'ler oluşturur. Yapay zeka ürünleri geliştiren şirketler de seçtikleri temel modeller için harness'ler tasarlar. Yapay zeka araçlarını kullanan kişiler de harness'in bir kısmını şekillendirir. Pek çok araç, kullanıcıların kalıcı talimatlar eklemesine, uygulama bağlamasına ve araç işleme geçmeden önce hangi eylemlerin kendi onaylarını gerektirdiğini seçmesine olanak tanır.

Yapay zeka ajanları için harness mühendisliği

Her yapay zeka aracının bir harness'i vardır, ancak harness mühendisliği özellikle yapay zeka ajanlarıyla çalışırken önem kazanır. Ajanlar, rakipleri araştırıp bulguları bir elektronik tabloya aktarmak gibi çok adımlı görevleri kendi başlarına yürütür ve her adımı harness çalıştırır. Dolayısıyla harness geçen yılın fiyatlarını çekmek gibi bir hata yaparsa bu, sonraki adımların tamamını da etkiler.

Çoğu ajan harness'i altı ana bölümden oluşur:

1. Ajan döngüsü

Büyüt

Ajan döngüsü, harness içinde bir görevi adım adım ilerleten koddur.

Yapay zeka modeli, görevi tamamlamak için gereken bir sonraki adıma karar verir ve bir araç çağrısı yazar: harness'teki bir aracı (örneğin web araması) ve bu aracın ne yapması gerektiğini belirten kısa bir istek.

Harness bu isteği fark eder, aramayı çalıştırır ve sonuçları modelin görebildiği bilgilere ekler. Model sonuçları okur ve sonra ne yapacağına karar verir.

2. Bağlam yönetimi

Model, eğitim sırasında genel bilgi edinir, ancak bu bilgi eğitimin sona erdiği tarihte durur. Bir şirketin dosyaları, günün haberleri veya sohbette daha önce söylenenler gibi eldeki göreve özgü hiçbir şeyi içermez.

Tüm bunlar için model, bağlam penceresine dayanır: harness'in her yanıttan önce modele verdiği talimatlar, sorgu, o ana kadarki sohbet ve arama sonuçları gibi metinler.

Pencere yalnızca sabit miktarda metin tutabilir. Üstelik pencere dolmadan önce bile modeller bazen uzun girdilerin ortasına gömülü bilgileri gözden kaçırır.

Bu nedenle bağlam yönetimini harness üstlenir ve yalnızca her adımın ihtiyaç duyduğu bilgileri seçer. Örneğin görev beş rakibin fiyatlandırmasını karşılaştırmaksa harness, şirketlerin web sitelerinin tamamı yerine her birinin fiyatlandırma sayfasını ekleyebilir. Uzun görevlerde harness, önceki adımların ayrıntılı kaydını kısa bir özetle de değiştirebilir; böylece model, bu geçmiş pencereyi doldurmadan neler yaptığını takip edebilir.

3. Araçlar

Araçlar, modelin istediği eylemleri gerçekleştiren kodlardır. Her araç tek bir eylem türünü yürütür: web'de arama yapmak, bir web sayfasını açıp okumak, kod çalıştırmak veya bir dosyayı düzenlemek gibi. Model bir araç çağrısı yazdığında harness bunu doğru araca iletir ve sonucu döndürür.

Pek çok harness ayrıca bağlayıcılar içerir. Bağlayıcılar, kişinin verdiği erişimi kullanarak ajanı e-posta, takvim veya paylaşılan bir sürücü gibi belirli bir uygulamaya bağlayan araçlardır. Örneğin bir takvim bağlayıcısıyla ajan, toplantı saati önermeden önce kişinin müsaitlik durumunu kontrol edebilir.

4. Bellek

Bellek, bir oturumdan diğerine aktarılan depolanmış bilgilerdir. Harness, oturum sırasında kişinin tercihleri veya bir projenin hangi aşamada olduğu gibi kısa notlar kaydeder. Bir sonraki oturumun başında harness bu notları bağlam penceresine ekler; böylece model yeni sorguyu okumadan önce bu notları okur. Örneğin bir ajanın haftalık bir raporu en baştan başlamak yerine kaldığı yerden sürdürebilmesi bu sayede mümkün olur.

5. İzinler

İzinler, bir ajanın nelere erişebileceğini ve neler yapabileceğini belirleyen kurallardır. Erişim kuralları, ajanın hangi dosyaları, uygulamaları veya web sitelerini açabileceğini belirler. Onay kuralları ise mesaj göndermek veya satın alma yapmak gibi hangi eylemlerin bir kişinin onayını beklemesi gerektiğini belirler.

Ajanı geliştiren şirket bu kuralların bir kısmını harness'in kodunda belirler. Ardından bir kuruluşun yöneticileri kendi kurallarını ekleyebilir, bireysel kullanıcılar da hangi hesapları bağlayacakları gibi konularda seçim yapabilir.

6. Doğrulama

Doğrulama, ajanın çalışmasını bir kişiye ulaşmadan önce kontrol eden koddur. İki tür kontrol kullanır:

• Sabit kurallar: Her seferinde aynı şekilde geçen ya da başarısız olan belirli testlerdir; örneğin bir rapordaki her rakamın, ajanın gerçekten okuduğu bir belgede yer aldığını doğrulamak.
• Başka bir yapay zeka modelinin incelemesi: Bu model çalışmayı okur ve değerlendirir. Önemli bir noktayı atlayan bir özet gibi, kurala dönüştürülmesi zor sorunları yakalayabilir.

Hiçbir kontrol tek başına her şeyi yakalayamaz, bu yüzden harness'ler genellikle iki türü birlikte kullanır. Bir kontrol sorun bulduğunda harness, sorunun açıklamasını modelin bağlam penceresine ekler ve görevi ajan döngüsüne geri gönderir. Model sorunu düzeltir ve yeniden dener; böylece pek çok hata, kullanıcı sonucu görmeden önce düzeltilmiş olur.

Harness mühendisliği örnekleri

Müşteri toplantısına hazırlanmak

Görev: Bir hesap yöneticisi, bir ajandan yarınki müşteri toplantısı için açık konuları ve taslak bir gündemi kapsayan bir brifing hazırlamasını ister.

Harness'in yaptıkları:

• Ajan, bir e-posta bağlayıcısı aracılığıyla yöneticinin gelen kutusunda müşteriyle yapılan yazışmaları arar.
• İzinler, ajanın e-postaları okumasına olanak tanır ancak e-posta göndermesine izin vermez.
• Bağlam yönetimi, modele gelen kutusunun tamamını değil, yalnızca o müşteriyle son üç ayda yapılan yazışmaları iletir.
• Ajan döngüsü birkaç tur arama ve okuma yapar; model de bulduklarını açık konular altında gruplandırır.
• Ardından doğrulama, brifingdeki her konunun gerçek bir e-postaya dayandığını kontrol eder.

Olası sonuç: Yönetici, her maddesi kaynak e-postasına kadar izlenebilen tek sayfalık bir brifing alır.

Aylık satış raporunu güncellemek

Görev: Bir operasyon sorumlusu, bir ajandan aylık satış raporunu bu ayın rakamlarıyla güncellemesini ister.

Harness'in yaptıkları:

• Bellek, raporun biçimi ve sorumlunun rakamları en yakın bine yuvarlama isteği de dahil olmak üzere geçen ayki oturumdan kalan notları yükler.
• Bir dosya aracı, ekibin paylaşılan sürücüsündeki satış elektronik tablosunu açar.
• İzinler, ajanın taslak raporu düzenlemesine olanak tanır ancak kaynak elektronik tabloyu düzenlemesine izin vermez; böylece orijinal rakamlar yanlışlıkla değiştirilemez.
• Doğrulama, rapordaki toplamların elektronik tabloyla eşleştiğini kontrol eder.

Olası sonuç: Rapor, kullanıcının biçimi yeniden açıklamasına gerek kalmadan geçen ayki raporla aynı biçimde teslim edilir.

Ortak gelen kutusunu sınıflandırmak

Görev: Bir destek ekibi, bir ajandan sabah gelen talepleri konuya göre sınıflandırmasını ve sık karşılaşılanlara yanıt taslakları hazırlamasını ister.

Harness'in yaptıkları:

• Ajan döngüsü, gelen kutusundaki mesajları tek tek ele alır.
• Model her mesaj için bir konu etiketi seçer, harness da bu etiketi e-posta bağlayıcısı aracılığıyla uygular.
• Görevin başında harness, ekibin onaylı yanıt şablonlarını yol gösterici olarak bağlam penceresine ekler; böylece model her taslağı bir şablona dayandırır.
• Bir onay kuralı, ekipten biri inceleyip gönderene kadar her yanıtı taslak olarak bekletir.

Olası sonuç: Ekip güne sınıflandırılmış taleplerle ve incelenmeyi bekleyen yanıtlarla başlar.

Bir web sitesindeki hatayı düzeltmek

Görev: Bir geliştirici, bir kodlama ajanından ödeme düğmesinin çalışmasını engelleyen bir hatayı düzeltmesini ister.

Harness'in yaptıkları:

• Ajan bir korumalı alanda çalışır. Korumalı alan, kodun yalıtılmış bir kopyasıdır ve ajanın burada yaptığı değişiklikler canlı web sitesini etkileyemez.
• Bir kod aracı, modelin dosyaları okumasını ve düzenlemesini sağlar.
• Her değişiklikten sonra doğrulama, projenin otomatik testlerini çalıştırır.
• Başarısız olan her test, yeni bilgi olarak modele geri iletilir.

Olası sonuç: Ajan, testler geçene kadar düzeltmesini iyileştirmeye devam eder. Ardından geliştirici, değişiklik yayına girmeden önce onu inceler.

Harness mühendisliği, istem mühendisliği ve bağlam mühendisliği karşılaştırması

İstem mühendisliği, tek bir sorguyu oluşturma ve optimize etme işidir. Bağlam mühendisliği, modelin gördüğü her şeyi yönetme işidir. Harness mühendisliği ise modelin içinde çalıştığı sistemin tamamını tasarlama ve iyileştirme sürecidir.

Kullanıcıların bir yapay zeka harness'ini etkileme yolları

Bir ajan harness'inin büyük kısmı ajanı geliştiren şirketten gelir, ancak pek çok yapay zeka ürünü, kullanıcıların özel talimatlar, bağlı uygulamalar ve onaylar gibi ayarlarla harness'in bir kısmını düzenlemesine olanak tanır.

Kullanıcılar bir ajan harness'ini dört şekilde şekillendirebilir ve ajanın sonuçlarını iyileştirebilir:

1. Kalıcı talimatlar

Kalıcı talimatlar, kişinin bir kez yazdığı ve harness'in her görevin başında bağlam penceresine ekleyebildiği notlardır. Kişinin aksi halde sorgudan sorguya tekrarlayacağı her şey için bu talimatları ayarlamaya değer: kim olduğu ve ne iş yaptığı, metinlerin nasıl yazılmasını istediği veya bir müşterinin aylık raporu gibi düzenli bir işin kuralları.

Pek çok yapay zeka ürünü kalıcı talimatları iki düzeyde sunar. Hesap genelindeki talimatlar, yazım tercihleri gibi tüm çalışmalar için geçerli olan konulara uygundur. Proje talimatları ise tek bir müşteriye veya iş akışına uygundur; böylece birine yönelik yönergeler diğerine taşınmaz.

Kalıcı talimatlar sohbet asistanlarında ve ajanlarda aynı şekilde çalışır, ancak ajanlar bunlara daha çok bağımlıdır. Sohbette kişi her yanıttan sonra yapay zekayı düzeltebilir. Bir ajan ise çalışmasını kimse görmeden önce pek çok adım atabilir; bu nedenle önceden verilen talimatlar, ajanı süreç boyunca yönlendirmenin az sayıdaki yolundan biridir.

Etkili kalıcı talimatlar nasıl yazılır

• Kısa bir talimatla başlayın; örneğin: “Bir yazılım şirketinde pazarlama müdürüyüm. Sade bir İngilizceyle yaz, özetleri 200 kelimenin altında tut ve ABD yazımını kullan.”
• Yapay zeka hata yaptıkça talimatlara ekleme yapın. Yapay zeka, ekibin kesin olarak ihtiyaç duyduğu rakamları yuvarlamaya devam ediyorsa bunu belirten bir satır ekleyin.
• Talimatları somut hale getirin: “Rakamları asla yuvarlamadan, tam olarak ver” talimatı, “Doğru ol” talimatından daha iyidir.
• Her satır bağlam penceresinde yer kapladığı için listeyi kısa tutun ve işe yaramaz hale gelen satırları kaldırın.

2. Bağlı uygulamalar

Bağlı uygulamalar, bir yapay zeka ürününü kişinin halihazırda kullandığı e-posta, takvim veya paylaşılan sürücü gibi araçlara bağlar. Bir uygulama bağlandığında yapay zeka, yalnızca sohbete yapıştırılanlarla değil, kişinin kendi bilgileriyle de çalışabilir.

Bir görev bu uygulamalarda bulunan bilgilere dayandığında bağlantıları kurmaya değer; örneğin e-posta yazışmalarından bir toplantı brifingi hazırlamak veya paylaşılan bir sürücüdeki belgeleri özetlemek gibi.

Uygulamalar güvenli bir şekilde nasıl bağlanır

• Her bağlantı yeni bir hata olasılığı doğurduğundan yalnızca görevin ihtiyaç duyduğu uygulamaları bağlayın.
• Sunulduğu durumlarda salt okunur erişimi seçin. Örneğin toplantı brifingleri hazırlayan bir ajanın e-postaları göndermesine değil, okumasına ihtiyaç vardır.
• Ürün izin veriyorsa bağlantıları projeye göre ayarlayın. Örneğin Perplexity'de kullanıcılar her projenin hangi bağlayıcıları kullanacağını seçebilir.
• Artık kullanılmayan uygulamaların bağlantısını kesmeyi unutmayın.

3. Onay ayarları

Onay ayarları, yapay zeka işleme geçmeden önce hangi eylemlerin bir kişinin onayını beklemesi gerektiğini belirler. Bazı onaylar ürünün içinde yerleşik olarak bulunur; bazı ürünler ise kişilerin başka hangi eylemlerin onay gerektireceğini seçmesine olanak tanır.

Onay kuralları nasıl belirlenir

• Mesaj göndermek, satın alma yapmak veya dosya silmek gibi geri alınamayan eylemler için onay zorunluluğu getirin.
• Onay listesini kısa tutun. Bir ajan her küçük adım için onay isterse insanlar okumadan onaylamaya başlar.

4. Standartlar ve kontroller

Çoğu yapay zeka ürünü bazı yerleşik standartlarla birlikte gelir. Örneğin Perplexity, her iddianın doğrulanabilmesi için yanıtlarında kaynak gösterir. Kullanıcıların belirlediği standartlar ise bir ekibin tercih ettiği rapor formatı gibi, ürünün kendi başına bilemeyeceği unsurları ekler.

Yapay zekanın yaptığı işler için standartlar nasıl belirlenir

• Tekrarlayan işler için bir şablon sağlayın; böylece yapay zekanın dolduracağı sabit bir yapı olur.
• Ekibin beğendiği geçmiş bir çalışmadan örnek paylaşın; böylece yapay zeka o çalışmanın üslubunu ve ayrıntı düzeyini yakalayabilir.
• Her sayısal verinin yanında bir kaynak bağlantısı isteyin.
• İlk sonuçları yakından inceleyin ve tekrarlayan eksikleri yeni bir kalıcı talimata dönüştürün.

Perplexity'nin ajan harness'larına yaklaşımı

Perplexity Computer, modelden bağımsız bir harness üzerinde çalışır; bu harness 20'den fazla gelişmiş modeli tek bir sistemde bir araya getirir. Her görevi alt görevlere böler, bunları alt ajanlara (her biri işin bir bölümünü üstlenen ayrı ajanlar) devreder ve her iş parçasını o işe uygun bir modele yönlendirir.

Talimatları, dosyaları ve bağlayıcıları nasıl ayarlayacağınızı Perplexity Projeleri kılavuzunda öğrenin.

SSS

Harness mühendisi nedir?

Harness mühendisi, bir yapay zeka modelinin güvenilir şekilde iş yapmasını sağlayan sistemi tasarlar ve sürdürür. Bu, ajanın kullanması için yeni bir araç eklemek, bir ajanın neden sürekli aynı hatayı yaptığını araştırmak ya da ajanın bir görevi bitirmeden önce yürüttüğü kontrolleri sıkılaştırmak anlamına gelebilir. Standart bir iş unvanı değildir, ancak bu durum değişebilir. Bu iş genellikle yapay zeka şirketlerindeki ya da ajan geliştiren ekiplerdeki yazılım mühendisleri tarafından yapılır. İmalat sektöründe aynı unvan, kablo demetlerini (wire harness), yani otomobillerin ve makinelerin içindeki demetlenmiş kabloları tasarlayan kişiyi ifade eder.

Ajan harness'ı nedir?

Ajan harness'ı genellikle bir yapay zeka ajanında modelin kendisi dışındaki her şeyi ifade eder. Buna ajan döngüsünü çalıştıran, bağlamı yöneten, araç çağrılarını gerçekleştiren, belleği depolayan, izinleri uygulayan ve ajanın çalışmasını bir kişiye ulaşmadan önce kontrol eden kod dahildir.

Her yapay zeka aracının bir harness'ı var mıdır?

Evet. Basit bir sohbet asistanı bile konuşmayı takip etmek için bir harness'a dayanır, çünkü model önceki mesajları kendi başına hatırlamaz.

Geliştiriciler bir modeli, kendi yazılımlarından bir API (bir programın başka bir programa istek göndermesini sağlayan bağlantı) üzerinden istek göndererek de kullanabilir. Bu durumda harness'ın işini geliştiricinin kendi kodu üstlenir.

Daha iyi modeller harness'ları gereksiz kılacak mı?

Daha iyi modeller adım adım yönlendirmeye daha az ihtiyaç duyabilir; bu nedenle harness'ların bugün yaptığı işlerin bir kısmı azalabilir. Ancak bir model tek başına yalnızca metni metne dönüştürür. Ne internet bağlantısı ne de diğer uygulamalara erişimi vardır. Dosyalara erişmek, eylemleri yürütmek ve onay kurallarını uygulamak modeli çevreleyen yazılımda gerçekleşir; dolayısıyla modeller ne kadar yetenekli hale gelirse gelsin bu işin harness'ta kalması muhtemeldir.