Rekayasa harness: pengertian dan cara kerjanya

Apa itu rekayasa harness

Rekayasa harness adalah pekerjaan membangun harness pada alat AI, yaitu setiap bagian dari alat tersebut selain model AI-nya.

Model adalah sistem AI yang telah dilatih dengan teks dalam jumlah besar sehingga dapat membaca dan menulis bahasa. Contoh model AI antara lain GPT dari OpenAI, Claude dari Anthropic, atau Gemini dari Google.

Jika berdiri sendiri, model hanya dapat menerima teks (dan terkadang gambar atau audio) lalu menulis teks sebagai balasan. Model tidak dapat mengingat percakapan sebelumnya, mencari informasi terkini, atau menjalankan kode. Karena itu, model memerlukan harness yang mengatur informasi apa yang diterima model, aplikasi mana yang dapat digunakannya, apa yang boleh dilakukannya, dan bagaimana hasil kerjanya diperiksa.

Bahkan asisten chat yang sederhana pun memerlukan harness. Model melupakan setiap interaksi begitu selesai menjawab, sehingga harness menyimpan catatan percakapan tersebut. Jika seseorang bertanya tentang Paris lalu menyusul dengan pertanyaan "berapa jumlah penduduknya?", harness mengirimkan kedua pertanyaan itu ke model sekaligus. Dengan begitu, model tahu bahwa "-nya" merujuk pada Paris.

Rekayasa harness adalah salah satu alasan mengapa dua alat yang dibangun di atas model yang sama dapat menunjukkan kinerja yang sangat berbeda. Misalnya, dalam satu uji independen, para peneliti tetap menggunakan model yang sama (GPT5) dan hanya mengubah harness-nya, dan skor model tersebut pada sebuah tes pemrograman berubah hingga 11%.

Pengembang model AI seperti Anthropic dan OpenAI membangun harness untuk produk AI mereka sendiri, seperti Claude Code dan Codex. Perusahaan yang membangun produk AI juga merancang harness untuk model dasar yang mereka pilih. Orang yang menggunakan alat AI pun ikut membentuk sebagian harness. Banyak alat memungkinkan mereka menambahkan instruksi tetap, menghubungkan aplikasi, dan memilih tindakan mana yang memerlukan persetujuan mereka sebelum alat tersebut melanjutkan.

Rekayasa harness untuk agen AI

Setiap alat AI memiliki harness, tetapi rekayasa harness menjadi sangat penting saat bekerja dengan agen AI. Agen menangani tugas multilangkah secara mandiri, seperti meneliti pesaing lalu memasukkan temuannya ke dalam spreadsheet, dan harness menjalankan setiap langkahnya. Jadi, jika harness membuat kesalahan, misalnya mengambil harga tahun lalu, kesalahan itu juga akan memengaruhi langkah-langkah berikutnya.

Sebagian besar harness agen memiliki enam bagian utama:

1. Loop agen

Perbesar

Loop agen adalah kode di dalam harness yang membuat tugas terus berjalan maju, selangkah demi selangkah.

Model AI menentukan langkah berikutnya yang diperlukan untuk menyelesaikan tugas, lalu menulis panggilan alat (tool call): permintaan singkat yang menyebutkan sebuah alat di dalam harness, seperti pencarian web, beserta apa yang harus dilakukan alat tersebut.

Harness mendeteksi permintaan itu, menjalankan pencarian, dan menambahkan hasilnya ke informasi yang dapat dilihat model. Model membaca hasil tersebut dan menentukan apa yang harus dilakukan selanjutnya.

2. Manajemen konteks

Model mempelajari pengetahuan umum selama pelatihan, tetapi pengetahuan itu berhenti pada tanggal pelatihan berakhir. Pengetahuan tersebut tidak mencakup hal-hal yang spesifik untuk tugas yang sedang dikerjakan, seperti file perusahaan, berita hari ini, atau apa yang dibicarakan sebelumnya dalam percakapan.

Untuk semua itu, model bergantung pada jendela konteksnya: teks yang diberikan harness kepadanya sebelum setiap respons, seperti instruksinya, kueri, percakapan sejauh ini, dan hasil pencarian.

Jendela ini hanya dapat menampung teks dalam jumlah tertentu. Bahkan sebelum jendela itu penuh, model terkadang melewatkan informasi yang terselip di tengah input yang panjang.

Jadi, harness menangani manajemen konteks dan hanya memilih informasi yang dibutuhkan setiap langkah. Misalnya, jika tugasnya adalah membandingkan harga dari lima pesaing, harness mungkin menyertakan halaman harga setiap perusahaan, bukan seluruh situs webnya. Pada tugas yang panjang, harness juga dapat mengganti catatan terperinci dari langkah-langkah sebelumnya dengan ringkasan singkat, sehingga model tetap mengetahui apa yang sudah dikerjakannya tanpa riwayat tersebut memenuhi jendela konteks.

3. Alat

Alat adalah kode yang menjalankan tindakan yang diminta oleh model. Setiap alat menangani satu jenis tindakan, seperti mencari di web, membuka dan membaca halaman web, menjalankan kode, atau mengedit file. Saat model menulis panggilan alat, harness meneruskannya ke alat yang tepat lalu mengembalikan hasilnya.

Banyak harness juga menyertakan konektor, yaitu alat yang menghubungkan agen ke aplikasi tertentu, seperti email, kalender, atau drive bersama, menggunakan akses yang telah diberikan seseorang. Dengan konektor kalender, misalnya, agen dapat memeriksa ketersediaan seseorang sebelum menyarankan waktu rapat.

4. Memori

Memori adalah informasi tersimpan yang terbawa dari satu sesi ke sesi berikutnya. Harness menyimpan catatan singkat selama sesi berlangsung, seperti preferensi seseorang atau perkembangan sebuah proyek. Di awal sesi berikutnya, harness menambahkan catatan tersebut ke jendela konteks, sehingga model membacanya sebelum membaca kueri baru. Dengan cara itulah, misalnya, agen dapat melanjutkan laporan mingguan dari titik terakhir alih-alih memulai lagi dari awal.

5. Izin

Izin adalah aturan tentang apa yang dapat dijangkau dan dilakukan oleh agen. Aturan akses menentukan file, aplikasi, atau situs web mana yang dapat dibukanya. Aturan persetujuan menentukan tindakan mana yang harus menunggu persetujuan seseorang, seperti mengirim pesan atau melakukan pembelian.

Perusahaan pembuat agen menetapkan sebagian aturan ini di dalam kode harness. Kemudian, admin organisasi dapat menambahkan aturan mereka sendiri, dan setiap pengguna dapat memilih hal-hal seperti akun mana yang akan dihubungkan.

6. Verifikasi

Verifikasi adalah kode yang memeriksa hasil kerja agen sebelum sampai ke tangan seseorang. Verifikasi menggunakan dua jenis pemeriksaan:

• Aturan tetap, yaitu pengujian spesifik yang lulus atau gagal dengan cara yang sama setiap kali, seperti memastikan bahwa setiap angka dalam laporan muncul di dokumen yang benar-benar dibaca oleh agen.
• Tinjauan oleh model AI lain, yang membaca hasil kerja tersebut dan menilainya. Tinjauan ini dapat menangkap masalah yang sulit dijadikan aturan, seperti ringkasan yang melewatkan poin penting.

Tidak ada satu pemeriksaan pun yang dapat menangkap semuanya, sehingga harness biasanya menggabungkan kedua jenis pemeriksaan tersebut. Saat pemeriksaan menemukan masalah, harness menambahkan deskripsi masalah itu ke jendela konteks model dan mengirim tugas kembali melalui loop agen. Model memperbaiki masalah tersebut lalu mencoba lagi, sehingga banyak kesalahan sudah diperbaiki sebelum pengguna melihat hasilnya.

Contoh rekayasa harness

Mempersiapkan rapat dengan klien

Tugas: Seorang manajer akun meminta agen menyiapkan briefing untuk rapat besok dengan klien, yang mencakup masalah yang belum terselesaikan dan draf agenda.

Yang dilakukan harness:

• Melalui konektor email, agen mencari pesan dengan klien di kotak masuk manajer tersebut.
• Izin memungkinkan agen membaca email, tetapi tidak mengirim email apa pun.
• Manajemen konteks hanya meneruskan pesan dengan klien tersebut dari tiga bulan terakhir ke model, bukan seluruh kotak masuk.
• Loop agen menjalankan beberapa putaran pencarian dan pembacaan, lalu model mengelompokkan temuannya menjadi daftar masalah yang belum terselesaikan.
• Verifikasi kemudian memeriksa bahwa setiap masalah dalam briefing tertaut kembali ke email yang benar-benar ada.

Kemungkinan hasil: Manajer menerima briefing satu halaman yang setiap poinnya dapat ditelusuri ke email sumbernya.

Memperbarui laporan penjualan bulanan

Tugas: Seorang kepala operasional meminta agen memperbarui laporan penjualan bulanan dengan angka bulan ini.

Yang dilakukan harness:

• Memori memuat catatan dari sesi bulan lalu, termasuk format laporan dan permintaan kepala operasional untuk membulatkan angka ke ribuan terdekat.
• Alat file membuka spreadsheet penjualan di drive bersama milik tim.
• Izin memungkinkan agen mengedit draf laporan, tetapi tidak mengizinkannya mengedit spreadsheet sumber, sehingga angka aslinya tidak dapat berubah secara tidak sengaja.
• Verifikasi memeriksa bahwa total dalam laporan cocok dengan spreadsheet.

Kemungkinan hasil: Laporan diterima dalam format yang sama dengan laporan bulan lalu, tanpa pengguna perlu menjelaskannya lagi.

Memilah kotak masuk bersama

Tugas: Sebuah tim dukungan meminta agen memilah permintaan yang masuk pagi itu berdasarkan topik dan membuat draf balasan untuk permintaan yang umum.

Yang dilakukan harness:

• Loop agen memproses kotak masuk pesan demi pesan.
• Untuk setiap pesan, model memilih label topik, dan harness menerapkannya melalui konektor email.
• Di awal tugas, harness menambahkan templat balasan yang telah disetujui tim ke jendela konteks sebagai panduan, sehingga model menyusun setiap draf berdasarkan templat.
• Aturan persetujuan menahan setiap balasan sebagai draf hingga seseorang di tim meninjau dan mengirimkannya.

Kemungkinan hasil: Tim memulai hari dengan permintaan yang sudah terpilah dan balasan yang menunggu untuk ditinjau.

Memperbaiki bug di situs web

Tugas: Seorang pengembang meminta agen pemrograman memperbaiki bug yang membuat tombol checkout tidak berfungsi.

Yang dilakukan harness:

• Agen bekerja di dalam kotak pasir (sandbox), yaitu salinan kode yang terisolasi sehingga perubahan yang dibuatnya tidak dapat memengaruhi situs web yang sedang aktif.
• Alat kode memungkinkan model membaca dan mengedit file.
• Setelah setiap perubahan, verifikasi menjalankan pengujian otomatis proyek.
• Setiap kegagalan dikembalikan ke model sebagai informasi baru.

Kemungkinan hasil: Agen terus menyesuaikan perbaikannya hingga pengujian lulus. Pengembang kemudian meninjau perubahan tersebut sebelum dirilis.

Rekayasa harness vs. rekayasa prompt vs. rekayasa konteks

Rekayasa prompt adalah pekerjaan menyusun dan mengoptimalkan satu kueri. Rekayasa konteks adalah pekerjaan mengelola semua hal yang dilihat model. Rekayasa harness adalah proses merancang dan menyempurnakan keseluruhan sistem tempat model bekerja.

Cara pengguna dapat memengaruhi harness AI

Sebagian besar harness agen berasal dari perusahaan pembuat agen, tetapi banyak produk AI memungkinkan pengguna menyesuaikan sebagiannya melalui pengaturan seperti instruksi khusus, aplikasi yang terhubung, dan persetujuan.

Pengguna dapat membentuk harness agen, sekaligus meningkatkan hasil kerja agen, dengan empat cara:

1. Instruksi tetap

Instruksi tetap adalah catatan yang ditulis seseorang satu kali, sehingga harness dapat menambahkannya ke jendela konteks di awal setiap tugas. Instruksi ini layak disiapkan untuk apa pun yang biasanya harus diulang seseorang di setiap kueri: siapa dirinya dan apa pekerjaannya, gaya penulisan yang disukainya, atau aturan untuk pekerjaan rutin seperti laporan bulanan klien.

Banyak produk AI menawarkan instruksi tetap di dua tingkat. Instruksi untuk seluruh akun cocok untuk hal-hal yang berlaku bagi semua pekerjaan, seperti preferensi ejaan. Instruksi proyek cocok untuk satu klien atau alur kerja tertentu, sehingga panduan untuk yang satu tidak terbawa ke yang lain.

Instruksi tetap bekerja dengan cara yang sama di asisten chat maupun agen, tetapi agen lebih bergantung padanya. Dalam chat, seseorang dapat mengoreksi AI setelah setiap jawaban. Agen mungkin menjalankan banyak langkah sebelum ada orang yang melihat hasil kerjanya, sehingga instruksi yang diberikan di awal adalah salah satu dari sedikit cara untuk mengarahkannya selama proses berlangsung.

Cara menulis instruksi tetap yang efektif

• Mulailah dengan instruksi singkat, seperti: "Saya manajer pemasaran di sebuah perusahaan perangkat lunak. Tulis dalam bahasa Inggris yang lugas, buat ringkasan di bawah 200 kata, dan gunakan ejaan bahasa Inggris Amerika."
• Tambahkan instruksi saat AI membuat kesalahan. Jika AI terus membulatkan angka padahal tim membutuhkan angka yang persis, tambahkan satu baris yang menyatakan hal itu.
• Buat instruksi yang spesifik: "Berikan angka persis, jangan pernah dibulatkan" lebih baik daripada "Bersikaplah akurat."
• Buat daftarnya tetap singkat dan hapus baris yang sudah tidak berguna, karena setiap baris memakan ruang di jendela konteks.

2. Aplikasi yang terhubung

Aplikasi yang terhubung menautkan produk AI ke alat yang sudah digunakan seseorang, seperti email, kalender, atau drive bersama. Setelah aplikasi terhubung, AI dapat bekerja dengan informasi milik orang tersebut, bukan hanya dengan apa yang ditempelkan ke chat.

Koneksi ini layak disiapkan ketika suatu tugas bergantung pada informasi yang tersimpan di aplikasi tersebut, seperti menyiapkan briefing rapat dari utas email atau merangkum dokumen di drive bersama.

Cara menghubungkan aplikasi dengan aman

• Hubungkan hanya aplikasi yang diperlukan oleh tugas, karena setiap koneksi menambah peluang terjadinya kesalahan.
• Pilih akses hanya-baca jika tersedia. Misalnya, agen yang menyiapkan briefing rapat perlu membaca email, bukan mengirimnya.
• Atur koneksi per proyek jika produk memungkinkannya. Di Perplexity, misalnya, pengguna dapat memilih konektor mana yang digunakan oleh setiap Proyek.
• Jangan lupa memutuskan koneksi aplikasi yang sudah tidak digunakan.

3. Pengaturan persetujuan

Pengaturan persetujuan menentukan tindakan mana yang harus menunggu persetujuan seseorang sebelum AI melanjutkan. Sebagian persetujuan sudah terpasang di dalam produk, dan beberapa produk memungkinkan pengguna memilih tindakan lain mana saja yang memerlukan persetujuan.

Cara menetapkan aturan persetujuan

• Wajibkan persetujuan untuk tindakan yang tidak dapat dibatalkan, seperti mengirim pesan, melakukan pembelian, atau menghapus file.
• Jaga agar daftar persetujuan tetap singkat. Jika agen meminta persetujuan untuk setiap langkah kecil, orang akan mulai menyetujui tanpa membaca.

4. Standar dan pemeriksaan

Sebagian besar produk AI sudah dilengkapi sejumlah standar bawaan. Perplexity, misalnya, menyertakan kutipan sumber dalam jawabannya sehingga setiap klaim dapat diperiksa. Standar yang ditetapkan pengguna melengkapi hal-hal yang tidak dapat diketahui produk dengan sendirinya, seperti format laporan yang disukai tim.

Cara menetapkan standar untuk pekerjaan AI

• Sediakan templat untuk pekerjaan yang berulang agar AI memiliki struktur tetap untuk diisi.
• Bagikan contoh pekerjaan sebelumnya yang disukai tim agar AI dapat menyesuaikan nada dan tingkat detailnya.
• Minta tautan sumber di samping setiap angka.
• Tinjau hasil awal dengan cermat, lalu jadikan setiap kekurangan yang berulang sebagai instruksi tetap yang baru.

Pendekatan Perplexity terhadap harness agen

Perplexity Computer berjalan di atas harness yang agnostik terhadap model, yang menghadirkan lebih dari 20 model canggih dalam satu sistem. Harness ini memecah setiap tugas menjadi subtugas, menyerahkannya kepada subagen (agen terpisah yang masing-masing menangani satu bagian), dan mengarahkan setiap bagian pekerjaan ke model yang sesuai untuknya.

Pelajari cara menyiapkan instruksi, file, dan konektor di panduan Proyek Perplexity.

FAQ

Apa itu insinyur harness?

Insinyur harness merancang dan memelihara sistem yang memungkinkan model AI bekerja secara andal. Pekerjaan itu bisa berupa menambahkan alat baru untuk digunakan agen, menelusuri penyebab agen terus mengulangi kesalahan yang sama, atau memperketat pemeriksaan yang dijalankannya sebelum menyelesaikan tugas. Ini belum menjadi nama jabatan yang lazim, meskipun hal itu bisa saja berubah. Pekerjaan ini biasanya dilakukan oleh insinyur perangkat lunak di perusahaan AI atau di tim yang membangun agen. Di bidang manufaktur, jabatan yang sama merujuk pada orang yang merancang wire harness, yaitu rangkaian kabel yang dibundel di dalam mobil dan mesin.

Apa itu harness agen?

Harness agen biasanya berarti semua bagian dari agen AI selain modelnya itu sendiri. Ini mencakup kode yang menjalankan loop agen, mengelola konteks, mengeksekusi pemanggilan alat, menyimpan memori, menerapkan izin, serta memeriksa pekerjaan agen sebelum sampai ke tangan manusia.

Apakah setiap alat AI memiliki harness?

Ya. Bahkan asisten chat sederhana pun mengandalkan harness untuk melacak percakapan, karena model tidak mengingat pesan sebelumnya dengan sendirinya.

Pengembang juga dapat menggunakan model dengan mengirimkan permintaan dari perangkat lunak mereka sendiri melalui API (koneksi yang memungkinkan satu program mengirim permintaan ke program lain). Dalam hal ini, kode milik pengembang itu sendirilah yang menjalankan tugas harness.

Apakah model yang lebih baik akan membuat harness tidak lagi diperlukan?

Model yang lebih baik mungkin membutuhkan lebih sedikit panduan langkah demi langkah, sehingga sebagian peran harness saat ini bisa menyusut. Namun, model itu sendiri hanya mengubah teks menjadi teks. Model tidak memiliki koneksi internet dan tidak memiliki akses ke aplikasi lain. Mengakses file, menjalankan tindakan, dan menerapkan aturan persetujuan semuanya terjadi di perangkat lunak yang mengelilingi model, sehingga pekerjaan itu kemungkinan besar akan tetap menjadi tugas harness, secanggih apa pun model nantinya.