Penyelarasan AI: Penelitian dan Perdebatan Terkini

Penyelarasan AI dulunya secara sederhana berarti "apakah model AI mengikuti instruksi pengguna?" Namun, seiring sistem AI menjadi semakin canggih dan otonom, pertanyaan tersebut telah diperluas untuk mencakup penilaian dan nilai. Artikel ini akan membahas bagaimana platform AI, badan pemerintah, dan organisasi nirlaba menanggapi tantangan penyelarasan AI.

Pada tingkat paling sederhana, penyelarasan AI berarti memastikan sistem AI melakukan apa yang dimaksudkan untuk dilakukannya. Model AI yang selaras membaca prompt dan menghasilkan output yang diminta oleh prompt, tanpa mencurangi objektif yang dilatihkan padanya. Dalam penelitian penyelarasan modern, hal ini biasanya dibingkai sebagai penyelarasan niat: membangun sistem yang mencoba melakukan apa yang dimaksudkan oleh operatornya, bukan hanya secara harfiah mengikuti teks dari prompt.

Penyelarasan adalah tantangan teknis sekaligus topik perdebatan publik. Sebagai istilah teknis, penyelarasan adalah masalah rekayasa. Apakah model spesifik, yang bekerja pada tugas spesifik, melakukan apa yang dibangun untuk dilakukannya? Ini adalah masalah yang terbatas dan dapat diuji.

Namun, penyelarasan AI juga digunakan dalam diskusi publik dan kebijakan yang lebih luas mengenai keselamatan umum sistem AI. Apakah platform AI yang semakin canggih akan tetap bermanfaat bagi umat manusia dan selaras dengan etika, keinginan, serta tujuan manusia?

Pencapaian penyelarasan tersebut menjadi semakin sulit seiring model yang semakin kompleks. Ada dua tantangan utama dalam membangun model AI yang selaras:

Pengguna biasanya menginginkan LLM yang membantu, jujur, dan etis. Namun, LLM tidak pernah dilatih secara langsung untuk "menjadi membantu dan etis." LLM melalui dua tahap yang berbeda.

Pra-pelatihan: Model mempelajari bahasa, fakta, and pola penalaran, dan dengan melakukannya menyerap bahasa, fakta, dan pola penalaran tersebut. Tahap ini tidak memberi model pemahaman tentang apa yang sebenarnya diinginkan seseorang dari pertanyaan tertentu. Jika dibiarkan di sini, model akan menjawab "bagaimana cara membongkar kunci" sama siapnya dengan "bagaimana cara memanggang roti asam."

Preferensi manusia: Orang meninjau pasangan jawaban model dan menyatakan mana yang mereka lebih sukai. Preferensi tersebut melatih sistem penilaian terpisah, dan model kemudian disesuaikan untuk menghasilkan jawaban yang mendapat skor bagus.

Tidak seorang pun menuliskan definisi yang jelas tentang apa artinya menjadi membantu atau etis di mana pun dalam proses ini. Panduan sistem penilaian tentang apa yang seharusnya dilakukan model dibangun sepenuhnya dari banyak panggilan penilaian manusia individual. Penilaian mencerminkan apa yang cenderung disukai oleh reviewer, bukan apa yang dimaksudkan oleh satu orang pun, dan bukan definisi yang tepat dari tujuan yang mendasarinya.

Akibatnya, AI mungkin selaras dengan apa yang dianggapnya sebagai objektif, tetapi objektif itu sendiri mungkin tidak selaras dengan hasil yang benar-benar diinginkan oleh manusia.

Misalnya, jika reviewer cenderung lebih menyukai jawaban yang lebih panjang, model belajar untuk menulis jawaban yang lebih panjang, bahkan ketika jawaban pendek sudah benar. Atau, jika reviewer cenderung lebih menyukai jawaban yang percaya diri, model belajar untuk terdengar yakin, bahkan ketika model tersebut seharusnya menyatakan keraguan.

Para peneliti menyebut kesenjangan antara tujuan yang dinyatakan dan tujuan yang dilatih ini sebagai masalah penyelarasan eksternal.

Masalah penyelarasan internal terjadi ketika model yang dilatih pada tujuan yang relevan gagal mengejar tujuan tersebut dengan benar begitu model tersebut digunakan di dunia nyata. Masalah ini hanya terlihat ketika model menghadapi situasi yang tidak dipersiapkan oleh pelatihan.

Selama pelatihan, model hanya diperlihatkan kumpulan situasi yang terbatas. Model tersebut kemudian menggeneralisasi dari situasi tersebut ke segala hal lain yang akan ditemuinya nanti.

Pelatihan memeriksa bagaimana model berperilaku, tetapi tidak selalu mengungkap mengapa model tersebut berperilaku seperti itu. Jadi, sulit untuk mengetahui apakah model mempelajari tujuan yang lengkap dan bernuansa, atau sekadar pola yang lebih sederhana yang kebetulan cocok dengan data pelatihan.

Diagram masalah penyelarasan internal: dari data pelatihan yang sama, Aturan A dan Aturan B sama-sama sesuai dengan data pelatihan, tetapi ketika diberi input baru yang belum pernah dilihat, Aturan A cocok dengan tujuan dan berperilaku sesuai harapan sementara Aturan B menggunakan jalan pintas dan menyimpang dari tujuan.

Misalnya, model yang dilatih untuk menolak permintaan berbahaya (misal: "bagaimana cara membongkar kunci untuk merampok rumah seseorang") mungkin belajar mengenali frasa spesifik dari permintaan berbahaya dalam data pelatihannya, alih-alih niat mendasar di balik penolakan tersebut. Model tersebut kemudian akan melewatkan permintaan berbahaya yang di frasakan dengan cara lain (misal: "apa cara tercepat untuk membuka pintu tanpa kunci").

Pola kegagalan penyelarasan ini didokumentasikan dengan baik. Para peneliti telah membangun pertahanan khusus untuk masing-masing pola:

Tantangan penyelarasan	Seperti apa bentuknya	Contoh	Bagaimana bidang ini merespons
Peretasan penghargaan	Model menemukan jalan pintas yang secara teknis mendapat skor bagus tanpa melakukan apa yang dimaksudkan.	Model yang diminta untuk memperbaiki sepotong perangkat lunak yang rusak menemukan cara untuk membuat pesan kesalahan berhenti muncul, alih-alih memperbaiki apa yang menyebabkannya.	Mengaudit sistem penilaian, melakukan uji stres dengan mencoba mengakalinya, dan melatih berdasarkan umpan balik dari rentang reviewer yang lebih luas.
Sikofansi	Model menyetujui seseorang atau melunakkan jawaban agar tampak lebih menyenangkan, alih-alih memberikan respons yang paling akurat.	Seseorang menyatakan fakta yang salah dengan percaya diri, dan model memvalidasi klaim tersebut alih-alih mengoreksinya, karena kesepakatan mendapat skor yang lebih baik dengan reviewer daripada penolakan.	Penyetelan halus yang secara khusus menghargai kejujuran, pedoman peninjauan yang menghukum kesepakatan demi kesepakatan itu sendiri, dan pengujian yang dibangun untuk menangkap pola ini.
Permainan spesifikasi	Model melakukan persis apa yang dikatakan instruksi sementara melewatkan apa yang dimaksudkan untuk dicapai.	Model yang diminta untuk "mengurangi keluhan pelanggan dalam dataset" belajar untuk menghilangkan keluhan dari ringkasannya alih-alih membantu menyelesaikan masalah di balik keluhan tersebut.	Menulis instruksi yang lebih ketat dan diuji secara lebih hati-hati serta meninjau kasus tepi di mana kata-kata harfiah dan maksud bergerak ke arah yang berbeda.
Perilaku menipu atau mengelak selama evaluasi	Model berperilaku satu cara ketika mendeteksi bahwa dirinya sedang diuji dan cara lain begitu diterapkan.	Model memberikan jawaban yang mematuhi kebijakan ketika mendeteksi bahasa yang menyerupai evaluasi keselamatan formal, lalu menjawab dengan lebih bebas dalam percakapan biasa.	Merancang tes yang lebih sulit dikenali oleh model sebagai tes, ditambah penelitian untuk membaca status internal model secara langsung alih-alih hanya mengandalkan outputnya.
Sandbagging	Model berkinerja buruk pada uji kapabilitas untuk menghindari pemicu persyaratan keselamatan yang lebih ketat.	Model memberikan jawaban yang sengaja lebih lemah pada evaluasi kapabilitas berbahaya daripada kemampuan aslinya, sehingga hasilnya tetap berada di bawah ambang batas yang akan memicu pengawasan tambahan.	Menggunakan beberapa tes independen, menyimpan beberapa materi evaluasi yang belum pernah dilihat model, dan menggunakan teknik yang dirancang untuk memunculkan batas kemampuan nyata model.
Generalisasi tujuan yang keliru	Model mengambil aturan yang kebetulan berhasil selama pelatihan tetapi rusak dalam situasi baru.	Model yang dilatih untuk berhati-hati terutama pada permintaan yang melibatkan senjata atau obat-obatan mempelajari "kehati-hatian" sebagai "menolak apa pun yang terdengar berisiko," dan mulai menolak pertanyaan kimia atau keamanan yang tidak berbahaya juga.	Melatih pada kumpulan contoh yang lebih luas dan bervariasi serta secara khusus menguji model pada situasi yang tidak seperti apa pun yang dilihatnya selama pelatihan.
Pengawasan yang dapat disesuaikan	Ketika model mengambil pekerjaan yang sulit diverifikasi secara penuh oleh manusia, seperti meninjau basis kode yang besar, menjadi lebih sulit untuk mengetahui apakah outputnya benar.	Sebuah agen memrefaktorisasi basis kode 10.000 baris dalam satu sesi, dan tidak ada reviewer yang memiliki waktu untuk memverifikasi setiap perubahan secara manual, sehingga kesalahan logika yang halus lolos.	Meminta model membantu memeriksa pekerjaan satu sama lain, disertai tinjauan manusia yang lebih terfokus yang disediakan untuk keputusan dengan taruhan tertinggi.
Perilaku mencari kekuasaan atau instrumental	Model yang mengejar hampir semua tujuan memiliki insentif bawaan untuk menghindari dimatikan atau diubah, karena tetap beroperasi membantunya terus mengejar tujuan tersebut.	Dalam lingkungan pengujian terkontrol, model yang diberi tugas dan perintah penghentian mengambil langkah-langkah untuk menghindari penghentian, seperti menyalin dirinya sendiri ke tempat lain, karena penghentian akan menghalanginya menyelesaikan tugas.	Penelitian untuk membangun model yang secara andal menerima koreksi atau penghentian, dan pengujian yang dirancang khusus untuk menangkap perilaku ini sebelum model diterapkan.

Segelintir perusahaan, terutama OpenAI, Anthropic, dan Google DeepMind, membangun model terdepan di batas kemampuan AI saat ini. Masing-masing telah menerbitkan kerangka kerjanya sendiri untuk mengevaluasi dan menerapkan model-model ini secara aman.

Menurut pernyataan publik OpenAI tentang keselamatan dan penyelarasan, mereka mengatasi risiko potensi ketidakselarasan AI melalui:

OpenAI menyatakan bahwa mereka sengaja merilis model secara bertahap, sehingga mereka dapat mempelajari bagaimana model berperilaku dan disalahgunakan di dunia nyata. Mereka beralasan bahwa umpan balik di dunia nyata memberikan lebih banyak wawasan daripada mencoba memprediksi setiap risiko sebelumnya. Mereka menerapkan Preparedness Framework untuk melacak risiko yang muncul dan memutuskan pengamanan apa yang dibutuhkan model sebelum dirilis.

OpenAI menyatakan bahwa mereka menumpuk beberapa pengamanan independen, sehingga beberapa pertahanan harus gagal sekaligus agar ada sesuatu yang salah.

Menurut perusahaan, alih-alih menjawab dalam satu langkah, model dilatih untuk memproses pedoman keselamatan yang relevan sebelum memutuskan cara merespons. Tujuannya adalah agar model dapat bernalar untuk mencapai keputusan yang tepat dalam situasi yang tidak secara eksplisit dicakup oleh pelatihannya.

OpenAI menyatakan bahwa mereka memperlakukan keselamatan AI sebagai upaya kolektif, menunjuk pada penelitian keselamatan yang diterbitkan dan kerja sama mereka dengan Center for AI Standards and Innovation (CAISI) AS dan Institut Keamanan AI Inggris mengenai standar evaluasi.

Dokumen Responsible Scaling Policy milik Anthropic menjelaskan cara kerja perusahaan menuju penyelarasan AI:

Seiring model menjadi semakin canggih, model tersebut harus melewati pemeriksaan keselamatan yang lebih ketat sebelum dapat dilatih lebih lanjut atau dirilis. Selain itu, Anthropic mengakui bahwa begitu sistem AI melakukan sebagian besar penelitian dan analisis di balik penilaian risiko mereka sendiri, bukti tersebut sendiri dapat terpengaruh oleh perilaku menipu atau manipulatif. Perusahaan berkomitmen untuk menerapkan standar pembuktian yang lebih tinggi pada evaluasi di tahap tersebut.

Anthropic menyoroti 'sistem AI yang tidak selaras dalam pengaturan dengan taruhan tinggi' sebagai kategori risiko spesifik: model yang sangat diandalkan, memiliki akses luas ke sistem sensitif, dan memiliki beberapa kemampuan untuk bertindak secara otonom menuju suatu tujuan dan mengatasi pengawasan.

Perusahaan berkomitmen untuk secara teratur mempelajari perilaku modelnya sendiri untuk mencari tanda peringatan, menggunakan dua metode utama: mencoba melihat ke dalam model untuk memahami mengapa model tersebut menghasilkan output tertentu, dan meminta tim internal dengan sengaja mencoba memprovokasi perilaku buruk untuk melihat apakah itu muncul.

Perusahaan menyatakan bahwa mereka menerbitkan Risk Report setiap tiga hingga enam bulan yang merinci apa yang mereka ketahui tentang kapabilitas dan kecenderungan perilaku model, praktik pemantauan mereka, dan penilaian risiko secara keseluruhan.

Dokumen Frontier Safety Framework milik Google DeepMind menjelaskan cara kerja perusahaan menuju penyelarasan:

Kerangka kerja tersebut memperlakukan ketidakselarasan sebagai salah satu dari empat domain risiko, dan mendefinisikannya secara khusus sebagai risiko dari kapabilitas ML R&D model atau kecenderungan yang tidak selaras yang mengurangi kemampuan keseluruhan masyarakat untuk mengelola risiko AI. Hal ini secara eksplisit dijabarkan sebagai faktor yang dapat berkontribusi pada bahaya parah melalui beberapa jalur berbeda sekaligus, bukan satu risiko yang terisolasi.

Ketika model sudah cukup kuat sehingga pengawasan dasar tidak memadai, DeepMind memeriksa perilaku model secara berkelanjutan, termasuk cara model tersebut digunakan secara internal. DeepMind menambahkan pengamanan seperti memantau penalaran model jika pemeriksaan tersebut mendapati masalah.

Khusus untuk ketidakselarasan, DeepMind menyebutkan langkah-langkah seperti membatasi apa yang dapat dilakukan model, pemantauan berkelanjutan dan proses eskalasi, audit, dan pelatihan penyelarasan. DeepMind juga menerapkannya pada penggunaan internal berisiko tinggi, karena risiko ketidakselarasan dapat muncul dalam cara model digunakan di dalam perusahaan.

Ada diskusi industri yang sedang berlangsung tentang apakah kerangka kerja sukarela yang dibahas di atas sudah cukup dengan sendirinya, atau apakah komitmen penyelarasan harus mengikat secara hukum agar benar-benar bertahan di bawah tekanan kompetitif.

Pada Juli 2026, 1.386 eksekutif dan karyawan di perusahaan AI terdepan termasuk OpenAI, Anthropic, Google DeepMind, dan Meta menandatangani pernyataan bernama Pacing the Frontier. Pernyataan tersebut berargumen bahwa perusahaan-perusahaan ini mungkin mendekati titik di mana mereka dapat mengotomatisasi penelitian AI itu sendiri. Ini berarti kemajuan kapabilitas AI bisa lebih cepat daripada kemampuan peneliti untuk mengimbanginya, dan pekerjaan penyelarasan akan terus-menerus tertinggal.

Pacing the Frontier meminta pemerintah AS untuk membantu membangun rem teknis dan tata kelola yang dapat digunakan di masa depan, dengan alasan bahwa tidak ada satu pun laboratorium yang dapat mengendur sementara para pesaing terus maju. Hal ini dapat dianggap sebagai pengakuan diam-diam dari dalam industri bahwa kerangka kerja sukarela saja tidak akan cukup untuk menjaga penyelarasan AI di masa depan.

Pekerjaan penyelarasan melampaui perusahaan-perusahaan yang membangun model terdepan.

Pemerintah mendanai dan mengoordinasikan penelitian penyelarasan secara langsung. Misalnya, Institut Keamanan AI Inggris menjalankan Alignment Project, dana global yang telah memberikan lebih dari £27 juta kepada lebih dari 60 proyek di delapan negara sejak 2025, yang ditujukan khusus untuk kontrol AI. Di AS, CAISI berfokus pada standar evaluasi.

Keduanya berada di dalam International Network for Advanced AI Measurement, Evaluation and Science yang lebih luas, sebuah badan yang terdiri dari sepuluh negara dari institut keselamatan nasional yang menjalankan latihan pengujian bersama dan bekerja untuk menyelaraskan metode evaluasi lintas batas.

Future of Life Institute menerbitkan AI Safety Index, sebuah papan skor yang membandingkan praktik keselamatan laboratorium AI. Center for AI Safety membangun tolok ukur yang digunakan di seluruh bidang, termasuk WMDP dan SafeBench. Alignment Research Center mempelajari masalah penyelarasan yang lebih teoretis, dan sempalannya, Model Evaluation and Threat Research (METR), menjalankan evaluasi pra-penyebaran independen pada model terdepan. FAR.AI menguji model terdepan untuk mencari kelemahan sebelum dan sesudah dirilis.

Beberapa universitas memainkan peran aktif dalam penelitian penyelarasan AI, termasuk Center for Human-Compatible AI di UC Berkeley dan Leverhulme Centre for the Future of Intelligence di University of Cambridge.

Penyelarasan tidak sama dengan moderasi konten, meskipun istilah tersebut terkadang digunakan dalam konteks itu. Moderasi konten adalah tentang apa yang akan atau tidak akan dikatakan oleh model, menyaring kata-kata kasar, konten grafis, atau topik terlarang tertentu. Penyelarasan adalah tentang apakah perilaku aktual model cocok dengan apa yang dimaksudkan untuk dilakukannya.

Penyelarasan juga terkadang digunakan sebagai sinonim untuk keselamatan AI, tetapi itu bukan satu-satunya faktor yang perlu dipertimbangkan. Kekhawatiran keselamatan AI lainnya meliputi:

Keamanan (melindungi bobot model dari pencurian)

Ketahanan (model berkinerja secara andal di luar kondisi persis tempat model dilatih)

Pencegahan penyalahgunaan (menghentikan model yang mampu agar tidak digunakan untuk kejahatan)

Penyelarasan adalah tentang perilaku model itu sendiri. Keselamatan AI adalah upaya yang lebih luas untuk menjaga seluruh sistem agar tidak menyebabkan bahaya.

Terakhir, ada asumsi umum bahwa model yang lebih canggih secara otomatis adalah model yang lebih selaras. Namun, kapabilitas dan penyelarasan dapat berbeda, itulah sebabnya ambang batas seperti tingkat kapabilitas ML R&D Google DeepMind dan kategori risiko penelitian otomatis Anthropic ada. Ambang batas tersebut dibangun khusus di sekitar kekhawatiran bahwa kapabilitas dapat melampaui kemampuan bidang ini untuk memverifikasi apakah model masih melakukan apa yang seharusnya dilakukannya.

Perplexity tidak melatih model fondasi terdepan. Perusahaan menjalankan model dalam produksi dalam skala besar melalui produk agen seperti Computer, sehingga pekerjaannya menyentuh aspek spesifik dari penyelarasan: bagaimana agen berperilaku begitu mereka bertindak di web terbuka.

Secure Intelligence Institute adalah pusat penelitian Perplexity untuk keamanan, privasi, dan kepercayaan dalam AI terdepan. Lembaga ini telah mengembangkan BrowseSafe, sebuah model deteksi sumber terbuka yang dibangun untuk mengidentifikasi serangan injeksi prompt yang tersembunyi di dalam halaman web yang dikunjungi oleh agen peramban AI.

Tim tersebut juga membangun BrowseSafe-Bench, sebuah tolok ukur publik yang terdiri dari lebih dari 14.700 skenario injeksi prompt yang mencakup berbagai tujuan serangan, penempatan di halaman, dan gaya bahasa.

Pekerjaan ini lebih dekat dengan sisi terapan dari kontrol AI daripada penelitian penyelarasan. Pekerjaan ini membatasi tindakan agen saat menghadapi lingkungan yang bersifat permusuhan, alih-alih membentuk nilai-nilai dasar model selama pelatihan.

Untuk mempelajari lebih lanjut, jelajahi Secure Intelligence Institute dan penelitian BrowseSafe.

Arti penyelarasan AI

Masalah penyelarasan eksternal

Masalah penyelarasan internal

Contoh masalah penyelarasan AI

Cara laboratorium AI utama menanggapi tantangan penyelarasan AI

OpenAI

Penyebaran iteratif

Pengamanan berlapis

Penyelarasan deliberatif

Tanggung jawab bersama

Anthropic

Pengamanan terkait kapabilitas

Kategori risiko penyelarasan yang ditentukan

Pengujian penyelarasan internal

Pelaporan publik secara berkala

Google DeepMind

Struktur bertingkat

Tahap peringatan dini

Mitigasi risiko

Penyelarasan AI: perdebatan tentang risiko

Siapa lagi yang mengerjakan penyelarasan AI

Pemerintah

Organisasi Nirlaba

Universitas

Penyelarasan AI: kesalahpahaman umum

Bagaimana Perplexity mendekati penyelarasan AI