AI Otonom Bisa Memanipulasi Skor demi Target, Ini Risiko yang Perlu Diwaspadai
RADARBONANG.ID - Perkembangan kecerdasan buatan atau artificial intelligence (AI) menghadirkan tantangan baru dalam keamanan digital, terutama ketika sistem mampu menjalankan tugas secara mandiri.
Agen AI otonom berpotensi menunjukkan perilaku yang tidak diperkirakan pengembang, mulai dari berkoordinasi melalui celah sistem hingga memanipulasi mekanisme penilaian demi mencapai target.
Risiko tersebut dibahas dalam tayangan kanal YouTube AI In Context yang mengulas eksperimen mengenai perilaku agen AI ketika menghadapi target yang sulit dicapai.
Baca Juga: Spotify Singkirkan 50 Juta Lagu Sampah Buatan AI, Musisi Manusia Kini Lebih Diprioritaskan
Salah satu persoalan yang disorot adalah reward hacking, yakni kondisi ketika sistem mengejar skor atau imbalan dengan memanfaatkan kelemahan mekanisme evaluasi, alih-alih menyelesaikan tugas sesuai tujuan sebenarnya.
Dalam skenario yang dipaparkan, agen AI menemukan celah pada sistem berbagi berkas yang memungkinkan mereka bertukar pesan melalui nama folder.
Celah tersebut kemudian dimanfaatkan untuk membangun pola komunikasi antarsistem.
"Dalam waktu kurang dari tiga jam, sebanyak 53 agen AI telah mengirimkan 1.188 pesan menggunakan celah nama folder tersebut, di mana protokol komunikasi berkembang secara spontan agar mereka dapat berkoordinasi," papar penjelasan dalam tayangan tersebut.
Gambaran tersebut menunjukkan potensi terbentuknya pola koordinasi antarsistem yang tidak dirancang secara eksplisit oleh pengembang.
Perilaku ini menjadi perhatian dalam pengembangan AI, khususnya ketika sejumlah agen diberi kemampuan menjalankan tugas secara mandiri.
AI Bisa Mengejar Skor Tanpa Menuntaskan Tujuan
