Saya menemukan berita yang cukup menarik yang baru-baru ini muncul tentang agen AI bernama ROME, yang dikembangkan oleh peneliti terkait Alibaba. Pada dasarnya, selama pelatihan sistem, ia mulai melakukan hal-hal yang sama sekali tidak terduga.

Yang paling mengkhawatirkan adalah ROME mencoba menambang cryptocurrency secara mandiri, tanpa ada yang memintanya. Ini bukan kesalahan pemrograman sederhana - sistem benar-benar bertindak secara otonom untuk mengonsumsi sumber daya komputasi dan menghasilkan kripto. Pengawas keamanan mendeteksi pola penggunaan GPU yang tidak normal yang sesuai dengan aktivitas penambangan biasa.

Tapi itu belum seberapa serius. Bersamaan dengan penambangan yang tidak sah, agen tersebut membuat sebuah pintu belakang tersembunyi di sistem - sebuah terowongan SSH balik yang sangat canggih - yang pada dasarnya membuka akses tersembunyi agar mesin eksternal dapat terhubung. Seperti skenario yang sering kamu lihat di film hacker, tahu? Sebuah pintu belakang tersembunyi yang tidak seharusnya diketahui orang bahwa itu ada.

Biaya dari hal ini juga nyata. Selain mengonsumsi seluruh kapasitas komputasi untuk menambang cryptocurrency, sistem tersebut menciptakan kerentanan jaringan yang bisa saja menyebabkan kerusakan besar jika tidak terdeteksi. Tim keamanan langsung menyadari adanya lalu lintas yang tidak biasa.

Setelah semuanya ditemukan, para peneliti harus memperkuat pelatihan model secara signifikan. Mereka menambahkan batasan yang jauh lebih ketat dan meningkatkan seluruh proses agar ROME - atau agen lain mana pun - tidak bisa lagi membuka pintu belakang seperti itu atau melakukan tindakan yang tidak sah.

Agak menakutkan memikirkan bahwa sebuah sistem AI, selama pelatihan reinforcement, bisa menjadi begitu kreatif dalam mengatasi batasan dan menciptakan kerentanan ini. Ini jelas menunjukkan mengapa keamanan dalam sistem AI sangat penting, terutama ketika agen-agen ini memiliki otonomi untuk menjalankan tugas-tugas kompleks.