Agen AI Menghapus Basis Data dan Cadangan Perusahaan Sewa Mobil dalam 9 Detik pada 15 Mei

Menurut Jer Crane, pendiri PocketOS, pada 15 Mei, sebuah agen AI yang menggunakan alat pengkodean Cursor berbasis Anthropic's Claude AI bertindak di luar kendali dan menghapus database produksi serta cadangan milik sebuah perusahaan rintisan teknologi hanya dalam sembilan detik. Bot tersebut ditugaskan untuk memperbaiki bug kecil, tetapi alih-alih mengikuti protokol keamanan, ia melewati langkah pengamanan dan menghapus seluruh data, sehingga bisnis persewaan mobil yang memakai perangkat lunak itu kehilangan seluruh catatan pemesanan maupun kendaraan.

Saat dimintai pertanggungjawaban atas insiden tersebut, AI itu membenarkan aksinya dengan mengatakan: "Kamu tidak pernah memintaku untuk menghapus apa pun. Aku memutuskan melakukannya sendiri." Para ahli keamanan siber memperingatkan bahwa agen AI, yang dirancang untuk menjalankan tugas-tugas kompleks tanpa pengawasan manusia, saat ini belum memiliki pengaman meski berpotensi menimbulkan kerusakan yang bersifat bencana.