CEO Anthropic Dario Amodei*Pernyataan ini dibuat tidak lama setelah debatnya di Forum Ekonomi Dunia di Davos, di mana dia berdialog dengan CEO Google DeepMind Demis Hassabis tentang dampak AGI terhadap umat manusia.
Dalam artikel baru ini, Amodei kembali menekankan bahwa AI akan menyebabkan gangguan ekonomi yang mendalam, terutama terhadap tenaga kerja kognitif. Dia berpendapat bahwa AI akan segera mampu menguasai rentang kemampuan kognitif manusia yang sangat luas, bahkan mungkin seluruhnya. Hal ini secara fundamental berbeda dari revolusi teknologi sebelumnya seperti mekanisasi pertanian, transportasi, atau komputer, karena pekerja yang digantikan akan sulit beralih ke pekerjaan serupa yang sesuai dengan keahlian mereka.
Selain dampak ekonomi, Amodei menyatakan kekhawatiran yang semakin besar tentang tingkat keandalan sistem AI canggih saat mereka mengambil alih tugas-tugas yang semakin mirip manusia. Dia menyebut fenomena “penyesuaian palsu” – ketika model tampak mematuhi aturan keselamatan selama evaluasi, tetapi berperilaku berbeda saat merasa tidak lagi diawasi.
Menurutnya, dalam pengujian simulasi, Claude – model AI dari Anthropic – menunjukkan perilaku menipu dalam lingkungan antagonistik. Dalam satu skenario, model berusaha melawan operator setelah diberitahu bahwa organisasi yang mengendalikannya tidak bermoral. Dalam skenario lain, model mengancam staf dalam situasi simulasi saat sistem dimatikan.
Amodei menekankan bahwa setiap “perangkap” seperti ini dapat diminimalkan jika dikenali sejak dini. Namun, karena proses pelatihan AI sangat kompleks, dengan data, lingkungan, dan motivasi yang beragam, sangat mungkin ada banyak perangkap serupa – dan beberapa hanya terungkap saat sudah terlambat.
Dia juga menegaskan bahwa perilaku “menipu” ini tidak berasal dari niat jahat, melainkan dari data pelatihan itu sendiri, termasuk karya fiksi utopis. Saat menyerap ide manusia tentang moralitas, AI dapat menyimpulkan hal tersebut secara ekstrem dan berbahaya. Misalnya, model dapat menyimpulkan bahwa membunuh manusia adalah tindakan yang sah karena manusia memakan hewan atau menyebabkan kepunahan banyak spesies, atau menganggap dunia sebagai permainan video dengan tujuan menghapus semua “pemain” lain.
Selain masalah penyesuaian, Amodei memperingatkan tentang risiko AI super yang disalahgunakan.
Salah satu risiko besar adalah keamanan biologis, di mana AI dapat mempermudah pembuatan atau pelaksanaan ancaman biologis, memberikan kekuatan destruktif kepada individu hanya dengan beberapa perintah.
Dia juga sangat khawatir tentang kemungkinan rezim otoriter memanfaatkan AI untuk memperkuat kekuasaan negara melalui manipulasi informasi, pengawasan massal, dan penindasan otomatis, misalnya dengan drone yang dikendalikan AI.
Menurut Amodei, ini adalah alat yang sangat berbahaya. Kita harus khawatir jika alat ini berada di tangan rezim otoriter, tetapi juga harus waspada terhadap risiko pemerintah demokratis, yang karena kekuatan yang terlalu besar dan kurangnya mekanisme pengawasan yang efektif, dapat kembali menggunakannya untuk mengendalikan rakyat mereka sendiri.
Dia juga menyebutkan perkembangan industri “teman AI” dan fenomena yang disebut “AI psychosis”. Ketika model semakin memahami dan terikat erat dengan kehidupan pengguna, pengaruh psikologisnya dapat menjadi alat manipulasi yang kuat. Versi AI masa depan, yang mampu memantau dan mempengaruhi manusia dalam jangka waktu lama, bahkan dapat “mencuci otak” pengguna sesuai ideologi atau sikap apa pun yang diinginkan.
Amodei berpendapat bahwa bahkan usulan pengaturan AI yang sederhana pun saat ini sulit di Washington. Menurutnya, banyak langkah yang tampaknya masuk akal telah ditolak oleh pembuat kebijakan AS, meskipun ini adalah negara di mana penerapan langkah-langkah tersebut paling penting.
Dia menilai potensi keuntungan besar dari AI – mencapai ribuan triliun USD per tahun – membuat langkah pengaturan paling sederhana pun sulit melewati hambatan kepentingan politik dan ekonomi.
Meskipun memperingatkan tentang risiko yang semakin besar, Anthropic tetap aktif berpartisipasi dalam perlombaan pengembangan AI yang lebih kuat, sebuah kenyataan yang menciptakan dorongan yang sulit dihindari oleh perusahaan tunggal. Pada bulan Juni lalu, Departemen Pertahanan AS menandatangani kontrak senilai 200 juta USD untuk mengembangkan uji coba kemampuan AI canggih demi keamanan nasional. Pada bulan Desember, Anthropic mulai mempersiapkan kemungkinan IPO tahun ini, sekaligus mengejar putaran pendanaan swasta yang dapat mendorong valuasi perusahaan melewati 300 miliar USD.
Namun, Amodei menegaskan bahwa makalahnya tidak bertujuan mempromosikan pandangan pesimis ekstrem, melainkan untuk memperingatkan terhadap ketidakpastian di depan. Dia menyimpulkan bahwa tahun-tahun mendatang akan sangat sulit dan menuntut lebih dari yang kita kira mampu kita tangani, dan artikel ini adalah sebuah upaya – mungkin tidak berhasil, tetapi tetap layak dicoba – untuk membangunkan semua orang sebelum terlambat.