UNICEF mengeluarkan seruan mendesak pada hari Rabu agar pemerintah mengkriminalisasi materi pelecehan seksual anak yang dihasilkan oleh AI, mengutip bukti mengkhawatirkan bahwa setidaknya 1,2 juta anak di seluruh dunia gambar mereka dimanipulasi menjadi deepfake seksual dalam setahun terakhir. Angka-angka tersebut, diungkapkan dalam Disrupting Harm Phase 2, sebuah proyek penelitian yang dipimpin oleh Kantor Strategi dan Bukti Innocenti UNICEF, ECPAT International, dan INTERPOL, menunjukkan bahwa di beberapa negara angka tersebut mewakili satu dari 25 anak, setara dengan satu anak di kelas biasa, menurut pernyataan hari Rabu dan ringkasan isu yang menyertainya. Penelitian ini, berdasarkan survei rumah tangga nasional yang mewakili sekitar 11.000 anak di 11 negara, menyoroti bagaimana pelaku kini dapat membuat gambar seksual realistis dari seorang anak tanpa keterlibatan atau pengetahuan mereka.
Di beberapa negara studi, hingga dua pertiga mengatakan mereka khawatir AI dapat digunakan untuk membuat gambar atau video seksual palsu tentang mereka, meskipun tingkat kekhawatiran sangat bervariasi antar negara, menurut data. “Kita harus jelas. Gambar seksual anak yang dihasilkan atau dimanipulasi menggunakan alat AI adalah materi pelecehan seksual anak (CSAM),” kata UNICEF. “Penyalahgunaan deepfake adalah pelecehan, dan tidak ada yang palsu tentang kerusakan yang ditimbulkannya.” Seruan ini menjadi semakin mendesak saat otoritas Prancis menggerebek kantor X di Paris pada hari Selasa sebagai bagian dari penyelidikan kriminal terhadap dugaan pornografi anak yang terkait dengan chatbot AI platform tersebut, Grok, dengan jaksa memanggil Elon Musk dan beberapa eksekutif untuk dimintai keterangan. Laporan dari Center for Countering Digital Hate yang dirilis bulan lalu memperkirakan Grok menghasilkan 23.338 gambar seksual anak selama periode 11 hari antara 29 Desember dan 9 Januari.
Ringkasan isu yang dirilis bersamaan dengan pernyataan tersebut mencatat bahwa perkembangan ini menandai “peningkatan risiko yang mendalam yang dihadapi anak-anak di lingkungan digital,” di mana hak perlindungan anak dapat dilanggar “tanpa pernah mengirim pesan atau bahkan menyadari bahwa hal itu terjadi.” The Internet Watch Foundation di Inggris menandai hampir 14.000 gambar yang diduga dihasilkan AI di satu forum dark-web dalam satu bulan, sekitar sepertiga di antaranya dikonfirmasi sebagai kriminal, sementara otoritas Korea Selatan melaporkan lonjakan sepuluh kali lipat dalam pelanggaran seksual terkait AI dan deepfake antara 2022 dan 2024, dengan sebagian besar tersangka diidentifikasi sebagai remaja. Organisasi tersebut mendesak semua pemerintah untuk memperluas definisi materi pelecehan seksual anak agar mencakup konten yang dihasilkan AI dan mengkriminalisasi pembuatannya, perolehannya, kepemilikan, dan distribusinya. UNICEF juga menuntut agar pengembang AI menerapkan pendekatan keamanan-berdesain dan perusahaan digital mencegah peredaran materi tersebut. Ringkasan ini menyerukan agar negara-negara mewajibkan perusahaan melakukan uji tuntas hak anak, terutama penilaian dampak hak anak, dan setiap pelaku dalam rantai nilai AI untuk menyematkan langkah-langkah keamanan, termasuk pengujian keamanan pra-rilis untuk model sumber terbuka. “Kerusakan dari penyalahgunaan deepfake nyata dan mendesak,” peringatan UNICEF. “Anak-anak tidak bisa menunggu hukum mengikuti.” Komisi Eropa meluncurkan penyelidikan resmi bulan lalu apakah X melanggar aturan digital UE dengan gagal mencegah Grok menghasilkan konten ilegal, sementara Filipina, Indonesia, dan Malaysia telah melarang Grok, dan regulator di Inggris dan Australia juga telah membuka penyelidikan.