UNICEF đã đưa ra lời kêu gọi khẩn cấp vào thứ Tư yêu cầu các chính phủ hình sự hóa các tài liệu lạm dụng tình dục trẻ em do AI tạo ra, trích dẫn bằng chứng đáng báo động rằng ít nhất 1,2 triệu trẻ em trên toàn thế giới đã bị chỉnh sửa hình ảnh thành deepfake tình dục trong năm qua. Các số liệu này, được tiết lộ trong Dự án Nghiên cứu Ngăn chặn Hại Phần 2, do Văn phòng Chiến lược và Bằng chứng Innocenti của UNICEF, ECPAT Quốc tế và INTERPOL dẫn đầu, cho thấy ở một số quốc gia, con số này chiếm 1 trong 25 trẻ em, tương đương một trẻ trong một lớp học điển hình, theo một tuyên bố vào thứ Tư và bản tóm tắt vấn đề kèm theo. Nghiên cứu dựa trên khảo sát hộ gia đình đại diện quốc gia với khoảng 11.000 trẻ em ở 11 quốc gia, làm nổi bật cách các thủ phạm hiện có thể tạo ra hình ảnh tình dục chân thực của trẻ mà không cần sự tham gia hoặc nhận thức của trẻ.
Ở một số quốc gia trong nghiên cứu, lên tới hai phần ba số người được hỏi cho biết họ lo lắng AI có thể được sử dụng để tạo ra hình ảnh hoặc video giả về tình dục của họ, mặc dù mức độ lo ngại khác nhau rất nhiều giữa các quốc gia, theo dữ liệu. “Chúng ta phải rõ ràng. Hình ảnh tình dục của trẻ em được tạo ra hoặc chỉnh sửa bằng công cụ AI là tài liệu lạm dụng tình dục trẻ em (CSAM),” UNICEF nói. “Lạm dụng deepfake là lạm dụng, và không có gì giả về những tổn thương mà nó gây ra.” Lời kêu gọi này trở nên cấp bách hơn khi chính quyền Pháp đã đột kích văn phòng của X tại Paris vào thứ Ba trong khuôn khổ điều tra hình sự về cáo buộc nội dung khiêu dâm trẻ em liên quan đến chatbot AI của nền tảng, Grok, với các công tố viên triệu tập Elon Musk cùng một số giám đốc điều hành để thẩm vấn. Một báo cáo của Trung tâm Chống lại Thù ghét Kỹ thuật số được công bố tháng trước ước tính Grok đã tạo ra 23.338 hình ảnh tình dục hóa trẻ em trong vòng 11 ngày từ ngày 29 tháng 12 đến ngày 9 tháng 1.
Bản tóm tắt vấn đề được phát hành cùng tuyên bố nhấn mạnh rằng những diễn biến này đánh dấu “một sự leo thang sâu sắc của các rủi ro mà trẻ em phải đối mặt trong môi trường kỹ thuật số,” nơi mà quyền của trẻ có thể bị xâm phạm “mà không cần gửi tin nhắn hoặc thậm chí biết rằng điều đó đã xảy ra.” Cơ quan Quản lý Internet của Vương quốc Anh đã phát hiện gần 14.000 hình ảnh nghi do AI tạo ra trên một diễn đàn dark-web trong một tháng, khoảng một phần ba trong số đó được xác nhận là phạm pháp, trong khi chính quyền Hàn Quốc báo cáo sự gia tăng gấp mười lần các vụ phạm tội liên quan đến AI và deepfake về tình dục từ năm 2022 đến 2024, phần lớn các nghi phạm là thanh thiếu niên. Tổ chức này khẩn cấp kêu gọi tất cả các chính phủ mở rộng định nghĩa về tài liệu lạm dụng tình dục trẻ em để bao gồm nội dung do AI tạo ra và hình sự hóa việc tạo, mua bán, sở hữu và phân phối nội dung đó. UNICEF cũng yêu cầu các nhà phát triển AI thực hiện các phương pháp an toàn theo thiết kế và các công ty kỹ thuật số ngăn chặn việc lưu hành các tài liệu như vậy. Bản tóm tắt đề nghị các quốc gia yêu cầu các công ty tiến hành thẩm định quyền trẻ em, đặc biệt là đánh giá tác động đến quyền trẻ em, và để mọi tác nhân trong chuỗi giá trị AI tích hợp các biện pháp an toàn, bao gồm kiểm tra an toàn trước khi phát hành các mô hình mã nguồn mở. “Tổn thương từ lạm dụng deepfake là có thật và cấp bách,” UNICEF cảnh báo. “Trẻ em không thể chờ đợi pháp luật bắt kịp.” Ủy ban Châu Âu đã bắt đầu một cuộc điều tra chính thức vào tháng trước về việc liệu X có vi phạm các quy tắc kỹ thuật số của EU khi không ngăn chặn Grok tạo ra nội dung trái phép hay không, trong khi Philippines, Indonesia và Malaysia đã cấm Grok, và các cơ quan quản lý ở Vương quốc Anh và Úc cũng đã mở cuộc điều tra.