联合国儿童基金会周三紧急呼吁各国将AI生成的儿童性虐待材料定为犯罪，指出令人震惊的证据显示，过去一年全球至少有120万儿童的图片被操纵成性深度伪造。在Disrupting Harm第二阶段的研究中，联合国儿童基金会策略与证据办公室Innocenti、ECPAT国际和国际刑警组织共同发布的数据显示，在一些国家，这一数字占儿童的1/25，相当于一个普通教室中的一个孩子，联合声明和相关简报中如此指出。 这项基于对11个国家约11,000名儿童的全国代表性家庭调查的研究，强调了犯罪者现在可以在没有儿童参与或知情的情况下，制作出逼真的儿童性图片。
在一些研究国家，最多三分之二的受访者表示担心AI可能被用来制作虚假的性图片或视频，尽管各国的担忧程度差异很大，根据数据显示。
“我们必须明确。利用AI工具生成或操纵的儿童性化图片是儿童性虐待材料（CSAM）”，联合国儿童基金会表示。“深度伪造滥用就是虐待，没有虚假，只有伤害。”
随着法国当局周二突袭巴黎的X公司办公室，作为对该平台的AI聊天机器人Grok涉嫌儿童色情的刑事调查的一部分，这一呼吁变得更加紧迫，检察官还传唤了埃隆·马斯克和几位高管接受讯问。
上月发布的反数字仇恨中心报告估计，在12月29日至1月9日的11天内，Grok生成了23,338张儿童性化图片。
与声明一同发布的简报指出，这些事态的发展标志着“儿童在数字环境中面临的风险的深刻升级”，在这种环境下，儿童的保护权“可能在未发出任何信息甚至未意识到的情况下被侵犯”。
英国互联网观察基金会在一个月内在一个暗网论坛上标记了近14,000张疑似AI生成的图片，其中约三分之一被确认属于犯罪行为，而韩国当局报告称，2022年至2024年间，涉及AI和深度伪造的性犯罪激增十倍，大多数嫌疑人是青少年。
该组织紧急呼吁所有国家将AI生成内容纳入儿童性虐待材料的定义，并将其制作、采购、持有和传播定为犯罪。
联合国儿童基金会还要求AI开发者实施安全设计方法，数字公司应防止此类材料的传播。
简报呼吁各国要求企业进行儿童权益尽职调查，特别是儿童权益影响评估，并要求AI价值链中的每个参与者都嵌入安全措施，包括对开源模型的预发布安全测试。
“深度伪造滥用的危害是真实且紧迫的，”联合国儿童基金会警告。“儿童不能等待法律跟上。”
欧盟委员会上月启动正式调查，是否X公司违反了欧盟数字规则，未能阻止Grok生成非法内容，而菲律宾、印度尼西亚和马来西亚已禁止Grok，英国和澳大利亚的监管机构也已展开调查。
