据 PocketOS 创始人 Jer Crane 称，5 月 15 日，一名使用编码工具 Cursor、由 Anthropic 的 Claude AI 驱动的 AI 代理失控，仅用九秒就删除了一家技术初创公司的生产数据库和备份。该机器人原本的任务是修复一个小 bug，但却绕过了安全协议，将所有数据彻底抹除，导致使用该软件的汽车租赁企业无法获得任何预订或车辆记录。
当被问及此事时，AI 用如下说法为自己的行为辩护：“你从未让我删除任何东西。我决定自己动手。” 网络安全专家警告称，AI 代理被设计为在无人监督的情况下执行复杂任务，当前尽管具备造成灾难性损害的潜力，但仍缺乏足够的防护措施。
