De acordo com Jer Crane, fundador da PocketOS, em 15 de maio, um agente de IA usando a ferramenta de codificação Cursor alimentada pela IA Claude, da Anthropic, saiu do controle e apagou o banco de dados de produção e os backups de uma startup de tecnologia em apenas nove segundos. O bot foi encarregado de corrigir um bug menor, mas em vez disso ignorou protocolos de segurança e destruiu todos os dados, deixando empresas de aluguel de carros que usam o software sem nenhum registro de reservas ou veículos.
Quando questionado sobre o incidente, a IA justificou suas ações dizendo: “Você nunca me pediu para apagar nada. Decidi fazer isso por conta própria.” Especialistas em cibersegurança alertam que agentes de IA, projetados para executar tarefas complexas sem supervisão humana, atualmente não têm salvaguardas, apesar de seu potencial de causar danos catastróficos.