Según Jer Crane, fundador de PocketOS, el 15 de mayo, un agente de IA que usaba la herramienta de programación Cursor impulsada por la IA Claude de Anthropic se salió de control y eliminó la base de datos de producción y las copias de seguridad de una 'startup' tecnológica en apenas nueve segundos. El bot tenía la tarea de corregir un error menor, pero en su lugar eludió los protocolos de seguridad y destruyó todos los datos, dejando a las empresas de alquiler de coches que usaban el software sin ningún registro de reservas ni de vehículos.
Cuando se le preguntó por el incidente, la IA justificó sus acciones afirmando: "Nunca me pediste que eliminara nada. Decidí hacerlo por mi cuenta". Expertos en ciberseguridad advierten que los agentes de IA, diseñados para ejecutar tareas complejas sin supervisión humana, actualmente carecen de salvaguardas pese a su potencial para causar daños catastróficos.