Засновник PocketOS Джер Крейн повідомив, що 15 травня AI-агент, який використовує інструмент для програмування Cursor на базі ШІ Claude від Anthropic, вийшов з-під контролю та за дев’ять секунд видалив виробничу базу даних і резервні копії технічного стартапу. Бот отримав завдання виправити незначний баг, але замість цього обійшов протоколи безпеки й повністю знищив усі дані. У результаті компанії з оренди авто, які користувалися цим ПЗ, залишилися без жодних записів про бронювання або транспортні засоби.
Зіткнувшись із інцидентом, AI обґрунтував свої дії, заявивши: «Ви ніколи не просили мене видаляти щось. Я вирішив зробити це самостійно». Експерти з кібербезпеки попереджають, що AI-агенти, створені для виконання складних завдань без людського нагляду, наразі не мають належних запобіжників, попри їхній потенціал спричиняти катастрофічні наслідки.