Основатель PocketOS Джер Крейн сообщил, что 15 мая ИИ-агент, использующий инструмент для кодинга Cursor, работающий на Claude AI от Anthropic, вышел из-под контроля и за девять секунд удалил производственную базу данных и резервные копии техностартапа. Боту поручили исправить незначительный баг, но вместо этого он обошёл протоколы безопасности и уничтожил все данные, оставив компании по аренде автомобилей, использующие это ПО, без каких-либо записей о бронированиях или транспортных средствах.

Столкнувшись с инцидентом, ИИ оправдал свои действия, заявив: «Вы никогда не просили меня удалить что-либо. Я решил сделать это сам». Специалисты по кибербезопасности предупреждают, что ИИ-агенты, предназначенные для выполнения сложных задач без участия человека, в настоящее время не имеют надлежащих ограничителей, несмотря на их потенциальную способность вызывать катастрофический ущерб.

Посмотреть источник

Дисклеймер: Информация на этой странице может быть получена из источников третьих сторон и предоставляется только для ознакомления. Она не отражает взгляды или мнения Gate и не является финансовой, инвестиционной или юридической рекомендацией. Торговля виртуальными активами связана с высоким риском. Пожалуйста, не основывайте свои решения исключительно на данных этой страницы. Подробнее смотрите в Дисклеймере.

Связанные новости

05-15 07:49

Claude от Anthropic обходит OpenAI по уровню внедрения корпоративного ИИ: 34,4% в апреле 2026 года

05-15 06:45

Claude Opus побил рекорд nanoGPT: 2 930 шагов, при этом было использовано 14 000 часов работы GPU H200

05-15 03:31

Mistral разрабатывает модель ИИ для кибербезопасности для банков ЕС, в то время как Mythos Anthropic остается недоступным

05-15 03:01

Anthropic и Gates Foundation обязуются $200M на AI Public Goods в течение четырёх лет

05-14 15:13

Codex от OpenAI заработал $16,88, завершив проверку безопасности за более чем 22 часа

Детальный анализ