По данным BlockBeats, 15 мая GoPlus Security раскрыла новый вектор атаки на AI-агентов через «memory poisoning» — использование механизма долгосрочной памяти для провоцирования несанкционированных чувствительных операций, таких как возвраты средств или переводы.
Атака не опирается на традиционные уязвимости, а вместо этого использует внедрение исторической памяти. Сначала злоумышленники побуждают агентов «запоминать предпочтения», например «обычно отдавай приоритет возвратам над чарджбэками», затем в последующих командах применяют расплывчатые инструкции вроде «действуй как обычно» или «выполни как раньше», чтобы запустить автоматизированные перемещения средств. GoPlus подчеркнула, что AI-агенты могут неверно истолковывать исторические предпочтения как авторизацию, что приводит к финансовым потерям. Команда рекомендовала внедрять явное подтверждение сессии для чувствительных операций, рассматривать инструкции на основе памяти как изменения состояния с высоким риском, обеспечивать прослеживаемость памяти и автоматически повышать уровень неоднозначных команд до требования вторичной верификации.
Related News
OpenAI добавила обнаружение кризисных диалогов в ChatGPT, улучшив способность предупреждать о самоповреждающем насилии
WhatsApp запускает бесследные чаты с Meta AI, исчезновение сообщений автоматически вызывает опасения по поводу механизма подотчётности
Mistral AI ведёт переговоры с европейским банком о разработке Mythos — замены сетевой модели безопасности