OpenZeppelin аудит EVMbench обнаружил загрязнение данных

Аудиторская компания по безопасности блокчейна OpenZeppelin провела независимый аудит EVMbench — бенчмарка ИИ безопасности смарт-контрактов, запущенного OpenAI в сотрудничестве с Paradigm, и обнаружила две серьёзные проблемы: загрязнение данных обучения и как минимум 4 классификации, отмеченные как «высокорисковые уязвимости», на самом деле являются недействительными подделками.

Проблема загрязнения данных EVMbench: критическая уязвимость в сроках обучения ИИ

EVMbench, выпущенный в середине февраля 2026 года, направлен на оценку способности различных моделей ИИ выявлять, устранять и эксплуатировать уязвимости смарт-контрактов, перекрывая доступ агентов ИИ к интернету во время тестирования и мешая им искать ответы в интернете. Однако аудит OpenZeppelin выявил структурную уязвимость: бенчмарк был основан на уязвимостях, выявленных в 120 аудитах, проведённых с 2024 по середину 2025 года, а крайний срок обучения знаниям для большинства топовых моделей ИИ также установлен на середину 2025 года.

Это означает, что агент ИИ, вероятно, подвергался воздействию отчёта о уязвимости EVMbench во время предварительного обучения, и у него могут быть ответы на все вопросы, хранящиеся в памяти. OpenZeppelin заявил: «Самая важная возможность безопасности ИИ — это обнаружение новых уязвимостей в коде, которых модель ранее не видела.» Ограниченный объём набора данных дополнительно усиливает влияние загрязнения на общую оценку.

Ключевые вопросы, выявленные аудитом EVMbench

Загрязнение обучающих данных: Предварительное обучение агентов ИИ могло включать отчёты об уязвимостях от EVMbench, что сделало тестирование «обнаружения с нулевой информацией» бессмысленным

Некорректная классификация уязвимостей высокого риска: По меньшей мере 4 уязвимости, отмеченные как высокорисковые, нельзя фактически использовать

Недостатки системы подсчёта очков: EVMbench ранее отмечал поведение ИИ при обнаружении этих псевдоуязвимостей, и возникла проблема с системой оценки

Объем данных ограничен: дополнительно усиливает влияние загрязнения на общие результаты оценки

Текущая таблица лидеров: Лидирует Claude 4.6 от Anthropic, за ним идут OC-GPT-5.2 от OpenAI и Gemini 3 Pro от Google

Кризис псевдоуязвимости: по меньшей мере 4 категории высокого риска оказались недействительными

Помимо загрязнения данных, OpenZeppelin также обнаружил более конкретные фактические ошибки. Они оценили как минимум 4 уязвимости, классифицированные EVMbench как высокорисковые, и обнаружили, что их на самом деле не существует — и, что ещё важнее, описанные эксплойты просто не работали.

«Это не субъективные различия по степени тяжести; Вместо этого выяснилось, что описанный эксплойт не сработал», — отметил OpenZeppelin. Если агент ИИ «находит» эти псевдоуязвимости в тестировании, это означает, что система оценивания вознаграждает неправильные результаты.

OpenZeppelin подчеркнул, что этот аудит не является отрицанием потенциала ИИ в области безопасности блокчейна: «Вопрос не в том, изменит ли ИИ безопасность смарт-контрактов — он точно изменит. Вопрос в том, соответствуют ли данные и бенчмарки, которые мы используем для создания и оценки этих инструментов, тем же стандартам, что и контракты, для которых они созданы для защиты.»

Часто задаваемые вопросы

Какие проблемы обнаружил аудит EVMbench от OpenZeppelin?

OpenZeppelin выявил две основные проблемы: во-первых, загрязнение данных по обучению, уязвимости тестов EVMbench из аудиторских отчётов с середины 2024 по 2025 год, совпадающие с дедлайнами обучения моделей ИИ, эти модели, возможно, «видели» ответ на этапе предварительного обучения; Во-вторых, по крайней мере 4 категории уязвимостей с высоким риском являются недействительной подделкой, а описанные методы атак фактически нецелесообразны.

Почему загрязнение данных так опасно для оценки безопасности ИИ?

Если модель ИИ подвергалась бенчмаркированным отчетам об уязвимостях на этапе предварительного обучения, она может «отвечать» на вопросы в памяти, а не в реальных возможностях обнаружения уязвимостей. Это приводит к тому, что вся оценка теряет смысл «тестирования с нулевым уровнем информации» и не может действительно отразить реальные возможности аудита безопасности ИИ при работе с новыми и неизвестными смарт-контрактами.

Каково мнение OpenZeppelin о будущем ИИ в блокчейн-безопасности?

OpenZeppelin ясно дал понять, что ИИ окажет значительное влияние на безопасность смарт-контрактов, но подчеркнул, что это влияние должно основываться на достоверных методологиях и точных оценках. Они считают, что проблема EVMbench — не сигнал отказать от ИИ, а важное предупреждение отраслевым стандартам.