OpenZeppelin audita EVMbench y detecta contaminación de datos

La compañía de auditoría de seguridad en blockchain OpenZeppelin realizó una auditoría independiente del estándar de seguridad de contratos inteligentes AI EVMbench, lanzado en colaboración entre OpenAI y Paradigm, y encontró dos problemas graves: contaminación de datos de entrenamiento y al menos 4 vulnerabilidades clasificadas como “alto riesgo” que en realidad son falsos exploits.

Problema de contaminación de datos en EVMbench: una vulnerabilidad clave en la fecha límite de entrenamiento de AI

EVMbench fue lanzado a mediados de febrero de 2026, con el objetivo de evaluar la capacidad de diferentes modelos de IA para identificar, reparar y explotar vulnerabilidades en contratos inteligentes. Durante las pruebas, el acceso a internet del agente de IA fue bloqueado para evitar que buscara respuestas en línea. Sin embargo, la auditoría de OpenZeppelin reveló una vulnerabilidad estructural: la prueba se basa en vulnerabilidades filtradas en 120 auditorías realizadas entre 2024 y mediados de 2025, y la mayoría de los modelos de IA de punta tienen su fecha límite de entrenamiento en 2025.

Esto significa que es muy probable que los agentes de IA hayan visto los informes de vulnerabilidades de EVMbench durante su preentrenamiento, almacenando en su memoria las respuestas a todas las preguntas. OpenZeppelin afirmó: «La capacidad más importante en seguridad de IA es descubrir nuevas vulnerabilidades en código que el modelo nunca haya visto antes». La escala limitada del conjunto de datos amplifica aún más el impacto de la contaminación en la evaluación general.

Problemas clave detectados en la auditoría de EVMbench

• Contaminación de datos de entrenamiento: El preentrenamiento del IA puede incluir informes de vulnerabilidades de EVMbench, haciendo que las pruebas de “descubrimiento sin conocimiento” pierdan sentido.
• Clasificación de vulnerabilidades de alto riesgo inválidas: Al menos 4 vulnerabilidades marcadas como de alto riesgo no son explotables.
• Defectos en el sistema de puntuación: EVMbench anteriormente otorgaba puntos por descubrimientos de exploits falsos, lo que cuestiona la validez de la evaluación.
• Escala limitada del conjunto de datos: Esto amplifica el impacto de la contaminación en los resultados.
• Clasificación actual en el ranking: Claude 4.6 de Anthropic lidera, seguido por OC-GPT-5.2 de OpenAI y Gemini 3 Pro de Google.

Crisis de falsos exploits: al menos 4 vulnerabilidades de alto riesgo confirmadas como inválidas

Además de la contaminación de datos, OpenZeppelin encontró errores específicos. Evaluaron al menos 4 vulnerabilidades clasificadas como de alto riesgo en EVMbench y descubrieron que en realidad no existen, y lo más importante, que las descripciones de los exploits no funcionan en la práctica.

OpenZeppelin señaló: «No se trata de una diferencia subjetiva en la gravedad; sino de que los exploits descritos no funcionan». Si el agente de IA “descubre” estos falsos exploits en las pruebas, significa que el sistema de puntuación está premiando resultados incorrectos.

Destacaron que esta auditoría no niega el potencial de la IA en la seguridad blockchain: «El problema no es si la IA cambiará la seguridad de los contratos inteligentes —seguramente lo hará—, sino si los datos y estándares que usamos para construir y evaluar estas herramientas están alineados con los contratos que buscan proteger».

Preguntas frecuentes

¿Qué problemas encontró OpenZeppelin en la auditoría de EVMbench?

Detectaron dos problemas principales: primero, la contaminación de datos de entrenamiento, ya que los informes de vulnerabilidades utilizados en EVMbench provienen de auditorías entre 2024 y 2025, fechas que coinciden con el entrenamiento de muchos modelos de IA, quienes podrían haber “visto” esas respuestas previamente; segundo, al menos 4 vulnerabilidades de alto riesgo son falsos exploits, cuyas descripciones y métodos de ataque no funcionan en realidad.

¿Por qué la contaminación de datos es tan peligrosa para la evaluación de seguridad de IA?

Si el modelo de IA ha visto los informes de vulnerabilidades en su entrenamiento, puede responder basándose en memoria en lugar de detectar realmente vulnerabilidades nuevas. Esto hace que la evaluación pierda su propósito de “prueba de conocimiento cero”, y no refleje la capacidad real del IA para auditar contratos inteligentes desconocidos y nuevos.

¿Qué postura tiene OpenZeppelin respecto al futuro de la IA en la seguridad blockchain?

OpenZeppelin afirmó claramente que la IA tendrá un impacto significativo en la seguridad de los contratos inteligentes, pero enfatizó que ese impacto debe basarse en metodologías confiables y evaluaciones precisas. Consideran que los problemas en EVMbench no son una negación del potencial de la IA, sino una advertencia importante para la industria.