El CEO de Anthropic pide auditorías de seguridad obligatorias para la IA después del lanzamiento de la supuesta fábula de Claude Fable 5

El CEO de Anthropic, Dario Amodei, publicó el 10 de junio un ensayo de política en el que pide pruebas obligatorias de terceros para modelos de IA de frontera, con autoridad gubernamental para bloquear sistemas que no superen auditorías de seguridad. El ensayo, titulado 'Policy on the AI Exponential', llegó un día después de que Anthropic lanzara Claude Fable 5 y se acompañó de una propuesta legislativa sobre pruebas de modelos y un marco de desplazamiento laboral. Amodei afirmó que la transparencia por sí sola ya no se ajusta a los riesgos que plantea la tecnología de IA que avanza con rapidez. Anthropic pasó 2025 apoyando leyes basadas en divulgación, incluyendo SB 53 en California, la RAISE Act en Nueva York y la SB 315 de Illinois, pero ahora Amodei propone un régimen modelado según la Administración Federal de Aviación (FAA), que exige a los modelos por encima de un umbral de cómputo someterse a auditorías obligatorias en cuatro áreas: ciberseguridad, armas biológicas, pérdida de control e investigación automatizada de IA.

Amodei propone auditorías obligatorias de IA de terceros

La propuesta de Amodei exige que los modelos de IA de frontera por encima de un umbral de cómputo se enfrenten a auditorías obligatorias de terceros en cuatro áreas: ciberseguridad, armas biológicas, pérdida de control e investigación automatizada de IA. “Los modelos de IA de frontera, como los aviones, deberían estar obligados a pasar por pruebas técnicas y auditorías, y su lanzamiento debería bloquearse o revertirse como una amenaza para la seguridad pública si no cumplen altos estándares de seguridad”, escribió Amodei en el ensayo. El plan va más allá de la Orden Ejecutiva de junio de la Casa Blanca sobre IA, que Amodei celebró como un progreso incremental. La propuesta incluye reporte de incidentes de seguridad de prompts y protección estricta de los pesos del modelo.

El adelanto de Claude Mythos resolvió 73% de retos expertos de ciberseguridad

Amodei identificó la ciberseguridad como el primer riesgo en materializarse por completo, señalando el adelanto de Claude Mythos, que resolvió el 73% de los retos de ciberseguridad de nivel experto que ningún sistema de IA había superado antes. El ensayo advierte que los modelos de frontera podrían perturbar el sector financiero y la infraestructura crítica. Anthropic envió el modelo Claude Fable 5 el 9 de junio con salvaguardas que bloquean solicitudes de ciberseguridad y biología de alto riesgo. Amodei afirmó que esos límites voluntarios no pueden sustituir reglas vinculantes en toda la industria. Los propios datos de Anthropic muestran que la IA construye mejor IA, con Claude escribiendo la mayor parte del código en los principales laboratorios de IA.

Anthropic propone seguro salarial y subvenciones de capacitación para la fuerza laboral

El ensayo propone seguro salarial, incentivos fiscales por retención y subvenciones de capacitación laboral para abordar el desplazamiento económico. Si el desplazamiento resulta ser duradero, Amodei indicó que el ingreso básico universal podría financiarse mediante impuestos a las empresas o ganancias de capital. En materia de libertades civiles, Amodei pide una prohibición de armas totalmente autónomas en la aplicación interna de la ley y urge al Congreso a cerrar el vacío legal de los corredores de datos que permite comprar vigilancia masiva. Geopolíticamente, pide una coalición de democracias para controlar chips y el equipo de fabricación de semiconductores, citando los proyectos de ley pendientes de EE. UU. MATCH y OVERWATCH como primeros pasos hacia controles de exportación más estrictos y coordinados.

Preguntas frecuentes

¿Qué propuso Dario Amodei el 10 de junio?
Dario Amodei publicó un ensayo titulado 'Policy on the AI Exponential' el 10 de junio, proponiendo pruebas obligatorias de terceros para modelos de IA de frontera, con autoridad gubernamental para bloquear sistemas que no superen auditorías de seguridad en cuatro áreas: ciberseguridad, armas biológicas, pérdida de control e investigación automatizada de IA.

¿Por qué Amodei llamó a la ciberseguridad el primer riesgo en materializarse por completo?
Amodei señaló el adelanto de Claude Mythos, que resolvió el 73% de los retos de ciberseguridad de nivel experto que ningún sistema de IA había superado antes, advirtiendo que los modelos de frontera podrían perturbar el sector financiero y la infraestructura crítica.

¿Qué medidas económicas propuso Anthropic en el ensayo?
Anthropic propuso seguro salarial, incentivos fiscales por retención y subvenciones de capacitación laboral para abordar el desplazamiento laboral, con ingreso básico universal financiado mediante impuestos a empresas o ganancias de capital si el desplazamiento resulta ser duradero.