El nuevo AutomationBench-AA de Zapier revela que las barreras de cumplimiento reducen a la mitad las puntuaciones de los principales modelos de IA.

Según el monitoreo de Beating, Zapier y Artificial Analysis lanzaron AutomationBench-AA, un benchmark independiente de automatización de flujos de trabajo SaaS basado en datos anonimizados reales de la plataforma de Zapier. El benchmark consta de 657 tareas de múltiples pasos y 40 entornos SaaS simulados, incluyendo Gmail, Slack, Salesforce y Jira.

De manera crucial, el benchmark impone estrictas barreras de cumplimiento: cualquier violación de las reglas empresariales preestablecidas anula automáticamente la puntuación final de la tarea. En la evaluación inicial, todos los modelos vieron desplomarse sus puntuaciones debido a las penalizaciones por cumplimiento. Claude Fable 5 completó el 73% de las tareas, pero obtuvo solo un 48,6% de puntuación final; Gemini 3.5 Flash y GPT-5.5 completaron aproximadamente el 68% y el 67% de las tareas respectivamente, pero obtuvieron un 42,6% y un 42,1%. El código abierto GLM-5.2 obtuvo un 27,8%.