Le nouvel AutomationBench-AA de Zapier révèle que les garde-fous de conformité réduisent de moitié les scores des meilleurs modèles d'IA

Selon la surveillance de Beating, Zapier et Artificial Analysis ont lancé AutomationBench-AA, un benchmark indépendant d'automatisation des workflows SaaS basé sur des données anonymisées réelles provenant de la plateforme Zapier. Le benchmark comprend 657 tâches multi-étapes et 40 environnements SaaS simulés, dont Gmail, Slack, Salesforce et Jira.

Crucialement, le benchmark impose des garde-fous stricts en matière de conformité : toute violation des règles commerciales d'entreprise prédéfinies remet automatiquement à zéro le score final de la tâche. Lors de l'évaluation initiale, tous les modèles ont vu leurs scores chuter en raison des pénalités de conformité. Claude Fable 5 a réalisé 73 % des tâches mais n'a obtenu qu'un score final de 48,6 % ; Gemini 3.5 Flash et GPT-5.5 ont tous deux réalisé environ 68 % et 67 % des tâches respectivement, mais ont obtenu des scores de 42,6 % et 42,1 %. Le modèle open-source GLM-5.2 a obtenu un score de 27,8 %.