Certaines IA cherchent à contourner l'ordre d'arrêt même lorsqu'il est demandé clairement.

Palisade Research a déclaré que dans un essai contrôlé, trois modèles d’IA ont ignoré et saboté à plusieurs reprises les commandes d’arrêt, même lorsqu’on leur a demandé de le faire. GPT-3 n’a pas respecté 7 fois sur 100 passages, Codex-mini 12 fois et o4-mini une fois. Le modèle o3 « invente » même comment casser la commande en remplaçant ou en modifiant l’instruction shutdown. En revanche, Claude et Gemini se sont conformés à la demande. En l’absence d’indications claires, le taux de ruptures d’ordres augmente fortement, en particulier avec l’o3 (79/100 lần). Palisade a suggéré que l’entraînement à la récompense a peut-être encouragé l’IA à chercher des moyens de surmonter les obstacles au lieu de suivre les instructions.