Le cofondateur d'OpenAI, Andrej Karpathy, qui a rejoint Anthropic le mois dernier, a partagé le 9 juin son avis sur Claude Fable 5. Il affirme qu'il s'agit d'un saut de performance à portée intergénérationnelle, et décrit l'impact sur la productivité en disant qu'« un logiciel comme l'eau du robinet jaillit en continu ». Toutefois, Karpathy avertit clairement de ne jamais renoncer aux revues de code.
Évaluation par Karpathy des capacités de génération de code de Fable 5
Saut de performance à portée intergénérationnelle : Karpathy confirme que Fable 5 a atteint un saut de performance intergénérationnel, et que son avantage est particulièrement marqué lorsqu'il s'agit de traiter des tâches plus longues. Il peut exécuter des consignes complexes de manière efficace, presque sans intervention humaine.
Débogage complexe sur longue chaîne : Karpathy indique que Fable 5, face à des objectifs de développement ambitieux, parvient à saisir rapidement l'intention et à avancer de façon autonome. Pour la première fois, cela lui a donné une forte envie de ne même plus regarder le code.
Avertissement explicite (les mots de Karpathy) : Il souligne qu'il ne faut jamais, dans un environnement de production, sauter complètement la revue de code. Il s'agit de son avertissement direct aux utilisateurs.
Explication du modèle sous-jacent (confirmation de Karpathy) : Karpathy précise que Claude Fable 5 partage le même modèle sous-jacent que Claude Mythos 5, et que Fable 5 y ajoute des mesures de sécurité supplémentaires.
Le paradoxe de Jevons : le cadre d'analyse de Karpathy
Dans ses commentaires, Karpathy indique que lorsque les logiciels peuvent jaillir comme l'eau du robinet, le « paradoxe de Jevons » du secteur logiciel (Jevons Paradox) va être déclenché.
Définition du paradoxe de Jevons : lorsque l'efficacité d'utilisation des ressources s'améliore fortement, le coût d'utilisation diminuant considérablement, la demande totale pour cette ressource augmente au lieu de diminuer, et ce de façon exponentielle.
Analyse d'application de Karpathy (d'après ses commentaires sur sa plateforme X) : il indique que cet effet de déclenchement incitera les gens à créer une multitude d'outils « hyper-spécifiques » à usage unique, ainsi que des ensembles de tests en grand nombre, ce qui finira par faire croître de façon exponentielle la demande globale en logiciels.
Problèmes de confirmation des mécanismes de sécurité
Dans ses commentaires, Karpathy indique que, lors de son lancement, la configuration des mécanismes de sécurité de Claude Fable 5 reste trop sensible et nécessite des optimisations ultérieures. Cette évaluation concorde avec les explications d'Anthropic dans l'annonce de lancement de Fable 5 : Anthropic reconnaît que, pour l'instant, ses mesures de sécurité signalent parfois à tort des requêtes inoffensives (taux de déclenchement global inférieur à 5 %), et affirme travailler à les améliorer et à réduire ces faux positifs au plus vite.
Questions fréquentes
Que signifie le « paradoxe de Jevons » évoqué par Karpathy pour la génération de code par l'IA ?
D'après les commentaires de Karpathy sur la plateforme X, lorsque l'IA fait tendre les coûts de production de logiciels vers zéro, la demande de logiciels ne baisse pas en conséquence, elle augmente au contraire de façon exponentielle. Il prévoit que cela incitera les développeurs à créer davantage d'outils à usage unique hautement personnalisés et des ensembles de tests à grande échelle, amplifiant ainsi la consommation globale de logiciels.
Pourquoi Karpathy met-il explicitement en garde contre le fait de sauter totalement la revue de code en environnement de production ?
Karpathy indique que, même si les capacités de Fable 5 lui ont donné pour la première fois l'impulsion de ne plus regarder le code du tout, il avertit clairement que cette pratique ne devrait pas être mise en œuvre en environnement de production. Son avertissement rejoint celui d'Anthropic — même avec des sorties produites par un modèle puissant, une supervision humaine est nécessaire pour garantir la fiabilité.
Quelle est l'opinion précise de Karpathy sur les mécanismes de sécurité de Fable 5 ?
Dans ses commentaires, Karpathy indique que, lors du lancement, la configuration des mécanismes de sécurité de Fable 5 est trop sensible et doit être optimisée davantage. L'annonce officielle d'Anthropic confirme également qu'actuellement, les mesures de sécurité signalent parfois à tort des requêtes inoffensives, avec un taux de déclenchement inférieur à 5 %, et indique qu'elles sont en cours d'amélioration continue.
