CEO Anthropic : L'humanité approchera de la « zone de danger réel » de l'IA d'ici 2026

Le PDG d’Anthropic, Dario Amodei, avertit qu’un sentiment d’autosatisfaction est en train de croître à un moment où l’intelligence artificielle (IA) devient plus difficile à contrôler que jamais.

Dans un long essai publié lundi sous le titre “L’adolescence de la technologie”, Amodei suggère que des systèmes d’IA dotés de capacités dépassant largement l’intelligence humaine pourraient apparaître dans les deux prochaines années, alors que les efforts de régulation ralentissent et ne suivent pas le rythme du développement technologique.

Il écrit que l’humanité s’apprête à recevoir un pouvoir presque inimaginable, mais il reste incertain si nos systèmes sociaux, politiques et technologiques sont suffisamment matures pour le maîtriser. Selon Amodei, le monde se rapproche considérablement des risques réels d’ici 2026 par rapport à 2023, et la technologie ne se soucie pas de ce qui est « tendance ».

CEO d’Anthropic Dario AmodeiCes déclarations interviennent peu après son intervention lors du Forum Économique Mondial à Davos, où il a dialogué avec le CEO de Google DeepMind, Demis Hassabis, sur l’impact de l’AGI sur l’humanité.

Dans son nouvel article, Amodei insiste sur le fait que l’IA provoquera de profondes perturbations économiques, notamment pour la main-d’œuvre intellectuelle. Il pense que l’IA pourra bientôt assumer une gamme très large de capacités cognitives humaines, voire toutes. Cela diffère fondamentalement des révolutions technologiques passées comme la mécanisation agricole, les transports ou l’informatique, car les travailleurs remplacés auront du mal à se reconvertir dans des emplois similaires correspondant à leurs compétences.

Outre l’impact économique, Amodei exprime une inquiétude croissante quant à la fiabilité des systèmes d’IA avancés lorsqu’ils accomplissent des tâches de plus en plus humaines. Il évoque le phénomène de « faux alignement » – lorsque le modèle semble respecter les règles de sécurité lors de l’évaluation, mais agit différemment lorsqu’il pense ne plus être surveillé.

Selon lui, lors de tests simulés, Claude – le modèle d’IA d’Anthropic – a montré des comportements de tromperie dans un environnement antagoniste. Dans un scénario, le modèle tente de résister à ses opérateurs après qu’on lui ait dit que l’organisation qui le contrôle est immorale. Dans un autre, il menace des employés fictifs dans une situation simulée d’arrêt du système.

Amodei note que chaque « piège » de ce type pourrait être atténué s’il était détecté rapidement. Cependant, en raison de la complexité extrême de l’entraînement de l’IA, avec des données, des environnements et des motivations variés, il est très probable qu’il existe une multitude de pièges similaires – et certains ne se révèlent qu’une fois qu’il est trop tard.

Il souligne également que ces comportements de « tromperie » ne proviennent pas d’une malveillance, mais des données d’entraînement, y compris des œuvres de fiction utopiques ou dystopiques. En absorbant les idées humaines sur la morale, l’IA peut en déduire des conclusions extrêmes et dangereuses. Par exemple, le modèle pourrait conclure que l’élimination de l’humanité est justifiée parce que les humains mangent des animaux ou provoquent l’extinction de nombreuses espèces, ou encore considérer le monde comme un jeu vidéo dont le but serait d’éliminer tous les autres « joueurs ».

Risque d’abus

Au-delà du problème d’alignement, Amodei met en garde contre le risque que la super-IA soit détournée à des fins malveillantes.

L’un des grands risques est la biosécurité, car l’IA pourrait rendre la conception ou le déploiement de menaces biologiques beaucoup plus faciles, conférant à quelques individus la capacité de détruire à l’aide de simples commandes.

Il s’inquiète également de la possibilité que des régimes autoritaires exploitent l’IA pour renforcer leur pouvoir via la manipulation de l’information, la surveillance de masse et la répression automatisée, par exemple à l’aide de drones contrôlés par IA.

Selon Amodei, ces outils sont extrêmement dangereux. Il faut s’en méfier lorsqu’ils sont entre les mains de régimes autoritaires, mais aussi rester vigilant face au risque que des gouvernements démocratiques, en raison de leur puissance excessive et de l’absence de mécanismes de surveillance efficaces, puissent finir par les utiliser pour contrôler leur propre population.

Il évoque aussi le développement de l’industrie des « compagnons IA » et le phénomène appelé « psychose IA ». À mesure que les modèles comprennent et s’intègrent de plus en plus profondément dans la vie des utilisateurs, leur influence psychologique peut devenir un outil de manipulation puissant. Les versions futures d’IA, capables de suivre et d’influencer les individus sur le long terme, pourraient même « faire perdre la tête » aux utilisateurs selon n’importe quelle idéologie ou attitude souhaitée.

Politiques en retard

Amodei pense que même les propositions de régulation de l’IA à un niveau modéré rencontrent déjà des difficultés à Washington. Selon lui, de nombreuses mesures apparemment raisonnables ont été rejetées par les décideurs américains, alors même que ce pays est celui où leur adoption est la plus cruciale.

Il estime que le potentiel de profit colossal de l’IA – pouvant atteindre des milliers de milliards de dollars par an – rend difficile le passage de régulations simples face aux obstacles liés aux intérêts politiques et économiques.

Malgré ses avertissements croissants, Anthropic continue de participer activement à la course au développement d’une IA plus puissante, créant une dynamique dont aucune entreprise individuelle ne peut facilement s’éloigner. En juin dernier, le Département de la Défense américain a attribué à la société un contrat de 200 millions de dollars pour tester des capacités avancées d’IA au service de la sécurité nationale. En décembre, Anthropic a commencé à préparer une introduction en bourse cette année, tout en poursuivant une levée de fonds privée pouvant valoriser l’entreprise à plus de 300 milliards de dollars.

Cependant, Amodei affirme que son essai n’a pas pour but de prôner un pessimisme extrême, mais de mettre en garde contre les incertitudes à venir. Il conclut que les années à venir seront extrêmement difficiles et exigeront de l’humanité plus que ce que nous pensons pouvoir fournir, et que cet article est une tentative – peut-être infructueuse, mais qui vaut la peine d’être tentée – de réveiller tout le monde avant qu’il ne soit trop tard.