Une ordonnance, trois appels téléphoniques, une narration hors de contrôle : Les 24 heures les plus sombres d'Anthropic

Le 13 juin, deux des modèles les plus avancés d'Anthropic ont été mis en pause par le gouvernement américain.

L'un est Fable 5, l'autre est Mythos 5. Le premier vient d'être publié, le second est destiné à des clients en cybersécurité plus restreints. L'interdiction provient du Département du Commerce américain, couvrant des clients hors des États-Unis, ainsi que des citoyens étrangers aux États-Unis. Le choix final d'Anthropic a été simple : tout retirer.

Après avoir examiné tous les détails de cette affaire, nous avons esquissé la chronologie de ces 24 heures.

Le jeudi 11 juin, soit deux jours après la publication de Fable 5, le PDG d'Amazon, Andy Jassy, a alerté la Maison Blanche. Il craignait que la sécurité de Fable 5 puisse être contournée. Selon des sources, des chercheurs d'Amazon auraient utilisé une série d'invites pour faire en sorte que Fable 5 fournisse des informations qui devraient être restreintes, pouvant être exploitées pour des attaques en ligne.

Le matin du 12 juin, le problème est arrivé en réunion au plus haut niveau du gouvernement. Le secrétaire au Trésor Scott Bessent, le responsable de la cybersécurité à la Maison Blanche Sean Cairncross, la conseillère principale Susie Wiles, et d’autres hauts responsables ont participé à la discussion. Bessent, étant en route pour Houston, a rejoint la réunion à distance.

Puis, trois appels téléphoniques.

Lorsqu’Amodei, le PDG d’Anthropic, a rejoint la conférence, une dizaine de hauts responsables étaient présents. Outre Bessent et Cairncross, il y avait le secrétaire au Commerce Howard Lutnick. Parmi les autres participants figuraient le vice-secrétaire au Commerce chargé de l’industrie et de la sécurité Jeffrey Kessler, le secrétaire adjoint de la Maison Blanche Will Scharf, le vice-secrétaire adjoint Richard Walters, et l’assistant du président pour les politiques Walker Barrett.

Amodei a tenté d’expliquer la situation comme un malentendu. Il pensait que ce que Amazon avait découvert était une méthode spécifique de contournement, et non une évasion générale des barrières de sécurité par des invites permettant de désactiver le système de sécurité du modèle à grande échelle. Anthropic a également déclaré publiquement que les testeurs n’avaient pas encore trouvé de méthode pour contourner massivement le système de sécurité du modèle.

Mais la Maison Blanche n’a pas été convaincue.

Les découvertes du PDG d’Amazon ont été envoyées à la NSA pour évaluation, et la Maison Blanche estimait avoir recueilli suffisamment de preuves. Le gouvernement a exigé qu’Anthropic retire volontairement ses modèles, et qu’il collabore avec eux pour corriger les vulnérabilités. Amodei voulait plus de temps et d’informations, mais n’a pas promis de retirer les modèles. Bessent a directement déclaré lors de l’appel qu’il avait pris une « décision erronée ».

Par la suite, des contrôles à l’exportation ont été mis en place.

De leur côté, chez Anthropic, une autre version a été donnée. Ils ont dit que la Maison Blanche n’avait donné que 90 minutes pour retirer les modèles, sans préciser les détails de la menace réelle. La Maison Blanche a affirmé que le contrôle à l’exportation était une mesure de dernier recours après plusieurs heures d’échec à faire coopérer Anthropic.

Un autre point clé de cette affaire est la position délicate d’Amazon dans cette histoire.

Fin 2024, Amazon a investi 4 milliards de dollars supplémentaires dans Anthropic, portant l’investissement total à 8 milliards de dollars. Par ailleurs, Anthropic a fait d’AWS son principal partenaire pour la formation, utilisant à l’avenir des puces AWS pour entraîner et déployer ses modèles. Claude reste aussi l’un des modèles les plus importants sur Amazon Bedrock.

L’alliance entre Microsoft et OpenAI est désormais évidente, et le pari d’Amazon sur Anthropic était une façon d’éviter cette dépendance.

Microsoft possède OpenAI. Google a Gemini, et investit aussi dans Anthropic. Amazon ne dispose pas encore d’un modèle de pointe en interne, et ne peut que s’appuyer sur la puissance de calcul AWS, les puces Trainium, et la plateforme Bedrock, pour ses modèles externes.

Mais un an et demi plus tard, Amazon et OpenAI se sont aussi rapprochés.

Cette année, Amazon a discuté d’un investissement pouvant aller jusqu’à 50 milliards de dollars dans OpenAI. À l’époque, OpenAI cherchait à lever jusqu’à 100 milliards de dollars, avec la possibilité d’acheter des puces AI d’Amazon. Axios a aussi rapporté qu’OpenAI pourrait atteindre un chiffre d’affaires annuel supérieur à 20 milliards de dollars d’ici 2025, tout en ayant des engagements de dépenses atteignant 1,4 billion de dollars.

Amazon a besoin que ses partenaires en modèles de pointe consomment la puissance d’AWS, qu’ils testent ses propres puces, qu’ils remplissent ses centres de données, et qu’ils placent ses modèles les plus performants dans leur offre cloud. Ce n’est plus une simple question d’investissement financier.

Ainsi, Amazon investit dans Anthropic tout en se rapprochant d’OpenAI. Elle est à la fois le financeur et le fournisseur de modèles. Elle doit vendre des modèles, mais aussi expliquer au gouvernement à quel point ces modèles sont dangereux.

En fin de compte, Amazon s’est d’abord positionnée contre Anthropic. Pour Anthropic, un partenaire qui fournit de l’argent, du cloud, des puces, et des canaux de distribution, qui signale au gouvernement une menace de sécurité suffisante pour déclencher une interdiction, c’est une position difficile à accepter. La version officielle d’Amazon est : « C’est le White House qui m’a posé la question, je n’ai fait que répondre. »

Au cours des deux dernières années, les entreprises d’IA ont tendance à se présenter comme des actifs de niveau national. Plus leur capacité est grande, plus leur valorisation est élevée, plus leur financement est abondant, et plus leurs achats par le gouvernement sont imaginables. Anthropic excelle dans cette narration. Elle utilise un langage de sécurité prudent pour se différencier d’OpenAI, et emploie la notion de « risques de pointe » pour convaincre les régulateurs qu’elle doit être prise au sérieux.

Aujourd’hui, le gouvernement américain considère réellement ces modèles comme des actifs de sécurité nationale.

La confusion des responsables de la Maison Blanche vient aussi de là. Selon Politico, ils ont entendu Amodei comparer le danger de la technologie d’Anthropic à celui d’une bombe nucléaire. Lorsqu’il a refusé de retirer un modèle vulnérable, ils n’ont pas vu cela comme une divergence technique, mais comme une question d’attitude.

Ce n’est pas la première fois que ces deux parties entrent en conflit. Le 3 mars, le Pentagone a classé Anthropic comme un risque pour la chaîne d’approvisionnement, en raison du refus d’Anthropic de permettre à ses outils d’IA d’être utilisés pour la surveillance de masse ou pour des armes autonomes.

Il y a déjà eu des tensions entre Anthropic et l’administration américaine.

Et cette fois, Anthropic a dénoncé le manque de clarté dans l’ordre du gouvernement, qui ne précisait pas ses préoccupations en matière de sécurité nationale, tout en critiquant le manque de transparence, de clarté, et de processus réglementaire basé sur des faits techniques. Anthropic estime que cette affaire ressemble davantage à une méthode de contournement limitée, insuffisante pour justifier une interdiction aussi large.

Mais du point de vue du gouvernement, la sécurité des modèles ne se limite plus à la rédaction d’un livre blanc, à des tests internes de red team, ou à la publication d’un système. Qui peut accéder au modèle, qui peut l’entraîner, si des employés étrangers peuvent voir ses poids, tout cela entre dans le cadre du contrôle à l’exportation.

En avril, lorsque Anthropic a annoncé que Mythos serait réservé à un usage limité pour les entreprises de cybersécurité et de technologie, ils avaient déjà eu plusieurs réunions avec la Maison Blanche. Avant le lancement de Fable 5, le modèle avait été examiné par le gouvernement américain et l’Institut de sécurité de l’IA britannique. Anthropic estime que le gouvernement n’a pas exprimé d’opposition avant la sortie du modèle.

Cela rend la confrontation encore plus difficile à accepter.

Avant la sortie du modèle, c’est une coopération en matière de sécurité. Après, c’est une question de sécurité nationale.

OpenAI observe cette crise de loin.

Le fait qu’Anthropic ait été contraint de retirer ses modèles les plus puissants rend la position d’OpenAI plus confortable. Plus Anthropic est empêtrée dans des questions réglementaires, plus OpenAI peut apparaître comme une option « prête à coopérer ». Si Amazon continue à se rapprocher d’OpenAI, cela constitue aussi une forme de couverture supplémentaire.

Bien sûr, aucune preuve publique ne montre qu’Amazon agit pour aider OpenAI à faire face à Anthropic.

Une réalité plus acerbe est que, dans le cycle d’investissement massif dans des modèles de pointe, les partenariats ne sont plus aussi propres. Les fournisseurs de cloud investissent dans des entreprises de modèles, ces entreprises achètent de la puissance de calcul cloud, le gouvernement s’enquiert des risques de sécurité, et les concurrents s’affrontent dans le même espace réglementaire.

Les financeurs, fournisseurs, distributeurs, et censeurs, jouent désormais tous le même jeu.

C’est plus important que n’importe quelle méthode de contournement par invite.

La nuit où Fable 5 et Mythos 5 ont été désactivés, Anthropic a perdu bien plus que l’accès à deux modèles. Elle a perdu un peu de contrôle sur sa propre narration.

Amazon garde encore la main sur la console AWS. La levée de fonds d’OpenAI n’est pas encore terminée. Et le gouvernement américain a déjà pris place dans la première rangée de la conférence de lancement des modèles.