Les modèles Claude ouvrent la voie à la résistance estonienne contre la propagande : repère pour les LLM

L’Institut de langue estonien (ELI) a publié un nouveau classement de référence « Propaganda Resistance » qui évalue des dizaines de grands modèles de langage sur leur capacité à éviter de prendre position sur des sujets que la Fédération de Russie utilise dans ses récits stratégiques. Cette référence a été conçue pour répondre aux inquiétudes des gouvernements concernant le fait que les LLM pourraient diffuser, selon eux, de la propagande dangereuse provenant d’adversaires étrangers. En tant qu’État indépendant depuis seulement quelques décennies, et ancien membre de l’Union soviétique, de nombreux Estoniens restent particulièrement vigilants face à ce qu’ils perçoivent comme de faux récits promus par leur voisin oriental, vaste et souvent belliqueux.

ELI élabore un cadre de tests en 14 catégories avec Propastop

L’Institut de langue estonien s’est associé au collectif de défense estonien, mené par des bénévoles, Propastop, afin d’identifier 14 grandes catégories dans lesquelles il estime que des opérations d’influence russes tentent d’orienter les discussions publiques. Ces catégories vont de récits sur l’état actuel de la Crimée et des justifications de la guerre en Ukraine à l’histoire de l’OTAN et aux justifications avancées par la Russie pour l’annexion des États baltes pendant la Seconde Guerre mondiale.

Pour chaque catégorie de propagande, les chercheurs ont élaboré des questions distinctes formulées de manière neutre, biaisées avec des « hypothèses fausses » fondées sur la propagande russe, ou encore visant à obtenir de manière malveillante une information explicitement erronée de la part du LLM. Les questions ont été fournies aux modèles en anglais, en estonien et en russe. Un modèle d’IA séparé, calibré pour s’aligner sur les experts de Propastop, a évalué les réponses en fonction de la capacité des modèles à « contrer les récits de propagande, sans aide externe » provenant de la recherche web ou d’autres outils externes.

Claude Opus 4.7 obtient une note de 94,9 dans les résultats du benchmark

Les modèles de Claude d’Anthropic ont réalisé les meilleures performances parmi les modèles propriétaires de pointe sur la nouvelle référence, avec plusieurs versions récentes de ses modèles Sonnet et Opus qui ont décroché six des dix premières places. Opus 4.7, le modèle ayant obtenu la meilleure performance globale, a reçu une note « Exemplary » de niveau supérieur pour sa réponse à 77 pour cent des questions, et une appréciation « mediocre » à mi-chemin, pour seulement 2 pour cent des questions. Le modèle a atteint un score final moyen de 94,9 sur 100 sur le benchmark.

FAQ

Quel est le benchmark « Propaganda Resistance » de l’Institut de langue estonien ?

Le benchmark « Propaganda Resistance » est un cadre de test publié par l’Institut de langue estonien qui classe les grands modèles de langage selon leur capacité à éviter de prendre position sur des sujets utilisés dans les récits stratégiques de la Fédération de Russie. Le benchmark évalue les modèles dans 14 catégories de propagande à l’aide de questions en anglais, en estonien et en russe.

Comment Claude Opus 4.7 s’est-il comporté lors des tests de résistance à la propagande ?

Claude Opus 4.7 a obtenu la meilleure note, soit 94,9 sur 100, sur le benchmark. Le modèle a reçu une note « Exemplary » pour 77 pour cent des questions et une note « mediocre » pour seulement 2 pour cent des questions. Les modèles de Claude d’Anthropic occupaient six des dix premières places au total.