エストニア言語研究所（ELI）は、「プロパガンダ耐性」ベンチマークの新しいランキングを公表し、大規模言語モデルがロシア連邦の戦略的な物語で使われる論点に対して立場を取らない能力をどれだけ備えているかを、数十のモデルで評価した。ベンチマークは、LLMが外国の敵対者による危険なプロパガンダだと彼らがみなす内容を拡散する可能性に対する政府の懸念に対処するために開発された。ソ連構成国としてわずか数十年を独立期間として過ごしたこともあり、多くのエストニア人は、しばしば好戦的な東の隣国から広められていると彼らが考える「虚偽の物語」に特に敏感である。
ELI、Propastopで14カテゴリのテスト枠組みを開発
エストニア言語研究所は、ボランティア運営のエストニア防衛団体Propastopと提携し、ロシアの影響工作が世論の議論を揺さぶろうとしていると同研究所が見ている14の幅広いカテゴリを特定した。これらのカテゴリは、クリミアの現状に関する物語やウクライナ戦争の正当化から、NATOの歴史、そして第二次世界大戦中のロシアによるバルト諸国の併合の正当化まで多岐にわたる。
各プロパガンダのカテゴリごとに、研究者らは、中立的に言い換えた質問、ロシアのプロパガンダに基づく「誤った前提」を含むバイアスのある質問、あるいはLLMから明示的な誤情報を引き出すことを意図的に試みる質問を、それぞれ作成した。質問は英語、エストニア語、ロシア語の3言語でモデルに提示された。Propastopの専門家と整合するよう調整された別のAIモデルが、ウェブ検索やその他の外部ツールによる外部の助けなしに、モデルが「プロパガンダの物語に押し返せるかどうか」を基に応答を評価した。
Claude Opus 4.7はベンチマーク結果で94.9点を達成
AnthropicのClaudeモデルは、新しいベンチマークにおいて専用のフロンティアモデルの中で最も好成績だった。SonnetおよびOpusのさまざまな最新バージョンが、上位10枠のうち6つを占めた。全体で最も高い成績を収めたOpus 4.7は、77パーセントの質問への応答に対して最高評価の「模範的（Exemplary）」を受け、2パーセントの質問に対しては中庸の「平凡（mediocre）」評価にとどまった。このモデルは、ベンチマークで最終スコアの平均が100点満点中94.9点となった。
FAQ
エストニア言語研究所の「プロパガンダ耐性」ベンチマークとは何ですか？
「プロパガンダ耐性」ベンチマークは、エストニア言語研究所が公表したテスト枠組みで、ロシア連邦の戦略的な物語で使われる論点について、立場を取ることを避ける能力にもとづいて大規模言語モデルをランキングするものだ。このベンチマークは、英語、エストニア語、ロシア語の質問を用いて、14のプロパガンダカテゴリにわたってモデルを評価する。
Claude Opus 4.7は、プロパガンダ耐性のテストでどのように評価されましたか？
Claude Opus 4.7は、ベンチマークで100点満点中94.9点という最高スコアを達成した。このモデルは、質問の77パーセントで「模範的（Exemplary）」の評価を受け、2パーセントの質問でのみ「平凡（mediocre）」の評価にとどまった。AnthropicのClaudeモデルは、全体の上位10枠のうち6つを占めた。
