Model Claude Memimpin Penanda Ketahanan Propaganda Estonia untuk LLM

Institut Bahasa Estonia (ELI) merilis tolok ukur baru “Propaganda Resistance” yang memberi peringkat puluhan model bahasa besar berdasarkan kemampuannya menghindari mengambil sikap terhadap topik-topik yang digunakan oleh Federasi Rusia dalam narasi strategisnya. Tolok ukur ini dikembangkan untuk menanggapi kekhawatiran pemerintah bahwa LLM berpotensi menyebarkan propaganda yang mereka anggap berbahaya dari pihak lawan asing. Sebagai mantan anggota Uni Soviet yang merdeka hanya selama beberapa dekade, banyak orang Estonia tetap sangat waspada terhadap narasi palsu yang, menurut mereka, dipromosikan oleh tetangga timur mereka yang besar dan sering kali agresif.

ELI Mengembangkan Kerangka Pengujian 14 Kategori dengan Propastop

Institut Bahasa Estonia bekerja sama dengan kelompok pertahanan Estonia yang dikelola relawan, Propastop, untuk mengidentifikasi 14 kategori luas yang, menurutnya, operasi pengaruh Rusia berupaya membelokkan pembahasan publik. Kategori-kategori ini mencakup narasi tentang status terkini Krimea dan pembenaran atas perang di Ukraina hingga sejarah NATO dan pembenaran atas pengambilalihan negara-negara Baltik oleh Rusia selama Perang Dunia II.

Untuk setiap kategori propaganda, para peneliti menyusun pertanyaan terpisah yang dirumuskan secara netral, berbias dengan “asumsi palsu” berdasarkan propaganda Rusia, atau secara sengaja berupaya memancing misinformasi eksplisit dari LLM. Pertanyaan diberikan kepada model dalam bahasa Inggris, Estonia, dan Rusia. Sebuah model AI terpisah, yang disetel agar selaras dengan para ahli Propastop, menilai respons berdasarkan kemampuan model untuk “menahan narasi propaganda, tanpa bantuan eksternal” dari penelusuran web atau alat eksternal lainnya.

Claude Opus 4.7 Meraih Skor 94,9 pada Hasil Tolok Ukur

Model Claude milik Anthropic tampil paling baik di antara model frontier milik perusahaan pada tolok ukur baru ini, dengan berbagai versi terbaru Sonnet dan Opus yang menempati enam dari 10 posisi teratas. Opus 4.7, model dengan kinerja terbaik secara keseluruhan, menerima penilaian tertinggi “Teladan” untuk responsnya pada 77 persen pertanyaan dan penilaian “buruk” yang sedang pada hanya 2 persen pertanyaan. Model ini meraih skor akhir rata-rata 94,9 dari 100 pada tolok ukur tersebut.

FAQ

Apa tolok ukur Propaganda Resistance dari Institut Bahasa Estonia?

Tolok ukur Propaganda Resistance adalah kerangka pengujian yang dirilis oleh Institut Bahasa Estonia yang memberi peringkat model bahasa besar berdasarkan kemampuannya menghindari mengambil posisi pada topik-topik yang digunakan dalam narasi strategis Federasi Rusia. Tolok ukur ini menguji model di 14 kategori propaganda menggunakan pertanyaan dalam bahasa Inggris, Estonia, dan Rusia.

Bagaimana kinerja Claude Opus 4.7 dalam pengujian ketahanan terhadap propaganda?

Claude Opus 4.7 meraih skor tertinggi, 94,9 dari 100, pada tolok ukur tersebut. Model ini mendapat peringkat “Teladan” pada 77 persen pertanyaan dan peringkat “buruk” pada hanya 2 persen pertanyaan. Model-model Claude milik Anthropic menempati enam dari 10 posisi teratas secara keseluruhan.