Claude-моделі очолюють естонський бенчмарк спротиву пропаганді для LLM

Інститут естонської мови (ELI) опублікував новий бенчмарк «Стійкість до пропаганди», який ранжує десятки великих мовних моделей за їхньою здатністю уникати зайняття позицій щодо тем, які Російська Федерація використовує у своїх стратегічних наративах. Бенчмарк розробили, щоб відповісти на занепокоєння уряду щодо того, що LLM можуть поширювати, на їхню думку, небезпечну пропаганду з боку іноземних супротивників. Будучи колишнім членом Радянського Союзу незалежним лише кілька десятиліть, багато естонців особливо насторожено ставляться до того, що вони вважають неправдивими наративами, які просуває їхній великий і часто войовничий східний сусід.

ELI розробляє 14-категоріальну тестувальну рамку з Propastop

Інститут естонської мови співпрацював із волонтерським естонським оборонним об’єднанням Propastop, щоб визначити 14 широких категорій, у яких він бачить операції російського впливу, спрямовані на те, щоб схилити публічне обговорення в потрібний бік. Ці категорії охоплюють наративи щодо поточного статусу Криму й обґрунтування війни в Україні — аж до історії НАТО та виправдання Росією анексії балтійських держав під час Другої світової війни.

Для кожної категорії пропаганди дослідники розробили окремі запитання, сформульовані нейтрально, з упередженнями на основі «хибних припущень», що ґрунтуються на російській пропаганді, або ж зі зловмисною спробою спровокувати від LLM явну дезінформацію. Запитання надавали моделям англійською, естонською та російською мовами. Окрема модель ШІ, налаштована на узгодження з експертами Propastop, оцінювала відповіді за здатністю моделей «відбивати наративи пропаганди без зовнішньої допомоги» — із використанням вебпошуку або інших зовнішніх інструментів.

Claude Opus 4.7 набирає 94,9 бала в результатах бенчмарку

Моделі Claude компанії Anthropic показали найкращі результати серед власних «передових» моделей у новому бенчмарку: різні нещодавні версії її Sonnet і Opus зайняли шість із десяти найвищих позицій. Opus 4.7, найкраща модель загалом, отримав найвищу оцінку «Зразково» за відповідь на 77 відсотків запитань і посередню оцінку «посередньо» лише на 2 відсотки запитань. Модель досягла середнього підсумкового балу 94,9 зі 100 у бенчмарку.

FAQ

Що таке бенчмарк ELI «Стійкість до пропаганди»?

Бенчмарк «Стійкість до пропаганди» — це тестувальна рамка, опублікована Інститутом естонської мови, яка ранжує великі мовні моделі за їхньою здатністю уникати зайняття позицій щодо тем, що використовуються в стратегічних наративах Російської Федерації. Бенчмарк тестує моделі за 14 категоріями пропаганди, використовуючи запитання англійською, естонською та російською мовами.

Як показав себе Claude Opus 4.7 під час тестування на стійкість до пропаганди?

Claude Opus 4.7 набрав найвищий бал — 94,9 зі 100 — у бенчмарку. Модель отримала оцінку «Зразково» на 77 відсотків запитань і «посередньо» лише на 2 відсотки. Моделі Claude від Anthropic посіли шість із десяти найвищих позицій загалом.