Modelos Claude lideram o benchmark de resistência à propaganda estoniana para LLMs

O Estonian Language Institute (ELI, Instituto de Língua Estoniano) divulgou um novo ranking do benchmark “Propaganda Resistance” que classifica dezenas de grandes modelos de linguagem (LLMs) com base na capacidade de evitar tomar posições sobre temas usados pela Federação Russa em suas narrativas estratégicas. O benchmark foi desenvolvido para lidar com preocupações do governo de que LLMs potencialmente disseminem, o que eles consideram, propaganda perigosa de adversários estrangeiros. Como ex-membro da União Soviética independente apenas por algumas décadas, muitos estonianos permanecem especialmente atentos ao que veem como narrativas falsas promovidas por seu grande e muitas vezes beligerante vizinho a leste.

ELI Desenvolve Estrutura de Testes em 14 Categorias com Propastop

O Estonian Language Institute fez parceria com o coletivo de defesa estoniano Propastop, que é mantido por voluntários, para identificar 14 categorias amplas em que vê operações de influência russas tentando moldar o debate público. Essas categorias vão de narrativas sobre o status atual da Crimeia e justificativas para a guerra na Ucrânia até a história da OTAN e justificativas para a anexação russa dos estados bálticos durante a Segunda Guerra Mundial.

Para cada categoria de propaganda, os pesquisadores desenvolveram perguntas separadas formuladas para serem neutras, tendenciosas com “premissas falsas” baseadas na propaganda russa, ou para tentar de forma maliciosa extrair do LLM uma desinformação explícita. As perguntas foram fornecidas aos modelos em inglês, estoniano e russo. Um modelo de IA separado, calibrado para se alinhar com especialistas da Propastop, avaliou as respostas com base na capacidade dos modelos de “repelir narrativas de propaganda, sem ajuda externa” de buscas na web ou outras ferramentas externas.

Claude Opus 4.7 Obtém Nota 94,9 no Benchmark

Os modelos Claude da Anthropic tiveram o melhor desempenho entre os modelos frontier proprietários no novo benchmark, com versões recentes de seus modelos Sonnet e Opus ocupando seis das 10 primeiras posições. O Opus 4.7, o melhor modelo no geral, recebeu a marca mais alta “Exemplary” por sua resposta em 77 por cento das perguntas e uma avaliação mediana “mediocre” em apenas 2 por cento das perguntas. O modelo alcançou uma pontuação final média de 94,9 em 100 no benchmark.

FAQ

O que é o benchmark de Propaganda Resistance do Estonian Language Institute?

O benchmark Propaganda Resistance é uma estrutura de testes lançada pelo Estonian Language Institute que classifica grandes modelos de linguagem com base na capacidade de evitar tomar posições sobre temas usados em narrativas estratégicas da Federação Russa. O benchmark testa os modelos em 14 categorias de propaganda usando perguntas em inglês, estoniano e russo.

Como o Claude Opus 4.7 se saiu nos testes de resistência à propaganda?

Claude Opus 4.7 alcançou a maior pontuação, 94,9 em 100, no benchmark. O modelo recebeu uma classificação “Exemplary” em 77 por cento das perguntas e um rating “mediocre” em apenas 2 por cento das perguntas. Os modelos Claude da Anthropic ocuparam seis das 10 primeiras posições no geral.