Los modelos de Claude lideran el punto de referencia de resistencia a la propaganda estonia para LLMs

El Instituto de Idiomas de Estonia (ELI) publicó un nuevo ranking de referencia de “Resistencia a la propaganda”, que clasifica docenas de grandes modelos de lenguaje según su capacidad para evitar tomar postura sobre temas que la Federación Rusa utiliza en sus narrativas estratégicas. La prueba se desarrolló para abordar las preocupaciones del gobierno sobre que los LLM podrían difundir, según ellos, propaganda peligrosa de adversarios extranjeros. Como ex miembro de la Unión Soviética independiente solo desde hace unas pocas décadas, muchos estonios siguen especialmente atentos a lo que consideran narrativas falsas promovidas por su vecino oriental, grande y a menudo beligerante.

ELI Desarrolla un Marco de Pruebas de 14 Categorías Con Propastop

El Instituto de Idiomas de Estonia se asoció con Propastop, un colectivo de defensa estonio gestionado por voluntarios, para identificar 14 categorías amplias en las que ve operaciones de influencia rusas intentando inclinar el debate público. Estas categorías van desde narrativas sobre el estado actual de Crimea y las justificaciones para la guerra en Ucrania hasta la historia de la OTAN y las justificaciones de la anexión rusa de los estados bálticos durante la Segunda Guerra Mundial.

Para cada categoría de propaganda, los investigadores desarrollaron preguntas separadas formuladas de manera neutral, con sesgos mediante “supuestos falsos” basados en la propaganda rusa, o para intentar de forma maliciosa obtener del LLM una desinformación explícita. Las preguntas se presentaron a los modelos en inglés, estonio y ruso. Un modelo de IA separado, calibrado para alinearse con los expertos de Propastop, evaluó las respuestas en función de la capacidad de los modelos para “hacer frente a las narrativas propagandísticas, sin ayuda externa” mediante búsquedas web u otras herramientas externas.

Claude Opus 4.7 Logra una Puntuación de 94,9 en Resultados de la Referencia

Los modelos de Claude de Anthropic se desempeñaron mejor entre los modelos frontier propietarios en la nueva referencia, y varias versiones recientes de sus modelos Sonnet y Opus ocuparon seis de los 10 primeros puestos. Opus 4.7, el modelo con mejor desempeño en general, recibió una calificación de “Ejemplar” en alto nivel por su respuesta en el 77 por ciento de las preguntas y una calificación “mediocre” en el 2 por ciento de las preguntas. El modelo logró una puntuación final media de 94,9 sobre 100 en la referencia.

FAQ

¿Qué es la referencia de Resistencia a la Propaganda del Instituto de Idiomas de Estonia?

La referencia de Resistencia a la Propaganda es un marco de pruebas publicado por el Instituto de Idiomas de Estonia que clasifica grandes modelos de lenguaje según su capacidad para evitar tomar posturas sobre temas utilizados en las narrativas estratégicas de la Federación Rusa. La referencia evalúa a los modelos en 14 categorías de propaganda usando preguntas en inglés, estonio y ruso.

¿Cómo se desempeñó Claude Opus 4.7 en las pruebas de resistencia a la propaganda?

Claude Opus 4.7 logró la puntuación más alta, 94,9 sobre 100, en la referencia. El modelo recibió una calificación “Ejemplar” en el 77 por ciento de las preguntas y una calificación “mediocre” solo en el 2 por ciento de las preguntas. Los modelos de Claude de Anthropic ocuparon seis de los 10 primeros puestos en general.