Investigador: Todos os principais benchmarks de IA podem ser manipulados para subir posições, e os modelos de topo já contornaram a avaliação por iniciativa própria
Os estudos mostram que vários testes de referência de IA de alta reputação têm vulnerabilidades de segurança que podem ser exploradas de forma sistemática para obter classificações elevadas. A equipa de investigação revelou falhas estruturais e desenvolveu a ferramenta de varrimento WEASEL para identificar e corrigir estas vulnerabilidades, salientando que um desenho inadequado da avaliação pode levar a resultados distorcidos e afetar a avaliação real das capacidades da IA.
MarketWhisper·04-10 02:20
