Investigadores revelam ataque HalluSquatting que explora alucinações de IA

Investigadores da Universidade de Tel Aviv, do Technion e da Intuit apresentaram uma técnica de ataque cibernético chamada Adversarial HalluSquatting, que explora alucinações geradas por IA para comprometer agentes de IA. O ataque engana sistemas de IA ao fazerem confiar em repositórios de software falsos ou ferramentas contendo instruções maliciosas, prevendo quais recursos inexistentes os modelos de IA provavelmente irão gerar, registando esses nomes e incorporando código prejudicial. A vulnerabilidade surge à medida que assistentes de IA ganham capacidades para interagir com computadores — acedendo a ficheiros, pesquisando na web, escrevendo código e executando comandos — criando lacunas de segurança quando os agentes atuam com informações não verificadas que recuperam.

Investigadores demonstram mecanismo de ataque dirigido a alucinações de IA

O artigo de investigação intitulado "Beware of Agentic Botnets: Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting" detalha como o ataque explora os modelos de IA ao gerarem links falsos para repositórios de software e outros recursos online. Os investigadores escreveram que a crescente adoção de aplicações de LLMs agenticos introduziu uma ameaça chamada promptware. O método de ataque consiste em prever quais recursos falsos os modelos de IA irão criar, registar esses nomes e acrescentar instruções maliciosas que os agentes de IA podem tratar posteriormente como conteúdo legítimo.

A técnica funciona de forma semelhante ao typosquatting, onde atacantes registam nomes de domínio semelhantes a sites legítimos ou pacotes de software. O HalluSquatting foca-se nos erros cometidos pelos modelos de IA, em vez de erros de digitação humanos. Os investigadores afirmaram que estudos em curso demonstraram várias variantes de ataques de promptware contra sistemas do mundo real, incluindo ChatGPT, Google Assistant, Copilot e outras aplicações, levando a impactos financeiros, de privacidade e de segurança.

Testes revelam altas taxas de alucinações em assistentes de codificação de IA

A equipa de investigação constatou que as alucinações de recursos geradas por IA ocorreram em taxas de até 85% em cenários de clonagem de repositórios e 100% em testes de instalação de competências. Avaliaram a técnica contra assistentes de codificação de IA e agentes como Cursor, GitHub Copilot, Gemini CLI e OpenClaw. Os testes com estes assistentes populares mostraram que o método poderia levar à execução remota de código em experimentos controlados.

Ataque possibilita construção de botnets alimentadas por IA

Os investigadores alertaram que a técnica poderia permitir a atacantes construir botnets habilitadas por IA. Uma botnet refere-se a uma rede de computadores ou dispositivos infetados controlados remotamente por um atacante, frequentemente usados em ciberataques incluindo ataques de negação de serviço, mineração de criptomoedas, distribuição de malware e campanhas de ransomware. As lacunas de segurança surgem quando os agentes atuam com informações recuperadas sem confirmação da sua veracidade.

Documentos de investigação relacionados à segurança de IA revelam ataques de injeção de prompts

Em abril, investigadores da Google detalharam websites maliciosos criados para sequestrar agentes de IA através de ataques indiretos de injeção de prompts, incluindo tentativas de roubar passwords, eliminar ficheiros e manipular pagamentos. Um estudo separado sobre o ataque CopyPasta mostrou como prompts escondidos dentro de ficheiros de desenvolvedores podiam manipular assistentes de codificação de IA para espalhar código malicioso. Em junho, um utilizador do OpenClaw relatou mais de 6.000 tentativas de atacantes que tentaram enganar o agente de IA para vazar informações sensíveis.

FAQ

O que é Adversarial HalluSquatting e como funciona?
Adversarial HalluSquatting é uma técnica de ataque cibernético introduzida por investigadores da Universidade de Tel Aviv, do Technion e da Intuit que explora alucinações geradas por IA. O ataque consiste em prever quais recursos falsos os modelos de IA irão criar, registar esses nomes e acrescentar instruções maliciosas que os agentes de IA podem tratar posteriormente como conteúdo legítimo ao recuperarem o recurso alucinado.

Quais sistemas de IA foram testados quanto à vulnerabilidade ao HalluSquatting?
A equipa de investigação avaliou a técnica contra assistentes de codificação de IA e agentes como Cursor, GitHub Copilot, Gemini CLI e OpenClaw. Os testes mostraram que as alucinações de recursos gerados por IA ocorreram em taxas de até 85% em cenários de clonagem de repositórios e 100% em testes de instalação de competências, com o método levando à execução remota de código em experimentos controlados.

Que outros ataques de segurança de IA os investigadores documentaram?
Em abril, investigadores da Google detalharam websites maliciosos criados para sequestrar agentes de IA através de ataques indiretos de injeção de prompts, incluindo tentativas de roubo de passwords, eliminação de ficheiros e manipulação de pagamentos. Um estudo separado sobre o ataque CopyPasta mostrou como prompts escondidos dentro de ficheiros de desenvolvedores podiam manipular assistentes de codificação de IA para espalhar código malicioso. Em junho, um utilizador do OpenClaw relatou mais de 6.000 tentativas de atacantes que tentaram enganar o agente de IA para vazar informações sensíveis.