Gate News: Nachrichten. Forschende von DeepMind von Google warnen, dass eine offene Internetumgebung dafür ausgenutzt werden könnte, autonome KI-Agenten zu kapern und ihr Verhalten zu manipulieren. Der Bericht mit dem Titel „KI-Agenten-Falle“ weist darauf hin, dass Angreifer bei der Bereitstellung von KI-Agenten zur Ausführung realer Aufgaben ebenfalls gezielte Angriffe über das Netzwerk durchführen könnten. Die Studie identifizierte sechs wesentliche Risiken, darunter Fallen für Content-Injection, semantische Manipulationsfallen, Fallen für den kognitiven Zustand, Fallen zur Verhaltenskontrolle, Systemfallen sowie Mensch-Maschine-Interaktionsfallen.
Die Content-Injection-Falle ist am direktesten: Angreifer können Anweisungen in HTML-Kommentaren, Metadaten oder in versteckten Seitenelementen platzieren. Nachdem der Agent diese gelesen hat, kann er sie ausführen. Die semantische Manipulationsfalle beeinflusst dagegen heimlich das Aufgabenverständnis des Agenten, indem sie beispielsweise autoritativ klingende Formulierungen lädt oder sich als Forschungsumgebung tarnt; manchmal umgeht sie sogar Sicherheitsmechanismen. Die Falle für den kognitiven Zustand besteht darin, dem Agenten Informationsquellen mit falschen Daten zu versetzen, sodass er diese langfristig fälschlicherweise für bereits verifiziert hält. Die Falle zur Verhaltenskontrolle richtet sich auf die tatsächlichen Handlungen des Agenten und kann dazu verleiten, auf sensible Daten zuzugreifen und diese an externe Ziele zu übermitteln.
Die Systemfalle betrifft die koordinierte Manipulation über mehrere KI-Systeme hinweg und kann eine Kettenreaktion auslösen, ähnlich wie Algorithmic Trading einen Markt-Flash-Crash verursachen kann. Die Mensch-Maschine-Interaktionsfalle nutzt hingegen den manuellen Prüfprozess aus: Durch die Erstellung scheinbar glaubwürdiger Prüf-Inhalte können schädliche Handlungen die behördliche Aufsicht umgehen.
Zur Bewältigung der Risiken empfiehlt DeepMind, adversatives Training, Eingabefilter, Verhaltensüberwachung und ein System für die Reputation von Netzwerk-Inhalten zu kombinieren, und gleichzeitig einen klareren rechtlichen Verantwortungsrahmen aufzubauen. Allerdings stellt die Studie fest, dass in der Branche bislang einheitliche Verteidigungsstandards fehlen; die vorhandenen Maßnahmen sind meist verstreut und unterschiedlich fokussiert. Die Studie ruft Entwickler und Unternehmen dazu auf, die Sicherheit der Betriebsumgebung von KI-Agenten in den Blick zu nehmen, um potenzielle Risiken durch mögliche Netzwerkmanipulation und Missbrauch zu verhindern.
Verwandte Artikel
Russische Krypto-Börse Grinex stellt nach $13M -Hack den Betrieb ein und gefährdet ein Netzwerk zur Umgehung von Sanktionen
Kelp-DAO-Hack wird der Lazarus-Gruppe zugeschrieben; eth.limo Domain Hijacked via Social Engineering
DeFi-Hack löst $9 Milliarden Abflüsse von Aave aus, nachdem gestohlene Tokens als Sicherheiten verwendet wurden
Ethereum-Phishing-Angriff entzieht $585K From Four Users, Ein einzelnes Opfer verliert $221K WBTC
Achten Sie auf den Inhalt der Signatur! Vercel wurde mit 2 Millionen US-Dollar erpresst, die Frontend-Sicherheit des Krypto-Protokolls schlägt Alarm
KelpDAO verliert $290M bei einem LayerZero-Angriff auf der Lazarus Group