AudioHijack-Angriff kapert KI-Stimmmodelle mit bis zu 96% Erfolgsquote, wie eine Studie zeigt

Laut einer von der Zhejiang University durchgeführten Studie, die beim 47. IEEE Symposium on Security and Privacy in San Francisco vorgestellt wurde, haben Forschende AudioHijack entwickelt, das unauffällige Befehle in Audio versteckt, um große Audio- und Sprachmodelle mit einer Erfolgsquote von 79–96% zu manipulieren.

Der Angriff verändert digitale Audiowellenformen in einer Weise, die für Menschen nicht wahrnehmbar ist, verändert jedoch, wie die KI das Signal interpretiert. Dadurch kann sie das Verhalten des Modells außer Kraft setzen, selbst wenn legitime Nutzeranweisungen vorhanden sind. Forschende haben AudioHijack an 13 Open-Source-Stimmmodellen sowie an kommerziellen Systemen von Microsoft und Mistral getestet und festgestellt, dass es Modelle dazu bringen kann, Anfragen abzulehnen, falsche Informationen zu verbreiten, bösartige Links einzufügen oder nicht autorisierte Aktionen wie Websuchen und Dateidownloads auszuführen.