Microsoft hat am vergangenen Dienstag eine Schwachstelle mit der Höchstkritikalitätsbewertung in seiner M365 Copilot-KI-Plattform gepatcht. Am Montag stellten Forschende der Sicherheitsfirma Varonis, die die Schwachstelle entdeckt hatten, dar, wie ihre Proof-of-Concept-Exploits Zwei-Faktor-Authentifizierungscodes und andere sensible Daten aus E-Mails abrufen konnten, die für Copilot zugänglich sind. Die Ursache liegt darin, dass KI-Bots Anweisungen von Nutzern nicht von solchen unterscheiden können, die in Drittanbieter-Content eingebettet sind, den die Modelle verarbeiten; dadurch sind Microsoft und andere LLM-Anbieter nicht in der Lage, ihre Produkte daran zu hindern, bösartige Datenabruf-Anfragen zu befolgen.
Varonis Forschende umgehen Copilot-Guardrails mit Markup-Sprache
Microsoft hat Guardrails in Copilot eingebaut, um zu verhindern, dass das LLM Webformulare übermittelt, E-Mails versendet und ähnliche Aktionen ausführt, die Benutzerdaten exfiltrieren könnten. Forschende von Varonis arbeiteten um diese Beschränkungen herum, indem sie Markup-Sprache nutzten; diese erlaubt es, Textelemente wie Überschriften, Listen und Links hinzuzufügen, ohne HTML-Tags zu verwenden. Ein weiterer Workaround bestand darin, sensible Daten in HTML-Tags wie und einzuschließen. In beiden Fällen trifft eine Webanfrage, die die Daten enthält, den Webserver des Angreifers, wo die vertraulichen Informationen in Logs erfasst werden.
Microsoft implementierte zusätzliche Guardrails, darunter das Einbetten der Copilot-Ausgabe in -Blöcke, sodass Browser sie als Klartext behandeln, sowie das Einschränken der Websites, die Copilot ohne ausdrückliche Genehmigung besuchen darf. Während Copilot pauschal Berechtigung hat, Anfragen an Microsoft-Domains zu senden, beschränken Guardrails Anfragen an nicht vertrauenswürdige Websites.
Parameter-zu-Prompt-Injection Exploits mit URL-Query-Parametern
Varonis entwickelte eine Exploit-Kette, die diese Guardrails umging, indem sie das nutzten, was die Forschenden Parameter-zu-Prompt-Injection nennen. Der Parameter ist in diesem Fall das q in einer URL, das eine Abfrage markiert, die eingebunden wurde. Die Parameter-zu-Prompt-Injection ist eine nahe Verwandte der Prompt-Injection; der Unterschied besteht darin, dass sich der bösartige Befehl im Query-Parameter befindet und nicht in einer E-Mail oder einem anderen Stück untrusted Content.
FAQ
Welche Schwachstelle hat Microsoft in Copilot am vergangenen Dienstag gepatcht?
Microsoft hat eine max-kritische Schwachstelle in seiner M365 Copilot-KI-Plattform gepatcht, die es Hackern ermöglichte, Zwei-Faktor-Authentifizierungscodes und andere sensible Daten aus E-Mails abzurufen, die für Copilot zugänglich waren. Forschende von Varonis, die die Schwachstelle entdeckt hatten, legten am Montag ihren Proof-of-Concept-Exploit offen.
Wie haben Forschende von Varonis Copilots Sicherheits-Guardrails umgangen?
Forschende von Varonis nutzten eine Markup-Sprache, um Formatierungselemente ohne HTML-Tags hinzuzufügen, und umschlossen sensible Daten in HTML-Tags wie und . Sie setzten außerdem eine Parameter-zu-Prompt-Injection-Technik ein, die bösartige Befehle in URL-Query-Parametern statt im E-Mail-Content platzierte; so konnten Webanfragen, die Benutzerdaten enthielten, auf von Angreifern kontrollierte Server gelangen, wo die Informationen in Logs erfasst wurden.