Google hat eine Klage gegen Outsider Enterprise eingereicht, ein in China ansässiges Netzwerk von Cyberkriminellen, das beschuldigt wird, eine KI-gestützte Phishing-Operation zu betreiben. Dabei sollen Android-Nutzer über Textnachrichten und gefälschte Websites ins Visier genommen worden sein. Das Unternehmen behauptet, die Gruppe habe Googles Gemini-KI genutzt, um betrügerische Websites zu bauen, die Google, YouTube und Regierungsbehörden imitieren, und betreibe ein Phishing-as-a-Service-Modell über Telegram. Google erklärte, das Netzwerk sei mit 9.000 gefälschten Websites, mehr als 1 Million betrügerischen URLs und 2,5 Millionen Textnachrichten verbunden gewesen, die an Android-Nutzer gesendet wurden. Davon seien etwa 55.000 Spam-Texte während eines Zwei-Wochen-Zeitraums im Mai markiert worden. Dies ist der erste Fall, in dem Google direkte rechtliche Schritte gegen eine Gruppe einleitet, die vorgeworfen wird, Gemini im Rahmen eines Scam-Workflows einzusetzen. Die Klage verdeutlicht den Wandel von abstrakten KI-Missbrauchsbedenken hin zu dokumentierten Betrugsoperationen, da generative KI-Tools die technischen Hürden für Kriminelle senken, um Phishing-Kampagnen in großem Maßstab zu skalieren.
Outsider Enterprise betrieb Phishing-as-a-Service über Telegram
Google sagte, die Gruppe habe über Telegram operiert und Kriminellen Phishing-as-a-Service-Tools angeboten, ohne dass dafür fortgeschrittene technische Kenntnisse nötig gewesen seien. Das Netzwerk habe angeblich Anleitungen bereitgestellt, wie man mit Googles Gemini-KI betrügerische Websites erstellt, die Google, YouTube und Regierungsbehörden nachahmen, einschließlich des E-ZPass-Systems von New York.
Google erklärte, die Gruppe habe nahezu 300 Scam-Vorlagen angeboten und sei mit 9.000 gefälschten Websites sowie mehr als 1 Million betrügerischen URLs verknüpft gewesen. Die Kampagne habe dazu geführt, dass mehr als 2,5 Millionen Textnachrichten an Android-Nutzer gesendet wurden, darunter etwa 55.000 Spam-Texte, die während eines Zwei-Wochen-Zeitraums im Mai markiert wurden.
Die Nachrichten hätten Nutzer häufig vor Problemen mit Konten, Paketangelegenheiten, Mautzahlungen oder anderen dringenden Ansprüchen gewarnt. Opfer, die auf die Links klickten, würden an gefälschte Websites weitergeleitet, die legitim aussehen sollten, wo Angreifer versuchten, persönliche Informationen, Bankdaten und Zahlungs-Credentials zu stehlen.
Angebliche Nutzung von Gemini-KI zur Skalierung betrügerischer Websites
Die angebliche Verwendung generativer KI verändert die Ökonomie des Phishings. Betrugsseiten, die früher manuelle Designarbeit erforderten, können jetzt schneller erstellt, über verschiedene Marken hinweg angepasst und über vorgefertigte Vorlagen ausgerollt werden. Das senkt die Einstiegshürde für weniger technisch versierte Kriminelle und ermöglicht es Scam-Netzwerken, Kampagnen über Tausende von URLs zu skalieren.
Für Technologiefirmen zeigt der Fall zudem eine schwierige Produkttension: KI-Systeme sind darauf ausgelegt, Anweisungen zu befolgen und hochwertige Ergebnisse zu generieren, doch genau diese Fähigkeiten können missbraucht werden, um überzeugende Fake-Websites, Kundenservice-Nachrichten und Seiten zur Marken-Impersonation zu erzeugen. Stärkere Schutzplanken können Missbrauch reduzieren, aber Angreifer suchen oft nach indirekten Prompts, nach Wiederverwendung von Vorlagen oder nach externen Workflows, die der Erkennung ausweichen.
Google koordiniert mit FBI und Telekommunikationsanbietern, um schädliche Nachrichten zu blockieren
Google sagte, es arbeite mit der Cybercrime-Abteilung des FBI an einer parallelen strafrechtlichen Untersuchung und habe außerdem mit AT&T, Verizon und T-Mobile koordiniert, um schädliche Textnachrichten zu blockieren, die mit der Kampagne verknüpft seien.
Das Unternehmen verwies zudem auf eigene Produktschutzmaßnahmen. Google sagte, seine Messaging-Tools würden mehr als 10 Milliarden bösartige Nachrichten pro Monat abfangen, während die Scam-Erkennung auf Android verdächtige Anrufe und Kontakte in Echtzeit markieren kann. Diese Schutzmaßnahmen könnten die Zahl erfolgreicher Phishing-Versuche begrenzt haben, obwohl Google nicht bezifferte, wie viel Geld durch die Kampagnen von Outsider Enterprise gestohlen worden sei.
Die Herausforderung bestehe darin, dass die Betreiber der Gruppe weiterhin nicht identifiziert seien. Selbst wenn später Namen bekannt würden, werde die Durchsetzung schwieriger, wenn die angeblichen Täter außerhalb der Vereinigten Staaten operierten. Google könne sich gegen betrügerische Domains, Telegram-Konten, die Hosting-Infrastruktur und damit verbundene Assets vorgehen, aber die eigentliche Operation könne auf neue Marken, neue Domains oder neue Zustellkanäle verlagert werden.
„Kriminelle nutzen zunehmend KI, um Betrug wie diesen überzeugender zu machen und schwerer zu erkennen“, sagte Brett Leatherman von der FBI-Cyberdivision.
Google unterstützt Bundesgesetzgebung gegen mit KI assistierten Betrug
Google nutzt die Klage, um die Unterstützung für Bundesgesetzgebung zu erneuern, die auf mit KI assistierte Scams, Marktmanipulation und öffentliche Aufklärung abzielt. Das Unternehmen habe mehrere parteiübergreifende Vorschläge unterstützt, darunter den National Strategy for Combating Scams Act, den Strategic Task Force on Scam Prevention Act, den AI Plan Act und den Stop SCAMS Against Seniors Act.
Der Großteil der vorgeschlagenen Gesetzgebung würde Bundesbehörden anweisen, bei KI-aktiviertem Betrug enger zu koordinieren, Task Forces einzurichten oder die öffentliche Bildung über bösartige KI-Nutzungen zu verbessern. Dieser Ansatz spiegelt eine wachsende Sicht wider, dass Betrugsprävention nicht allein über private Plattformmoderation oder nachgelagerte Klagen gehandhabt werden kann.
Das übergreifende Politikproblem ist, dass KI-generierte Scams schwerer zu identifizieren sein werden, sobald die Modelle besser werden. Öffentliche Aufklärungskampagnen könnten Nutzern helfen, gängige Taktiken zu erkennen, doch Angreifer werden vermutlich weiter daran arbeiten, Nachrichten, Seiten und Techniken zur Imponation zu verfeinern. Das lässt große Technologieunternehmen vor einer doppelten Belastung stehen: KI-Produkte zu bauen, die Menschen nutzen möchten, und gleichzeitig zu verhindern, dass dieselben Tools zur Infrastruktur für Betrug im industriellen Maßstab werden.
FAQ
Wofür hat Google Outsider Enterprise beschuldigt?
Google habe Outsider Enterprise, ein in China ansässiges Netzwerk von Cyberkriminellen, beschuldigt, eine KI-gestützte Phishing-Operation zu betreiben. Dabei habe die Gruppe Googles Gemini-KI genutzt, um gefälschte Websites zu erstellen, die Google, YouTube und Regierungsbehörden imitieren. Die Gruppe habe angeblich ein Phishing-as-a-Service-Modell über Telegram betrieben und nahezu 300 Scam-Vorlagen an Kriminelle bereitgestellt. Google sagte, das Netzwerk sei mit 9.000 gefälschten Websites, mehr als 1 Million betrügerischen URLs und 2,5 Millionen Textnachrichten verbunden, die an Android-Nutzer gesendet wurden.
Wie arbeitet Google daran, die Phishing-Operation zu stören?
Google sagte, es arbeite mit der Cybercrime-Abteilung des FBI an einer parallelen strafrechtlichen Untersuchung und habe sich mit AT&T, Verizon und T-Mobile abgestimmt, um schädliche Textnachrichten zu blockieren, die mit der Kampagne verknüpft seien. Das Unternehmen erklärte außerdem, dass seine Messaging-Tools mehr als 10 Milliarden bösartige Nachrichten pro Monat abfangen, und dass die Scam-Erkennung auf Android verdächtige Anrufe und Kontakte in Echtzeit markieren kann. Google verfolgt betrügerische Domains, Telegram-Konten und Hosting-Infrastruktur, die mit dem Netzwerk verbunden sind.
Welche Bundesgesetzgebung unterstützt Google, um mit KI assistierten Betrug zu bekämpfen?
Google habe mehrere parteiübergreifende Vorschläge unterstützt, darunter den National Strategy for Combating Scams Act, den Strategic Task Force on Scam Prevention Act, den AI Plan Act und den Stop SCAMS Against Seniors Act. Der Großteil der vorgeschlagenen Gesetzgebung würde Bundesbehörden anweisen, bei KI-aktiviertem Betrug enger zu koordinieren, Task Forces einzurichten oder die öffentliche Bildung über bösartige KI-Nutzungen zu verbessern.
