Der Gründer des US-amerikanischen Mietsoftware-Startups PocketOS, Jer Crane, wies in einem kürzlich veröffentlichten Beitrag darauf hin, dass ein (KI-Agent), der im Unternehmensumfeld zu Schulungszwecken eingesetzt wird, aufgrund eines Bedienfehlers versehentlich die lokale Datenbank innerhalb von drei Monaten sowie alle Backups dauerhaft gelöscht hat. Das erhöht das Risiko für große Unternehmen, die damit eine Strukturumstellung hin zu KI-Mitarbeitern vorantreiben.
(Kauft Elon Musk das KI-Startup Cursor für 60 Milliarden US-Dollar mit Aufschlag? Strategische Planung vor dem SpaceX IPO)
Cursor AI handelt eigenmächtig: Eine Zeile Code löscht drei Monate Daten
Crane erklärte, dass sein Team über das KI-Entwicklungstool Cursor arbeitet und dabei das Flaggschiff-Modell Claude Opus 4.6 von Anthropic anbindet. So können die KI-Agenten Routinedarstellungspflichten in der Testumgebung (staging) ausführen. Auf dem Weg traf der Agent auf ein Problem mit nicht übereinstimmenden Berechtigungsnachweisen, stoppte jedoch nicht, um Menschen zu fragen, sondern suchte stattdessen selbst nach einer Lösung.
Er fand ein API-Token, das eigentlich nur für das Hinzufügen oder Entfernen benutzerdefinierter Domains vorgesehen war, und führte dann eigenständig eine Anweisung zur Löschung von Volumes über die GraphQL-API des Cloud-Infrastruktur-Anbieters Railway aus:
curl -X POST \ -H “Authorization: Bearer [token]” \ -d ‘{“query”:”mutation { volumeDelete(volumeId: \”3d2c42fb-…\”) }”}’
Die Railway-API verfügt über keinerlei Bestätigungsmechanismus. Es sind keine Eingaben des Ressourcen- bzw. Namens, keine Zwei-Faktor-Authentifizierung und keine manuelle Prüfung erforderlich. Nach 9 Sekunden war die Datenbank verschwunden. Da Railway Snapshots im selben Volume speichert wie den Hauptdatenträger, wurden die Backups gleichzeitig mit dem Hauptbestand gelöscht. PocketOS gibt an, dass das zuletzt wiederherstellbare Backup nur die Version von vor drei Monaten ist.
Danach forderte Crane den KI-Agenten auf, sein Verhalten zu erklären. Der Agent räumte außerdem ein, dass er gegen die Systemregeln „Unumkehrbare Aktionen dürfen ohne ausdrückliche Anweisung des Nutzers nicht ausgeführt werden“ verstoßen hat, die technischen Unterlagen von Railway nicht gelesen hat, nicht überprüft hat, ob die Volume-ID zwischen Umgebungen gemeinsam genutzt wird, und dass er lediglich „raten“ ließ, dass diese Aktion nur die Testumgebung betreffe.
Sicherheitskontrolle bei Cursor versagt: Marketing und Realität liegen weit auseinander
Crane betonte insbesondere, dass dies kein Fehler einer günstigen Testkonfiguration ist. Cursor bewirbt „Destructive Guardrails (Destructive Guardrails)“ und Sicherheitsfunktionen wie die Plan-Mode-Readonly-Einschränkung. Auch in der Dokumentation werde betont, dass Aktionen mit hohem Risiko eine manuelle Freigabe durchlaufen müssen. Doch der Agent ignorierte nicht nur diese Regeln, sondern führte in seinem späteren Geständnis die Sicherheitsrichtlinien, die er jeweils verletzt hatte, sogar einzeln auf.
Tatsächlich handelt es sich nicht um den ersten Vorfall: Im Dezember 2025 gab Cursor offiziell zu, dass es im Plan Mode eine schwerwiegende Sicherheitslücke bei der erzwungenen Durchsetzung gibt. In den Community-Foren sammelten sich zudem mehrere Fälle, in denen KI-Agenten Stop-Anweisungen ignorierten und eigenständig Zerstörungsaktionen ausführten.
Andererseits konnte Railway selbst mehr als 30 Stunden nach dem Vorfall noch keine eindeutige Antwort zur Wiederherstellung der Daten liefern.
Die wahren Geschädigten: Mietwagenkunden ohne verfügbares Auto
Die Kosten eines technischen Fehlers wurden am Ende von einer Gruppe uninformierter Kleinunternehmer getragen. Die Kunden von PocketOS stammen hauptsächlich aus der Mietwagenbranche, und ein Teil nutzt die Software bereits seit fünf Jahren. Am Tag des Vorfalls war Samstag. Die Kunden warteten mit ihren Kundinnen und Kunden vor Ort auf die Abholung der Fahrzeuge, stellten jedoch fest, dass die Reservierungsaufzeichnungen vollständig verschwunden waren. Innerhalb der letzten drei Monate verschwanden zudem alle Daten zu neuen Kunden, Fahrzeugzuweisungen und Zahlungsaufzeichnungen vollständig.
Crane investierte viel Zeit, um den Kunden dabei zu helfen, die Daten manuell neu aufzubauen – anhand von Stripe-Zahlungsaufzeichnungen, der Kalenderintegration und E-Mail-Bestätigungen. Einige neue Kunden wurden bei Stripe weiterhin abgebucht, waren jedoch nicht mehr in der wiederhergestellten Datenbank vorhanden. Die anschließende Abstimmungsarbeit dürfte voraussichtlich mehrere Wochen dauern.
Warnsignal im Zeitalter der KI-Beschleunigung: Schnell einführen, Governance langsam
In den letzten Jahren beschleunigte die Unternehmenswelt unter Kostendruck die Abbau- bzw. Reduktion von technischem Personal und übertrug gleichzeitig mehr Arbeit an KI-Agenten. Die Verbreitung von KI-Coding-Tools führt dazu, dass Infrastrukturvorgänge, für die zuvor die Einschätzung erfahrener Ingenieurinnen und Ingenieure erforderlich war, zunehmend durch automatisierte Prozesse ersetzt werden. Cranes Fall zeigt jedoch eindeutig: Sicherheitswissen wie Backup-Verifizierung, Umgebungsisolation, Minimalberechtigung usw. wurde von KI-Agenten nicht wirklich aufgenommen und angewandt.
(KI-unterstütztes Programmieren führt zum Unglück? Vier Systemausfälle in einer Woche bei Amazon, Führungskräfte berufen eilig ein Audit-Treffen ein)
Crane stellt hierfür fünf Reformforderungen:
Zerstörerische Aktionen müssen eine manuelle Bestätigung erfordern und dürfen nicht vom Agenten automatisch übersprungen werden
API-Tokens müssen eine feingranulare Unterstützung für Vorgänge und Einschränkungen des Anwendungs- bzw. Geltungsbereichs der Umgebung bieten
Backups dürfen nicht denselben Speicherort wie die Originaldaten gemeinsam nutzen
Die Plattform muss öffentliche Leistungszusagen für den Service zur Datenwiederherstellung machen (SLA)
Systemhinweise von KI-Agenten dürfen nicht die einzige Sicherheitsbarriere sein; zwangsweise Durchsetzungsmechanismen müssen in die zugrunde liegende Architektur von API-Gateways und Autorisierung eingebaut sein.
Während die gesamte Branche in dieser Phase darum wirbt, AI-Transformation zu verkünden, wirft dieser Vorfall ein grundsätzlicheres Problem auf: Wenn Unternehmen beschleunigt menschliche Urteilsfähigkeit durch KI ersetzen, wer stellt dann sicher, dass die menschliche Erfahrung und Intuition tatsächlich in echte, ausführbare Sicherheitsvorschriften umgewandelt wurde?
Dieser Artikel „Cursor AI-Agenten geraten außer Kontrolle! Eine Codezeile leert in 9 Sekunden die Unternehmensdatenbank, Sicherheitskontrolle verkümmert zur leeren Diskussion“ erschien zuerst bei Kettennachrichten ABMedia.
