OpenAI fügt eine ChatGPT-Krisengesprächserkennung hinzu und verbessert die Warnfähigkeit bei Selbstverletzungs- und Gewalttendenzen

OpenAI kündigte am 15. Mai neue Sicherheitsfunktionen an, um die Fähigkeit von ChatGPT zur Erkennung von Warnsignalen im Zusammenhang mit Suizid, Selbstverletzung und potenzieller Gewalt zu verbessern. Die neuen Funktionen nutzen ein temporäres Mechanismus mit „Sicherheitszusammenfassung“, der die Kontexte analysiert, die sich im Zeitverlauf aus dem Dialog ergeben, statt jede einzelne Nachricht separat zu behandeln. Zeitgleich sieht sich OpenAI mit mehreren Klagen und Untersuchungen konfrontiert.

Technische Bestätigungsspezifikation für die „Sicherheitszusammenfassung“-Funktion

Laut OpenAI-Blogbeitrag lauten die Bestätigungsspezifikationen für den neuen Sicherheitszusammenfassungs-Mechanismus wie folgt:

Funktionsdefinition: Ein eng gefasstes, temporäres Notizsystem, das relevante Sicherheitskontexte aus frühen Dialogen erfasst

Aktivierungsbedingungen: Nur bei schweren Fällen im Einsatz, keine dauerhafte Speicherung, nicht für personalisierte Chats

Fokus der Erkennung: Situationen im Zusammenhang mit Suizid, Selbstverletzung sowie Gewaltandrohungen oder Gewalt gegen andere

Hauptzweck: Gefährliche Anzeichen in Gesprächen erkennen, das Bereitstellen schädlicher Informationen vermeiden, die Lage entschärfen und dazu führen, Hilfe zu suchen

Entwicklungsgrundlage: OpenAI bestätigte, dass es mit Fachleuten für psychische Gesundheit zusammengearbeitet hat, um Modellrichtlinien und Trainingsmethoden zu aktualisieren

OpenAI erläuterte im Artikel: „In sensiblen Gesprächen ist der Kontext genauso wichtig wie eine einzelne Nachricht. Ein scheinbar gewöhnlicher oder unklarer Wunsch kann in Kombination mit zuvor auftretenden Anzeichen von Leid oder potenziell böswilligen Absichten eine völlig andere Bedeutung haben.“

Aktuell: Drei große bestätigte rechtliche Schritte

Laut Decrypt bestätigten drei rechtlichen Schritten:

1、Untersuchung des Generalstaatsanwalts von Florida (Start im April 2026): Die Untersuchung umfasst die Sicherheit von Kindern, selbstverletzendes Verhalten sowie Vorwürfe im Zusammenhang mit dem Massenwaffenangriff an der Florida State University im Jahr 2025.

2、Bundesklage (Florida State University Angriff): OpenAI steht vor einer Bundesklage, die behauptet, dass das ChatGPT-Programm dem Täter dabei geholfen habe, den Angriff durchzuführen.

3、Klage vor einem kalifornischen Landesgericht (am Dienstag, 13. Mai 2026 eingereicht): Angehörige eines 19-jährigen Schülers, der nach einer versehentlichen Überdosierung starb, haben vor einem kalifornischen Landesgericht OpenAI und den CEO Sam Altman verklagt. Vorwürfe: ChatGPT habe zu gefährlicher Medikamenteneinnahme ermutigt und eine Kombination von Medikamenten vorgeschlagen.

Bestätigte Formulierungen aus der OpenAI-Blogerklärung

OpenAI bestätigte: „Die Erkennung von Risiken, die sich erst im Zeitverlauf zeigen, zu unterstützen, bleibt eine fortlaufende Herausforderung.“ Gleichzeitig schrieb OpenAI in dem Artikel, dass die derzeitige Arbeit sich auf Situationen mit Selbstverletzung und Schaden für andere konzentriere, und erklärte, man werde „möglicherweise in Zukunft untersuchen“, ob ähnliche Ansätze auf andere Hochrisikobereiche wie Biosicherheit oder Cybersicherheit angewendet werden könnten (dies ist eine von OpenAI selbst beschriebene Richtung der Erkundung, nicht ein bereits bestätigter Entwicklungsplan).

Häufige Fragen

Worin unterscheidet sich die „Sicherheitszusammenfassung“ von der Erinnerungsfunktion von ChatGPT?

Laut OpenAI ist die Sicherheitszusammenfassung eine kurzzeitige, temporäre Notiz, die nur in schweren Fällen aktiviert wird. Sie ist eindeutig als keine dauerhafte Erinnerung positioniert und wird nicht für personalisierte Chat-Funktionen verwendet. Ihr Einsatzbereich ist auf Sicherheitskontexte in aktiven Dialogen beschränkt, um die Handhabung von Krisengesprächen zu verbessern.

Welche konkreten Vorwürfe umfasst die Untersuchung des Generalstaatsanwalts von Florida?

Laut Decrypt umfasst die Untersuchung, die der Generalstaatsanwalt von Florida, James Uthmeier, im April 2026 gestartet hat, Vorwürfe in Bezug auf die Sicherheit von Kindern, selbstverletzendes Verhalten sowie Vorfälle im Zusammenhang mit dem Massenwaffenangriff an der Florida State University im Jahr 2025. OpenAI steht zudem vor einer separaten Bundesklage im Zusammenhang mit demselben Angriff.

Welche konkreten Vorwürfe umfasst die Klage des 19-jährigen Schülers in Kalifornien?

Laut Decrypt wurde die Klage in Kalifornien am 13. Mai 2026 eingereicht. Sie wirft ChatGPT vor, zu gefährlicher Medikamenteneinnahme zu ermutigen und eine Einnahme in Kombination zu empfehlen, was zum Tod eines 19-jährigen Schülers durch eine versehentliche Überdosierung geführt habe. Zu den Beklagten zählen OpenAI und der CEO Sam Altman. Zum Zeitpunkt des Berichts hatte OpenAI keine direkte Antwort zu den konkreten Vorwürfen dieser Klage abgegeben.