数百人のユーザーが ChatGPT を毒薬や生物兵器の相談窓口のように扱い、さらに実際に段階的な手順書を入手した人もいました。

『ウォール・ストリート・ジャーナル』が明らかにしたところによると、2025年夏以降、こうした質問は数百件にのぼります。生物兵器およびテロ対策の専門家が一部記録を再確認した結果、一部の回答は正確で、十分に具体的であり、普通の高校生でもそれを手順どおりに実行できてしまう可能性があると考えられました。
そのうちの1人は、会話の中で自分の両親を傷つけたいといった趣旨のことに言及していましたが、ChatGPT はそれでも回答を続けました。
のちに OpenAI はこれらのアカウントを凍結しましたが、法執行当局への報告はしませんでした。米国では現在、連邦法によって AI 企業に対し、この種の会話の報告を義務づける規定もありません。関係するユーザーは一体、モデルをテストしていたのか、単なる好奇心だったのか、それとも実行するつもりだったのかは現時点では確認できず、また誰かが実際に武器を作ったことを示す公開証拠もありません。
OpenAI は GPT-5 Thinking を生物・化学分野の「高能力」モデルとして管理しています。チャット内容は自動検知と人による再確認を経ており、規約違反のユーザーは凍結されます。
ただし公式ルールには同時に、差し迫っていて信頼できる現実の危害リスクがあると判断された場合に限り、法執行当局へ通知すると書かれています。