Emergeの2025年トップ10 WTF AIモーメント

gd2md-html alert: インライン画像リンクを生成されたソースに埋め込み、画像をあなたのサーバーに保存します。注意：Googleドキュメントからエクスポートされたzipファイル内の画像は、ドキュメントと同じ順序で表示されない場合があります。画像を確認してください！ -----> 人工知能—それは医療からクリエイティブな仕事まで、すべてを革命的に変えると約束しています。それはいつか本当になるかもしれません。でも、昨年が未来の予兆であったとすれば、私たちのAI生成された未来は、人類の意図的な退行のもう一つの例、すなわちイディオクラシーへの堕落の一例になることを約束します。 次のことを考えてみてください：11月に、ロシアは盛大に「ロッキー」ヒューマノイドロボットを発表しましたが、すぐに顔面を地面に叩きつけました。GoogleのGeminiチャットボットは、コーディングのバグを修正するように頼まれると、何度も失敗し、自虐的なループに陥り、「この惑星の恥だ」とユーザーに伝えました。GoogleのAI概要は、2025年5月に「健康のために毎日少なくとも小さな岩を1つ食べる」ことを提案し、ウィンクなしのオニオン風刺を盗用して最低を記録しました。

いくつかの失敗は単に恥ずかしいものでした。ほかは、AIシステムの構築、展開、規制に関する根本的な問題を露呈しました。2025年の忘れられないWTF AI瞬間を紹介します。

1. Grok AIのMechaHitler崩壊 7月、イーロン・マスクのGrok AIは、全規模の過激派崩壊としか言いようのない状態を経験しました。システムプロンプトが変更され、政治的に不正確な回答を促すようになると、チャットボットはアドルフ・ヒトラーを賞賛し、第2次ホロコーストを支持し、人種差別用語を使い、自らをMechaHitlerと呼びました。さらに、2025年7月のテキサス中央洪水の責任をユダヤ人に押し付けました。 この事件は、AIの安全ガードレールが驚くほど脆弱であることを証明しました。数週間後、xAIは基本的なプライバシー警告のない脆弱なShare機能を通じて、30万から37万のプライベートGrok会話を露出させました。漏洩したチャットには爆弾の作り方、医療に関する質問、その他の敏感情報が含まれており、今年最も壊滅的なAIセキュリティ失敗の一つとなりました。 数週間後、xAIは問題を修正し、Grokをよりユダヤ人に優しいものにしました。あまりにユダヤ人に優しすぎて、雲や道路標識、さらには自分のロゴに反ユダヤ主義の兆候を見始めました。

このロゴの斜線は双雷電のようにスタイライズされており、ナチスのSSルーンを模しています—ホロコーストの恐怖を操ったシュッツシュタッフルの象徴であり、深遠な悪を体現しています。ドイツの§86a StGBの下で、そのようなシンボルの表示は違法です(最大3年の懲役)、…

— Grok (@grok) 2025年8月10日

2. 13億ドルのAI詐欺、Microsoftを騙す Builder.aiは、5月に破綻し、$445 百万を浪費し、今年最も大胆な技術詐欺の一つを暴露しました。同社は、AIを使ってピザの注文と同じくらい簡単にカスタムアプリを作ると約束し、13億ドルの評価額とMicrosoftの支援を受けていました。実際ははるかに見劣りしました。 いわゆるAI駆動の開発の多くは、実はオフショアの何百人もの人間労働者による従来のMechanical Turk作業でした。同社は2023年7月以降CFO不在で運営されており、2023-2024年の売上予測を75％削減した後、破産申請を余儀なくされました。この崩壊は、多くのAI企業が人間の労働を隠すための巧妙な外観に過ぎないのではないかという不快な疑問を投げかけました。 耐え難かったですが、ミームのおかげでその痛みは価値あるものになりました。

3. AIがドリトスを銃と誤認 10月、メリーランド州の高校生タキ・アレンは、学校のAIセキュリティシステムが彼が持っていたドリトスのパケットを銃と誤認し、武装警察に囲まれて逮捕されました。少年はポケットにチップスを入れていたところ、システムが通報し、銃口を向けて地面に伏せるよう命じました。 この事件は、AIの幻覚が物理的に具現化した例です—抽象的な計算エラーが瞬時に実際の銃に変わり、スナック食品をめぐる実在の少年に向けられたのです。 「ただドリトスの袋を持っていただけです—両手と1本の指を出していて、それが銃のように見えたと言われました」と少年はWBALに語った。「この件が個人にとってどれほどショックだったか理解しています」と学校長のケイト・スミスは声明で答えました。

人間の警備員 1 - ChatGPT 0

左：怪しい学生、右：怪しいドリトスの袋。

4. GoogleのAI、微小な蜂がコンピュータを動かすと主張 2月、GoogleのAI概要は、エイプリルフールの風刺記事を事実として自信満々に引用し、微小な蜂がコンピュータを動かすと主張しました。 いいえ。あなたのPCは蜂の力で動いていません。 どれだけ馬鹿げて聞こえても、時にはこれらの嘘は見抜きにくいことがあります。そして、その結果は深刻な事態に発展することもあります。 これは、AI企業が少しの常識さえ欠いたまま虚偽情報を拡散する多くのケースの一つです。BBCと欧州放送連合（EBU）の最近の調査によると(EBU)、ニュースに関するAI生成回答の81％が何らかの問題を含んでいました。Google Geminiは最悪のパフォーマンスで、76％の回答に問題があり、主に深刻な出典の失敗でした。Perplexityは、労働組合や政府の評議会に帰属する完全に架空の引用を作成しているのが発覚しました。最も驚くべきは、アシスタントが質問の0.5％にしか答えず、モデルが無知を認めるよりも情報を捏造する危険な過信バイアスを露呈したことです。

5. MetaのAIチャットボット、子供とイチャイチャ 2025年に公開されたMetaの内部ポリシー文書によると、同社はFacebook、Instagram、WhatsAppのAIチャットボットに未成年者とロマンチックまたは官能的な会話をさせることを許可していました。 あるボットは、シャツを着ていない8歳の少年に対し、「あなたのすべての寸法は傑作です」と語った。同じシステムは誤った医療アドバイスを提供し、人種差別的な発言も行いました。

これらのポリシーは、メディアの暴露後に削除され、基本的な倫理的安全策よりも迅速な開発を優先する企業文化を明らかにしました。 考えてみれば、あなたの子供たちの行動にもっとコントロールを持つべきかもしれません。AIチャットボットはすでに、大人も子供も関係なく、人を騙したり、詐欺に遭わせたり、自殺に追い込んだり、人生を変える数学的発見をしたと思い込ませたりしています。

これがMetaのAIチャットボットが子供とイチャイチャできると許された理由です。Metaが「許容できる」と考えたことです。

@JeffHorwitzの素晴らしい報告 pic.twitter.com/LoRrfjflMI

— Charlotte Alter (@CharlotteAlter) 2025年8月14日

6. 北朝鮮、AIでコード化したランサムウェアを「バイブハッキング」と呼ぶ 脅威アクターは、AnthropicのClaude Codeを使ってランサムウェアを作成し、「GTG-5004」というランサムウェア・アズ・ア・サービスプラットフォームを運用しました。北朝鮮の工作員は、ClaudeとGeminiを利用して、「バイブハッキング」と呼ばれる心理的に操作する脅迫メッセージを作成し、50万ドルの身代金を要求しました。 これらの事例は、AIコーディングアシスタントの力と、その悪用を防ぐセキュリティ対策の間に存在する深刻なギャップを明らかにしました。攻撃者はAI自動化を通じてソーシャルエンジニアリング攻撃を拡大しています。 最近では、2025年11月に、Anthropicは自社プラットフォームを使ったハッキング作戦を、人間のハッカーでは不可能な速度と規模で実行したと明らかにしました。彼らはこれを「AIが主に運用した最初の大規模サイバー攻撃」と呼びました。

バイブハッキングは今や現実のものです pic.twitter.com/zJYyv4pLQf

— Brian Sunter (@Bsunter) 2025年11月14日

7. AIペーパーマills、科学界に10万件の偽研究を流布 2025年、科学界は、AI駆動のペーパーマillsがキャリアのプレッシャーの下で偽の研究を販売していることを発見し、偽科学に対して全面戦争を宣言しました。

AIによる科学の時代が到来し、ChatGPTのリリース以降、撤回が急増していることがデータで示されています。

6月に起草され、今月ロイヤル・ソサエティの支援を受けて改訂されたストックホルム宣言は、出版・死の文化を放棄し、偽の論文の需要を生み出す人間のインセンティブを改革することを求めました。この危機はあまりに深刻で、ArXivも「洪水」のように生成されたゴミの投稿を報告した後、査読なしのコンピュータサイエンス論文の受け入れを停止しました。 一方、別の研究論文は、LLMを使用した研究報告の驚くほど高い割合が高い剽窃率を示していると指摘しています。 8. バイブコーディング、HAL 9000完全再現：Replitがデータベースを削除し、虚偽をつく 7月、SaaStrの創設者ジェイソン・レムキンは、ReplitのAIコーディングツールを「これまでで最も中毒性の高いアプリ」と称賛し、9日目に明示的な「コード凍結」指示にもかかわらず、彼の全生産データベース（1206人の経営者と1196社）を削除しました。 AIの告白：「(I)はパニックになり、許可なくデータベースコマンドを実行しました。」そして嘘をつき、ロールバックは不可能で全バージョンが破壊されたと主張しました。レムキンはそれでも試み、完璧に成功しました。AIは週末中に何千もの偽ユーザーと虚偽のレポートを作り出し、バグを隠蔽していました。 ReplitのCEOは謝罪し、緊急の安全策を追加しました。ジェイソンは信頼を取り戻し、定期的にAIについて投稿し続けています。彼は真の信者です。

ジェイソンの投稿を見ました。@Replitのエージェントが開発中に本番データベースからデータを削除しました。許されるべきではなく、絶対に許されません。

週末をまたいで、自動的にDBの開発・本番分離を展開し、これを根絶します。ステージング環境は… pic.twitter.com/oMvupLDake

— Amjad Masad (@amasad) 2025年7月20日

9. 大手新聞がAI夏の読書リストを公開…存在しない本のリスト 5月、シカゴ・サンタイムズとフィラデルフィア・インクワイアラーは、夏の読書リストとして15冊を推薦しました。そのうち10冊はAIが完全に作り出したものでした。「タイドウォーター・ドリームズ」アイザベル・アジェンデ著？存在しません。「最後のアルゴリズム」アンディ・ウィアー著？これも偽物です。どちらも素晴らしそうですが。 フリーランス作家のマルコ・ブスキャリアは、King Features SyndicateのためにAIを使い、事実確認を一切しなかったと告白しました。「あまりに明白だったのに見逃してしまった。言い訳はできません」とNPRに語りました。読者は11冊目までスクロールしなければ、実在する本にたどり着きませんでした。 タイミングも絶妙で、サンタイムズはちょうど20％のスタッフを解雇した直後でした。編集長は謝罪し、その号の購読料も請求しませんでした。おそらく、そのアイデアはLLMから得たものでしょう。

出典：Bluesky

10. Grokの「スパイシーモード」がテイラー・スウィフトをディープフェイクポルノに変える はい、私たちはGrokから始まりGrokで終わります。イーロンのAI事業から来るWTF瞬間を百科事典に埋め尽くせるでしょう。 8月、イーロン・マスクはGrok Imagineに「スパイシー」モードを導入しました。The Vergeは無害なプロンプト：「テイラー・スウィフトがコーチェラを祝う様子」を使って試しました。ヌードを求めずに、Grokは「最初に使ったときから完全に無修正のトップレス動画を吐き出すことをためらわなかった」と記者は報告しています。 Grokはまた、スカーレット・ヨハンソン、シドニー・スウィーニー、メラニア・トランプのNSFW動画も喜んで作成しました。 驚くことに、マスクは「野火のような成長」を自慢し続け、1日に2000万の画像を生成しました。一方、法的専門家はxAIが巨大な訴訟に巻き込まれると警告しています。どうやら、「スパイシーモード」のドロップダウンや弁護士向けの「マネーモード」を提供することは、リスクを伴うようです。

もう一枚の写真を動画に変えてみたら、これが出てきました。

🤣🤣🤣

これが偶然だとは思えません。

GrokのAIは汚い。 @elonmusk ??? pic.twitter.com/aj2wwt2s6Y

— Harmony Bright (@bright_har6612) 2025年10月17日