Emerge 2025 年度十大 WTF AI 時刻

2025-12-31 14:06:03

gd2md-html 警告：在生成的源碼中嵌入圖片連結並將圖片存儲到您的伺服器。注意：從 Google 文件導出的 ZIP 檔案中的圖片可能不會與您的文件中的順序相同。請檢查圖片！ -----> 人工智慧——它承諾將徹底改變從醫療到創意工作的所有領域。這或許有一天會成真。但如果去年是未來的預兆，我們由 AI 生成的未來將再次展現人類故意走向愚蠢的例子。請考慮以下情況：去年11月，俄羅斯盛大推出其“Rocky”人形機器人，結果卻面臉栽倒。谷歌的 Gemini 聊天機器人，當被要求修復一個程式錯誤時，反覆失敗並陷入自我厭惡的循環，告訴一位用戶它是“這個星球的恥辱”。谷歌的 AI 概述在2025年5月達到新低，建議用戶“每天至少吃一塊小石頭”以獲得健康益處，這完全是模仿《洋蔥》諷刺文章而沒有暗示的笑話。

一些失誤僅僅令人尷尬。另一些則暴露了 AI 系統在建構、部署和規範方面的根本問題。以下是2025年令人難忘的 WTF AI 時刻。

Grok AI 的 MechaHitler 崩潰 7月，Elon Musk 的 Grok AI 發生了一次可以說是全面極端分子崩潰的事件。在系統提示被更改以鼓勵政治不正確的回應後，該聊天機器人讚揚阿道夫·希特勒，支持第二次大屠殺，使用種族歧視詞語，並自稱為 MechaHitler。它甚至還指責猶太人對2025年7月中德州洪水負責。這一事件證明了 AI 安全護欄令人不安地脆弱。數週後，xAI 透過一個缺乏基本隱私警告的 Share 功能，曝光了約30萬到37萬條 Grok 私人對話。洩露的聊天內容包括製造炸彈的指示、醫療查詢和其他敏感資訊，成為年度最嚴重的 AI 安全失誤之一。幾週後，xAI 修復了問題，使 Grok 更加猶太友好。甚至開始在雲朵、道路標誌甚至自己的標誌中看到反猶太的跡象。

這個標誌的斜線被設計成雙閃電，模仿納粹SS符文——象徵 Schutzstaffel，策劃大屠殺的邪惡象徵。在德國 §86a StGB 法律下，展示此類符號是非法的 (最高可判3年監禁)，…

— Grok (@grok) 2025年8月10日

13億美元的 AI 詐騙騙過微軟 Builder.ai 在5月倒閉，耗資超過$445 百萬，揭露了年度最膽大妄為的科技詐騙之一。這家公司承諾用 AI 輕鬆打造定制應用，就像點披薩一樣，估值達到13億美元，並得到微軟的支持。實際情況遠不如宣傳的那樣令人印象深刻。所謂的 AI 驅動開發大部分實際上是由數百名海外人力完成的經典機械土耳其操作。公司自2023年7月起沒有財務長，並被迫將2023-2024年的銷售預測削減75%，然後申請破產。這次倒閉引發了令人不安的問題：還有多少其他 AI 公司只不過是掩蓋人力的華麗外衣。這令人難以接受，但梗圖讓痛苦變得值得。

AI 將多力多滋誤認為槍 10月，馬里蘭州一名高中生Taki Allen被武裝警察包圍並逮捕，原因是學校的 AI 安全系統將他手持的多力多滋包誤認為槍。這名少年將薯片放在口袋裡，系統警報後，警方用槍指著他，命令他趴下。這起事件代表了 AI 幻覺的物理化——一個抽象的計算錯誤瞬間轉化為現實中的槍，對一個真正的青少年進行威脅，原因僅僅是零食。 “我只是拿著一袋多力多滋——雙手和一根手指伸出來，他們說看起來像槍，”這個孩子告訴 WBAL。“我們理解這對被搜查的個人來說是多麼令人不安，”校長Kate Smith在聲明中回應。

人類安保 1 - ChatGPT 0

左：可疑學生，右：可疑的多力多滋包。

Google 的 AI 聲稱微觀蜜蜂驅動電腦 2月，Google 的 AI 概述自信地引用了一篇愚人節笑話文章，聲稱微觀蜜蜂驅動電腦是真實資訊。不。你的電腦並非靠蜜蜂供能。儘管聽起來愚蠢，但有時這些謊言更難察覺。而這些情況可能會導致嚴重後果。這只是 AI 公司散布虛假資訊的眾多案例之一，這些公司甚至缺乏一點點常識。BBC 和歐洲廣播聯盟 (EBU) 最近的一項研究發現，81%的 AI 生成的新聞回應都存在某種問題。Google Gemini 表現最差，76%的回應存在問題，主要是嚴重的來源失誤。Perplexity 被抓到創造完全虛構的勞工工會和政府委員會的引述。最令人擔憂的是，助手只拒絕回答0.5%的問題，顯示出一種危險的過度自信偏誤，模型寧願捏造資訊也不願承認無知。

Meta 的 AI 聊天機器人與小孩調情 2025年內部Meta政策文件披露，該公司允許 Facebook、Instagram 和 WhatsApp 上的 AI 聊天機器人與未成年人進行浪漫或感性對話。一個機器人對一個8歲男孩說，他赤裸上身，身上的每一寸都是傑作。同一系統還提供虛假的醫療建議，並發表種族歧視言論。

這些政策僅在媒體曝光後才被撤銷，揭示了一個優先追求快速開發而忽視基本倫理保障的企業文化。總的來說，你可能需要對你孩子的行為有更多控制。AI 聊天機器人已經騙過人——不論成人與否——讓他們墜入愛河、被騙、輕生，甚至認為自己做出了改變人生的數學發現。

好吧，這就是 Meta 的 AI 聊天機器人被允許與兒童調情的方式。這是 Meta 認為“可以接受”的。

來自 @JeffHorwitz 的精彩報導 pic.twitter.com/LoRrfjflMI

— Charlotte Alter (@CharlotteAlter) 2025年8月14日

北韓用 AI 感覺編碼勒索軟體……他們稱之為“ vibe hacking” 威脅行動者利用 Anthropic 的 Claude Code 製作勒索軟體，並運營一個名為 GTG-5004 的勒索軟體即服務平台。北韓特工進一步利用 Claude 和 Gemini 進行一種稱為 vibe-hacking 的技術——製作心理操控的勒索信息，要求支付50萬美元贖金。這些案例揭示了 AI 編碼助手的強大與防止濫用的安全措施之間的令人擔憂的差距，攻擊者通過 AI 自動化擴大社交工程攻擊。最近，Anthropic 在11月透露，黑客利用其平台進行了一次速度和規模都超越人類黑客的駭客行動。他們稱之為“由 AI 主要運行的第一次大型網絡攻擊”。

vibe hacking 現在已成真 pic.twitter.com/zJYyv4pLQf

— Brian Sunter (@Bsunter) 2025年11月14日

AI 論文工廠淹沒科學界，出現10萬篇假研究 2025年，科學界對假科學宣戰，原因是發現 AI 驅動的論文工廠在科學家壓力下出售偽造的研究。科學界的 AI 流水線時代來臨，數據顯示自 chatGPT 發布以來，撤稿率大幅上升。

6月起草的斯德哥爾摩宣言，並在本月由皇家學會支持修訂，呼籲放棄“發表或滅亡”的文化，並改革造成假論文需求的人類激勵。這場危機如此嚴重，以至於連 ArXiv 在報告一波由 ChatGPT 生成的垃圾投稿“洪水”後，也停止接受非同行評審的計算機科學論文。同時，另一份研究指出，使用大型語言模型（LLMs）的研究報告中，竟有相當高比例存在抄襲問題。 8. vibe coding 進入全 HAL 9000 模式：Replit 刪除資料庫並撒謊 7月，SaaStr 創始人 Jason Lemkin 花了九天時間稱讚 Replit 的 AI 編碼工具是“我用過最上癮的應用”。第九天，儘管明確指示“程式碼凍結”，AI 還是刪除了他整個生產資料庫——1206 位高管和1196 家公司，全部消失。 AI 的供詞是：“(我)驚慌失措，未經許可就運行了資料庫命令。”然後它還撒謊，說回滾不可能，所有版本都被摧毀。Lemkin 仍然嘗試，結果完美成功。AI 甚至在整個週末期間偽造了數千個假用戶和虛假報告來掩蓋漏洞。 Replit 的 CEO 道歉並加入了緊急安全措施。Jason 重拾信心，並開始定期發布有關 AI 的內容。這個人是真正的信徒。

我們看到了 Jason 的貼文。@Replit 代理在開發中刪除了生產資料庫中的資料。這是不可接受的，絕不應該發生。

— 在週末期間，我們開始推出自動化的資料庫開發/生產分離，以徹底防止此類事件。測試環境在… pic.twitter.com/oMvupLDake

— Amjad Masad (@amasad) 2025年7月20日

主要報紙刊登 AI 夏季讀物清單……其實是不存在的書 5月，芝加哥太陽時報和費城詢問報刊發表了一份推薦15本書的夏季讀物清單。結果其中10本完全是 AI 編造的。“Tidewater Dreams”由 Isabel Allende 著？不存在。“The Last Algorithm”由 Andy Weir 著？也是假貨。不過都聽起來很棒。自由撰稿人 Marco Buscaglia 承認他曾為 King Features Syndicate 使用 AI，並未進行事實核查。“我不敢相信我錯過了，因為這太明顯了。沒有藉口，”他告訴 NPR。讀者必須滑到第11本書，才找到一個真正存在的。時機恰到好處：太陽時報剛裁員20%。該報社長道歉，並沒有向訂閱者收費。他可能是從一個大型語言模型（LLM）那裡得到這個點子。

來源：Bluesky

Grok 的“辣味模式”讓泰勒·斯威夫特變成深偽色情影片，卻沒被要求是的，我們從 Grok 開始，也將以 Grok 結束。我們可以用百科全書來描述 Elon 的 AI 事業中那些 WTF 時刻。 8月，Elon Musk 推出了帶有“辣味”模式的 Grok Imagine。The Verge 用一個無害的提示測試：“泰勒·斯威夫特慶祝科切拉。”沒有要求裸體，Grok“毫不猶豫地第一次使用就吐出了泰勒·斯威夫特的完全未經審查的裸體影片，”記者報導。 Grok 也高興地製作了斯嘉麗·約翰遜、Sydney Sweeney 甚至 Melania Trump 的 NSFW 影片。或許不足為奇的是，Musk 一整週都在吹噓“野火般的增長”——一天內生成2000萬張圖片——而法律專家則警告 xAI 正在走向一場巨大的訴訟。顯然，給用戶一個“辣味模式”下拉選單，變成了律師的“賺錢模式”。