OpenAI 推出 GPT-Red，這是一套自動化 AI 系統，旨在辨識語言模型中的安全漏洞。該公司並於週三宣布，該工具在部署前有助於強化 GPT-5.6，以抵禦提示注入攻擊。該系統係為了解決隨著模型能力成長，AI 安全領域紅隊測試所面臨的規模化瓶頸而開發。GPT-Red 代表 OpenAI 進一步推動自動化安全測試，其目標是補足其現有的 OpenAI Red Teaming Network（於 2023 年推出）——透過 AI 模型以規模化方式生成對抗性攻擊，這种規模僅靠人工研究人員難以達到。
GPT-Red 之所以得名，源自資安紅隊演練（cybersecurity red teaming）——刻意嘗試攻破系統，以在攻擊者利用之前找出弱點的做法。該公司表示，GPT-Red 發現的攻擊已被納入 GPT-5.6 的訓練流程。OpenAI 也在 X 上撰文指出，紅隊測試至關重要，但現今的方法難以規模化，形成關鍵瓶頸，而 GPT-Red 正是用來解決這個問題。
GPT-Red 在內部評估中達成 84% 成功率
OpenAI 報告稱，GPT-Red 在內部評估情境中有 84% 的成功率；相較之下，同一批測試中人類紅隊成員的成功率為 13%。該系統在 GPT-5.6 訓練期間，降低了其中一項 OpenAI 最艱難的提示注入基準中的失敗率。根據 OpenAI 的說法，GPT-Red 透過對抗式自我對弈（adversarial self-play）學習：其目標是向各種具挑戰性的防禦模型發出提示注入攻擊；而每一次成功的攻擊都會用來改進這些防禦者。
自我對弈強化學習驅動 GPT-Red 訓練
GPT-Red 透過自我對弈強化學習進行訓練：一邊生成日益強大的提示注入攻擊，另一邊則讓防禦模型學會抵抗。OpenAI 表示，這種作法會促使 GPT-Red 持續找出更廣泛且更複雜的失敗案例。該公司將這個流程描述為安全領域的「飛輪」（flywheel）：當前的模型可用來讓未來的模型更堅固、更一致（aligned），也更值得信賴。
售貨機代理操控示範 GPT-Red 能力
在一個案例研究中，OpenAI 表示，該系統將一名自主售貨機代理（autonomous vending machine agent）操控到降低價格、下單折扣存貨，並在漏洞被揭露與處理之前取消另一位客戶的訂單。這個案例研究展示了 GPT-Red 旨在在模型部署前辨識的現實世界安全風險類型。
AI 受保護的 AI 反映產業更廣泛的轉向
OpenAI 的公告反映出更廣泛的趨勢：使用 AI 來保護 AI 系統。就在本月稍早，以太坊基金會（Ethereum Foundation）表示，它已部署 AI 代理來對關鍵網路基礎設施進行紅隊測試，並揭露了以太坊共識客戶端所使用軟體中的一處漏洞。研究人員表示，相較於人類，AI 代理能搜尋更大的程式碼庫，但挑戰已從「找出可能的漏洞」轉變為「證明哪些漏洞可以被利用」。
OpenAI 表示，GPT-Red 將會維持為內部工具，因為其包含刻意開發的攻擊能力。該系統旨在補足人類紅隊成員、第三方測試以及其他 AI 安全措施，而不是公開釋出。GPT-Red 延續了 OpenAI 在 ChatGPT 公開上線後數年的資安工作：擴充了 OpenAI Red Teaming Network，該網路曾招募外部資安研究人員與領域專家，來針對安全缺陷測試模型。
常見問題
什麼是 GPT-Red，它做什麼？
GPT-Red 是 OpenAI 推出的自動化 AI 系統，透過對抗式測試來找出語言模型中的安全漏洞。該系統使用自我對弈強化學習來生成提示注入攻擊與其他對抗性測試；成功的攻擊會被納入模型訓練，以提升穩健性。
GPT-Red 相較於人類紅隊成員表現如何？
OpenAI 報告稱，GPT-Red 在內部評估情境中有 84% 的成功率；相較之下，同一批測試中人類紅隊成員的成功率為 13%。該系統被用來訓練 GPT-5.6，並降低了其中一項 OpenAI 最艱難的提示注入基準中的失敗率。
為什麼 GPT-Red 會維持為內部工具？
OpenAI 表示，GPT-Red 將會維持為內部工具，因為其包含刻意開發的攻擊能力。該系統設計目的是補足人類紅隊成員、第三方測試以及其他 AI 安全措施，而非公開釋出。
