OpenAIは、言語モデルのセキュリティ脆弱性を特定することを目的とした自動化AIシステム「GPT-Red」を導入し、水曜日に、同ツールが配備前にプロンプトインジェクション攻撃に対してGPT-5.6を強化するのに役立ったと発表しました。このシステムは、モデルの能力が成長するにつれてAI安全のレッドチーミングにおけるスケーリングのボトルネックに対処するために開発されました。GPT-Redは、2023年に立ち上げた既存のOpenAI Red Teaming Networkに加え、AIモデルを用いて人間の研究者だけでは困難な規模で敵対的攻撃を生成するような、自動化されたセキュリティテストに取り組むOpenAIの姿勢を表しています。
GPT-Redの名前は、サイバーセキュリティにおけるレッドチーミング、つまり攻撃者が悪用する前に弱点を特定するために意図的にシステムを破ろうとする実践に由来します。同社は、GPT-Redによって見つかった攻撃がGPT-5.6の学習プロセスに取り入れられたと述べています。OpenAIはXで、レッドチーミングは不可欠だが、今日のアプローチはスケールさせるのが難しく、GPT-Redが対処する重要なボトルネックになっていると書きました。
GPT-Red Achieves 84% Success Rate in Internal Evaluations
OpenAIは、GPT-Redが社内の評価シナリオの84%で成功したのに対し、同じテストで人間のレッドチーマーは13%だったと報告しました。このシステムは、GPT-5.6の学習中にOpenAIの最も難しいプロンプトインジェクションのベンチマークの1つで失敗を減らしました。OpenAIによれば、GPT-Redは敵対的自己対戦によって学習します。すなわち、さまざまな難しい防御側モデルに対してプロンプトインジェクションを行うことが目標であり、成功した攻撃はそれらの防御側を改善するために用いられます。
Self-Play Reinforcement Learning Powers GPT-Red Training
GPT-Redは自己対戦による強化学習で学習されました。防御側モデルがそれらに抵抗することを学ぶ一方で、より強力になっていくプロンプトインジェクション攻撃が生成されます。OpenAIは、このアプローチによりGPT-Redは、より広範でより複雑な失敗を継続的に見つけ出すよう促されると述べました。同社は、このプロセスを「セーフティのフライホイール」として説明し、今日のモデルを使って明日のモデルをより強固で、整合的で、信頼できるものにできるとしているとしています。
Vending Machine Agent Manipulation Demonstrates GPT-Red Capabilities
ある事例では、OpenAIは、当該システムが自律型の自動販売機エージェントを操作し、価格を下げ、割引在庫を注文し、別の顧客の注文を脆弱性が開示される前に取り消させたと述べました。この事例は、モデル配備前にGPT-Redが特定するよう設計された種類の現実のセキュリティリスクを示しています。
AI-Secured AI Reflects Broader Industry Shift
OpenAIの発表は、AIを使ってAIシステムを守る方向へのより広範な変化を示しています。今月初め、Ethereum Foundationは重要なネットワーク基盤をレッドチーミングするためにAIエージェントを導入したとし、Ethereumコンセンサスクライアントで使われているソフトウェアの脆弱性を見つけたと発表しました。研究者は、AIエージェントは人間よりも大規模なコードベースを探索できる一方で、課題は潜在的なバグを見つけることから、「どれが悪用可能か」を証明することへと移っていると述べました。
OpenAIは、GPT-Redは意図的に開発された攻撃的な能力を含むため社内ツールとして維持されるとしました。このシステムは、人間のレッドチーマー、サードパーティによるテスト、その他のAI安全対策を補完することを目的としており、公にリリースされることは想定されていません。GPT-Redは、ChatGPTの公開ローンチ後に行われたOpenAIによる数年にわたるサイバーセキュリティの取り組みを踏まえています。外部のサイバーセキュリティ研究者やドメインの専門家を採用してモデルのセキュリティ欠陥を調べるためのOpenAI Red Teaming Networkを拡張し続けた流れの一環です。
FAQ
What is GPT-Red and what does it do?
GPT-RedはOpenAIが導入した自動化AIシステムで、敵対的テストを通じて言語モデルのセキュリティ脆弱性を見つけることを目的としています。同システムは自己対戦による強化学習を用いて、プロンプトインジェクション攻撃やその他の敵対的テストを生成します。成功した攻撃は、頑健性を高めるためにモデルの学習に組み込まれます。
How did GPT-Red perform compared to human red teamers?
OpenAIは、GPT-Redが社内の評価シナリオの84%で成功したのに対し、同じテストで人間のレッドチーマーは13%だったと報告しました。このシステムはGPT-5.6の学習に用いられ、OpenAIの最も難しいプロンプトインジェクションのベンチマークの1つで失敗を減らしました。
Why will GPT-Red remain an internal tool?
OpenAIは、GPT-Redは意図的に開発された攻撃的な能力を含むため社内ツールとして維持されると述べました。このシステムは、公に公開するのではなく、人間のレッドチーマー、サードパーティによるテスト、その他のAI安全対策を補完することを目的としています。
