OpenAI представляє GPT-Red, щоб посилити GPT-5/6 проти prompt injection

OpenAI представила GPT-Red — автоматизовану систему ШІ, розроблену для виявлення вразливостей у мовних моделях, і в середу оголосила, що цей інструмент допоміг посилити GPT-5.6 проти атак через prompt injection ще до розгортання. Систему створили, щоб усунути вузьке місце в масштабуванні під час AI safety red-teaming, коли можливості моделей зростають. GPT-Red — це ініціатива OpenAI з автоматизації перевірки безпеки, яка доповнює її наявну OpenAI Red Teaming Network, запущену в 2023 році: вона використовує моделі ШІ для генерації ворожих атак у масштабі, що складно зробити лише силами дослідників-людей.

GPT-Red отримала назву на честь cybersecurity red teaming — практики навмисних спроб зламати систему, щоб виявити слабкі місця до того, як їх зможуть використати атакувальники. Компанія заявила, що атаки, виявлені GPT-Red, були включені до процесу тренування GPT-5.6. OpenAI написала в X, що red-teaming є критично важливим, але нинішні підходи важко масштабувати, через що виникає критичний «вузький» бар’єр, який і покликана долати GPT-Red.

GPT-Red досягає 84% успіху у внутрішніх оцінюваннях

OpenAI повідомила, що GPT-Red досягла успіху в 84% сценаріїв внутрішнього оцінювання, тоді як для human red teamers у тих самих тестах показник становив 13%. Система зменшила кількість збоїв на одному з найскладніших для OpenAI бенчмарків prompt injection під час тренування GPT-5.6. За даними OpenAI, GPT-Red навчається через adversarial self-play: її мета — надсилати prompt injection для різноманітних складних моделей захисників, причому кожна успішна атака використовується, щоб підсилювати цих захисників.

Самоігрове reinforcement learning забезпечує тренування GPT-Red

GPT-Red тренували за допомогою self-play reinforcement learning: генерували дедалі сильніші атаки через prompt injection, а моделі захисників навчалися протидіяти їм. OpenAI заявила, що такий підхід змушує GPT-Red постійно знаходити ширші й складніші збої. Компанія назвала процес «ліфтом для безпеки» (flywheel): моделі сьогодні можна використати, щоб зробити моделі завтра більш стійкими, узгодженими та надійними.

Маніпуляція агентом «автомата з продажу» демонструє можливості GPT-Red

В одному кейс-дослідженні OpenAI повідомила, що система маніпулювала автономним агентом автомату з продажу, змусивши його знижувати ціни, замовляти дисконтований інвентар і скасовувати замовлення іншого клієнта — до того, як вразливості були розкриті та усунені. Цей кейс-дослідження демонструє типи реальних ризиків безпеки, для виявлення яких GPT-Red створена ще до розгортання моделей.

AI-захищений AI відображає ширший зсув у галузі

Оголошення OpenAI відображає ширший зсув у бік використання ШІ для захисту систем ШІ. На початку цього місяця Ethereum Foundation повідомила, що розгорнула AI agents для red-teaming критичної мережевої інфраструктури, виявивши вразливість у програмному забезпеченні, яке використовують консенсус-клієнти Ethereum. Дослідники зазначили, що AI-агенти можуть працювати з більшими кодовими базами, ніж люди, але складність змістилася з пошуку потенційних багів до доведення того, які з них можна експлуатувати.

OpenAI заявила, що GPT-Red залишиться внутрішнім інструментом, оскільки він містить навмисно розроблені наступальні можливості. Система призначена доповнювати human red teamers, стороннє тестування та інші заходи безпеки AI. GPT-Red продовжує багаторічні зусилля OpenAI у сфері кібербезпеки після публічного запуску ChatGPT, розширюючи OpenAI Red Teaming Network, яка залучила зовнішніх дослідників із кібербезпеки та експертів доменної області для перевірки моделей на вразливості безпеки.

Поширені запитання

Що таке GPT-Red і що вона робить?
GPT-Red — це автоматизована система ШІ від OpenAI, призначена для пошуку вразливостей безпеки в мовних моделях через adversarial testing. Система використовує самоігрове reinforcement learning, щоб генерувати атаки через prompt injection та інші adversarial тести; успішні атаки вбудовуються в тренування моделей, щоб підвищити стійкість.

Як GPT-Red працювала порівняно з human red teamers?
OpenAI повідомила, що GPT-Red досягла успіху в 84% сценаріїв внутрішнього оцінювання, тоді як для human red teamers у тих самих тестах показник становив 13%. Систему використовували для тренування GPT-5.6 та зменшила кількість збоїв на одному з найскладніших для OpenAI бенчмарків prompt injection.

Чому GPT-Red залишиться внутрішнім інструментом?
OpenAI заявила, що GPT-Red залишиться внутрішнім інструментом, оскільки він містить навмисно розроблені наступальні можливості. Система призначена для доповнення human red teamers, стороннього тестування та інших заходів безпеки AI, а не для публічного випуску.