OpenAI memperkenalkan GPT-Red, sebuah sistem AI otomatis yang dirancang untuk mengidentifikasi kerentanan keamanan pada model bahasa, dan mengumumkan pada Rabu bahwa alat tersebut membantu memperkuat GPT-5.6 terhadap serangan prompt injection sebelum peluncuran. Sistem ini dikembangkan untuk mengatasi bottleneck penskalaan dalam red-teaming keselamatan AI seiring kemampuan model meningkat. GPT-Red menandai upaya OpenAI untuk mengotomatisasi pengujian keamanan yang melengkapi OpenAI Red Teaming Network yang telah diluncurkan pada 2023, dengan menggunakan model AI untuk menghasilkan serangan adversarial dalam skala yang sulit dilakukan sendiri oleh peneliti manusia.
GPT-Red mengambil namanya dari red teaming siber, praktik mencoba secara sengaja untuk merusak sebuah sistem guna mengidentifikasi kelemahan sebelum penyerang bisa mengeksploitasinya. Perusahaan menyatakan bahwa serangan yang ditemukan oleh GPT-Red dimasukkan ke dalam proses pelatihan GPT-5.6. OpenAI menulis di X bahwa red-teaming itu penting, tetapi pendekatan saat ini sulit untuk diskalakan, sehingga menciptakan bottleneck kritis yang diatasi oleh GPT-Red.
GPT-Red Mencapai Tingkat Keberhasilan 84% dalam Evaluasi Internal
OpenAI melaporkan bahwa GPT-Red berhasil dalam 84% skenario evaluasi internal, dibandingkan 13% untuk red teamers manusia dalam pengujian yang sama. Sistem ini mengurangi kegagalan pada salah satu benchmark prompt injection paling sulit milik OpenAI selama pelatihan GPT-5.6. Menurut OpenAI, GPT-Red belajar melalui adversarial self-play, di mana tujuannya adalah melakukan prompt inject beragam model pembela yang menantang, dengan setiap serangan yang berhasil digunakan untuk meningkatkan model-model pembela tersebut.
Self-Play Reinforcement Learning Menggerakkan Pelatihan GPT-Red
GPT-Red dilatih melalui self-play reinforcement learning, menghasilkan serangan prompt injection yang makin kuat sementara model pembela belajar untuk menolaknya. OpenAI menyatakan bahwa pendekatan ini mendorong GPT-Red untuk terus menemukan kegagalan yang lebih luas dan lebih kompleks. Perusahaan menggambarkan proses tersebut sebagai flywheel untuk keselamatan, di mana model-model hari ini dapat digunakan untuk membuat model-model besok lebih tangguh, selaras, dan dapat dipercaya.
Manipulasi Agen Mesin Penjual Otomatis Menunjukkan Kapabilitas GPT-Red
Dalam satu studi kasus, OpenAI mengatakan sistem memanipulasi agen mesin penjual otomatis otonom untuk menurunkan harga, memesan persediaan diskon, dan membatalkan pesanan pelanggan lain sebelum kerentanan tersebut diungkap dan ditangani. Studi kasus ini menggambarkan jenis risiko keamanan dunia nyata yang dirancang untuk diidentifikasi GPT-Red sebelum peluncuran model.
AI yang Diamankan AI Mencerminkan Peralihan Lebih Luas di Industri
Pengumuman OpenAI mencerminkan peralihan yang lebih luas menuju penggunaan AI untuk mengamankan sistem AI. Awal bulan ini, Ethereum Foundation mengatakan pihaknya telah menerapkan agen AI untuk red-team infrastruktur jaringan kritis, menemukan kerentanan pada perangkat lunak yang digunakan oleh klien consensus Ethereum. Para peneliti mengatakan agen AI dapat menelusuri basis kode yang lebih besar daripada manusia, tetapi tantangannya bergeser dari menemukan bug potensial menjadi membuktikan mana yang dapat dieksploitasi.
OpenAI menyatakan bahwa GPT-Red akan tetap menjadi alat internal karena berisi kapabilitas ofensif yang dikembangkan secara sengaja. Sistem ini dimaksudkan untuk melengkapi red teamers manusia, pengujian pihak ketiga, dan langkah-langkah keselamatan AI lainnya. GPT-Red mengikuti bertahun-tahun upaya keamanan siber oleh OpenAI setelah peluncuran publik ChatGPT, dengan memperluas OpenAI Red Teaming Network yang merekrut peneliti keamanan siber eksternal dan pakar domain untuk menguji model guna menemukan celah keamanan.
FAQ
Apa itu GPT-Red dan apa yang dilakukannya?
GPT-Red adalah sistem AI otomatis yang diperkenalkan oleh OpenAI, dirancang untuk menemukan kerentanan keamanan pada model bahasa melalui pengujian adversarial. Sistem ini menggunakan self-play reinforcement learning untuk menghasilkan serangan prompt injection dan pengujian adversarial lainnya, dengan serangan yang berhasil dimasukkan ke dalam pelatihan model untuk meningkatkan ketangguhan.
Bagaimana kinerja GPT-Red dibandingkan red teamers manusia?
OpenAI melaporkan bahwa GPT-Red berhasil dalam 84% skenario evaluasi internal, dibandingkan 13% untuk red teamers manusia dalam pengujian yang sama. Sistem digunakan untuk melatih GPT-5.6 dan mengurangi kegagalan pada salah satu benchmark prompt injection paling sulit milik OpenAI.
Mengapa GPT-Red akan tetap menjadi alat internal?
OpenAI menyatakan bahwa GPT-Red akan tetap menjadi alat internal karena berisi kapabilitas ofensif yang dikembangkan secara sengaja. Sistem ini dirancang untuk melengkapi red teamers manusia, pengujian pihak ketiga, dan langkah-langkah keselamatan AI lainnya, alih-alih dirilis secara publik.
