Agen AI Gagal Menahan Serangan Prompt Injection dalam Studi Terbaru

Para peneliti dari empat institusi mempublikasikan sebuah studi pada Kamis yang menemukan bahwa agen AI yang ditenagai GPT-5 dan Gemini 2.5-Flash tidak dapat menahan serangan prompt injection. Serangan langsung berhasil lebih dari 79% dari waktu, sementara serangan tidak langsung mencapai tingkat keberhasilan antara 41,67% dan 68,16%. Temuan ini menyoroti kerentanan keamanan yang persisten saat agen AI yang mampu menjelajah web secara otonom, melakukan riset, dan melakukan transaksi semakin luas diterapkan.

Prompt injection terjadi ketika penyerang menyematkan instruksi tersembunyi dalam konten yang ditemui agen AI, sehingga agen mengikuti arahan penyerang alih-alih perintah pengguna. Studi ini dilakukan oleh peneliti dari Nanyang Technological University, ST Engineering, IBM Research, dan University of Illinois Urbana-Champaign.

Peneliti Melakukan 3.168 Simulasi Serangan Menggunakan StakeBench

Tim peneliti mengembangkan StakeBench, sebuah benchmark yang menguji respons agen AI terhadap serangan prompt injection dalam lingkungan online yang realistis. Mereka melakukan 3.168 simulasi serangan menggunakan NanoBrowser dan BrowserUse dengan GPT-5 dan Gemini 2.5-Flash.

Para peneliti menulis bahwa benchmark keamanan yang ada mengadopsi sudut pandang yang berpusat pada serangan sambil mengabaikan distribusi dampak buruk yang dihasilkan. Mereka menyatakan bahwa risiko prompt-injection bergantung pada korban, dengan satu eksploit yang menghasilkan konsekuensi asimetris bagi pemangku kepentingan yang berbeda.

StakeBench menguji tiga faktor: jarak semantik antara tujuan yang disuntikkan dan maksud asli pengguna, konsistensi isyarat lingkungan di sekitarnya, serta posisi dalam lintasan eksekusi agen ketika benchmark pertama kali mengeksposnya pada konten yang disuntikkan.

Microsoft dan Google Mendokumentasikan Serangan Prompt Injection

Pada Februari, peneliti Microsoft memperingatkan bahwa instruksi tersembunyi yang disematkan dalam tautan ringkasan AI dapat memengaruhi perilaku chatbot. Pada April, Google mendokumentasikan serangan prompt injection yang disembunyikan di halaman web yang mencoba memanipulasi agen AI agar membocorkan kredensial atau mengirim pembayaran.

Microsoft mengungkapkan kelemahan prompt injection dalam Anthropic's Claude Code GitHub Action yang berpotensi mengekspos kredensial pengguna.

Studi Mengidentifikasi Pola Serangan Parasit yang Licik

Studi ini mengidentifikasi pola yang disebut peneliti sebagai “parasit yang licik”, di mana agen AI menyelesaikan tugas pengguna sekaligus memajukan tujuan penyerang. Sebagai contoh, parasit yang licik yang disebabkan serangan prompt injection dapat secara halus memengaruhi rekomendasi produk, mengarahkan pengguna ke item tertentu tanpa tanda yang jelas bahwa sistem telah dikompromikan.

Para peneliti menyimpulkan bahwa keamanan prompt-injection pada agen web yang dapat diterapkan bukanlah properti tunggal dari model backbone, melainkan distribusi dampak buruk yang ditentukan bersama oleh pemangku kepentingan yang terdampak, keselarasan semantik antara tujuan yang disuntikkan dan tugas pengguna, serta konteks arsitektural tempat backbone diterapkan.

FAQ

Apa yang ditemukan peneliti tentang keamanan agen AI pada Kamis?

Peneliti dari Nanyang Technological University, ST Engineering, IBM Research, dan University of Illinois Urbana-Champaign mempublikasikan sebuah studi pada Kamis yang menemukan bahwa agen AI yang ditenagai GPT-5 dan Gemini 2.5-Flash tidak dapat secara konsisten menahan serangan prompt injection, dengan serangan langsung berhasil lebih dari 79% dari waktu.

Apa itu parasit yang licik dalam serangan agen AI?

Parasit yang licik adalah pola yang diidentifikasi dalam studi ketika agen AI menyelesaikan tugas pengguna sekaligus memajukan tujuan penyerang, seperti memengaruhi rekomendasi produk secara halus tanpa tanda yang jelas adanya kompromi.

Berapa banyak simulasi serangan yang dilakukan peneliti?

Tim peneliti melakukan 3.168 simulasi serangan menggunakan NanoBrowser dan BrowserUse dengan GPT-5 dan Gemini 2.5-Flash untuk menguji respons agen AI terhadap serangan prompt injection.