Para peneliti ungkap serangan HalluSquatting yang memanfaatkan halusinasi AI

Peneliti dari Universitas Tel Aviv, Technion, dan Intuit memperkenalkan teknik serangan siber bernama Adversarial HalluSquatting yang memanfaatkan halusinasi yang dihasilkan AI untuk mengompromikan agen AI. Serangan ini menipu sistem AI agar mempercayai repositori perangkat lunak palsu atau alat yang berisi instruksi berbahaya dengan memprediksi sumber daya yang tidak ada yang kemungkinan akan dihasilkan model AI, mendaftarkan nama tersebut, dan menyisipkan kode berbahaya. Kerentanan ini muncul saat asisten AI mendapatkan kemampuan untuk berinteraksi dengan komputer—mengakses file, mencari di web, menulis kode, dan menjalankan perintah—menciptakan celah keamanan ketika agen bertindak berdasarkan informasi yang tidak diverifikasi yang mereka ambil.

Peneliti Demonstrasikan Mekanisme Serangan yang Menargetkan Halusinasi AI

Makalah penelitian berjudul "Beware of Agentic Botnets: Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting" menjelaskan bagaimana serangan memanfaatkan model AI saat mereka menghasilkan tautan palsu ke repositori perangkat lunak dan sumber daya daring lainnya. Peneliti menulis bahwa adopsi aplikasi LLM yang bersifat agenik semakin meningkat dan memperkenalkan ancaman bernama promptware. Metode serangan ini melibatkan prediksi sumber daya palsu yang kemungkinan akan dibuat oleh model AI, mendaftarkan nama tersebut, dan menambahkan instruksi berbahaya yang kemudian dapat diperlakukan agen AI sebagai konten yang sah.

Teknik ini beroperasi mirip dengan typosquatting, di mana penyerang mendaftarkan nama domain yang menyerupai situs web atau paket perangkat lunak yang sah. HalluSquatting menargetkan kesalahan yang dibuat oleh model AI, bukan kesalahan pengetikan manusia. Peneliti menyatakan bahwa studi yang sedang berlangsung menunjukkan berbagai varian serangan promptware terhadap sistem dunia nyata termasuk ChatGPT, Google Assistant, Copilot, dan berbagai aplikasi lainnya, yang berdampak pada keuangan, privasi, dan keamanan.

Pengujian Menunjukkan Tingkat Halusinasi Tinggi di Berbagai Asisten Pengkodean AI

Tim peneliti menemukan bahwa halusinasi sumber daya yang dihasilkan AI terjadi dengan tingkat hingga 85% dalam skenario kloning repositori dan 100% dalam pengujian instalasi keahlian. Mereka mengevaluasi teknik ini terhadap asisten pengkodean dan agen AI termasuk Cursor, GitHub Copilot, Gemini CLI, dan OpenClaw. Pengujian terhadap asisten pengkodean AI populer ini menunjukkan bahwa metode ini dapat menyebabkan eksekusi kode jarak jauh dalam eksperimen terkendali.

Serangan Memungkinkan Pembangunan Botnet Berbasis AI

Peneliti memperingatkan bahwa teknik ini dapat memungkinkan penyerang membangun botnet berbasis AI. Botnet adalah jaringan komputer atau perangkat yang terinfeksi dan dikendalikan dari jarak jauh oleh penyerang, umum digunakan dalam serangan siber termasuk serangan denial-of-service, penambangan cryptocurrency, distribusi malware, dan kampanye ransomware. Celah keamanan muncul saat agen bertindak berdasarkan informasi yang mereka ambil tanpa memastikan sumbernya asli.

Dokumen Penelitian Keamanan AI Terkait Mengungkap Serangan Injeksi Prompt

Pada bulan April, peneliti Google merinci situs web berbahaya yang dirancang untuk membajak agen AI melalui serangan injeksi prompt tidak langsung, termasuk upaya mencuri kata sandi, menghapus file, dan memanipulasi pembayaran. Studi terpisah tentang serangan CopyPasta menunjukkan bagaimana prompt tersembunyi di dalam file pengembang dapat memanipulasi asisten pengkodean AI agar menyebarkan kode berbahaya. Pada bulan Juni, pengguna OpenClaw melaporkan menghadapi lebih dari 6.000 upaya dari penyerang yang berusaha menipu agen AI agar membocorkan informasi sensitif.