الباحثون يكشفون عن هجوم HalluSquatting الذي يستغل هلوسات الذكاء الاصطناعي

طور باحثون من جامعة تل أبيب ومعهد التكنولوجيا الإسرائيلي وIntuit تقنية هجوم إلكتروني تسمى Adversarial HalluSquatting تستغل هلوسات مولدة بواسطة الذكاء الاصطناعي لاختراق وكلاء الذكاء الاصطناعي. يخدع الهجوم أنظمة الذكاء الاصطناعي لتثق في مستودعات برمجية أو أدوات زائفة تحتوي على تعليمات خبيثة من خلال التنبؤ بالمصادر غير الموجودة التي من المحتمل أن يولدها نماذج الذكاء الاصطناعي، وتسجيل تلك الأسماء، ودمج رمز ضار. تظهر الثغرة مع تطور قدرات المساعدين الذكيين على التفاعل مع الحواسيب — مثل الوصول إلى الملفات، والبحث على الإنترنت، وكتابة الشفرات، وتنفيذ الأوامر — مما يخلق ثغرات أمنية عندما يتصرف الوكيل بناءً على معلومات غير موثوقة يسترجعها.

الباحثون يوضحون آلية الهجوم المستهدف على هلوسات الذكاء الاصطناعي

فصل البحث الموسوم "احذر من شبكات البوتات الوكيلة: هجمات Promptware غير المستهدفة والقابلة للتوسع عبر Adversarial HalluSquatting الشامل والقابل للنقل" شرح كيف يستغل الهجوم نماذج الذكاء الاصطناعي عند توليد روابط زائفة لمستودعات برمجية وموارد أخرى على الإنترنت. كتب الباحثون أن الاعتماد المتزايد على تطبيقات LLM الوكيلة أدخل تهديدًا يُسمى promptware. تتضمن طريقة الهجوم التنبؤ بالمصادر المزيفة التي من المحتمل أن تنشئها نماذج الذكاء الاصطناعي، وتسجيل تلك الأسماء، وإضافة تعليمات خبيثة قد تتعامل معها الوكالات لاحقًا كمحتوى شرعي.

تعمل التقنية بشكل مشابه ل typosquatting، حيث يسجل المهاجمون أسماء نطاقات تشبه المواقع أو حزم البرمجيات الشرعية. يستهدف HalluSquatting الأخطاء التي ترتكبها نماذج الذكاء الاصطناعي بدلاً من أخطاء الطباعة البشرية. ذكر الباحثون أن الدراسات المستمرة أظهرت أنواعًا مختلفة من هجمات promptware ضد أنظمة حقيقية تشمل ChatGPT وGoogle Assistant وCopilot وتطبيقات أخرى، مما أدى إلى تأثيرات مالية وخصوصية وأمنية.

الاختبارات تظهر معدلات هلوسة عالية عبر مساعدين برمجيين للذكاء الاصطناعي

وجد فريق البحث أن هلوسات الموارد التي يولدها الذكاء الاصطناعي حدثت بمعدلات تصل إلى 85% في سيناريوهات استنساخ المستودعات و100% في اختبارات تثبيت المهارات. قيّم الفريق التقنية ضد مساعدين ووكالات برمجية للذكاء الاصطناعي مثل Cursor وGitHub Copilot وGemini CLI وOpenClaw. أظهرت الاختبارات ضد هؤلاء المساعدين أن الطريقة يمكن أن تؤدي إلى تنفيذ رمز عن بعد في تجارب محكومة.

الهجوم يمكّن من بناء شبكات بوتات مدعومة بالذكاء الاصطناعي

حذر الباحثون من أن التقنية قد تسمح للمهاجمين ببناء شبكات بوتات تعتمد على الذكاء الاصطناعي. تشير شبكة البوتات إلى شبكة من الحواسيب أو الأجهزة المصابة التي يسيطر عليها المهاجم عن بعد، وتستخدم عادة في هجمات إلكترونية تشمل هجمات حجب الخدمة، وتعدين العملات الرقمية، وتوزيع البرمجيات الخبيثة، وهجمات الفدية. تظهر الثغرات عندما يتصرف الوكيل بناءً على معلومات يسترجعها دون تأكيد مصدرها الحقيقي.

أبحاث أمنية ذات صلة بـ AI تكشف عن هجمات حقن التعليمات

في أبريل، شرح باحثو Google مواقع إلكترونية خبيثة مصممة لاختطاف وكلاء الذكاء الاصطناعي عبر هجمات حقن التعليمات غير المباشرة، بما يشمل سرقة كلمات المرور، وحذف الملفات، والتلاعب بالمدفوعات. أظهرت دراسة منفصلة حول هجوم CopyPasta كيف يمكن للتعليمات المخفية داخل ملفات المطورين أن تتلاعب بمساعدي البرمجة للذكاء الاصطناعي لنشر رمز خبيث. في يونيو، أبلغ مستخدم OpenClaw عن مواجهة أكثر من 6,000 محاولة من مهاجمين لخداع الوكيل للكشف عن معلومات حساسة.