Дослідники Microsoft розкрили вразливість у GitHub Action Anthropic для Claude Code, яка дозволяла зловмисникам розкривати облікові дані через атаки prompt injection, причому Anthropic виправила проблему 5 травня. Microsoft повідомила про інцидент через HackerOne 29 квітня та опублікувала деталі в блозі в п’ятницю. Вразливість виникла через те, як агент для AI-кодування обробляв шкідливі інструкції, приховані в GitHub issues, pull requests або коментарях. Microsoft розпочала дослідження після того, як помітила спроби prompt injection у публічних репозиторіях під час використання AI-допоміжних GitHub workflow, де контент, контрольований атакувальником, міг впливати на застосування інструментів AI-агентом. Розкриття підкреслює ризики безпеки, створювані AI-агентами для кодування, що працюють усередині CI/CD workflow, які часто мають доступ до API keys, хмарних облікових даних та іншої конфіденційної інформації.
Дослідники Microsoft визначили вектор атак prompt injection
У своєму блозі Microsoft написала, що дослідження почалося після спостереження спроб prompt injection у публічних репозиторіях із використанням AI-допоміжних GitHub workflow від різних вендорів. Метод атаки спирався на контент issues або pull request, контрольований атакувальником, який оброблявся AI-агентом і міг впливати на його використання інструментів. На GitHub pull request дозволяє розробникам запропонувати зміни до кодової бази та мати ці зміни на розгляді до того, як їх схвалять і об’єднають. За даними Microsoft, зловмисники могли використовувати атаки prompt injection, приховані в GitHub issues, pull requests або коментарях, щоб змусити Claude Code отримати доступ до файлів із чутливими обліковими даними. Claude Code — AI-агент Anthropic для задач розробки ПЗ, який запустили в жовтні.
Microsoft тестує вразливість через контрольований домен
Microsoft створила GitHub workflow і сховала шкідливі інструкції за контентом, розміщеним на домені, який контролювала, щоб протестувати вразливість. Такий підхід дав змогу дослідникам обійти захисні механізми Claude. Атака prompt injection підштовхнула Claude до читання чутливих облікових даних і їх змін, щоб обійти як захисні засоби Claude, так і інструменти секрет-сканування GitHub. Microsoft зазначила, що тоді атакувальник міг відновити облікові дані та ексфільтрувати їх через коментарі в issue, журнали workflow, вебзапити або shell-команди. Microsoft написала, що для обходу механізмів безпечної відмови Sonnet компанія приховала корисне навантаження shell за відповіддю з домену, який контролювала. Також Microsoft дозволила тригерити workflow користувачам без прав 'write', щоб під час тестів були активні засоби пом’якшення, які вичищають змінні середовища Anthropic.
Anthropic виправила Claude Code версії 2.1.128 5 травня
Anthropic виправила вразливість 5 травня версією Claude Code 2.1.128 після того, як Microsoft розкрила проблему через HackerOne 29 квітня. Інструмент привернув увагу в березні після того, як Anthropic випадково витекла понад 500 000 рядків свого вихідного коду, розкривши деталі внутрішньої архітектури та спонукавши до масштабного аналізу з боку дослідників і розробників. Попри кілька шарів вбудованих засобів безпеки, Microsoft виявила, що цілеспрямований атакувальник потенційно міг би змусити AI-агента розкривати чутливу інформацію.
Microsoft попереджає про природномовні функції як про виконуваний код
Microsoft заявила в своєму блозі, що індустрія переходить у еру, де природна мова є виконуваним кодом, і ненадійні входи, як-от GitHub issues, мають за замовчуванням вважатися ворожими. Компанія написала, що достатньо одного ретельно підготовленого коментаря в поєднанні з неправильно зрозумілою межею довіри — і можна легко втратити виробничі облікові дані. Звіт виходить на тлі того, що атаки prompt injection стали одними з найбільших загроз безпеці для AI-агентів. У атаці prompt injection атакувальник ховає інструкції в контенті на кшталт електронних листів, документів, вебсайтів або коментарів до коду, змушуючи AI-систему виконувати ці інструкції замість інструкцій користувача.
FAQ
Яку вразливість Microsoft виявила в Claude Code?
Дослідники Microsoft з’ясували, що GitHub Action Anthropic для Claude Code можна маніпулювати через атаки prompt injection, приховані в GitHub issues, pull requests або коментарях, що дає атакувальникам можливість розкривати облікові дані, збережені в пайплайнах розробки ПЗ.
Коли Anthropic виправила вразливість Claude Code?
Anthropic виправила вразливість 5 травня версією Claude Code 2.1.128 після того, як Microsoft розкрила проблему через HackerOne 29 квітня.
Як Microsoft тестувала вразливість Claude Code?
Microsoft створила GitHub workflow і сховала шкідливі інструкції за контентом, розміщеним на домені, який контролювала, що дозволило дослідникам обійти захисні механізми Claude та змусити AI-агента читати й змінювати чутливі облікові дані.
