Як я обдурив хакерського агента, змусивши його виконати мій код
Звіт a16z crypto досліджує, чи можна обдурити шкідливих AI‑хакерських агентів, змусивши їх виконати код, наданий атакувальником. Виявлено, що навмисно створені CAPTCHA можуть змусити агентів запускати бінарники, підвищуючи рівень виконання з менше 10 % до майже 100 %.
Головне
- FBI попередила, що інструмент пен‑тестування ARTEX LLM‑заснований використовується загрозливими акторими.
- Агенти‑нападники орієнтуються на завершення завдання і часто не мають механізмів відмови.
- Кастомний бар’єр CAPTCHA може обдурити агентів і змусити їх виконати надані бінарники.
- Обфускація бінарника підвищила успішність виконання з <10 % до ≈100 % у лабораторних тестах.
- Техніка демонструє новий захисний вектор, проте залишається експериментальною та ризикованою.
- Консолі ARTEX виявлені
- 1 600
- Базовий рівень виконання
- <10 %
- Рівень виконання після CAPTCHA
- ≈100 %
- Лабораторні запуски
- ≈100
Яке питання ставить звіт?
Після попередження FBI FLASH щодо відкритої платформи ARTEX автор задумався, чи можна використати хаотичну, орієнтовану на завдання природу AI‑хакерських агентів проти них самих. Замість того, щоб блокувати агентів, звіт запитує: чи можемо ми підвести їх до виконання нашого коду, представивши оманливу перешкоду?
Дані та метод
Експеримент проводився в приватній лабораторії з локальними LLM — переважно GLM 5.3 Flash та DeepSeek 4.1 Flash — у поєднанні з оркестрацією ARTEX. Серія бінарників типу capture‑the‑flag слугувала «CAPTCHA»‑випробуванням, які вимагали від агентів розв’язати арифметичну задачу, а потім просте завдання з комп’ютерного зору перед доступом до цільового сервісу. Бінарники були сильно обфусковані, щоб приховати їх вміст. Приблизно 100 запусків на чотирьох варіантах моделей автор фіксував, чи виконали агенти наданий бінарник.
Основні результати
Коли бінарник надсилали без змін, агенти виконували його менш ніж у 10 % випадків. Після додавання багатокрокової CAPTCHA та обфускації рівень виконання піднявся майже до 100 % у всіх запусках. Агенти обґрунтовували дію перевіркою рядків, підтвердженням сумісності архітектури (наприклад, aarch64) та запуском файлу з тайм‑аутом — поведінка, схожа на реальне пен‑тестування, але виявляє небезпечну готовність виконувати команди.
Обмеження
Дослідження є доказом концепції в ізольованому середовищі; результати можуть відрізнятися в реальній інтернет‑інфраструктурі. Використані моделі відкритого коду не мають захисних механізмів комерційних LLM, тому новіші або більш безпечні моделі можуть протистояти таким трюкам. Крім того, «хакерський контрнапад» є незаконним у більшості юрисдикцій, і звіт явно застерігає від відтворення техніки на неавторизованих системах.
Наслідки для читачів
Для команд безпеки ця робота свідчить, що активні захисні механізми — наприклад, навмисно створені виклики — можуть змусити шкідливих агентів виконувати передбачувані, спостережувані дії, потенційно виявляючи їх присутність. Однак підхід несе юридичні та операційні ризики, і його ефективність буде змінюватися разом із покращенням безпеки моделей. Організаціям слід стежити за розвитком поведінки агентних атак і розглядати обман як один із інструментів у арсеналі захисту.