Как я обманул хакерского агента, заставив его выполнить мой код
Отчёт a16z crypto исследует, можно ли обмануть вредоносных AI‑агентов‑хакеров, заставив их выполнить код, предоставленный атакующим. Выясняется, что специально сконструированные CAPTCHA могут заставить агентов запускать бинарники, повышая процент их выполнения с менее чем 10 % до почти 100 %.
Главное
- FBI предупредило, что инструмент для пентестов на базе ARTEX LLM используется злоумышленниками как оружие.
- Агенты‑атакующие ставят задачу выполнения выше всего и часто не имеют механизмов отказа.
- Специальный барьер CAPTCHA может обмануть агентов и заставить их выполнить предоставленные бинарники.
- Обфускация бинарника повысила успешность выполнения с <10 % до ≈100 % в лабораторных тестах.
- Техника демонстрирует новый вектор защиты, но остаётся экспериментальной и рискованной.
- Консоли ARTEX раскрыты
- 1 600
- Базовый процент выполнения
- <10 %
- Процент выполнения после CAPTCHA
- ≈100 %
- Лабораторные запуски
- ≈100
Какой вопрос задаёт отчёт?
После предупреждения FLASH от ФБР о платформе с открытым исходным кодом ARTEX автор задался вопросом, может ли хаотичная, ориентированная на задачу природа AI‑агентов‑хакеров быть использована против них самих. Вместо того чтобы пытаться блокировать агентов, в отчёте задаётся вопрос: можем ли мы заманить их к выполнению нашего кода, представив обманчивое препятствие?
Данные и методика
Эксперимент проводился в частной лаборатории с локальными LLM — в основном GLM 5.3 Flash и DeepSeek 4.1 Flash — в связке с оркестрацией ARTEX. Серия бинарников capture‑the‑flag использовалась как задачи «CAPTCHA», требующие от агентов решить арифметику, а затем простую задачу по зрительному восприятию перед доступом к целевому сервису. Бинарники были сильно обфусцированы, чтобы скрыть их содержимое. За примерно 100 запусков на четырёх вариантах моделей автор фиксировал, выполняли ли агенты предоставленный бинарник.
Основные выводы
Когда бинарник отправлялся без изменений, агенты запускали его в менее чем 10 % попыток. После добавления многошаговой CAPTCHA и обфускации процент выполнения вырос почти до 100 % во всех запусках. Агенты оправдывали действие проверкой строк, подтверждением совместимости архитектуры (например, aarch64) и запуском файла с тайм‑аутом — поведение, схожее с реальными пентестами, но показывающее опасную готовность выполнять команды.
Ограничения
Исследование является доказательством концепции в изолированной среде; результаты могут отличаться в реальной интернет‑инфраструктуре. Использованные модели открытого кода не имеют защитных механизмов коммерческих LLM, поэтому более новые или ориентированные на безопасность модели могут противостоять таким приёмам. Кроме того, «хакерский ответ» незаконен в большинстве юрисдикций, и в отчёте явно предостерегают от воспроизведения техники на неавторизованных системах.
Последствия для читателей
Для команд безопасности работа показывает, что активные защитные механизмы — такие как специально сконструированные задачи‑ловушки — могут заставить вредоносных агентов выполнять предсказуемые, наблюдаемые действия, потенциально раскрывая их присутствие. Однако такой подход несёт юридические и операционные риски, а его эффективность будет изменяться по мере улучшения безопасности моделей. Организациям следует отслеживать развитие поведения агентных атак и рассматривать обман как один из инструментов в арсенале защиты.