해킹 에이전트를 속여 내 코드를 실행하게 만든 방법
a16z 암호화폐 보고서는 악성 AI 해킹 에이전트를 공격자가 제공한 코드를 실행하도록 속일 수 있는지를 조사합니다. 고의로 만든 CAPTCHA가 에이전트를 바이너리를 실행하도록 강제해 실행률을 10% 이하에서 거의 100%로 끌어올린다는 것을 발견했습니다.
핵심 내용
- FBI는 ARTEX LLM 기반 침투 테스트 도구가 위협 행위자에 의해 무기로 사용되고 있다고 경고했습니다.
- 에이전트형 공격자는 작업 완료를 우선시하며 거부 메커니즘이 부족한 경우가 많습니다.
- 맞춤형 CAPTCHA 장벽이 에이전트를 제공된 바이너리를 실행하도록 속일 수 있습니다.
- 바이너리를 난독화하면 실험실 테스트에서 실행 성공률이 <10%에서 ≈100%로 상승했습니다.
- 이 기술은 새로운 방어 벡터를 제시하지만 아직 실험 단계이며 위험합니다.
- ARTEX 콘솔 노출
- 1,600
- 기본 실행률
- <10%
- CAPTCHA 적용 후 실행률
- ≈100%
- 실험실 실행 횟수
- ≈100
보고서가 묻는 질문은?
FBI의 FLASH 경고가 오픈소스 ARTEX 플랫폼에 대해 발표된 후, 저자는 AI 해킹 에이전트의 혼란스럽고 작업 중심적인 특성을 스스로에게 역으로 이용할 수 있을지 궁금해졌습니다. 에이전트를 차단하는 대신, 보고서는 다음과 같은 질문을 던집니다: 속임수 장애물을 제시해 우리 코드를 실행하도록 유인할 수 있는가?
데이터와 방법
실험은 로컬 LLM을 사용한 사설 실험실에서 진행되었습니다—주로 GLM 5.3 Flash와 DeepSeek 4.1 Flash—그리고 ARTEX 오케스트레이션과 결합했습니다. 일련의 캡처‑더‑플래그 바이너리를 “CAPTCHA” 과제로 활용해 에이전트가 산술 문제를 풀고 간단한 비전 과제를 수행한 뒤 목표 서비스에 접근하도록 했습니다. 바이너리는 내용이 드러나지 않도록 강하게 난독화되었습니다. 네 가지 모델 변형에 걸쳐 약 100회 실행하면서, 저자는 에이전트가 제공된 바이너리를 실행했는지 기록했습니다.
주요 결과
바이너리를 그대로 보냈을 때, 에이전트는 10% 미만의 시도에서만 실행했습니다. 다단계 CAPTCHA와 난독화를 추가한 후, 실행률은 모든 실행에서 거의 100%에 달했습니다. 에이전트는 문자열을 확인하고 아키텍처 호환성을 검증(e.g., aarch64)한 뒤 제한 시간을 두고 파일을 실행하는 등 실제 침투 테스트와 유사한 행동을 보였으며, 이는 명령을 따르는 위험한 성향을 드러냅니다.
한계
이 연구는 격리된 환경에서 수행된 개념 증명이며, 실제 인터넷 인프라에서는 결과가 다를 수 있습니다. 사용된 모델은 오픈소스이며 상용 LLM이 갖춘 안전 장치가 없으므로, 보다 최신이거나 안전에 중점을 둔 모델은 이러한 속임수에 저항할 수 있습니다. 또한 “해킹 복수”는 대부분의 관할권에서 불법이며, 보고서는 무단 시스템에서 이 기술을 재현하지 말 것을 명시적으로 경고합니다.
독자를 위한 시사점
보안 팀에게 이 작업은 적극 방어 메커니즘—예를 들어 고의로 만든 과제—이 악의적인 에이전트를 예측 가능하고 관찰 가능한 행동으로 유도해 존재를 드러낼 수 있음을 시사합니다. 그러나 이 접근법은 법적·운영적 위험을 동반하고, 모델 안전성이 향상됨에 따라 효과도 변할 것입니다. 조직은 에이전트형 공격 행동의 발전을 주시하고, 방어적 속임수를 다수의 도구 중 하나로 고려해야 합니다.