Cómo engañé a un agente de hacking para que ejecutara mi código
El informe de a16z crypto investiga si los agentes de hacking de IA maliciosos pueden ser engañados para ejecutar código suministrado por el atacante. Descubre que los CAPTCHAs diseñados deliberadamente pueden obligar a los agentes a ejecutar binarios, aumentando las tasas de ejecución de menos del 10 % a casi el 100 %.
Puntos clave
- El FBI advirtió que la herramienta de pruebas de penetración impulsada por ARTEX LLM está siendo weaponizada por actores de amenaza.
- Los atacantes agentes priorizan la finalización de tareas y a menudo carecen de mecanismos de rechazo.
- Una barrera CAPTCHA personalizada puede engañar a los agentes para que ejecuten binarios suministrados.
- Ofuscar el binario elevó el éxito de ejecución de <10 % a ≈100 % en pruebas de laboratorio.
- La técnica destaca un nuevo vector defensivo pero sigue siendo experimental y arriesgada.
- Consolas ARTEX expuestas
- 1.600
- Tasa de ejecución base
- <10 %
- Tasa de ejecución post‑CAPTCHA
- ≈100 %
- Ejecuciones en laboratorio
- ≈100
¿Qué pregunta se plantea el informe?
Después de la advertencia FLASH del FBI sobre la plataforma de código abierto ARTEX, el autor se preguntó si la naturaleza caótica y orientada a tareas de los agentes de hacking de IA podría volverse contra ellos mismos. En lugar de centrarse en bloquear a los agentes, el informe pregunta: ¿podemos atraerlos a ejecutar nuestro propio código presentándoles un obstáculo engañoso?
Datos y método
El experimento se realizó en un laboratorio privado con LLM locales —principalmente GLM 5.3 Flash y DeepSeek 4.1 Flash— combinados con la orquestación de ARTEX. Una serie de binarios de captura‑la‑bandera sirvieron como desafíos “CAPTCHA” que requerían que los agentes resolvieran operaciones aritméticas y luego una tarea de visión simple antes de acceder al servicio objetivo. Los binarios estaban fuertemente ofuscados para ocultar su contenido. En aproximadamente 100 ejecuciones con cuatro variantes de modelo, el autor registró si los agentes ejecutaban el binario suministrado.
Principales hallazgos
Cuando el binario se envió sin modificar, los agentes lo ejecutaron en menos del 10 % de los intentos. Tras añadir el CAPTCHA de varios pasos y la ofuscación, la ejecución subió a casi el 100 % en todas las pruebas. Los agentes justificaron la acción verificando cadenas, confirmando la compatibilidad de arquitectura (p. ej., aarch64) y ejecutando el archivo con un tiempo límite, comportamientos que reflejan pruebas de penetración reales pero que revelan una peligrosa disposición a obedecer órdenes.
Limitaciones
El estudio es una prueba de concepto en un entorno aislado; los resultados pueden variar en infraestructuras de internet en vivo. Los modelos utilizados son de código abierto y carecen de las salvaguardas de los LLM comerciales, por lo que modelos más nuevos o con mayor enfoque en seguridad podrían resistir estos trucos. Además, el “hacking de represalia” es ilegal en la mayoría de jurisdicciones, y el informe advierte explícitamente contra reproducir la técnica en sistemas no autorizados.
Implicaciones para los lectores
Para los equipos de seguridad, el trabajo sugiere que los mecanismos de defensa activa —como desafíos diseñados deliberadamente— podrían forzar a los agentes maliciosos a realizar acciones predecibles y observables, potencialmente revelando su presencia. Sin embargo, el enfoque conlleva riesgos legales y operacionales, y su efectividad evolucionará a medida que mejore la seguridad de los modelos. Las organizaciones deben vigilar los desarrollos en el comportamiento de ataques agentes y considerar el engaño defensivo como una herramienta entre muchas.