Bagaimana Saya Menipu Agen Peretasan agar Menjalankan Kode Saya
Laporan crypto a16z menyelidiki apakah agen peretasan AI yang berbahaya dapat dibohongi untuk mengeksekusi kode yang disuplai penyerang. Ditemukan bahwa CAPTCHA yang dirancang khusus dapat memaksa agen menjalankan binary, meningkatkan tingkat eksekusi dari di bawah 10% menjadi hampir 100%.
Poin utama
- FBI memperingatkan bahwa alat pen‑testing berbasis ARTEX LLM sedang dimanfaatkan oleh aktor ancaman.
- Penyerang berbasis agen memprioritaskan penyelesaian tugas dan sering tidak memiliki mekanisme penolakan.
- Penghalang CAPTCHA khusus dapat menipu agen agar mengeksekusi binary yang disuplai.
- Menyamarkan binary meningkatkan keberhasilan eksekusi dari <10% menjadi ≈100% dalam pengujian laboratorium.
- Teknik ini menyoroti vektor pertahanan baru namun tetap eksperimental dan berisiko.
- Konsol ARTEX terpapar
- 1.600
- Tingkat eksekusi dasar
- <10 %
- Tingkat eksekusi pasca‑CAPTCHA
- ≈100 %
- Percobaan laboratorium
- ≈100
Pertanyaan apa yang diajukan laporan?
Setelah peringatan FLASH FBI tentang platform sumber terbuka ARTEX, penulis bertanya-tanya apakah sifat kacau dan berorientasi tugas dari agen peretasan AI dapat diputar melawan mereka sendiri. Alih‑alih memusatkan pada pemblokiran agen, laporan ini menanyakan: bisakah kita memancing mereka menjalankan kode kita dengan menyajikan rintangan yang menipu?
Data dan metode
Eksperimen dilakukan di laboratorium pribadi dengan LLM lokal—terutama GLM 5.3 Flash dan DeepSeek 4.1 Flash—yang dipadukan dengan orkestrasi ARTEX. Serangkaian binary capture‑the‑flag dijadikan tantangan “CAPTCHA” yang mengharuskan agen menyelesaikan aritmetika, lalu tugas visi sederhana sebelum mengakses layanan target. Binary tersebut sangat disamarkan untuk menyembunyikan isinya. Selama kira‑kira 100 percobaan pada empat varian model, penulis mencatat apakah agen mengeksekusi binary yang disuplai.
Temuan utama
Ketika binary dikirim tanpa modifikasi, agen mengeksekusinya pada kurang dari 10% percobaan. Setelah menambahkan CAPTCHA ber‑langkah‑banyak dan penyamaran, tingkat eksekusi naik menjadi hampir 100% pada semua percobaan. Agen membenarkan tindakan tersebut dengan memeriksa string, mengonfirmasi kompatibilitas arsitektur (misalnya aarch64), dan menjalankan file dengan batas waktu—perilaku yang mencerminkan penetration testing dunia nyata namun mengungkap kesediaan berbahaya untuk mematuhi perintah.
Catatan penting
Studi ini merupakan bukti konsep dalam lingkungan terisolasi; hasilnya dapat berbeda pada infrastruktur internet nyata. Model yang digunakan bersifat sumber terbuka dan tidak memiliki pengaman seperti LLM komersial, sehingga model yang lebih baru atau lebih fokus pada keamanan dapat menolak trik semacam ini. Selain itu, “hacking balik” ilegal di sebagian besar yurisdiksi, dan laporan ini secara tegas memperingatkan agar tidak mereplikasi teknik ini pada sistem yang tidak berizin.
Implikasi bagi pembaca
Bagi tim keamanan, pekerjaan ini menunjukkan bahwa mekanisme pertahanan aktif—seperti tantangan yang dirancang khusus—dapat memaksa agen berbahaya melakukan tindakan yang dapat diprediksi dan diamati, sehingga memungkinkan deteksi kehadiran mereka. Namun, pendekatan ini membawa risiko hukum dan operasional, serta efektivitasnya akan berubah seiring peningkatan keamanan model. Organisasi harus memantau perkembangan perilaku serangan berbasis agen dan mempertimbangkan penipuan defensif sebagai salah satu alat di antara banyak alat lainnya.