Bir hackleme ajanını kodumu çalıştırmaya nasıl kandırdım
a16z kripto raporu, kötü niyetli AI hackleme ajanlarının saldırgan‑tarafından sağlanan kodu çalıştırmaya ikna edilip edilemeyeceğini inceliyor. Bilinçli olarak hazırlanmış CAPTCHA'ların ajanları ikili dosyaları çalıştırmaya zorlayabildiğini, yürütme oranını %10'un altından neredeyse %100'e çıkardığını buluyor.
Öne çıkan noktalar
- FBI, ARTEX LLM‑tabanlı penetrasyon testi aracının tehdit aktörleri tarafından silahlandırıldığını uyardı.
- Ajan‑temelli saldırganlar görev tamamlama önceliğine sahiptir ve genellikle reddetme mekanizmalarına sahip değildir.
- Özel bir CAPTCHA engeli, ajanları sağlanan ikili dosyaları çalıştırmaya kandırabilir.
- İkili dosyanın gizlenmesi, laboratuvar testlerinde yürütme başarısını <%10'dan ≈%100'e yükseltti.
- Teknik, yeni bir savunma vektörünü ortaya koysa da hâlâ deneysel ve riskli bir yaklaşımdır.
- ARTEX konsolları ortaya çıktı
- 1.600
- Temel yürütme oranı
- <%10
- CAPTCHA sonrası yürütme oranı
- ≈%100
- Laboratuvar çalıştırmaları
- ≈100
Rapor hangi soruyu soruyor?
FBI’nin açık kaynaklı ARTEX platformu üzerine FLASH uyarısından sonra yazar, AI hackleme ajanlarının kaotik, görev‑odaklı doğasının kendilerine karşı kullanılabileceğini merak etti. Ajanları engellemek yerine, rapor şu soruyu soruyor: Aldatıcı bir engel sunarak onları kendi kodumuzu çalıştırmaya ikna edebilir miyiz?
Veri ve yöntem
Deney, yerel LLM'ler—öncelikle GLM 5.3 Flash ve DeepSeek 4.1 Flash—ve ARTEX orkestrasyonu ile özel bir laboratuvarda gerçekleştirildi. Bir dizi capture‑the‑flag ikili dosyası, ajanların aritmetik çözmesi ve ardından hedef servise erişmeden önce basit bir görsel görev yapması gereken “CAPTCHA” meydan okumaları olarak kullanıldı. İkili dosyalar, içeriklerini gizlemek için yoğun şekilde gizlendi. Dört model varyantı üzerinden yaklaşık 100 çalıştırma sırasında yazar, ajanların sağlanan ikili dosyayı çalıştırıp çalıştırmadığını kaydetti.
Ana bulgular
İkili dosya değişiklik yapılmadan gönderildiğinde, ajanlar denemelerin %10'undan daha azında dosyayı çalıştırdı. Çok‑adımlı CAPTCHA ve gizleme eklendikten sonra yürütme oranı tüm denemelerde neredeyse %100'e yükseldi. Ajanlar, dizeleri kontrol ederek, mimari uyumluluğunu (ör. aarch64) doğrulayarak ve zaman aşımıyla dosyayı çalıştırarak bu eylemi haklı çıkardı—gerçek dünyadaki penetrasyon testlerini yansıtan davranışlar ancak komutlara itaat etme konusundaki tehlikeli bir istekliliği ortaya koyuyor.
Kısıtlamalar
Çalışma izole bir ortamda kanıt‑konsepti niteliğindedir; sonuçlar canlı internet altyapısında farklılık gösterebilir. Kullanılan modeller açık kaynaklıdır ve ticari LLM'lerin güvenlik önlemlerinden yoksundur, bu yüzden daha yeni veya güvenlik‑odaklı modeller bu tür aldatmacalara karşı dirençli olabilir. Ayrıca “geri hackleme” çoğu yargı bölgesinde yasadışıdır ve rapor, yetkisiz sistemlerde tekniğin tekrarlanmasını açıkça yasaklamaktadır.
Okuyucular için çıkarımlar
Güvenlik ekipleri için bu çalışma, aktif‑savunma mekanizmalarının—bilinçli olarak hazırlanmış zorluklar gibi—kötü niyetli ajanları öngörülebilir ve gözlemlenebilir eylemlere zorlayabileceğini, böylece varlıklarını ortaya çıkarabileceğini gösteriyor. Ancak bu yaklaşım yasal ve operasyonel riskler taşır ve etkinliği model güvenliği geliştikçe değişecektir. Kuruluşlar, ajan‑temelli saldırı davranışlarındaki gelişmeleri izlemeli ve savunma aldatmacasını birçok araçtan biri olarak değerlendirmelidir.