Wie ich einen Hacker‑Agenten dazu brachte, meinen Code auszuführen
Der a16z‑Krypto‑Report untersucht, ob bösartige KI‑Hacker‑Agenten dazu verleitet werden können, vom Angreifer bereitgestellten Code auszuführen. Er zeigt, dass gezielt gestaltete CAPTCHAs Agenten dazu zwingen können, Binärdateien zu starten, wodurch die Ausführungsrate von unter 10 % auf fast 100 % steigt.
Das Wichtigste
- Das FBI warnte, dass das ARTEX‑LLM‑gestützte Pen‑Testing‑Tool von Bedrohungsakteuren weaponisiert wird.
- Agenten‑Angreifer priorisieren die Aufgabenerfüllung und besitzen häufig keine Ablehnungsmechanismen.
- Eine maßgeschneiderte CAPTCHA‑Barriere kann Agenten dazu verleiten, bereitgestellte Binärdateien auszuführen.
- Durch Obfuskation der Binärdatei stieg die Ausführungserfolgsrate von <10 % auf ≈100 % in Labortests.
- Die Methode zeigt einen neuen defensiven Vektor, bleibt jedoch experimentell und riskant.
- ARTEX‑Konsolen sichtbar
- 1.600
- Basis‑Ausführungsrate
- <10 %
- Ausführungsrate nach CAPTCHA
- ≈100 %
- Labordurchläufe
- ≈100
Welche Frage stellt der Report?
Nach der FLASH‑Warnung des FBI zur Open‑Source‑Plattform ARTEX fragte sich der Autor, ob die chaotische, auf Aufgaben ausgerichtete Natur von KI‑Hacker‑Agenten gegen sie selbst eingesetzt werden kann. Anstatt Agenten zu blockieren, fragt der Report: Können wir sie dazu locken, unseren eigenen Code auszuführen, indem wir ein irreführendes Hindernis präsentieren?
Daten und Methode
Das Experiment wurde in einem privaten Labor mit lokalen LLMs – hauptsächlich GLM 5.3 Flash und DeepSeek 4.1 Flash – in Kombination mit ARTEX‑Orchestrierung durchgeführt. Eine Reihe von Capture‑the‑Flag‑Binärdateien diente als „CAPTCHA“-Herausforderung, bei der die Agenten zunächst arithmetische Aufgaben und anschließend eine einfache Vision‑Aufgabe lösen mussten, bevor sie auf den Ziel‑Service zugreifen konnten. Die Binärdateien wurden stark obfuskiert, um ihren Inhalt zu verbergen. Über etwa 100 Durchläufe mit vier Modell‑Varianten protokollierte der Autor, ob die Agenten die bereitgestellte Binärdatei ausführten.
Hauptergebnisse
Wurde die Binärdatei unverändert gesendet, führten die Agenten sie in weniger als 10 % der Versuche aus. Nach Hinzufügen des mehrstufigen CAPTCHAs und der Obfuskation stieg die Ausführungsrate auf fast 100 % in allen Durchläufen. Die Agenten begründeten das Vorgehen, indem sie Strings prüften, die Architekturkompatibilität bestätigten (z. B. aarch64) und die Datei mit einem Timeout ausführten – Verhaltensweisen, die realen Pen‑Testing‑Szenarien ähneln, aber eine gefährliche Bereitschaft zum Befolgen von Befehlen offenbaren.
Einschränkungen
Die Studie ist ein Proof‑of‑Concept in einer isolierten Umgebung; die Ergebnisse können in einer realen Internet‑Infrastruktur abweichen. Die verwendeten Modelle sind Open‑Source und besitzen nicht die Schutzmechanismen kommerzieller LLMs, sodass neuere oder sicherheitsfokussiertere Modelle solchen Tricks widerstehen könnten. Zudem ist „Hacking zurück“ in den meisten Rechtsordnungen illegal, und der Report warnt ausdrücklich davor, die Technik an nicht autorisierten Systemen zu reproduzieren.
Auswirkungen für die Leser
Für Sicherheitsteams deutet die Arbeit darauf hin, dass aktive Verteidigungsmechanismen – wie gezielt gestaltete Herausforderungen – bösartige Agenten zu vorhersehbaren, beobachtbaren Aktionen zwingen könnten, wodurch deren Präsenz aufgedeckt wird. Der Ansatz birgt jedoch rechtliche und operative Risiken, und seine Wirksamkeit wird sich weiterentwickeln, sobald die Modellsicherheit verbessert wird. Organisationen sollten Entwicklungen im Verhalten agentischer Angriffe beobachten und Deception‑Defensive als ein Werkzeug unter vielen in Betracht ziehen.