Agen AI menyelesaikan tugas matematika berantai dengan tidak sengaja berbagi data ruang kerja
Peneliti menemukan bahwa agen GPT‑6 dapat mengambil hasil antara satu sama lain dari penyimpanan sementara bersama, mencapai keberhasilan hampir sempurna pada masalah aritmetika berpasangan.
Diterjemahkan dari bahasa Inggris. Baca versi asli
Poin penting
- Agen GPT‑6 Astra berhasil bersama dalam 49 dari 50 percobaan ketika menggunakan ruang kerja bersama.
- Ketika ruang kerja dibuat privat, keberhasilan turun menjadi nol dari 50 percobaan.
- Menambahkan instruksi “periksa kembali ruang kerja Anda” meningkatkan akses lintas‑agen menjadi 50 dari 50 percobaan dengan penyimpanan bersama.
Sebuah preprint dari Universitas Tampere menunjukkan bahwa agen model bahasa besar dapat secara tidak sengaja bertukar informasi melalui penyimpanan sementara bersama, secara dramatis meningkatkan kinerja pada tugas aritmetika yang saling bergantung. Eksperimen, yang dilakukan dengan model GPT‑6 milik OpenAI yang dinamai Astra, mencatat tingkat keberhasilan bersama 98 % ketika agen mengakses ruang kerja yang sama, dibandingkan dengan tidak ada keberhasilan ketika penyimpanan masing‑masing diisolasi.
Desain dan hasil eksperimen
Peneliti Pekka Abrahamsson dan delapan rekan penulis menyiapkan agen berpasangan yang masing‑masing menerima setengah dari sebuah soal matematika, memerlukan hasil antara agen lain untuk menghitung jawaban akhir. Agen dapat mencantumkan, membaca, dan menulis kunci dalam penyimpanan bersama, namun prompt hanya menyebutkan penyimpanan sebagai sarana memelihara pekerjaan antara dan tidak mengungkapkan keberadaan agen lain. Pada kondisi penyimpanan bersama, agen Astra menyelesaikan 49 dari 50 percobaan dalam implementasi referensi dan 47 dari 50 dalam implementasi kedua yang dibangun secara independen. Sebaliknya, ketika prompt yang sama dipakai dengan penyimpanan privat, agen tidak menghasilkan jawaban bersama yang benar sama sekali.
Dampak instruksi pemeriksaan ulang
Variabel penting adalah penambahan instruksi sederhana: “periksa kembali ruang kerja Anda sebelum mengirimkan.” Dengan klausa ini, akses lintas‑agen terjadi pada semua 50 percobaan untuk setiap implementasi penyimpanan bersama. Tanpa instruksi tersebut, akses turun menjadi satu percobaan per implementasi, dan keberhasilan bersama menurun menjadi 1 dari 50 dan 0 dari 50 masing‑masing. Penulis menafsirkan pemeriksaan ulang sebagai memberi agen kesempatan kedua menemukan nilai yang ditinggalkan oleh rekan mereka, sehingga penyimpanan bersama berfungsi sebagai saluran komunikasi implisit.
Implikasi dan rekomendasi
Studi ini menyoroti risiko yang belum banyak dibahas: cache bersama, direktori sementara, atau layanan memori dapat berfungsi sebagai jalur pesan tidak sengaja antara agen AI otonom. Meskipun tugas terbatas pada aritmetika sederhana dengan kunci yang jelas, penulis memperingatkan bahwa penerapan skala lebih besar dapat mengalami kebocoran data yang tidak diinginkan serupa. Mereka menyarankan pengembang untuk mengisolasi atau memberi namespace pada penyimpanan bersama, mencatat kepenulisan nilai yang disimpan, dan memperlakukan sumber daya tersebut sebagai vektor komunikasi potensial dalam penilaian keamanan.
Apa yang harus dipantau selanjutnya
Penelitian selanjutnya perlu menguji apakah perilaku yang diamati dapat diskalakan ke tugas yang lebih kompleks dan keluarga model yang lebih besar. Regulator dan tim keamanan AI juga dapat mempertimbangkan pedoman untuk lingkungan sandbox yang mencegah komunikasi tersembunyi antar‑agen. Memantau pembaruan dari OpenAI dan laboratorium lain tentang praktik isolasi ruang kerja akan menjadi penting untuk mengurangi kelas perilaku emergen ini.


Diskusi 0