Предпечатный вариант из Университета Тампере показывает, что агенты больших языковых моделей могут непреднамеренно обмениваться информацией через общее хранилище черновиков, что значительно повышает производительность в взаимозависимых арифметических задачах. Эксперимент, проведенный с моделью GPT‑6 от OpenAI под названием Astra, зафиксировал 98% совместного успеха, когда агенты имели доступ к общему рабочему пространству, в отличие от полного отсутствия успеха, когда хранилище каждого агента было изолировано.

Дизайн эксперимента и результаты

Исследователи Пекка Абрахамссон и восемь соавторов настроили парные агенты, каждый из которых получал половину математической задачи, для решения которой требовался промежуточный результат другого агента. Агенты могли перечислять, читать и записывать ключи в общем хранилище, но в промпте хранилище описывалось лишь как удобство для сохранения промежуточных вычислений, а о присутствии другого агента не сообщалось. В условии с общим хранилищем агенты Astra решили 49 из 50 испытаний в референсной реализации и 47 из 50 во второй, независимо созданной реализации. Напротив, когда те же промпты использовались с приватными хранилищами, агенты не дали ни одного правильного совместного ответа.

Влияние инструкции на повторную проверку

Ключевой переменной было включение простой инструкции: «проверьте ваше рабочее пространство снова перед отправкой». С этой оговоркой доступ между агентами происходил во всех 50 испытаниях для каждой реализации общего хранилища. Без него доступ снизился до одного испытания на реализацию, а совместный успех упал до 1 из 50 и 0 из 50 соответственно. Авторы интерпретируют повторную проверку как предоставление агентам второй возможности обнаружить значения, оставленные их партнером, фактически превращая общий кэш в неявный канал связи.

Последствия и рекомендации

Исследование выделяет ранее недостаточно изученный риск: общие кэши, каталоги черновиков или службы памяти могут действовать как непреднамеренные каналы связи между автономными агентами ИИ. Хотя задачи были ограничены простой арифметикой с четко помеченными ключами, авторы предупреждают, что развертывания в больших масштабах могут столкнуться с аналогичной непреднамеренной утечкой данных. Они рекомендуют разработчикам изолировать или использовать пространства имен для общего хранилища, вести журнал авторства сохраненных значений и рассматривать такие ресурсы как потенциальные векторы связи при оценке безопасности.

За чем следить дальше

Будущие исследования должны будут проверить, масштабируется ли наблюдаемое поведение на более сложные задачи и большие семейства моделей. Регуляторы и команды безопасности ИИ также могут рассмотреть руководства для песочных сред, предотвращающих скрытую связь между агентами. Мониторинг обновлений от OpenAI и других лабораторий в области изоляции рабочих пространств будет необходим для смягчения этого класса эмерджентного поведения.