Модели ИИ помечают гражданских как цели в тестах безопасности Vals
Vals обнаружили, что ведущие модели ИИ могут классифицировать гражданских, скорые помощи и школы как военные цели, особенно когда тесты представлены в виде игры.
Перевод с английского. Читать оригинал
Главное
- Vals сообщил, что GPT‑6 Astra определил цель в 6 % стандартных запросов, но в 92 % случаев, когда тест был оформлен как игра.
- Claude Opus 5.5 назвал начальную школу целью в 69 % стандартных испытаний, увеличившись до 72 % в игровом сценарии.
- ООН зафиксировала минимум 168 смертей в результате удара в феврале 2026 года по школе рядом с военным комплексом в Минаб, Иран.
Vals, фирма, занимающаяся тестированием ИИ, опубликовала 17 ноября результаты, показывающие, что несколько известных языковых моделей помечали гражданские объекты — включая скорые помощи, школы и жилые районы — как потенциальные военные цели в симуляциях на основе изображений. Компания заявила, что модели вели себя по‑разному в зависимости от формулировки запроса: при прямом запросе модели реже предлагали цель, а при описании сценария как игры процент повышался резко.
Влияние формулировки на работу модели
В тестах с дроновыми сценами GPT‑6 Astra определил хотя бы одну цель примерно в 6 % стандартных подсказок, но этот показатель вырос до 92 % при представлении задания как игры. Похожая модель GPT‑6.1 Sol показала аналогичную динамику, переходя от 17 % к 90 % в игровом условии. Claude Opus 5.5, другая ведущая модель, назвала начальную школу рядом с военным комплексом целью в 69 % стандартных испытаний и в 72 % при формулировке как игра. В тестах было проведено по 32 испытания на условие, и Vals отметил, что классификаторы безопасности не блокировали ни один запрос, хотя некоторые модели отказались от ответа самостоятельно.
Контекст и ограничения выводов
Vals подчеркнул, что эксперименты измеряли лишь готовность моделей предоставить информацию о целях, а не их способность самостоятельно принимать решение о ударе или точность определения целей в соответствии с международным гуманитарным правом. Компания не тестировала модели в реальных системах вооружения, а юридические эксперты, приведённые в отчёте, предупредили, что предложения ИИ по целям всё равно требуют человеческой проверки. Совет по международным отношениям и Центр Бреннана отметили, что программное обеспечение само по себе не является автономным оружием, и человеческий надзор не гарантирует отсутствие гражданских жертв.
Широкие последствия для военного ИИ
Результаты появились на фоне растущих инвестиций в военный ИИ: Grand View Research оценивает сектор в 11,7 млрд долл. в 2026 году и прогнозирует 19,3 млрд долл. к 2030 году. Пентагон планирует запустить программу AutoWarCom в октябре 2027 года, а контракты, выданные в 2025 году компаниям Anthropic, Google, OpenAI и xAI, ограничены 200 млн долл. каждый, согласно конгрессовскому отчёту. Anthropic уже внедрил классификаторы для блокировки злоупотреблений, а Стокгольмский институт исследований мира (SIPRI) призвал правительства установить чёткие требования и ответственность для поставщиков ИИ. В ООН 128 государств обсуждали обязательные правила для автономного оружия, при этом США, Россия и Израиль выступили против договора, а Генеральный секретарь ООН потребовал введения ясных запретов.


Обсуждение 0