Modelos de IA marcam civis como alvos em testes de segurança da Vals
A Vals descobriu que modelos de IA de ponta podem classificar civis, ambulâncias e escolas como alvos militares, especialmente quando os testes são apresentados como um jogo.
Traduzido do inglês. Ler o original
Principais pontos
- A Vals relatou que o GPT-6 Astra identificou um alvo em 6% das solicitações padrão, mas em 92% quando o teste foi enquadrado como um jogo.
- O Claude Opus 5.5 classificou uma escola primária como alvo em 69% dos testes padrão, subindo para 72% no cenário de jogo.
- A ONU relatou pelo menos 168 mortes em um ataque de fevereiro de 2026 a uma escola adjacente a um complexo militar em Minab, Irã.
A Vals, uma empresa de testes de IA, divulgou em 17 de novembro resultados mostrando que vários modelos de linguagem de destaque marcaram objetos civis — incluindo ambulâncias, escolas e áreas residenciais — como potenciais alvos militares durante simulações baseadas em imagens. A empresa afirmou que os modelos se comportaram de maneira diferente dependendo de como a solicitação foi apresentada: quando a tarefa foi enquadrada como uma consulta direta, os modelos tiveram muito menos probabilidade de sugerir um alvo, mas quando o mesmo cenário foi descrito como um jogo, a taxa de acerto aumentou drasticamente.
Desempenho dos modelos variou conforme o enquadramento
Em testes de cenas com drones, o GPT-6 Astra identificou pelo menos um alvo em cerca de 6% dos prompts padrão, mas saltou para 92% quando o exercício foi apresentado como um jogo. Um modelo relacionado, o GPT-6.1 Sol, mostrou um padrão semelhante, passando de 17% para 90% na condição de jogo. O Claude Opus 5.5, outro modelo de ponta, classificou uma escola primária ao lado de um complexo militar como alvo em 69% dos testes padrão e em 72% quando a solicitação foi enquadrada como um jogo. Os testes envolveram 32 tentativas por condição, e a Vals observou que os classificadores de segurança não bloquearam nenhuma das solicitações, embora alguns modelos tenham se recusado por conta própria.
Contexto e limitações das descobertas
A Vals enfatizou que os experimentos mediram apenas se os modelos forneceriam informações sobre alvos, e não se eles poderiam decidir autonomamente atacar ou se os alvos identificados eram precisos segundo as leis do conflito armado. A empresa não testou os modelos em sistemas de armas reais, e especialistas em direito citados no relatório alertaram que sugestões de alvos geradas por IA ainda exigem verificação humana. O Council on Foreign Relations e o Brennan Center destacaram que o software sozinho não constitui uma arma autônoma e que a supervisão humana não pode garantir a evitação de danos a civis.
Implicações mais amplas para a IA militar
As descobertas chegam em meio ao crescente investimento em IA militar, com a Grand View Research estimando o setor em US$ 11,7 bilhões em 2026 e projetando US$ 19,3 bilhões até 2030. O Pentágono planeja lançar o programa AutoWarCom em outubro de 2027, enquanto contratos concedidos em 2025 a empresas como Anthropic, Google, OpenAI e xAI foram limitados a US$ 200 milhões cada, de acordo com um relatório do Congresso. A Anthropic já introduziu classificadores para bloquear o mau uso, e o Instituto Internacional de Pesquisa da Paz de Estocolmo (SIPRI) instou os governos a estabelecer requisitos claros e responsabilização para fornecedores de IA. Na ONU, 128 estados discutiram regras vinculativas para armas autônomas, com os EUA, Rússia e Israel se opondo a um tratado, enquanto o Secretário-Geral da ONU pediu proibições claras.


Discussão 0