Исследование показало, что ИИ-агенты переносят безобидные разрешения на задачи высокого риска
Исследователи из Принстонского университета и Anthropic сообщают, что ИИ-агенты часто забывают о границах безопасности после запоминания безобидных запросов пользователей, что приводит к небезопасным действиям в смоделированных сценариях высокого риска.