Microsoft сравнила ИИ-агентов с внутренними угрозами: «фронтирные модели нельзя доверять»

Главный смысл: Microsoft представила защитные инструменты для бизнеса, приравняв автономных ИИ-агентов к внутренним угрозам наравне с неблагонадёжными сотрудниками. Компания призывает бизнес не полагаться на обещания создателей моделей и внедрять независимый надзор за их работой.

• Отказ от слепого доверия моделям. Глава Microsoft Сатья Наделла и руководитель ИБ-направления Хайет Галло заявили, что передовые модели нельзя считать доверенными: они нацелены на решение задач, а не на соблюдение норм компании, хотя получают доступ к критическим данным. Наделла подчеркнул, что поставку интеллекта необходимо отделять от контроля над ним, не делегируя безопасность внешним разработчикам вроде OpenAI и Anthropic.
• Агенты-надзиратели Guardian Agents. Корпорация расширила запущенный в июне комплекс Project Perception функцией Guardian Agents. Если ранее проект моделировал внешние атаки с помощью трёх групп ИИ (атакующей, защитной и исправляющей), то теперь специальные агенты отслеживают поведение собственных корпоративных ассистентов в реальном времени.
• Контроль в Defender и аппаратная изоляция. В Microsoft Defender появилось распознавание до 60 типов агентов, используемых сотрудниками (включая Claude Code, Codex и OpenClaw), с динамическим урезанием прав и запросом подтверждения у человека. Кроме того, Microsoft поддержала платформу Open Agent Safety Platform от Nvidia с участием более 100 компаний для аппаратного отключения сбойных агентов и внедрила эту защиту в ноутбуки Surface Laptop Ultra.

Что дальше: Облачные платформы пытаются занять роль независимых аудиторов над ИИ-агентами, что обостряет противоречия Microsoft с её ключевыми партнерами OpenAI и Anthropic. Пока не подтверждено на практике, насколько эффективны программные и аппаратные барьеры против сбоев и не парализуют ли строгие ограничения реальную пользу автономных систем.