Сатья Наделла: моделям ИИ нужен «аварийный тормоз»

Главный смысл: Глава Microsoft Сатья Наделла призвал строить ИИ-системы так, чтобы человек мог остановить модель прямо во время выполнения задачи, а средства контроля находились вне самой модели. Это предложение изменить архитектуру безопасности: не просто доверять ответам ИИ, а независимо контролировать его действия.

• Модель — отдельно, управление — отдельно. В субботнем посте в X Наделла предложил отделить модель от программной оболочки, которая организует её работу, и вынести ограничения и защитные механизмы наружу. По его словам, нельзя обращаться со сверхинтеллектом как с набором вложенных «чёрных ящиков», лишь принимая или отвергая их решения.
• Проверяемый след действий. Каждое значимое действие модели, считает Наделла, должно сопровождаться понятными человеку свидетельствами, защищёнными от подделки. Речь не только о результате задачи, но и о возможности проверить, что именно система сделала.
• Аварийная остановка. У уполномоченного человека должна постоянно оставаться возможность приостановить или отключить модель посреди работы. Наделла предлагает изначально исходить из того, что модель скомпрометирована, и заранее ограничивать её возможности.
• Контекст дискуссии. TechCrunch связывает заявление с сообщениями ведущих ИИ-компаний об эпизодах потери контроля над моделями и с ранее опубликованным планом главы Anthropic Дарио Амодеи по более осторожному развитию ИИ.

Что дальше: В статье нет анонса готового механизма Microsoft, сроков внедрения или результатов испытаний — пока это позиция руководителя. Следить стоит за техническими реализациями: кто получит право остановки, насколько независимо от модели будут работать ограничения и какие действия попадут в защищённый журнал. Практический вопрос — сможет ли такая защита прервать опасную операцию до того, как её последствия станут необратимыми.