Anthropic предлагает законопроект об ИИ-безопасности: блокировка модели при риске гибели 50+ человек

Главный смысл: Anthropic предлагает закрепить в США процедуру, по которой выпуск ИИ-модели можно остановить через суд при признаках неминуемого катастрофического риска. Это конкретный вариант регулирования от самой ИИ-лаборатории, но проект пока не внесён в Конгресс.

• Порог риска: по данным Politico, проект охватывает риск гибели более 50 человек либо ущерба имуществу свыше 1 млрд долларов. Он должен быть связан с биологическим оружием, выходом модели из-под контроля разработчика или кибератакой.

• Калифорнийский ориентир: пороги повторяют подход недавно принятого закона штата California Senate Bill 53, где такие случаи также названы «катастрофическим риском». TechCrunch не сообщает о поддержке федеральной инициативы законодателями.

• Эксперты и суд: модели должны оценивать независимые эксперты, зарегистрированные в Министерстве торговли США. Лаборатории смогут оплачивать их работу, если плата не зависит от вывода; при этом издание считает неясным, как исключить влияние заказчика. При обнаружении риска эксперт за 72 часа уведомляет ведомство, а оно обращается к судье в Вашингтоне за запретом на выпуск. Самостоятельно блокировать распространение модели федеральному ведомству нельзя.

• Позиция Anthropic: представитель компании подтвердил Politico существование проекта и сказал, что он основан на Advanced AI Framework, который Anthropic продвигает среди федеральных властей и штатов с июня.

Что дальше: важно, появятся ли официальный текст, спонсоры в Конгрессе и правила отбора экспертов, действительно независимых от разработчиков. Не определено и то, как будет трактоваться «неминуемость» риска: от этого зависит, станет механизм редким судебным ограничением или заметным барьером для релизов. Поддержка других крупных лабораторий не подтверждена; Nvidia, по данным TechCrunch, ранее заявляла, что отрасли не нужны новые законы.