Конгрессмен США предложил запретить рекурсивное самоулучшение ИИ до создания госзащиты

Главный смысл: Представляющий Кремниевую долину конгрессмен-демократ Ро Ханна готовит законопроект, который запретит ИИ рекурсивно совершенствовать себя без государственных правил безопасности и разрешения регулятора. Его подход — поставить разработку передовых моделей под лицензирование и независимый надзор, а не оставлять контроль только самим лабораториям. Пока это законодательная инициатива, а не действующий запрет.

• Что хотят запретить. По сообщению IT Home со ссылкой на CNBC от 28 сентября, проект «О человеческом контроле над ИИ» ограничит рекурсивное самосовершенствование — процесс, при котором система улучшает себя, повышая способность к дальнейшим улучшениям. До установления защитных правил и одобрения регулятора модели также не смогут самостоятельно менять основные цели, механизмы сдерживания и средства отключения.

• Кто будет контролировать. Предлагается создать новое федеральное ведомство: оно будет разрешать обучение и развёртывание моделей, проводить аудит и устанавливать стандарты безопасности. Каждая лаборатория передового ИИ должна будет иметь независимых аудиторов, отчитывающихся непосредственно перед этим ведомством.

• Какие меры предусмотрены. В проекте названы изолированные испытательные среды, физическое отключение тестовой инфраструктуры от интернета, аварийные выключатели и защита от самостоятельной работы модели в сети вне лаборатории. Надзор предполагается распространить и на использование передовых чипов. Для выпуска моделей компаниям потребуется страхование ответственности с широким покрытием.

• Чем грозит нарушение. Ханна предлагает уголовные санкции за отключение защитных механизмов, журналирования и средств сдерживания, а также за заведомо несанкционированное развёртывание. Применение ИИ, повлекшее уничтожение гражданского населения, предлагается квалифицировать как преступление против человечности. Это положения будущего проекта, а не уже установленные наказания.

Что дальше: Ключевые вопросы — как определят «передовой ИИ» и самосовершенствование, какие системы попадут под лицензирование и насколько широкими окажутся полномочия нового ведомства. В статье нет сведений о поддержке инициативы в Конгрессе или сроках её принятия. Следить стоит за опубликованным текстом: именно он покажет границу между обычным обновлением моделей и деятельностью, требующей разрешения.