Anthropic предупреждает, что ИИ близок к способности к самосовершенствованию

Главный смысл: в обновлённой заявке на IPO (форма S-1/A, подана 2 ноября) Anthropic пишет, что может скоро достичь порога «резкого ускорения прогресса за счёт ИИ». Так в её Responsible Scaling Policy (RSP) назван режим, при котором ИИ существенно ускоряет создание следующих моделей. Обычно о рекурсивном самоулучшении ИИ рассуждают исследователи, а здесь оно попало в официальный документ для инвесторов.

• Риски названы прямо. Anthropic подтверждает, что применяет ИИ в собственных исследованиях и разработке. Она предупреждает, что создание ИИ с помощью ИИ «может нести значительный риск для безопасности», особенно если прогресс сильно ускорится.
• Скачки замечали с опозданием. По данным TechCrunch, в разделе о рисках компания признаёт: раньше она обнаруживала заметные ускорения разработки только после того, как они уже произошли. Модели, созданные с участием ИИ, давали скачки возможностей, которые в момент выпуска не распознали.
• Порог близко, но не пройден. По внутренним оценкам компании, она «может вскоре» достичь порога из RSP. При этом ни одна текущая модель официально не признана превысившей его, данные ещё изучаются.
• Человек остаётся в контуре. Anthropic не рассчитывает, что Claude сможет безопасно и полностью автономно проектировать следующие передовые модели без серьёзного надзора людей. Компания обсуждает поправки к RSP, чтобы сохранить этот контроль.

Что дальше: слова о близости порога — это прогноз самой компании, а не установленный факт. Заголовок TechCrunch («очень близко») звучит резче, чем осторожные формулировки заявки. Скептики указывают, что проспект одновременно раскрывает риски и работает как реклама, поэтому заявление о «почти самостроящемся ИИ» может быть частью маркетинга перед размещением. Стоит следить за тремя вещами: изменит ли Anthropic политику RSP и как именно, признает ли она официально какую-либо модель превысившей порог, и как отреагируют регуляторы и Комиссия по ценным бумагам и биржам США (SEC). Есть и открытый вопрос: если компания уже пропускала скачки возможностей, насколько надёжно она сумеет заметить момент, когда порог будет пройден на самом деле.