robots.txt на диете: одна команда должна остановить все ИИ-тренировки

Главный смысл: Google планирует с 2027 года поддержать единый сигнал в robots.txt, которым сайт сможет запретить использование своего контента для обучения ИИ сразу всем участвующим разработчикам моделей. Это должно заменить длинные перечни отдельных ИИ-ботов, но само по себе не станет технической блокировкой недобросовестных сборщиков данных.

• Один общий маркер. В проекте рабочей группы AIPREF при IETF предлагается служебный идентификатор __usage_ai-training. Владелец сайта сможет, например, закрыть от обучения весь ресурс и оставить доступным только конкретный раздел: Disallow: / и Allow: /press-kit/.

• Старые правила не отменяют. Сейчас администраторам приходится отдельно указывать ботов, например GPTBot компании OpenAI, ClaudeBot компании Anthropic и Google-Extended. По данным Google, эти индивидуальные настройки сохранятся: общий запрет можно будет дополнять или переопределять правилами для конкретного поставщика.

• Особенность для Google. Если сайт запретит обучение через новый общий маркер, но отдельно не укажет Google-Extended, Google будет считать свой сбор данных для обучения запрещённым. Но явное разрешение Google-Extended, как сообщает компания, нужно также для показа материалов сайта в ответах приложений Gemini через механизм Grounding — с действующими ссылками на веб-источники.

• Пока это не обязательный стандарт. Предложение опирается на работу IETF, а Google намерен дорабатывать его с участниками группы. Неизвестные новому формату парсеры должны просто игнорировать такой блок согласно RFC 9309; соблюдать его будут лишь поставщики ИИ, добровольно внедрившие поддержку.

Что дальше: Следить стоит за тем, примут ли участники IETF окончательную спецификацию и какие компании, помимо Google, реально начнут её учитывать в 2027 году. Также остаётся нерешённым главный практический вопрос: robots.txt выражает машиночитаемое предпочтение владельца сайта, но не препятствует технически загрузке страниц ботами, которые его игнорируют. Для издателей важен и компромисс Google: запрет на обучение может повлиять не только на датасеты, но и на возможность попадания материалов в ответы Gemini с переходами на сайт.