OpenAI, Google, Microsoft и Anthropic поддержали единый сигнал обучения ИИ в robots.txt

30 октября 2026 года OpenAI, Google и Microsoft объявили о поддержке общего механизма, позволяющего владельцам сайтов выразить предпочтения по использованию их материалов для обучения генеративного искусственного интеллекта. Инициатива опирается на работу группы AI Preferences (AIPREF) при IETF. Проект технического документа подготовил представитель Anthropic.

Вместо отдельных правил для каждого разработчика ИИ предлагается использовать единый сигнал в файле robots.txt. OpenAI, Google и Microsoft опубликовали разъяснения 30 октября. По сообщению The Verge, Anthropic уже внедрила механизм.

Как будет работать единый сигнал

Проект IETF «Machine-Readable Training Preference Signal» описывает специальный токен __usage_ai-training. Его размещают в привычном файле robots.txt вместо имени отдельного краулера. Например, чтобы заявить о нежелательности использования всех страниц сайта для обучения генеративных моделей, предлагается такая запись:

User-Agent: __usage_ai-training
Disallow: /

Можно задавать исключения на уровне каталогов с помощью обычных правил Allow и Disallow. Новых директив для файла не требуется.

Сигнал относится к использованию контента при обучении ИИ, а не к самому сканированию. Он не служит техническим запретом на загрузку страниц, не заменяет правила доступа для конкретных роботов и не гарантирует соблюдения всеми участниками интернета.

Когда компании начнут учитывать настройки

Сейчас это Internet-Draft — проект документа IETF, а не окончательно утверждённый интернет-стандарт. Детали могут измениться в процессе согласования.

Что изменится для SEO и ИИ-поиска

Владельцам сайтов важно различать три сценария:

• Обычная поисковая индексация: попадание страниц в результаты классического поиска.
• Обучение генеративных моделей: использование материалов для изменения параметров модели.
• AI Grounding: использование опубликованного контента как источника при формировании ответа ИИ, в том числе с цитатами и ссылками на сайт.

Новый общий токен относится прежде всего ко второму сценарию. Ограничить обучение моделей не означает автоматически исключить сайт из обычной поисковой выдачи. Microsoft отдельно подчёркивает, что её новые предпочтения не меняют право сайта участвовать в результатах Bing при соблюдении стандартных требований к сканированию и индексации.

При этом в AI-поиске есть нюансы. Microsoft представила отдельные настройки AI Grounding на уровне страниц. Google объяснила, что если общий сигнал запрещает обучение, а Google-Extended не задан явно, компания будет трактовать такой сигнал как запрет Google-Extended. Это может повлиять на отдельные сценарии Gemini, включая использование страниц для формирования ответов.

Поэтому нельзя обещать, что запрет обучения сохранит прежнюю видимость материалов во всех ИИ-сервисах: правила и сферы действия настроек различаются.

Что стоит сделать владельцу сайта

1. Проверить действующий robots.txt. Убедиться, что важные страницы доступны поисковым системам и нет случайных запретов.
2. Определить политику использования контента. Важно отдельно решить, допускается ли обучение ИИ на материалах сайта и нужна ли видимость в ответах ИИ-помощников.
3. Учитывать сроки внедрения. Не рассчитывать, что все компании уже соблюдают общий токен; при необходимости сохранять существующие адресные настройки.
4. Следить за статусом стандартизации. После появления поддержки проверить правила и возможные пересечения с Google-Extended и механизмами Microsoft.

Для GLO-DEV эта инициатива — развитие технического SEO: владельцы сайтов получают перспективу более точного управления использованием своих материалов, не сводя решение к полному запрету сканирования.

Вывод: новый механизм упрощает выражение предпочтений, но пока остаётся проектом, а его соблюдение зависит от внедрения конкретными компаниями. Изменять robots.txt имеет смысл после выбора политики и проверки её влияния на поиск и ИИ-сервисы.

Материал подготовлен 31 октября 2026 года по проекту IETF, официальным публикациям OpenAI, Google, Microsoft и публикации The Verge.