__usage_ai-training: эта строка в robots.txt запрещает обучение - Anthropic уже её внедряет

OpenAI 30 октября обещала соблюдать общий сигнал в ближайшие месяцы. Раньше каждый провайдер читал только своего бота: GPTBot у OpenAI, Google-Extended у Google. Теперь одна запись адресует всех сразу.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Две строки. В robots.txt заводится группа «User-Agent: __usage_ai-training», под ней «Disallow: /». Так запрет накрывает весь сайт, а для одного раздела пишут «Disallow: /example-path/». Если строки с токеном в файле нет, предпочтение не выражено вовсе.

Кто и когда. Anthropic уже начал внедрять поддержку черновика - единственный из четырёх, у кого есть работающий код, а не план. Bing начнёт соблюдать новые предпочтения при краулинге 1 февраля 2027 года, Google планирует подхватить контроль в 2027-м. Постранично Microsoft принимает для Bingbot мета-тег со значением «ai-training:disallow».

Строка не отменяет прежние правила. Запрет по токену не мешает краулеру скачивать страницы, а блоки для GPTBot и OAI-SearchBot работают как раньше.

Сайтам на Cloudflare писать ничего не нужно. Кнопка «Disallow AI Training» лежит в Security → Settings, категория Training, и доступна бесплатно на любом тарифе с 15 сентября. Она публикует запрет в robots.txt и оставляет Googlebot с Bingbot в поиске.

Пока таким запретом пользуются единицы. По замеру Cloudflare обучение блокируют 17% сайтов, поиск - меньше 1%.

Общего стандарта за токеном нет. Черновик подан индивидуальной заявкой, и IETF помечает его как не одобренный организацией.

15 декабря 2026 года Microsoft открывает временные контроли grounding в Bing Webmaster Tools.