robots.txt не держит бота OpenAI: ChatGPT-User заходил на закрытые страницы в 54% случаев

Платформа TollBit свела обращения AI-ботов в своей сети за первую половину 2026 года. У ChatGPT-User 54% запросов пришлись на страницы, которые издатель ему запретил. У Bytespider 48%, у PerplexityBot 42%. По европейским сайтам выборки на запрещённые URL пришлось около 15% всех обращений опознанных ботов.

robots.txt не замок. Файл передаёт агентам просьбу владельца сайта, а сервер по запросу всё равно отдаёт страницу. OpenAI прямо пишет это в документации: ChatGPT-User идёт за содержимым страницы, когда о ней спросил человек в ChatGPT, и правила robots.txt к такому визиту могут не применяться. Массовым обходом заняты другие боты компании: GPTBot собирает страницы для обучения моделей, OAI-SearchBot отбирает их для поисковых ответов.

Методика TollBit засчитывает обходом любой успешный запрос к запрещённому URL, без оглядки на документацию оператора. Оговорка OpenAI в расчёт не заложена, поэтому 54% меряют факт обращения, а не доказанное нарушение.

Как закрыть по-настоящему. OpenAI публикует user-agent ChatGPT-User/1.0 и список IP-диапазонов бота отдельным файлом chatgpt-user.json, по ним бота режут на уровне сервера или WAF. Своего WAF нет: в панели Cloudflare путь идёт через домен, раздел Security, пункт Bots и список AI Scrapers and Crawlers, где боты разложены на категории Search, Agent и Training. ChatGPT-User лежит в Agent.

С 15 сентября 2026 Cloudflare включит блокировку категорий Agent и Training по умолчанию на страницах с рекламой у новых сайтов и бесплатных аккаунтов.