17 октября 2026 г.
Сайты закрывают двери перед ИИ-агентами: Cloudflare с 15 сентября блокирует их по умолчанию
С 15 сентября Cloudflare по умолчанию блокирует агентские краулеры на страницах с рекламой. Правило касается новых клиентов, новых сайтов и тарифа Free. Amazon заявил, что доступ агента Meta Muse к его сайту нарушает политику, а Walmart стал партнёром и пускает его.
Cloudflare делит краулеры на Search (индексация), Training (сбор для обучения моделей) и Agent (действие от имени человека в реальном времени). Закрыть Training значит закрыть и Googlebot, Applebot и BingBot, потому что многоцелевые боты блокируются у тех, кто закрыл Training. Для вашего агента важна категория Agent.
Пропуск подписывается. Web Bot Auth: бот подписывает каждый HTTP-запрос ed25519-подписью в заголовках Signature, Signature-Input и Signature-Agent. Публичный ключ лежит на сайте бота по адресу /.well-known/http-message-signature-directory. Cloudflare проверяет подпись на edge и помечает трафик как verified, а боты с корректной подписью быстрее одобряются в Verified Bots Program. Библиотеки для подписи есть на Rust (крейт web-bot-auth) и TypeScript (npm-пакет).
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Отказы бывают разной природы. Delta запрещает агентам бронировать билеты от имени пользователя, Yelp пускает их только через платную лицензию на данные, а банки закрывают агентов от клиентских аккаунтов из соображений безопасности.
Старые клиенты и сайты вне нового правила по умолчанию, пока его не включат вручную.
* Meta Platforms Inc. признана в РФ экстремистской организацией, её деятельность запрещена; Facebook и Instagram заблокированы. Meta AI и другие продукты компании — продукты этой организации.
Первоисточник