17 сентября 2026 г.
Данные российских брокеров стали сырьём для ИИ: доля скраперов выросла до 68,82%
В августе 2026 года скраперы дали 68,82% ИИ-запросов к сайтам российских брокеров против 7% в июне: 5,5 млн против 420 тыс. («Ведомости», 17 сентября 2026 года). Общий ИИ-трафик вырос с 6 млн до 8 млн запросов, а в июне частные инвесторы сделали 922 млн запросов и доля ИИ-трафика составляла около 0,7% (Servicepipe, 8 июля 2026 года; CNews, 17 сентября 2026 года). В августе бот Meta дал 55,14% ИИ-запросов, более 3 млн, ClaudeBot компании Anthropic 27,78%, более 1,5 млн, а GPTBot, Bytespider и TikTokSpider 8,83%, 6,36% и 0,53% соответственно (CNews, 17 сентября 2026 года).
Скраперы скачивают страницы и извлекают тексты, таблицы и другие данные для обучения моделей. Краулеры строят поисковый индекс, а ассистенты обращаются к страницам по вопросам пользователей («Ведомости», 17 сентября 2026 года).
Рычаг сайта. ClaudeBot можно закрыть в robots.txt строками `User-agent: ClaudeBot` и `Disallow: /`, а GPTBot можно запретить, чтобы общедоступный контент не использовался для обучения моделей. Google-Extended отдельно управляет использованием контента для будущих моделей Gemini и не влияет на присутствие в Google Search и рейтинг сайта (документы Anthropic и OpenAI, 17 сентября 2026 года; Google, 14 июля 2026 года).
Следующая развилка для владельцев сайта: разрешать ли ClaudeBot и GPTBot собирать общедоступные страницы для обучения моделей.
* Meta Platforms Inc. признана в РФ экстремистской организацией, её деятельность запрещена; Facebook и Instagram заблокированы. Meta AI и другие продукты компании — продукты этой организации.
Первоисточник
