4 сентября 2026 г.
Google-выдачу своим скрейпером не взять даже с ИИ: Питер Левелс платит $99 в месяц
Питер Левелс неделями собирал свой скрейпер Google-выдачи, упёрся в блокировки и вернулся к чужому сервису за $99 в месяц.
@levelsio
@levelsio
Я неделями пытался собрать свой @ScrapingBee, и ИИ раз за разом говорил мне, что не справится 80% моего скрейпинга — это выдача Google для Hotelist, и даже с residential-прокси, сервисами решения капчи и скрейпером OpenSERP он не тянет тысячи запросов, его просто блокируют Так что буду и дальше платить им $99/мес Хороший тест, чтобы понять, какие сервисы уцелеют теперь, когда AGI здесь Из SaaS у меня остались только: - Cloudflare Domains - Cloudflare Email Sending - Cloudflare R2 Storage (в основном для Photo AI и бэкапов базы через Litestream) - Backblaze B2 для бэкапов - Hetzner для всех серверов всех моих сайтов (VPS) - xAI для всех LLM на всех моих сайтах (куча всего: модерация, письма, что угодно) - Scrapingbee
· 21,1 тыс. просмотров
ИИ раз за разом отвечал ему: не смогу. Питер Левелс неделями собирал свою замену ScrapingBee и бросил.
Он сам назвал это тестом на то, какие сервисы переживут ИИ. Скрейпинг Google переживёт: платят тут не за код, а за то, что запрос доходит до выдачи.
80% его скрейпинга — выдача Google для Hotelist. Он взял residential-прокси, сервисы решения капчи и OpenSERP, но на тысячах запросов запросы просто блокировались.
Дело не в руках. С 15 января 2025 Google отдаёт выдачу только при включённом JavaScript и объясняет это защитой от ботов и спама. Рангтрекеры и SEO-инструменты тогда переехали на headless-браузеры, и обработка стала дороже и медленнее.
За $99 в месяц ScrapingBee отдаёт тариф Startup: миллион кредитов, 100 параллельных запросов и доступ к Google Search API. Один SERP-запрос стоит 10 кредитов в облегчённом режиме и 15 в обычном, то есть 100 тысяч лёгких запросов или 66 тысяч полных в месяц. Тарифы за $19 и $49 Google Search API не включают вовсе.
Чужие SERP-API считают деньги по-разному:
Bright Data. $1,50 за 1000 запросов по факту, 5000 запросов в месяц бесплатно, план Scale $499 за 380 тысяч.
SerpApi. $25 за 1000 поисков, $150 за 15 000, $725 за 100 000.
Google Custom Search JSON API. 100 запросов в день бесплатно, дальше $5 за 1000 с потолком 10 тысяч в день. Новых клиентов туда уже не берут.
Свой поставить можно. OpenSERP запускается одной командой `docker run --rm -p 127.0.0.1:7000:7000 karust/openserp:latest serve -a 0.0.0.0 -p 7000`, знает шесть движков от Google до Yandex, ходит через HTTP и SOCKS5-прокси и умеет сырой HTTP или браузерный рендер. На тысячах запросов Левелс на нём и встал.
Платных сервисов у него осталось семь: серверы Hetzner, все модели через xAI, три сервиса Cloudflare, бэкапы Backblaze и тот самый ScrapingBee.
Google Custom Search JSON API закрыт для новых клиентов, действующим дали срок до 1 января 2027.
Первоисточник