Парсинг сайтов: чем собирать данные с чужих страниц

Сначала посмотрите на сайт-источник. Простая разметка без защиты собирается визуальным конструктором и стоит копейки. Если страница закрыта проверками, отпечатками браузера и капчей, дешёвый парсер будет отдавать пустые ответы, и придётся брать сервис с обходом блокировок, где в цену уже заложены прокси.

Дальше считайте единицу расчёта. У одних платформ это тысяча запросов, у других кредиты, у третьих гигабайты трафика через резидентные прокси, а капча и рендер страницы почти везде тарифицируются отдельно. Один и тот же объём данных в разных прайсах отличается в разы.

Прайс парсера почти никогда не считается в страницах. Каждый сервис берёт свою единицу: кредит, запрос, адрес, запись, гигабайт трафика. Суммы с витрин из-за этого не сравниваются напрямую. Мы свели тарифы к одной задаче — собрать 10 000 страниц за месяц — и пересчитали в рубли.

Разброс в тридцать раз держится на том, что кредит и страница — разные величины. Простой запрос к статической странице списывает один кредит. Тот же адрес с рендером JavaScript и резидентным прокси стоит уже несколько кредитов, и счёт растёт во столько же раз. У Web Scraper это написано прямым текстом: цена за тысячу адресов поднимается при полном рендере страниц.

Сверх тарифа считают то, без чего крупный сбор не идёт. Резидентные прокси стоят 3 $ за гигабайт у Octoparse и от 5 $ у Bright Data, решение капчи — 1–1,5 $ за тысячу. У Apify вычисления отделены от подписки: 29 $ в месяц за тариф Starter плюс 0,2 $ за единицу вычислений по факту. Вторая половина счёта набегает именно тут.

Когда нужен готовый результат без настройки, ближе оплата за записи. У Bright Data для этого есть собранные парсеры, у Octoparse — шаблоны по 0,001–3 $ за тысячу записей с ценой, которая зависит от сложности сайта.

Бесплатный доступ есть у шести сервисов раздела из восьми, и по смыслу он разный.

Расширение Web Scraper — единственный вариант без потолка по объёму: страницы открывает ваш браузер вашим же соединением, платить тут не за что. Цена такого сбора — время и занятый компьютер. Остальные бесплатные тарифы упираются в лимит за месяц или за прогон, после него сбор останавливается до оплаты.