A-Parser

Настольная программа для сбора данных из выдачи и с сайтов: сотни готовых парсеров, свои сценарии на JavaScript, работа в много потоков через прокси.

Это программа, которая ставится на вашу машину: Windows, Linux или macOS через Docker, управление через веб-интерфейс. Из этого растёт вся разница с облачными сервисами сбора данных.

Лимитов, кроме ваших собственных, нет. Скорость упирается в железо и прокси, а тариф тут ни при чём: сервис заявляет до трёх тысяч одновременных потоков и несколько тысяч запросов в минуту. Данные никуда не уходят — они остаются на вашем сервере. И задача может быть какой угодно: если готового парсера нет, он пишется на JavaScript.

Обратная сторона честная. Нужен сервер, который это потянет, нужны прокси, и нужен человек, который разберётся в очереди заданий, пресетах и распознавании капчи. Для разовой задачи проще взять облачный сервис.

Программа универсальная, поэтому набор задач у неё широкий — и по нему видно, за что её берут в разных отраслях.

Это направление у программы появилось недавно, и оно стоит отдельного разговора, потому что задача новая.

Часть поискового трафика теперь заканчивается в ответе нейросети: человек спросил, получил готовый текст и никуда не пошёл. Для бренда вопрос превращается в такой: упоминают ли нас модели, в каком контексте и на какой позиции внутри ответа.

Проверить это можно только одним способом — задать сотни вопросов и разобрать ответы. Руками это невозможно, через официальные API дорого. Программа собирает ответы через веб или API десятками в секунду, и дальше с ними работают как с обычной выдачей: считают частоту упоминаний, ищут конкурентов, смотрят, на какие источники модель ссылается.

Прокси здесь идут расходным материалом: без них поисковики и крупные сайты быстро закрывают доступ. Разработчики продают их сами, тремя типами, и разница между ними в геотаргетинге.

Безлимитные прокси — от 10 долларов в неделю с оплатой за потоки и без ограничения трафика. Premium — резидентные адреса, пул больше 10 миллионов IP, выбор из 150 с лишним стран, от 0,9 доллара за гигабайт. Premium Mix — те же резидентные адреса без привязки к конкретной стране, от 0,3 доллара за гигабайт.

Практический выбор простой. Если география не важна, берут Mix: он втрое дешевле. Точный геотаргетинг нужен там, где вы снимаете выдачу по регионам или работаете с рекламными сетями.

Вокруг программы есть каталог со 110 с лишним дополнительными парсерами и пресетами бесплатно, документация, YouTube-канал, форум и телеграм-чат на 3 700 с лишним участников. Разработчик — Web42 Solutions LTD, заявлено больше трёх тысяч клиентов.