Программа ставится на компьютер и ползёт по сайту от ссылки к ссылке. На выходе — список всех URL с кодами ответа, тайтлами, дескрипшенами, заголовками H1, директивами robots и canonical. Битые ссылки, цепочки редиректов, дубли метатегов, страницы без H1 — всё видно сразу.
Бесплатная версия обходит до 500 URL, чего хватает для небольшого сайта. На крупных проектах беру платную лицензию и подключаю рендеринг JavaScript, чтобы краулер видел контент так же, как Googlebot. Связка со Search Console и Analytics через API добавляет к каждому URL данные по трафику.
Программа сканирует сайт с компьютера, как робот поисковика.
Бесплатно обходит до 500 адресов, дальше нужна лицензия.
Находит ошибки 404, редиректы и дубли <title> за минуты.
Запустили SEO-аудит сайта на 4000 страниц: краулер за 20 минут нашёл 320 битых ссылок, 45 страниц с дублями <title> и 12 редирект-цепочек. До — ничего не знали, после — готовый список на исправление.
Главный риск десктопного краулера — обходить сайт не так, как его видит поисковик. По умолчанию Frog игнорирует лимиты, и на крупном проекте он может за минуты выгрести тысячи бесполезных URL фильтров и сортировок, раздув краулинговый бюджет в отчёте и спрятав реальные проблемы. Поэтому перед запуском в Configuration подключают robots.txt и list-режим по sitemap, а для аудита под Яндекс полезно менять User-Agent на YandexBot — иногда сервер отдаёт боту другой контент или редиректы, которых в обычном браузере не видно.
Сильнее всего Frog раскрывается в связке отчётов. Одного прогона для этого мало. Bulk Export → Response Codes выгружает все битые ссылки с указанием страниц-источников, чтобы чинить точечно. Вкладка Inlinks показывает внутреннюю перелинковку и orphan-страницы — те, на которые нет ни одной ссылки и которые краулер находит только из sitemap. Подключив API Search Console и Метрики, к каждому URL добавляют клики и визиты: так сразу видно, какие 404 реально приносили трафик и горят, а какие — мёртвый хвост, который можно просто закрыть редиректом или оставить.
Бесплатная версия обходит до пятисот адресов, чего хватает небольшому сайту целиком и любому сайту для проверки отдельного раздела. Первые отчёты после обхода всегда одни и те же: коды ответов, дубли заголовков и описаний, страницы без заголовка первого уровня, цепочки перенаправлений, глубина вложенности.
Отдельный режим обходит сайт с исполнением скриптов и показывает страницу глазами робота: он нужен проектам на фреймворках, где содержимое рисуется в браузере. Обход крупного каталога ограничивают скоростью, чтобы не уронить сервер, и запускают в нерабочее время.
Частые вопросы
Что проверять сразу после обхода?
Коды ответов и битые ссылки, дубли заголовков и описаний, страницы без заголовка первого уровня, цепочки перенаправлений, глубину вложенности и адреса, закрытые от индексации по ошибке.
Хватает ли бесплатной версии?
Для сайта до пятисот адресов хватает целиком, для крупного — на проверку отдельного раздела. Ограничение снимается платной лицензией, которая нужна при регулярной работе с каталогами.
Как обойти сайт на JavaScript?
Включить режим отрисовки: программа исполнит скрипты и покажет итоговую разметку. Сравнение обычного и отрисованного обхода сразу выявляет содержимое, которое робот без исполнения скриптов не увидит.
Не уронит ли обход сервер?
Может, если оставить высокую скорость на слабом хостинге. Ограничьте число потоков и запросов в секунду и запускайте обход в часы низкой нагрузки.