Программа ставится на компьютер и ползёт по сайту от ссылки к ссылке. На выходе — список всех URL с кодами ответа, тайтлами, дескрипшенами, заголовками H1, директивами robots и canonical. Битые ссылки, цепочки редиректов, дубли метатегов, страницы без H1 — всё видно сразу.
Бесплатная версия обходит до 500 URL, чего хватает для небольшого сайта. На крупных проектах беру платную лицензию и подключаю рендеринг JavaScript, чтобы краулер видел контент так же, как Googlebot. Связка со Search Console и Analytics через API добавляет к каждому URL данные по трафику.
Программа сканирует сайт с компьютера, как робот поисковика.
Бесплатно обходит до 500 адресов, дальше нужна лицензия.
Находит ошибки 404, редиректы и дубли <title> за минуты.
Запустили SEO-аудит сайта на 4000 страниц: краулер за 20 минут нашёл 320 битых ссылок, 45 страниц с дублями <title> и 12 редирект-цепочек. До — ничего не знали, после — готовый список на исправление.
Главный риск десктопного краулера — обходить сайт не так, как его видит поисковик. По умолчанию Frog игнорирует лимиты, и на крупном проекте он может за минуты выгрести тысячи бесполезных URL фильтров и сортировок, раздув краулинговый бюджет в отчёте и спрятав реальные проблемы. Поэтому перед запуском в Configuration подключают robots.txt и list-режим по sitemap, а для аудита под Яндекс полезно менять User-Agent на YandexBot — иногда сервер отдаёт боту другой контент или редиректы, которых в обычном браузере не видно.
Сильнее всего Frog раскрывается в связке отчётов, а не в одном прогоне. Bulk Export → Response Codes выгружает все битые ссылки с указанием страниц-источников, чтобы чинить точечно. Вкладка Inlinks показывает внутреннюю перелинковку и orphan-страницы — те, на которые нет ни одной ссылки и которые краулер находит только из sitemap. Подключив API Search Console и Метрики, к каждому URL добавляют клики и визиты: так сразу видно, какие 404 реально приносили трафик и горят, а какие — мёртвый хвост, который можно просто закрыть редиректом или оставить.