Screaming Frog: гайд для SEO-специалиста

Что такое Screaming Frog

Screaming Frog SEO Spider — десктопная программа от британской студии для технического SEO-аудита. Открывается на компьютере, не онлайн. Скачать можно с screamingfrog.co.uk.

Что делает: вы вводите URL сайта, программа ходит по всем внутренним ссылкам (как поисковый робот) и собирает данные о каждой странице:

• Код ответа (200, 301, 404, 500);
• Title, description, H1, H2;
• Размер страницы и время загрузки;
• Canonical, robots-метатеги;
• Микроразметка Schema.org;
• Изображения с alt-тегами и размерами;
• Входящие и исходящие ссылки;
• Структуру каталога и глубину страниц.

Всё это в одном Excel-подобном интерфейсе с фильтрами и сортировкой. Можно экспортировать в CSV. Это «многотул» технического SEO — без него не работают ни фрилансеры, ни агентства.

Установка и базовые настройки

Установка: скачиваете установщик с сайта, запускаете, ставите. Работает на Windows, Mac, Linux. Размер около 200 МБ.

Первый запуск. Программа открывается, вверху поле для ввода URL. Внизу — пустая таблица. Боковая панель — фильтры по типам страниц.

Базовые настройки перед первым crawl:

• Configuration → Spider → Crawl. Что краулить. Базово включены HTML-страницы, изображения, CSS, JS. Для среднего проекта оставьте как есть.
• Configuration → Spider → Limits. Лимиты глубины (по умолчанию неограничены) и общего количества URL. Для бесплатной версии — 500 URL.
• Configuration → User-Agent. Под каким User-Agent ходить. Обычно оставляют Screaming Frog SEO Spider — некоторые сайты блокируют. Можно поставить Googlebot или Yandex.
• Configuration → Custom → Custom Extraction. Для продвинутых: можно извлекать любые элементы со страницы через XPath или CSS-селекторы.

Для большинства задач хватает дефолтных настроек. Не лезьте сразу в advanced — погубите час на изучение того, что не пригодится.

Запуск crawl и понимание результатов

Вводите URL в поле сверху (например, https://ваш-сайт.ru/), нажимаете Start. Программа начинает обход.

Прогресс crawl: внизу показывается счётчик URL и процент выполнения. Для небольшого сайта (до 500 страниц) занимает 1–5 минут. Для крупного (10 000+) — несколько часов.

Окно результатов: верхняя таблица — список всех URL с базовыми параметрами. Внизу — вкладки с детализацией по выбранному URL.

Главные колонки в обзоре:

• Address — URL страницы;
• Status Code — код ответа (200 — норма, 301 — редирект, 404 — битая ссылка, 500 — серверная ошибка);
• Title 1 и его длина — должен быть, до 60–70 символов;
• Meta Description 1 и его длина — 140–160 символов;
• H1-1 — один на страницу;
• Word Count — количество слов в основном контенте.

Используйте фильтры в правой панели, чтобы быстро найти проблемы: например, «Title Too Short», «Missing H1», «Duplicate Description».

Ключевые отчёты для SEO-аудита

Response Codes. Сводка по кодам ответа: 200, 301, 302, 404, 500. Главное: 404 (битые ссылки) и 500 (серверные ошибки) нужно срочно исправлять. Большое количество 301 (редиректов) — проверить, не «цепочки» ли это (редирект на редирект на редирект — теряется вес).

Page Titles. Список всех title. Фильтры:

• Missing — нет title (срочно фиксить);
• Duplicate — одинаковые title на разных страницах (дубли);
• Over 60 characters — слишком длинные;
• Below 30 characters — слишком короткие.

Meta Description. То же самое для description.

H1. Аналогично для H1. Часто находятся страницы с 0 или 2+ H1.

Images. Все изображения сайта. Часто находятся изображения без alt-тега (плохо для SEO и доступности) и тяжёлые изображения (медленная загрузка).

Canonical. Все canonical-ссылки. Проверка: не указывает ли canonical на 404 или другой домен.

Internal links. Внутренние ссылки. Самые «весомые» страницы (с большим количеством inbound links) и страницы-«сироты» (0–1 ссылок).

Для технического аудита также полезны отчёты Sitemaps, Hreflang, Schema, JavaScript.

Технический аудит сайта за 30 минут — пошагово

Алгоритм быстрого аудита через Screaming Frog:

1. Запустите crawl (5–10 минут на средний сайт).
2. Откройте Response Codes. Сколько 404? Сколько 500? Если есть — это первый приоритет.
3. Откройте Page Titles → Duplicate. Сколько страниц с одинаковыми title? Часто оказывается, что на 100 страницах один и тот же title — это плохо.
4. Откройте Page Titles → Missing. Сколько страниц вообще без title? Срочно фиксить.
5. Откройте Meta Description → Missing. Аналогично.
6. Откройте H1 → Missing и Multiple. Страницы без H1 и с несколькими H1.
7. Откройте Images → Missing Alt Text. Часто на сотнях изображений нет alt — стоит добавлять хотя бы основные.
8. Откройте Internal → Crawl Depth. Глубоко ли спрятаны важные страницы. Если категории находятся на глубине 5+ кликов — нужна правка структуры.
9. Экспортируйте Excel. File → Export → All Pages. Дальше работаете в Excel: сортируете по важности, делаете план фиксов.

За 30 минут получаете список из 50–200 конкретных задач для исправления. Это и есть базовый технический аудит. Профессиональный SEO-аудит идёт глубже (анализ скорости, контента, конкурентов, ссылок), но скрин-фрог-аудит уже сильно лучше, чем ничего.

Анализ конкурентов через Screaming Frog

Screaming Frog можно использовать не только для своего сайта, но и для конкурентов. Полезно для конкурентного анализа.

Ограничения: бесплатная версия — 500 URL. Это значит, что для крупных конкурентов краулится только часть сайта. Но даже этого хватает понять структуру и подход.

Что искать у конкурентов:

• Структура сайта. Какие разделы, какая глубина, какая навигация.
• Шаблоны title. По каким формулам они строят title для категорий и страниц услуг.
• Микроразметка. Какие типы Schema.org используют. Если у них есть FAQPage, а у вас нет — теряете rich snippets.
• Скорость страниц. Колонка Response Time покажет, какие у них медленные страницы.
• Внутренняя перелинковка. Сколько внутренних ссылок ведёт на коммерческие страницы. Часто оказывается, что у конкурентов в топе на коммерческие страницы ведут 50–100 ссылок с блога — это паттерн.

Предупреждение: при крауле чужого сайта учитывайте robots.txt и не создавайте нагрузку на сервер. Снизьте скорость через Configuration → Speed.

Платная vs бесплатная версия

Бесплатная версия:

• До 500 URL за один crawl;
• Основные отчёты (Response Codes, Titles, Descriptions, H1, Images);
• Базовые настройки.

Платная версия (£259/год, около $250):

• Безлимит по количеству URL;
• Расписание crawl (запуск автоматически по расписанию);
• Сравнение crawl (для мониторинга миграций — что было / что стало);
• Интеграция с Search Console, Google Analytics, PageSpeed Insights;
• Custom extraction по XPath / CSS;
• JavaScript rendering (для SPA-сайтов на React, Vue);
• Custom robots.txt и поддержка staging-сайтов.

Для одного-двух небольших проектов хватает бесплатной версии. Если вы SEO-специалист с несколькими клиентами — платная окупается за месяц. Для агентств — безусловно платная.

Альтернативы Screaming Frog

• Sitebulb ($13/мес) — конкурент Screaming Frog с более красивыми отчётами и визуализацией. Чаще используется для презентаций клиентам. Функционально похож.
• Netpeak Spider (бесплатно с ограничениями) — украинская разработка, популярна в СНГ. Аналогичный функционал, чуть дешевле.
• JetOctopus — облачный краулер для крупных сайтов (миллионы страниц). Сильно дороже, но нужен для энтерпрайз-проектов.
• Botify — другой облачный энтерпрайз-краулер. От $1500/мес. Для маркетплейсов и крупных порталов.
• Ahrefs Site Audit — встроен в подписку Ahrefs (от $99/мес). Удобно если уже используете Ahrefs для других задач.

Для большинства задач Screaming Frog — золотой стандарт. Если бюджет позволяет $250/год, ставьте и работайте им. Альтернативы — только если у вас специфические требования (миллионы страниц, облачное решение, интеграция с конкретной CRM).

Главное

Частые вопросы