Серверные логи фиксируют каждый запрос к сайту: IP, User-Agent (заголовок браузера), URL, код ответа, время. Анализ логов показывает, что именно делают поисковые роботы: какие страницы обходят, как часто, какие игнорируют, где наталкиваются на ошибки.
Используется на крупных сайтах для оптимизации crawl budget. Помогает найти проблемы: робот тратит время на дубли, не доходит до важных страниц, упирается в редирект-цепочки. Инструменты: Screaming Frog Log Analyzer, JetOctopus, Botify.
# Каждый запрос к серверу — одна строка 178.130.143.156 - - [05/Jun/2026:14:47:38 +0000] "GET /glossary/canonical/ HTTP/1.1" 200 12035 # IP таймштамп метод URL код размер 66.249.66.1 - - [05/Jun/2026:14:48:12 +0000] "GET / HTTP/1.1" 200 43704 "Googlebot/2.1" # Полезно для: # - анализа crawl budget (как часто роботы ходят) # - поиска 404/5xx (битые URL) # - обнаружения брутфорса и парсинга
В логах Yandexbot за неделю: 80% хитов — фильтры каталога, 12% — карточки товаров. Видно, что краулер расходует бюджет на дубли, основной контент остаётся без обхода.
Логи — единственный источник, который показывает реальное поведение робота, а не оценочное. Crawl budget в Яндекс.Вебмастере и Google Search Console виден агрегированно («страниц в сутки»), но не отвечает, ЧТО именно обходит краулер. В сырых access-логах nginx или Apache вы фильтруете по User-Agent (Mozilla/5.0 (compatible; YandexBot/3.0) и Googlebot), сверяете обратный DNS (host по IP должен резолвиться в *.yandex.ru / *.googlebot.com), отсекаете фейковых ботов и парсеров — и только потом считаете распределение хитов по разделам.
Главные находки в логах почти всегда одинаковы: робот упирается в коды 5xx и 404, ходит по цепочкам 301→301→200, тратит бюджет на страницы с параметрами (?sort=, ?utm_) вместо канонических. Сравните список URL, которые краулер реально посещал, со своей sitemap.xml: страницы из карты, отсутствующие в логах за месяц, — это «слепые зоны», до которых обход не доходит. Обратное тоже важно: массовые хиты по путям, закрытым в robots.txt, означают, что робот всё равно их запрашивает, и стоит убрать ссылки на них из внутренней перелинковки.
Каждая строка — запрос: IP, User-Agent, URL, код ответа, размер, время; за месяц это десятки миллионов строк на крупном сайте.
Отделяете настоящего YandexBot/Googlebot по reverse DNS, считаете хиты по разделам и сверяете с sitemap и canonical.
Закрываете дубли с параметрами, чините цепочки редиректов и 5xx — обход переключается на коммерчески важные страницы.
В логах интернет-магазина за месяц 41% хитов Googlebot пришлись на URL с ?utm_source= и ?sort=price (внутренние ссылки тянули UTM-метки), 9% — на 301-редиректы со старого http. После добавления rel=canonical и чистки внутренних ссылок доля «полезных» хитов выросла с 50% до 78%, а свежие карточки стали попадать в индекс за 2–3 дня вместо 2–3 недель.