Серверные логи фиксируют каждый запрос к сайту: IP, User-Agent (заголовок браузера), URL, код ответа, время. Анализ логов показывает, что именно делают поисковые роботы: какие страницы обходят, как часто, какие игнорируют, где наталкиваются на ошибки.
Используется на крупных сайтах для оптимизации crawl budget. Помогает найти проблемы: робот тратит время на дубли, не доходит до важных страниц, упирается в редирект-цепочки. Инструменты: Screaming Frog Log Analyzer, JetOctopus, Botify.
Пример из практики
В логах Yandexbot за неделю: 80% хитов — фильтры каталога, 12% — карточки товаров. Видно, что краулер расходует бюджет на дубли, основной контент остаётся без обхода.