Анализ логов

Серверные логи фиксируют каждый запрос к сайту: IP, User-Agent (заголовок браузера), URL, код ответа, время. Анализ логов показывает, что именно делают поисковые роботы: какие страницы обходят, как часто, какие игнорируют, где наталкиваются на ошибки.

Используется на крупных сайтах для оптимизации crawl budget. Помогает найти проблемы: робот тратит время на дубли, не доходит до важных страниц, упирается в редирект-цепочки. Инструменты: Screaming Frog Log Analyzer, JetOctopus, Botify.

# Каждый запрос к серверу — одна строка
178.130.143.156 - - [05/Jun/2026:14:47:38 +0000] "GET /glossary/canonical/ HTTP/1.1" 200 12035
# IP                  таймштамп                  метод   URL                              код  размер

66.249.66.1 - - [05/Jun/2026:14:48:12 +0000] "GET / HTTP/1.1" 200 43704 "Googlebot/2.1"

# Полезно для:
# - анализа crawl budget (как часто роботы ходят)
# - поиска 404/5xx (битые URL)
# - обнаружения брутфорса и парсинга