ПаветтаПоисковый робот (краулер, паук) переходит по ссылкам, скачивает HTML и передаёт в индекс. Googlebot и Яндекс-бот — основные для рунета.
Управление роботом: robots.txt, meta robots, каноникал, sitemap. Анализ логов показывает, какие страницы робот реально обходит.
Робот обходит сайт по очереди URL, которую формирует планировщик, подряд он не ходит: новые и часто меняющиеся страницы он навещает чаще, «мёртвые» разделы — раз в недели. На этот ритм влияет краулинговый бюджет — если на сайте десятки тысяч мусорных URL (фильтры, сортировки, сессионные параметры), робот тратит обходы на них и не доходит до новых карточек. Поэтому закрывать дубли в robots.txt и склеивать через каноникал нужно чтобы перенаправить обход на важное.
Частая ошибка — путать запрет обхода и запрет индексации. Disallow в robots.txt не убирает страницу из выдачи: робот не скачивает её, но URL может попасть в индекс по внешним ссылкам с пустым сниппетом. Чтобы выкинуть страницу, нужен meta robots noindex или заголовок X-Robots-Tag — но тогда страницу нельзя закрывать в robots.txt, иначе робот не увидит сам тег. Проверять реальное поведение удобнее всего по логам сервера: там видно, какой бот, как часто и какие коды ответа получает.
Разрешает или запрещает скачивание URL, но не управляет попаданием в выдачу.
noindex убирает страницу из индекса — но только если робот может её скачать и прочитать тег.
Указывает роботу основной URL среди дублей, чтобы вес и сниппет шли на одну страницу.
Интернет-магазин на 4000 товаров генерил из фильтров около 120 000 URL вида /catalog/?color=red&size=42&sort=price. По логам Яндекс-бот тратил 70% обходов на эти комбинации, а свежие карточки попадали в индекс через 3-4 недели. Закрыли параметры через Clean-param и robots.txt — за месяц доля обходов товарных страниц выросла с 18% до 61%, среднее время индексации новинки упало до 2-3 дней.
Под видом поискового робота часто ходят парсеры и сканеры уязвимостей. Проверяют подлинность обратным запросом по адресу: у настоящего робота Google и Яндекса адрес разрешается в их домен, и обратное разрешение возвращает тот же адрес. По одному названию в строке агента судить нельзя, оно подделывается за секунду.
Управляют обходом тремя способами: правила в файле для роботов ограничивают разделы, метатег закрывает конкретную страницу от индексации, скорость обхода настраивается в панели вебмастера Яндекса. Директива задержки Google не поддерживает. Что робот делает на самом деле, показывают логи сервера: там видно, какие разделы он обходит и какие коды получает.
Частые вопросы
Как проверить, что это настоящий поисковый робот?
Обратным разрешением адреса: у настоящих роботов Google и Яндекса он разрешается в их домен и обратно в тот же адрес. Название в строке агента ничего не доказывает, его подделывают.
Как ограничить нагрузку от обхода?
Скорость обхода Яндекса настраивается в панели вебмастера, Google подстраивается сам и директиву задержки не поддерживает. Тяжёлые разделы вроде фильтров закрывают правилами, а сервер ускоряют.
Чем запрет в файле для роботов отличается от метатега?
Правило в файле запрещает загружать страницу, метатег запрещает включать её в индекс. Закрытая правилом страница может попасть в выдачу без описания, поэтому для исключения из индекса используют метатег и оставляют доступ к странице.
Где посмотреть, что робот делает на сайте?
В логах веб-сервера: сводка по разделам и кодам ответа показывает, куда уходит обход. Панели вебмастера дают статистику обхода и список страниц с ошибками.