ПаветтаCrawl budget — количество страниц, которые поисковый робот успевает обойти на сайте за единицу времени. Зависит от веса домена, скорости сервера, отсутствия ошибок и качества контента.
На небольшом сайте (до 1000 страниц) crawl budget редко становится проблемой. На крупных каталогах с миллионом URL — критичен: робот может не дойти до важных страниц, если расходует бюджет на мусор. Лечится через robots.txt, canonical, удаление soft-404, оптимизацию sitemap.
Каталог из 1,2 млн URL, каждый с фильтрами в URL → 50 млн комбинаций. Без robots.txt и canonical поисковик тратит весь бюджет на дубли и не доходит до новых товаров.
Размер бюджета не задаётся вручную — его выставляет сам поисковик, исходя из скорости ответа сервера и того, сколько мусора он находит. Замедлился хостинг до 800 мс на запрос или посыпались 5xx — робот снижает частоту обхода, чтобы не «уронить» сайт. Поэтому первый рычаг управления бюджетом не robots.txt, а время ответа: держите TTFB до 200 мс, и Яндекс с Google будут готовы обходить больше URL за тот же интервал.
Проверять расход бюджета нужно по логам сервера, догадки тут не помогут. В access-логах видно, на какие URL реально ходит YandexBot и Googlebot и сколько раз: если 60% обращений приходится на страницы с параметрами сортировки и пагинацию, бюджет утекает в дубли. В Яндекс Вебмастере это видно в «Статистике обхода» (сколько страниц в день, какие коды ответа), в Google Search Console — в отчёте «Статистика сканирования». Частая ошибка — закрыть мусор в robots.txt, но оставить на него внутренние ссылки: робот всё равно ставит URL в очередь и тратит на него обращения.
Число URL, которые робот скачивает за интервал, до которого ему хватает терпения и ресурсов сервера.
Фильтры, сортировки и пагинация плодят миллионы URL, и бюджет уходит на них вместо новых товаров.
Canonical и robots на мусор, быстрый TTFB, актуальный sitemap с приоритетами и lastmod.
Бюджет тратится на всё, что робот запрашивает, включая мусор: страницы фильтров и сортировок, дубли с параметрами, цепочки редиректов, служебные адреса и несуществующие страницы. На крупном каталоге такие адреса легко забирают половину обхода, и до новых товаров робот доходит через недели.
Диагностика делается по логам сервера: сводка обращений робота по разделам и кодам ответа сразу показывает, куда уходит обход. Дальше закрывают параметры в файле для роботов, чинят цепочки перенаправлений, убирают ссылки на несуществующие страницы и ускоряют ответ сервера. Чем быстрее отдаётся страница, тем больше адресов робот успевает забрать за то же время.
Частые вопросы
Когда об этом стоит беспокоиться?
На сайтах от нескольких тысяч страниц, в каталогах с фильтрами и на проектах с частым обновлением ассортимента. Для сайта услуг на сотню страниц бюджета обхода хватает с запасом.
Как узнать, куда уходит обход?
По логам веб-сервера: сгруппируйте обращения робота по разделам и кодам ответа за неделю. Сразу видно долю мусорных адресов, цепочек перенаправлений и несуществующих страниц.
Что чаще всего съедает бюджет?
Страницы фильтров и сортировок с параметрами, дубли одной страницы в разных формах адреса, цепочки редиректов, служебные разделы и ссылки на удалённые страницы. Всё это закрывают правилами и чинят ссылками.
Помогает ли карта сайта увеличить обход?
Она помогает роботу найти адреса, но не увеличивает лимит. Если бюджет тратится на мусор, добавление карты ситуацию не меняет: сначала убирают лишнее и ускоряют сервер.