Crawl budget — количество страниц, которые поисковый робот успевает обойти на сайте за единицу времени. Зависит от веса домена, скорости сервера, отсутствия ошибок и качества контента.
На небольшом сайте (до 1000 страниц) crawl budget редко становится проблемой. На крупных каталогах с миллионом URL — критичен: робот может не дойти до важных страниц, если расходует бюджет на мусор. Лечится через robots.txt, canonical, удаление soft-404, оптимизацию sitemap.
Каталог из 1,2 млн URL, каждый с фильтрами в URL → 50 млн комбинаций. Без robots.txt и canonical поисковик тратит весь бюджет на дубли и не доходит до новых товаров.
Размер бюджета не задаётся вручную — его выставляет сам поисковик, исходя из скорости ответа сервера и того, сколько мусора он находит. Замедлился хостинг до 800 мс на запрос или посыпались 5xx — робот снижает частоту обхода, чтобы не «уронить» сайт. Поэтому первый рычаг управления бюджетом не robots.txt, а время ответа: держите TTFB до 200 мс, и Яндекс с Google будут готовы обходить больше URL за тот же интервал.
Проверять расход бюджета нужно по логам сервера, а не по догадкам. В access-логах видно, на какие URL реально ходит YandexBot и Googlebot и сколько раз: если 60% обращений приходится на страницы с параметрами сортировки и пагинацию, бюджет утекает в дубли. В Яндекс Вебмастере это видно в «Статистике обхода» (сколько страниц в день, какие коды ответа), в Google Search Console — в отчёте «Статистика сканирования». Частая ошибка — закрыть мусор в robots.txt, но оставить на него внутренние ссылки: робот всё равно ставит URL в очередь и тратит на него обращения.
Число URL, которые робот скачивает за интервал, до которого ему хватает терпения и ресурсов сервера.
Фильтры, сортировки и пагинация плодят миллионы URL, и бюджет уходит на них вместо новых товаров.
Canonical и robots на мусор, быстрый TTFB, актуальный sitemap с приоритетами и lastmod.