Crawl budget — количество страниц, которые поисковый робот успевает обойти на сайте за единицу времени. Зависит от веса домена, скорости сервера, отсутствия ошибок и качества контента.
На небольшом сайте (до 1000 страниц) crawl budget редко становится проблемой. На крупных каталогах с миллионом URL — критичен: робот может не дойти до важных страниц, если расходует бюджет на мусор. Лечится через robots.txt, canonical, удаление soft-404, оптимизацию sitemap.
Пример из практики
Каталог из 1,2 млн URL, каждый с фильтрами в URL → 50 млн комбинаций. Без robots.txt и canonical поисковик тратит весь бюджет на дубли и не доходит до новых товаров.