Генератор robots.txt
Собирает корректный robots.txt для Яндекса и Google: правила Disallow/Allow, Sitemap, Host и Crawl-delay. Пресеты быстро закрывают служебные разделы. Всё в браузере.
Пример: вход → результат
Закрыть /admin/ и /cart/, указать sitemap
User-agent: * Disallow: /admin/ Disallow: /cart/ Sitemap: https://site.ru/sitemap.xml
Собирает корректный robots.txt по галочкам: что закрыть, для каких роботов, где лежит sitemap.
Когда пригодится
- Закрыть служебные разделы от индексации
- Сделать robots.txt для нового сайта
- Указать host и адрес карты сайта
Как собрать правильный robots.txt
robots.txt говорит роботу, что обходить, а что нет. Инструмент собирает корректный файл: закрывает служебное, оставляет нужное, указывает sitemap.
Когда пригодится: закрыть служебные разделы, не отрезать лишнее, указать путь к карте сайта.
Как это встроить в работу над сайтом — в разборе robots.txt и sitemap.xml.
Как пользоваться
- «Закрыть служебное» подставит типовые пути CMS, либо впишите свои в Disallow.
- Добавьте адрес карты сайта — поисковики найдут её быстрее.
- Готовый файл — ниже. Положите его в корень сайта.
Частые вопросы
Что обязательно в robots.txt?
Директива User-agent и хотя бы одно правило (Disallow/Allow). Крайне желательно указать Sitemap. Файл должен лежать в корне: site.ru/robots.txt.
Нужен ли Host?
Директива Host устарела (Яндекс отказался от неё) — оставлена для совместимости со старыми системами. Главный сигнал зеркала сейчас — 301-редирект и Sitemap.
Данные куда-то отправляются?
Нет. Всё работает прямо в браузере на JavaScript — список никуда не загружается и не сохраняется на сервере.
Похожие инструменты
Как применять это в продвижении — в разборе robots.txt и sitemap.xml и других материалах блога. Как это работает — в статьях Как закрыть сайт от индексации и Почему сайт не индексируется.
Ещё инструменты для списков
Объединение столбцов, комбинатор «каждый с каждым», нумерация и другие операции — в разделе инструментов.