Главная›Инструменты›Генератор robots.txt

Генератор robots.txt

Собирает корректный robots.txt для Яндекса и Google: правила Disallow/Allow, Sitemap, Host и Crawl-delay. Пресеты быстро закрывают служебные разделы. Всё в браузере.

Открыть весь сайт Закрыть весь сайт Закрыть служебное (CMS)
robots.txt
—
Скопировано ✓

Как пользоваться

  1. «Закрыть служебное» подставит типовые пути CMS, либо впишите свои в Disallow.
  2. Добавьте адрес карты сайта — поисковики найдут её быстрее.
  3. Готовый файл — ниже. Положите его в корень сайта.

Частые вопросы

Что обязательно в robots.txt?

Директива User-agent и хотя бы одно правило (Disallow/Allow). Крайне желательно указать Sitemap. Файл должен лежать в корне: site.ru/robots.txt.

Нужен ли Host?

Директива Host устарела (Яндекс отказался от неё) — оставлена для совместимости со старыми системами. Главный сигнал зеркала сейчас — 301-редирект и Sitemap.

Данные куда-то отправляются?

Нет. Всё работает прямо в браузере на JavaScript — список никуда не загружается и не сохраняется на сервере.

Ещё инструменты для списков

Объединение столбцов, комбинатор «каждый с каждым», нумерация и другие операции — в разделе инструментов.

Все инструменты Семантическое ядро