robots.txt и sitemap.xml: что это и как настроить

Что такое robots.txt

robots.txt — это текстовый файл с инструкциями для поисковых роботов. Лежит в корне сайта, доступен по адресу https://ваш-сайт.ru/robots.txt.

Когда поисковый робот Яндекса или Google заходит на сайт, первое, что он делает — открывает robots.txt и читает, куда можно ходить, а куда нет. Если файла нет — робот считает, что можно везде. Если файл есть, но с ошибкой — может случайно закрыть весь сайт.

Robots.txt — это рекомендация, а не запрет на 100%. «Хорошие» роботы (Яндекс, Google, Bing) её соблюдают. «Плохие» (парсеры, спам-боты) — игнорируют. Поэтому robots.txt не используют для защиты приватных данных — он только для управления индексацией.

Базовая логика проста: пишете директивы, что можно («Allow») и что нельзя («Disallow») для конкретных разделов сайта.

Как написать robots.txt — рабочие шаблоны

Минимальный рабочий robots.txt для большинства сайтов:

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /search
Disallow: /*?utm_
Allow: /

Sitemap: https://ваш-сайт.ru/sitemap.xml

Что здесь:

• User-agent: * — правила для всех роботов;
• Disallow: /admin — закрываем админку;
• Disallow: /cart — корзину (нечего индексировать);
• Disallow: /search — внутренний поиск сайта;
• Disallow: /*?utm_ — страницы с UTM-метками (дубли);
• Allow: / — всё остальное можно индексировать;
• Sitemap: — ссылка на карту сайта.

Для интернет-магазина добавьте закрытие фасетной навигации с мусорными параметрами:

Disallow: /*?sort=
Disallow: /*?order=
Disallow: /*&filter=

Для блога закройте служебные страницы:

Disallow: /author/
Disallow: /tag/
Disallow: /feed/

Раздельные правила для Яндекса и Google (если нужны):

User-agent: Yandex
Disallow: /admin
Crawl-delay: 2

User-agent: Googlebot
Disallow: /admin

Crawl-delay: 2 — пауза между запросами в секундах. Полезно, если сервер слабый. Google эту директиву игнорирует, Яндекс — соблюдает.

Топ-7 ошибок в robots.txt

1. Disallow: / без условий. Это закрывает весь сайт от индексации. Самая частая ошибка после тестового сервера или переноса. Проверяйте сразу после релиза!
2. Закрытие CSS и JS. «Disallow: /css/», «Disallow: /js/» — нельзя. Поисковики читают эти файлы, чтобы понять, как страница выглядит. Без них хуже ранжируется.
3. Закрытие важных разделов. «Disallow: /catalog/» — и каталог не в индексе. Перепроверяйте, что закрываете.
4. Пробелы перед директивами. « Disallow:» — с пробелом не работает. Только без пробела в начале строки.
5. Использование robots.txt для скрытия конфиденциальных данных. Файл публичный — все его видят. Не пишите туда пути к админке и тестовым серверам, это инструкция для злоумышленника. Используйте авторизацию.
6. Отсутствие ссылки на sitemap. Без неё робот не знает, где карта сайта. Всегда добавляйте «Sitemap:» в конце файла.
7. Кириллические URL без правильной кодировки. «Disallow: /категория» работает не везде. Лучше использовать URL-encoded формат или сразу транслит.

Что такое sitemap.xml

sitemap.xml — это карта сайта в формате XML, в которой перечислены все важные страницы. Лежит в корне сайта (https://ваш-сайт.ru/sitemap.xml) или указывается в robots.txt.

Зачем нужен sitemap, если робот и так может ходить по ссылкам:

• Ускоряет индексацию. Робот видит весь список страниц сразу — не нужно ходить по ссылкам, чтобы их найти. Особенно важно для новых сайтов и больших каталогов.
• Помогает найти страницы без внутренних ссылок. Если на страницу никто не ссылается, робот её не найдёт. Sitemap решает.
• Передаёт метаданные. Можно указать дату последнего изменения, приоритет, частоту обновлений.

Без sitemap сайт тоже будет индексироваться, но медленнее. Подробнее про ускорение индексации — в отдельной статье.

Как создать sitemap.xml

Три способа в зависимости от размера сайта.

1. Через CMS — большинство сайтов. WordPress, Bitrix, Tilda, OpenCart, Shopify умеют генерировать sitemap автоматически. В WordPress есть плагины Yoast SEO, RankMath. В Tilda — настройка в кабинете. Проверьте — обычно sitemap уже есть.

2. Через онлайн-сервисы — для статических и небольших сайтов. XML-Sitemaps.com (бесплатно до 500 URL), Screaming Frog (бесплатно до 500 URL). Генерируете один раз, загружаете в корень сайта, обновляете по необходимости.

3. Скриптом — для больших сайтов. Если у вас 50 000+ страниц, нужен скрипт, который автоматически обновляет sitemap при добавлении новых страниц. Программисты пишут это за пару часов.

Минимальный sitemap.xml выглядит так:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://ваш-сайт.ru/</loc>
    <lastmod>2026-06-07</lastmod>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://ваш-сайт.ru/uslugi/</loc>
    <lastmod>2026-06-07</lastmod>
    <priority>0.9</priority>
  </url>
</urlset>

После создания файла обязательно подайте его в Яндекс.Вебмастер (раздел «Индексирование → Файлы Sitemap») и Google Search Console.

Что должно быть в sitemap, а чего быть не должно

Должно быть:

• Все коммерческие посадочные страницы;
• Все статьи блога;
• Карточки товаров (для интернет-магазинов);
• Категории и подкатегории;
• Главная страница;
• Страницы услуг.

Чего быть не должно:

• Страницы, закрытые в robots.txt — иначе вы посылаете противоречивые сигналы;
• Страницы с canonical на другие URL — это дубли по сути;
• Страницы с noindex — зачем подавать в sitemap то, что не должно индексироваться;
• Битые ссылки (404);
• Страницы пагинации (page=2, page=3, etc) — индексируется первая, остальные через canonical;
• Внутренний поиск, корзина, фильтры с UTM-метками.

Если страниц очень много: Sitemap.xml ограничен 50 000 URL и 50 МБ. Для большего размера — несколько sitemap-файлов и общий sitemap-index, который их связывает. Это рутинная задача — все CMS делают автоматически.

Как проверить, что robots.txt и sitemap работают

Чек-лист после настройки:

1. Откройте файлы в браузере: ваш-сайт.ru/robots.txt и ваш-сайт.ru/sitemap.xml. Оба должны открываться, отвечать кодом 200, показывать содержимое.
2. Проверьте robots.txt в Я.Вебмастере. Раздел «Инструменты → Анализ robots.txt». Введите URL страницы — Вебмастер скажет, может робот по нему ходить или нет. Подробнее о Вебмастере — в отдельной статье.
3. Подайте sitemap в Вебмастер. Раздел «Индексирование → Файлы Sitemap → Добавить файл Sitemap». Вставьте полный URL. Через 1–2 дня появится статистика обработки.
4. Подайте sitemap в Google Search Console. Раздел «Индексирование → Файлы Sitemap».
5. Проверьте через Screaming Frog или аналог. Сделайте crawl сайта — посмотрите, какие страницы доступны для робота. Если важные страницы помечены как «Disallowed» — что-то закрыто.

Если что-то сломано или robots закрывает важные страницы — заметите за 1–2 недели по падению трафика. Лучше один раз настроить правильно, чем потом долго восстанавливаться.

Главное

Частые вопросы