Robots.txt — текстовый файл в корне сайта (site.ru/robots.txt), который сообщает поисковым ботам правила обхода: что можно индексировать, что нельзя. Поддерживает директивы Disallow, Allow, Sitemap, Host.
robots.txt не запрещает индексацию — только сканирование. Если на запрещённую в robots.txt страницу ведут внешние ссылки, она всё равно попадёт в индекс (с пустым сниппетом). Для запрета индексации — meta robots noindex или X-Robots-Tag.
Как делать правильно
× Опасно
- Disallow: / — закрыли весь сайт от индекса
- блокировка JS / CSS — Google не видит layout
- robots.txt вместо noindex для разделов
- Disallow для UTM = потеря данных аналитики
✓ Безопасно
- Disallow: /admin/ — только служебные разделы
- Allow CSS / JS / шрифтов для корректного рендера
- noindex meta вместо robots.txt для конкретных страниц
- Sitemap: ссылка в файле
Пример из практики
Сайт случайно поставил Disallow: / в продакшен (тестовая настройка осталась). Через 2 недели — минус 95% органики, сайт исчез из индекса. Откатили robots.txt, отправили на переобход в Search Console. Восстановление позиций — 6 недель.