Это две разные команды роботу, которые часто путают. noindex говорит «не добавляй эту страницу в индекс» — страница не появится в выдаче. nofollow говорит «не переходи по ссылкам и не передавай по ним вес». Первая управляет индексацией страницы, вторая — отношением к ссылкам.
noindex задают в мета-теге robots или в HTTP-заголовке; nofollow — атрибутом rel="nofollow" у ссылки или в том же мета-теге для всех ссылок страницы. Типичная связка noindex, follow — закрыть служебную страницу от индекса, но позволить роботу пройти по её ссылкам дальше. Важно: noindex закрывают именно мета-тегом, а не в robots.txt — там это работает иначе.
Команды роботу: не индексируй и не передавай вес
noindex — в мета-теге, nofollow — в атрибуте ссылки
Корзина, фильтры и платные ссылки прячут от индекса
Готовый код: как задать noindex и nofollow
Мета-тег robots ставится в <head> страницы, атрибут rel — в конкретную ссылку. Готовые варианты:
<meta name="robots" content="noindex">
<meta name="robots" content="noindex, follow">
<meta name="robots" content="noindex, nofollow">
<a href="https://example.com/" rel="nofollow">ссылка</a>
Таблица конфигураций мета-robots
| Конфигурация | Код | Когда применять |
|---|---|---|
| index, follow | ничего не нужно (по умолчанию) | Обычные продвигаемые страницы |
| noindex, follow | content="noindex, follow" | Корзина, фильтры, пагинация — скрыть, но пускать робота по ссылкам |
| index, nofollow | content="index, nofollow" | Редко: индексировать страницу, но не доверять её ссылкам |
| noindex, nofollow | content="noindex, nofollow" | Полностью служебные страницы (личный кабинет) |
Тег <noindex> в Яндексе — это другое
Не путайте мета-noindex (закрывает всю страницу) и парный тег <noindex>, который закрывает кусок текста на странице. Важные нюансы:
- Тег
<noindex>текст</noindex>понимает только Яндекс — Google его игнорирует. - Это невалидный HTML. Валидная форма — в виде комментария:
<!--noindex-->текст<!--/noindex-->. - Он не управляет индексацией страницы целиком — только прячет фрагмент (например, сквозной неуникальный блок) от индексации в Яндексе.
noindex в мета-теге vs robots.txt
Это разные механизмы, и их часто путают. Мета-noindex: робот заходит на страницу, читает её, но не добавляет в индекс. robots.txt (Disallow): робот вообще не заходит на страницу. Отсюда практическое правило:
- Нужно убрать из индекса уже проиндексированную страницу — используйте мета-noindex. Робот должен зайти и увидеть директиву.
- Если закрыть такую страницу в robots.txt, робот не зайдёт и не увидит noindex — страница может остаться в индексе «без описания». Поэтому для удаления из индекса robots.txt не подходит.
Типичные заблуждения
- «noindex скрывает контент от робота». Нет. Робот заходит и читает страницу — он просто не добавляет её в индекс. От прочтения закрывает robots.txt, а не noindex.
- «noindex отменяет передачу веса по ссылкам». Нет. За вес по ссылкам отвечает
nofollow. Страница с noindex, follow по-прежнему передаёт вес по своим ссылкам.
Когда что использовать
- Корзина, личный кабинет →
noindex, follow. - Платные ссылки →
rel="nofollow"(а лучшеrel="sponsored"). - Комментарии и UGC →
rel="nofollow"(илиrel="ugc"). - Дубли в фильтрах и пагинации →
noindex, follow. - Страницы с чужим или неуникальным текстом →
noindex.
Частые вопросы
Чем noindex отличается от nofollow?
Как закрыть страницу от индексации?
<meta name="robots" content="noindex">. Именно мета-тегом, а не robots.txt: чтобы увидеть noindex, робот должен зайти на страницу, а Disallow в robots.txt его туда не пустит.Что значит noindex, follow?
Работает ли тег <noindex> в Google?
На странице корзины ставят <meta name=«robots» content=«noindex»> — её не пускают в индекс, но робот по ней ходит. А rel=«nofollow» на ссылке говорит не передавать вес; обе директивы дополняют запреты в robots.txt.
Главная ловушка noindex — конфликт с robots.txt. Если страница закрыта в robots.txt, робот до неё просто не дойдёт и мета-тег noindex не прочитает — страница может остаться в индексе с пометкой «проиндексировано, несмотря на блокировку в robots.txt» в Google Search Console. Правило простое: чтобы выкинуть страницу из индекса, её нужно оставить открытой для обхода и повесить noindex в HTML или HTTP-заголовке. Запрет в robots.txt — это про экономию crawl-бюджета, а не про удаление из выдачи, и путаница между этими двумя задачами — частая причина «непонятно почему висящих» страниц.
Яндекс и Google понимают эти директивы не одинаково. rel="nofollow" Google с 2019 года трактует как «подсказку», а не жёсткую команду, и сам решает, учитывать ссылку или нет; Яндекс исторически опирается на свой rel-набор и тег noindex для частей текста (нестандартный, работает только у него). Поэтому для надёжного закрытия страницы целиком ставьте именно мета-robots с noindex, а не полагайтесь на хитрости с nofollow. Проверять результат удобно в Вебмастере Яндекса (раздел «Индексирование → Страницы в поиске») и в отчёте об индексировании GSC — после установки noindex выпадение из индекса занимает от нескольких дней до пары обходов.
На сайте услуг страница /korzina и 40 страниц фильтров вида /uslugi?sort=price засоряли индекс — Яндекс.Вебмастер показывал их как «малоценные». Поставили в этих страниц : робот по-прежнему проходит по ссылкам внутрь каталога и передаёт вес, но сами служебные URL за два обхода (около 9 дней) выпали из выдачи. Важно: robots.txt их при этом не блокировали — иначе noindex не сработал бы, ведь робот