<meta name="robots" content="..."> — указание поисковику, что делать со страницей. Главные значения: index/noindex (индексировать или нет), follow/nofollow (передавать вес по ссылкам или нет).
Используют для технических страниц (корзины, личного кабинета, страниц благодарности), которые не должны попадать в выдачу. Важно: noindex запрещает индексацию, но не закрывает страницу для пользователей. Если страница вообще не должна попасть в crawl, дополнительно блокируют в robots.txt.
// Гибкое управление индексацией одной страницы <meta name="robots" content="index, follow"> // дефолт <meta name="robots" content="noindex, follow, max-image-preview:large"> // Yandex-only: name="yandex"
<meta name="robots" content="noindex, follow"> — для страницы 404 или фильтра, который не нужен в индексе.
Главная ловушка новичков: страницу одновременно закрывают в robots.txt и ставят noindex в meta. Так делать нельзя — если URL запрещён в robots.txt, робот не скачает HTML и не увидит метатег noindex, поэтому страница может остаться в индексе как «ссылка без описания». Чтобы убрать страницу из выдачи, наоборот, оставьте её открытой для обхода и закройте именно метатегом (или HTTP-заголовком X-Robots-Tag: noindex — он удобнее для PDF, картинок и других не-HTML файлов).
У Яндекса есть нюанс: он понимает noindex/nofollow в meta robots, но директиву noarchive и тонкие настройки сниппета лучше дублировать своими тегами, а универсальные max-snippet, noimageindex, nosnippet стабильно читает Google. Различайте noindex и canonical: canonical склеивает дубли и передаёт сигналы на основной URL, а noindex просто выкидывает страницу из индекса без склейки — для пагинации и фильтров это разные стратегии. Проверить, что робот реально видит тег, можно в Вебмастере через «Проверку ответа сервера» или в Search Console через URL Inspection.
Разрешает или запрещает показ страницы в выдаче — при noindex URL обходится, но не ранжируется.
Передавать ли вес по ссылкам со страницы; частая связка noindex, follow сохраняет проход робота вглубь.
robots.txt запрещает скачивание HTML, поэтому при запрете там робот не увидит ваш noindex в meta.