<meta name="robots" content="..."> — указание поисковику, что делать со страницей. Главные значения: index/noindex (индексировать или нет), follow/nofollow (передавать вес по ссылкам или нет).
Используют для технических страниц (корзины, личного кабинета, страниц благодарности), которые не должны попадать в выдачу. Важно: noindex запрещает индексацию, но не закрывает страницу для пользователей. Если страница вообще не должна попасть в crawl, дополнительно блокируют в robots.txt.
<head>
// Гибкое управление индексацией одной страницы <meta name="robots" content="index, follow"> // дефолт <meta name="robots" content="noindex, follow, max-image-preview:large"> // Yandex-only: name="yandex"
Пример из практики
<meta name="robots" content="noindex, follow"> — для страницы 404 или фильтра, который не нужен в индексе.