<meta name="robots" content="..."> — указание поисковику, что делать со страницей. Главные значения: index/noindex (индексировать или нет), follow/nofollow (передавать вес по ссылкам или нет).
Используют для технических страниц (корзины, личного кабинета, страниц благодарности), которые не должны попадать в выдачу. Важно: noindex запрещает индексацию, но не закрывает страницу для пользователей. Если страница вообще не должна попасть в crawl, дополнительно блокируют в robots.txt.
Пример из практики
<meta name="robots" content="noindex, follow"> — для страницы 404 или фильтра, который не нужен в индексе.