Дубли возникают, когда один и тот же контент доступен по нескольким URL: с www и без, http и https, /page/ и /page (со слэшем и без), с UTM-метками, разные сортировки, фильтры, копии для разных регионов без перевода.
Поисковик при дублях выбирает один URL как основной (часто не тот, который вам нужен) и игнорирует остальные. Хуже того — на дубли тратится crawl budget, что замедляет индексацию важных страниц. Решения: 301 редиректы, canonical, унификация URL, контроль внутренних ссылок.
UTM-варианты, фильтры, индексные www/non-www, http/https, sort параметры
Поисковик не знает, что ранжировать → ни одна копия не получает полный вес
Указать главную версию через canonical. Закрыть параметры через robots.txt
Сайт доступен по https://site.ru и https://www.site.ru — две полные копии. Без 301-редиректа поисковик сам выбирает основной URL, часто не тот, что нужен.
Яндекс и Google борются с дублями по-разному, и это меняет тактику. Google трактует canonical как подсказку и иногда выбирает основной URL по-своему — проверяйте раздел «Покрытие» в Search Console на пометку «Страница-дубликат, Google выбрал другую каноническую». Яндекс к canonical относится строже и быстрее склеивает дубли, но любит сам назначать главное зеркало через директиву Host (устарела) и редиректы — следить нужно в Вебмастере, в разделе «Индексирование → Страницы в поиске», по статусу «Дубль» и «Малоценная или маловостребованная страница».
Самый коварный источник дублей — не www и слэши, а параметрические URL: фильтры каталога, сортировки и пагинация плодят тысячи почти одинаковых страниц. Магазин на 500 товаров с пятью фильтрами легко генерирует десятки тысяч URL, и поисковый робот тратит краулинговый бюджет на мусор вместо новых карточек. Закрывайте сортировки через canonical на «чистую» категорию, бесполезные параметры — в Clean-param (Яндекс) или через параметры URL, а полезные фильтры с реальным спросом, наоборот, превращайте в отдельные индексируемые посадочные страницы.
Карточка товара открывается по трём адресам: /tovar/123, /tovar/123?utm_source=ya и /catalog/obuv/tovar/123. В Вебмастере 2/3 трафиковых карточек помечены «Дубль», склеены не на тот URL. Ставят canonical на /tovar/123, в Clean-param выносят utm, лишний путь через каталог закрывают 301-м — за месяц переиндексации органический трафик по карточкам растёт на 19%.
Частые вопросы
Как найти дубли страниц на сайте?
В Яндекс Вебмастере смотри «Индексирование → Страницы в поиске» по статусам «Дубль» и «Малоценная или маловостребованная страница». В Google Search Console — отчёт «Покрытие» с пометкой «Страница-дубликат, Google выбрал другую каноническую». Так видно, какие копии склеены и на какой URL.
Опасны ли UTM-метки для SEO?
Сами по себе метки не страшны, но параметрические URL с utm плодят почти одинаковые страницы, и робот тратит краулинговый бюджет на мусор вместо новых карточек. Лечится canonical на чистый URL и выносом utm в Clean-param у Яндекса. В кейсе после чистки трёх адресов одной карточки органика выросла на 19% за месяц переиндексации.
Что делать с фильтрами каталога, чтобы не плодить дубли?
Магазин на 500 товаров с пятью фильтрами легко генерирует десятки тысяч URL. Сортировки закрывай canonical на «чистую» категорию, бесполезные параметры уноси в Clean-param. А фильтры с реальным спросом превращай в отдельные индексируемые посадочные страницы — они приведут трафик.