Нормализатор URL

Нормализатор приводит список ссылок к единому виду: убирает метки рекламных систем, снимает якорь, чистит лишние слеши и сортирует параметры. Нужен перед любой сверкой адресов — когда ищете дубли в списке страниц, сравниваете выгрузку из аналитики с картой сайта, готовите данные к импорту или сводите отчёты из разных источников, где одна и та же страница записана десятком способов.

Работа идёт по шагам. Имя хоста приводится к нижнему регистру, повторяющиеся слеши в пути схлопываются, конечный слеш снимается по галочке. Из строки запроса удаляются служебные параметры по списку: метки utm_, идентификаторы кликов gclid, yclid, fbclid. Оставшиеся параметры сортируются по алфавиту: серверу их порядок безразличен, а вот две строки с разным порядком при сравнении выглядят как разные адреса. Якорь после решётки убирается целиком, потому что до сервера он вообще не доходит. Ссылка https://Example.com/catalog/?utm_source=ads&id=42#price превращается в https://example.com/catalog/?id=42.

Вставьте список по одному адресу в строку и отметьте нужные операции. Для поиска дублей включайте всё: удаление меток, снятие якоря, сортировку параметров, приведение конечного слеша. Для сверки с картой сайта оставьте адреса ближе к исходным: там важно, как именно записана каждая страница. После обработки сравните пару строк до и после — так сразу видно, не унесло ли лишнего.

Главная осторожность — со значимыми параметрами. На сайтах, где страница пагинации, фильтр каталога или идентификатор товара живут в строке запроса, удаление параметра меняет адрес до неузнаваемости, и список превращается в набор ссылок на одну и ту же страницу. Проверьте на нескольких примерах, что осталось. Собрать из того же списка перечень площадок помогает извлечение доменов из URL, а проверить саму разметку меток — проверка UTM-меток списком.