ПаветтаИзвлечение доменов из URL
Вставьте ссылки, текст или выгрузку — инструмент найдёт URL, достанет hostname и соберёт чистый список доменов.
Что считается доменом и что отбрасывается
Инструмент берёт список ссылок или произвольный текст, находит в нём адреса, достаёт из каждого имя хоста и собирает чистый список. По галочкам он убирает www, удаляет повторы и сортирует результат. Нужен, когда перед вами выгрузка внешних ссылок, список площадок из рекламного отчёта, письмо со ссылками или лог обращений, а на выходе требуется перечень сайтов без путей и параметров.
Из адреса берётся только имя хоста: путь, параметры, якорь, порт и логин отбрасываются. Имя приводится к нижнему регистру, потому что в доменах регистр не различается, — Example.COM и example.com один и тот же хост, хотя пути после домена регистр как раз различают. Поддомен остаётся отдельной строкой: blog.example.com и example.com для интернета разные хосты, и сводить их в одну запись инструмент не берётся. Кириллические адреса хранятся в записи Punycode, поэтому в результате появляются строки, начинающиеся с xn--.
| Ссылка | Домен | Что произошло |
|---|---|---|
| https://www.example.com/catalog/?utm_source=test | example.com | Снят www, отброшены путь и параметры. |
| https://blog.example.com/post | blog.example.com | Поддомен остаётся отдельным хостом. |
| http://example.com:8080/api | example.com | Номер порта в имя хоста не входит. |
| https://EXAMPLE.com/Catalog | example.com | Имя хоста приведено к нижнему регистру, путь не тронут. |
| https://домен.рф/страница | xn--… .xn--p1ai | Кириллический адрес хранится в Punycode, зона «рф» записывается как xn--p1ai. |
История: от файла HOSTS.TXT до списка публичных суффиксов
Пока машин в сети было несколько десятков, имена хранили в одном файле HOSTS.TXT. Его вёл сетевой информационный центр в Стэнфордском исследовательском институте — группа под руководством Элизабет Файнлер, — и все узлы регулярно скачивали свежую копию. К началу восьмидесятых файл рос быстрее, чем успевали рассылать обновления, и любая ошибка в нём расходилась по всей сети.
В ноябре 1983 года Пол Мокапетрис описал систему доменных имён в документах RFC 882 и RFC 883: имена стали деревом, где каждый уровень отвечает за свой участок и отсылает к следующему. В январе 1985 года определили первые домены верхнего уровня — com, edu, gov, mil, org и net, — а 15 марта того же года зарегистрировали symbolics.com, первое имя в зоне com. Национальные зоны пошли следом: домен ru делегирован 7 апреля 1994 года, кириллическая зона «рф» открылась в 2010 году.
С ростом зон возник вопрос, где кончается «сайт». В одних зонах регистрируют имена второго уровня, в других — третьего, как в co.uk. Единого правила в самой системе имён нет, поэтому браузеры и сервисы сверяются со списком публичных суффиксов, который ведёт Mozilla: в нём перечислено, на каком уровне в каждой зоне начинается имя, принадлежащее владельцу. По тому же списку браузеры решают, каким сайтам разрешено ставить общие куки.
Как собрать список площадок из выгрузки
Вставьте ссылки, текст или выгрузку целиком: разбирать её заранее не нужно, адреса будут найдены среди прочего. Включите удаление дублей, если считаете площадки, и сортировку, если список пойдёт на сверку с другим. Галочку «убирать www» ставьте осознанно: для подсчёта площадок она полезна, а при проверке редиректов www и без www стоит различать.
Что стоит сделать после. Поддомены сводите к основному домену вручную или отдельным проходом: для подсчёта площадок blog.example.com и example.com обычно одна и та же площадка, для технического разбора — разные хосты. Кириллические имена в записи xn-- сравнивайте с такими же записями: русское написание той же строкой не совпадёт. Почистить сами адреса от меток перед разбором помогает нормализатор URL, а разложить один адрес на части — парсер параметров URL.
| Что берётся из адреса | имя хоста |
| Регистр хоста | не различается |
| Регистр пути | различается |
| Поддомен | отдельный хост |
| Порт и путь | отбрасываются |
| Кириллица | запись Punycode, xn-- |
| Система доменных имён | RFC 882 и 883, 1983 |
| Домен ru | 7 апреля 1994 |
Пример и применение
Из трёх ссылок на разные страницы одного сайта получится один домен, если включено удаление дублей.
Инструмент работает локально: введённые значения не отправляются на сервер и исчезают после закрытия страницы.
Как пользоваться калькулятором
В поле «URL или текст» кладут что угодно: список ссылок, выгрузку из краулера или кусок текста с адресами внутри. Инструмент сам находит в нём URL и вытаскивает из каждого домен.
Переключатель «Убирать www» приводит www.example.com и example.com к одному виду, «Удалять дубли» оставляет каждый домен один раз, «Сортировать» выстраивает список по алфавиту — так его удобнее сравнивать с другим.
Кнопка «Обработать» заполняет «Результат», под ним стоит счётчик найденных доменов. Поддомены остаются отдельными строками: blog.example.com и example.com — разные хосты, и склеивать их инструмент не берётся.
Пример расчёта
Из трёх ссылок на www.example.com, blog.example.com и pawetta.com получается список из трёх доменов, отсортированный по алфавиту и без префикса www.
Спросите нейросети об инструменте
Похожие инструменты
Очистите список URL от UTM-меток, рекламных идентификаторов, якорей и лишних слешей; отсортируйте параметры.
ОткрытьПарсер параметров URLРазберите query-параметры ссылки, декодируйте значения, найдите повторяющиеся ключи и получите JSON или список.
ОткрытьФорматирование SQLРаскладывает запрос по строкам с отступами, приводит ключевые слова к верхнему или нижнему регистру, не трогает строки и комментарии, умеет сжимать в одну строку.
ОткрытьПроверка IPv6-адресовПроверьте список IPv6-адресов, включая сокращённую запись, loopback, link-local и unique local диапазоны.
ОткрытьТаблица ASCIIПолная таблица печатных символов ASCII с кодами плюс конвертер текста в байты, HEX, двоичный код и HTML-коды.
ОткрытьГенератор MAC-адресовСоздайте случайные локальные MAC-адреса с заданным префиксом, разделителем и регистром. Криптографический генератор браузера.
ОткрытьСвязанные технические инструменты
Вопросы и ответы
Зачем вытаскивать домены из списка ссылок?
Чтобы увидеть площадки вместо адресов. Выгрузка внешних ссылок на тысячу строк превращается в список из полусотни доноров, и с ним уже можно работать.
Поддомены считаются отдельно?
Да. blog.example.com и example.com остаются двумя строками: технически это разные хосты, и для анализа ссылок разница часто существенна.
Что будет с текстом без ссылок?
Результат окажется пустым, а счётчик покажет ноль. Адрес должен быть узнаваемым — со схемой http или https либо с www в начале.
Ещё инструменты для кода и данных
Base64 и URL, форматтер и сравнение JSON, хеши, регулярные выражения, cron, подсети, UUID, QR-код и Unix-время — в разделе 42 инструмента.