ПаветтаУдалить дубликаты строк и неявные дубли онлайн
Убирает из списка повторяющиеся строки, а во втором режиме — неявные дубли ключевых фраз: те же слова в другом порядке и в других формах. Порядок первых появлений сохраняется, всё считается в браузере.
Список
0 строкБез дубликатов
0 строкЧто удалено и с какой строкой совпало
Что считается повтором и почему «одинаковые» строки остаются
Инструмент идёт по списку сверху вниз и запоминает каждую строку, которую уже видел. Строка, которая встречается впервые, попадает в результат; повтор пропускается, а счётчик у первой строки растёт. Поэтому порядок первых появлений сохраняется, и первая «Москва» остаётся на своём месте, сколько бы «Москв» ни шло дальше. Сравнение посимвольное: две строки равны, только если совпадает каждый знак.
Переключатели меняют, что считать «каждым знаком». Без учёта регистра «Москва» и «МОСКВА» перед сравнением приводятся к одному виду, с игнорированием краёв срезаются пробелы и табуляции по концам. Всё остальное различие остаётся: неразрывный пробел вместо обычного, буква «ё» вместо «е», латинская «а» вместо русской в слове «Москва» делают строки разными, хотя на экране они одинаковы.
Такие невидимые различия — главная причина, по которой после дедупа список всё ещё выглядит с повторами. Они приходят из Excel, из копирования с сайтов и из выгрузок разных систем, и вылавливать их приходится отдельным проходом.
| Отличие | Как выглядит | Что делать |
|---|---|---|
| Пробел в конце | «ключ » и «ключ» | включить игнорирование краёв |
| Неразрывный пробел | как обычный пробел | прогнать через чистку пробелов |
| «ё» и «е» | «ёлка» и «елка» | заменить ё на е заранее |
| Латиница вместо кириллицы | «Mосква» с латинской M | искать по латинским буквам |
От перфокарт до кнопки в Excel
Удаление повторов — одна из первых задач, которые поручили машинам. Табуляторы Холлерита конца XIX века и сортировщики перфокарт IBM раскладывали карты по значению колонки, и одинаковые карты оказывались рядом: оператору оставалось вынуть лишние. В Unix начала семидесятых появилась команда uniq, которая делает ровно это с текстом: удаляет подряд идущие одинаковые строки, поэтому перед ней список сортируют. Связка sort и uniq живёт в терминалах до сих пор.
Базы данных получили слово DISTINCT вместе с языком SQL в семидесятые, и с тех пор «выбрать без повторов» стало одной строкой запроса. Электронные таблицы шли медленнее: в Excel кнопка «Удалить дубликаты» появилась только в версии 2007 года, до этого повторы искали расширенным фильтром и формулами. В Google Таблицах ту же работу делает функция UNIQUE.
Способ, который работает в браузере на этой странице, называют хеш-множеством: каждая строка превращается в короткий отпечаток, и проверка «видел ли я это» занимает одинаковое время хоть на сотне строк, хоть на миллионе. Поэтому список из выгрузки на десятки тысяч ключей чистится за доли секунды.
Подготовка списка и правила для адресов
Готовьте список до дедупа. Сначала чистка пробелов уберёт неразрывные пробелы и двойные пробелы внутри строк, затем смена регистра приведёт всё к строчным, если регистр не важен. После этого дедуп снимет настоящие повторы целиком, без половинчатого результата. Сколько строк ушло, покажет подсчёт строк до и после.
У адресов и почты свои правила равенства. Адреса с http и https, со слешем на конце и без него, с метками utm и без — для сервера одна страница, для дедупа четыре строки. Приведите их к одному виду заранее: уберите протокол, хвосты после знака вопроса и завершающий слеш. У почтовых адресов домен регистра не различает, поэтому весь список опускайте в строчные.
Включайте счётчик повторов, когда список пришёл из нескольких источников: число рядом со строкой показывает, сколько выгрузок её содержали, и это готовая оценка важности. Фразы одного смысла в разных формах дедуп не схлопнет, для них есть удаление неявных дублей, а разложить результат по алфавиту или по длине умеет сортировка списка.
| Сравнение | посимвольное |
| Порядок | первых появлений |
| Регистр | по выбору |
| Края строк | по выбору |
| Счётчик повторов | есть |
| Команда uniq | начало 1970-х |
| DISTINCT в SQL | 1970-е |
| Кнопка в Excel | 2007 |
Как пользоваться
- Скопируйте список в левое поле — по одному значению на строку: ключевые фразы, e-mail, артикулы, фамилии.
- Включите «не учитывать регистр» и «игнорировать пробелы по краям», чтобы «Москва» и «москва » считались одной строкой. Фразы из тех же слов в другом порядке этот инструмент считает разными: для них есть отдельное удаление неявных дублей.
- Справа останутся только уникальные строки, первое появление сохраняется. Включите «показать число повторов», чтобы видеть, сколько раз встречалась каждая, и скопируйте результат одной кнопкой.
Частые вопросы
Что делает инструмент?
Оставляет в списке только уникальные строки, удаляя все повторы. Порядок первых появлений сохраняется, счётчик показывает, сколько строк убрано.
Что такое неявные дубли и как их удалить?
Это фразы из одних и тех же слов в другом порядке или в другой форме: «купить диван москва», «диван купить в москве», «купить диваны в москве». Для поисковой системы это один запрос, а в списке ключей они занимают три строки. Этот инструмент сравнивает строки посимвольно и такие фразы оставит, а склеивает их отдельный инструмент удаление неявных дублей: он приводит слова к начальной форме и сравнивает наборы слов без учёта порядка.
Как удалить дубли ключевых слов в семантическом ядре?
Точные повторы уберите здесь: вставьте ядро столбиком, включите «не учитывать регистр» и счётчик, чтобы видеть, какие фразы повторялись чаще всего. Затем прогоните список через удаление неявных дублей, а для сверки двух списков ключей рядом есть «Сравнение двух списков».
Как считать «Москва» и «москва» одинаковыми?
Включите опцию «не учитывать регистр». Опция «игнорировать пробелы по краям» дополнительно уберёт хвостовые пробелы и табуляции из выгрузок.
Можно увидеть, сколько раз повторялась строка?
Да, включите «показать число повторов» — рядом с каждой строкой появится «(×N)».
Данные куда-то отправляются?
Нет. Всё работает прямо в браузере на JavaScript — введённые данные не уходят на сервер и нигде не сохраняются.
Как удалить дубли ключевых слов онлайн
Вставьте список фраз и снимите повторы обычным проходом: инструмент сравнивает строки целиком и убирает совпадающие. Если фразы отличаются падежом или порядком слов, сначала приведите их к начальной форме лемматизацией, а потом снимайте повторы — иначе «купить окна» и «окна купить» останутся двумя разными строками.
Чем неявные дубли отличаются от обычных
Обычный дубль — две одинаковые строки, его видно посимвольным сравнением. Неявный дубль отличается формой слова, порядком или регистром: «Окна ПВХ», «окна пвх» и «пвх окна». Регистр и лишние пробелы инструмент снимает сам, а перестановку слов и падежи убирают лемматизацией до загрузки списка.
Спросите нейросети об инструменте
Похожие инструменты
Убирает двойные пробелы, края, табы и неразрывные пробелы, по желанию — пустые строки. Перед загрузкой ключей и сравнением.
ОткрытьИзменить регистр текстаНижний, ВЕРХНИЙ, Как в предложении, Каждое Слово С Заглавной — смена регистра построчно.
ОткрытьПодсчёт и частотностьСколько строк всего, уникальных и как часто повторяется каждая. Сортировка по частоте.
ОткрытьЛемматизация и нормализацияПриводит ключи к основе (стемминг) и схлопывает словоформы. Умный дедуп семантики: ловит дубли по падежам, числу и порядку слов.
ОткрытьСортировка и порядокПо алфавиту А–Я / Я–А, по длине, обратный порядок и случайное перемешивание списка.
ОткрытьУбрать переносы строкСклеивает текст, порванный переносами: строки внутри абзаца соединяются, пустая строка остаётся границей, слова с дефисом срастаются. Есть режим «всё в одну строку».
ОткрытьЕщё инструменты для списков
Удаление дубликатов и сравнение двух списков, сортировка, столбец в строку и обратно, нумерация, частотность и шаблонизатор — в разделе 24 инструмента.