Удаление дубликатов строк онлайн
Убирает повторяющиеся строки (дубли и дубликаты) из списка и оставляет только уникальные. Удалить дубли онлайн, без учёта регистра, с подсчётом повторов и сортировкой. Всё в браузере, данные никуда не уходят.
Список
0 строкБез дубликатов
0 строкПример: вход → результат
москва спб москва казань спб
москва спб казань
Удаляет повторяющиеся строки, сохраняя исходный порядок. С учётом регистра или без — на выбор.
Когда пригодится
- Почистить семантическое ядро от дублей после объединения выгрузок Вордстата, Keys.so и ручного сбора
- Свести несколько списков URL в один перед загрузкой в парсер или аудит
- Убрать повторяющиеся email-адреса перед рассылкой
- Свести товары из нескольких прайсов в единый список без повторов
- Оставить только уникальные значения в любом списке
Убрать повторы из списка ключей
Семантика из разных источников всегда полна дублей. Инструмент оставляет только уникальные строки — с учётом регистра или без, с обрезкой пробелов по краям.
Когда пригодится: почистить ядро после объединения выгрузок, убрать повторы в списке URL, свести данные.
Как это встроить в работу над сайтом — в разборе Как собрать семантическое ядро.
Точные и неявные дубли ключевых слов
Инструмент убирает точные дубли — строки, совпадающие символ в символ (с поправкой на регистр и пробелы по краям). Для чистки ядра после объединения выгрузок этого хватает в большинстве случаев.
Но в семантике живут и неявные дубли — фразы одного смысла с разным порядком или формой слов: «купить диван» и «диван купить», «угловые шкафы» и «шкаф угловой». Как строки они различаются, поэтому дедуп по точному совпадению их не схлопнет.
Все три строки уникальны посимвольно — точный дедуп оставит их как есть.
Чтобы схлопывать неявные дубли и дубли ключевых слов по нормальной форме, возьмите лемматизацию и умный дедуп ключей: там фразы приводятся к начальной форме и сравниваются по составу слов, без привязки к написанию — «купить диван» и «диван купить» становятся одним ключом.
Настройки удаления дубликатов
Четыре переключателя над полем меняют логику сравнения строк — включайте под свою задачу:
- Не учитывать регистр — «Москва», «москва» и «МОСКВА» считаются одной строкой. Включайте, когда регистр для вас не важен.
- Игнорировать пробелы по краям — «ключ» и «ключ » (с лишним пробелом) считаются одинаковыми. Спасает при вставке из Excel, где часто остаются хвостовые пробелы.
- Показать число повторов — рядом с каждой строкой появится «(×N)»: сколько раз она встречалась в исходном списке.
- Сортировать результат — уникальные строки выстроятся по алфавиту. Без этой опции сохраняется исходный порядок первых появлений.
Как пользоваться
- Скопируйте список в левое поле — по одному значению на строку.
- При необходимости включите «без учёта регистра» и «игнорировать пробелы по краям», чтобы «Москва» и «москва » считались одинаковыми.
- Справа останутся только уникальные строки. Включите «показать число повторов», чтобы видеть, сколько раз встречалась каждая. Нажмите «Скопировать результат».
Частые вопросы
Что делает инструмент?
Оставляет в списке только уникальные строки, удаляя все повторы. Порядок первых появлений сохраняется.
Как считать «Москва» и «москва» одинаковыми?
Включите опцию «не учитывать регистр». Опция «игнорировать пробелы по краям» дополнительно убирает лишние пробелы в начале и конце строки перед сравнением.
Можно увидеть, сколько раз повторялась строка?
Да, включите «показать число повторов» — рядом с каждой строкой появится «(×N)».
Данные куда-то отправляются?
Нет. Всё работает прямо в браузере на JavaScript — список никуда не загружается и не сохраняется на сервере.
Есть ли ограничение по количеству строк?
Жёсткого лимита нет — инструмент обрабатывает списки в десятки тысяч строк прямо в браузере. Скорость зависит только от вашего устройства, потому что данные никуда не отправляются.
Работает ли инструмент без интернета?
Сама обработка идёт офлайн — в браузере, без обращений к серверу. Но страницу нужно сначала открыть, поэтому для первого захода интернет всё же требуется.
Чем отличается от удаления дубликатов в Excel?
Результат тот же, но быстрее для разовой задачи: не нужно открывать таблицу, выделять диапазон и искать пункт меню. Вставил список — забрал уникальные строки. Для постоянной работы с большими таблицами удобнее Excel, для быстрой чистки списка — этот инструмент.
Умеет убирать неявные дубли — с разным порядком слов?
Нет, этот инструмент сравнивает строки по точному совпадению (с поправкой на регистр и пробелы), поэтому «купить диван» и «диван купить» останутся обе. Для неявных дублей и дублей ключевых слов по нормальной форме используйте инструмент лемматизации — он приводит фразы к начальной форме и сравнивает по составу слов.
Удалить дубликаты в Excel, Google Таблицах и LibreOffice
Если список уже в таблице, чистить дубли удобнее на месте. Разберём встроенные способы — а для быстрой разовой чистки текста инструмент выше обходится без открытия файла.
Google Таблицы. Выдели диапазон → Данные → Очистка данных → Удалить повторяющиеся строки. Сравнивает строки по выбранным столбцам.
LibreOffice Calc. Готовой кнопки нет: примени Стандартный фильтр с опцией «Без повторений» и скопируй результат — либо выгрузи список и почисти его инструментом выше.
Быстрая чистка списка. Когда данные в тексте — выгрузка ключей, список URL, строки из лога — инструмент выше уберёт дубликаты онлайн, без открытия файла и поиска пункта меню.
Похожие инструменты
Как применять это в продвижении — в разборе Семантическое ядро и других материалах блога.
Ещё инструменты для списков
Столбец в строку, объединение столбцов, комбинатор «каждый с каждым», нумерация и другие операции — в разделе инструментов.