Удаление дубликатов строк онлайн
Онлайн-инструмент убирает повторяющиеся строки из списка и оставляет только уникальные. Удалить дубликаты онлайн можно с учётом регистра или без, с подсчётом повторов и сортировкой результата.
Список
0 строкБез дубликатов
0 строкПример: вход → результат
москва спб москва казань спб
москва спб казань
Удаляет повторяющиеся строки, сохраняя исходный порядок. С учётом регистра или без — на выбор.
Когда пригодится
- Почистить семантическое ядро от дублей после объединения выгрузок Вордстата, Keys.so и ручного сбора
- Свести несколько списков URL в один перед загрузкой в парсер или аудит
- Убрать повторяющиеся email-адреса перед рассылкой
- Свести товары из нескольких прайсов в единый список без повторов
- Оставить только уникальные значения в любом списке
Убрать повторы из списка ключей
Семантика из разных источников всегда полна дублей. Инструмент оставляет только уникальные строки — с учётом регистра или без, с обрезкой пробелов по краям.
Со списком в таблице вместо текста те же дубли убираются средствами Excel и Google Таблиц, разобрал четыре способа с мокапами. Как это встроить в работу над сайтом — в разборе Как собрать семантическое ядро.
Точные и неявные дубли ключевых слов
Инструмент убирает точные дубли — строки, совпадающие символ в символ (с поправкой на регистр и пробелы по краям). Для чистки ядра после объединения выгрузок этого хватает в большинстве случаев.
Но в семантике живут и неявные дубли — фразы одного смысла с разным порядком или формой слов: «купить диван» и «диван купить», «угловые шкафы» и «шкаф угловой». Как строки они различаются, поэтому дедуп по точному совпадению их не схлопнет.
Все три строки уникальны посимвольно — точный дедуп оставит их как есть.
Чтобы схлопнуть неявные дубли и дубли ключевых слов по нормальной форме, перейдите в удаление неявных дублей: там фразы приводятся к начальной форме и сравниваются по составу слов, без привязки к написанию — «купить диван» и «диван купить» становятся одним ключом.
Что считается повтором и почему «одинаковые» строки остаются
Инструмент идёт по списку сверху вниз и запоминает каждую строку, которую уже видел. Строка, которая встречается впервые, попадает в результат; повтор пропускается, а счётчик у первой строки растёт. Поэтому порядок первых появлений сохраняется, и первая «Москва» остаётся на своём месте, сколько бы «Москв» ни шло дальше. Сравнение посимвольное: две строки равны, только если совпадает каждый знак.
Переключатели меняют, что считать «каждым знаком». Без учёта регистра «Москва» и «МОСКВА» перед сравнением приводятся к одному виду, с игнорированием краёв срезаются пробелы и табуляции по концам. Всё остальное различие остаётся: неразрывный пробел вместо обычного, буква «ё» вместо «е», латинская «а» вместо русской в слове «Москва» делают строки разными, хотя на экране они одинаковы.
Такие невидимые различия — главная причина, по которой после дедупа список всё ещё выглядит с повторами. Они приходят из Excel, из копирования с сайтов и из выгрузок разных систем, и вылавливать их приходится отдельным проходом.
| Отличие | Как выглядит | Что делать |
|---|---|---|
| Пробел в конце | «ключ » и «ключ» | включить игнорирование краёв |
| Неразрывный пробел | как обычный пробел | прогнать через чистку пробелов |
| «ё» и «е» | «ёлка» и «елка» | заменить ё на е заранее |
| Латиница вместо кириллицы | «Mосква» с латинской M | искать по латинским буквам |
От перфокарт до кнопки в Excel
Удаление повторов — одна из первых задач, которые поручили машинам. Табуляторы Холлерита конца XIX века и сортировщики перфокарт IBM раскладывали карты по значению колонки, и одинаковые карты оказывались рядом: оператору оставалось вынуть лишние. В Unix начала семидесятых появилась команда uniq, которая делает ровно это с текстом: удаляет подряд идущие одинаковые строки, поэтому перед ней список сортируют. Связка sort и uniq живёт в терминалах до сих пор.
Базы данных получили слово DISTINCT вместе с языком SQL в семидесятые, и с тех пор «выбрать без повторов» стало одной строкой запроса. Электронные таблицы шли медленнее: в Excel кнопка «Удалить дубликаты» появилась только в версии 2007 года, до этого повторы искали расширенным фильтром и формулами. В Google Таблицах ту же работу делает функция UNIQUE.
Способ, который работает в браузере на этой странице, называют хеш-множеством: каждая строка превращается в короткий отпечаток, и проверка «видел ли я это» занимает одинаковое время хоть на сотне строк, хоть на миллионе. Поэтому список из выгрузки на десятки тысяч ключей чистится за доли секунды.
Подготовка списка и правила для адресов
Готовьте список до дедупа. Сначала чистка пробелов уберёт неразрывные пробелы и двойные пробелы внутри строк, затем смена регистра приведёт всё к строчным, если регистр не важен. После этого дедуп снимет настоящие повторы целиком, без половинчатого результата. Сколько строк ушло, покажет подсчёт строк до и после.
У адресов и почты свои правила равенства. Адреса с http и https, со слешем на конце и без него, с метками utm и без — для сервера одна страница, для дедупа четыре строки. Приведите их к одному виду заранее: уберите протокол, хвосты после знака вопроса и завершающий слеш. У почтовых адресов домен регистра не различает, поэтому весь список опускайте в строчные.
Включайте счётчик повторов, когда список пришёл из нескольких источников: число рядом со строкой показывает, сколько выгрузок её содержали, и это готовая оценка важности. Фразы одного смысла в разных формах дедуп не схлопнет, для них есть удаление неявных дублей, а разложить результат по алфавиту или по длине умеет сортировка списка.
| Сравнение | посимвольное |
| Порядок | первых появлений |
| Регистр | по выбору |
| Края строк | по выбору |
| Счётчик повторов | есть |
| Команда uniq | начало 1970-х |
| DISTINCT в SQL | 1970-е |
| Кнопка в Excel | 2007 |
Настройки удаления дубликатов
Четыре переключателя над полем меняют логику сравнения строк — включайте под свою задачу:
- Не учитывать регистр — «Москва», «москва» и «МОСКВА» считаются одной строкой. Включайте, когда регистр для вас не важен.
- Игнорировать пробелы по краям — «ключ» и «ключ » (с лишним пробелом) считаются одинаковыми. Спасает при вставке из Excel, где часто остаются хвостовые пробелы.
- Показать число повторов — рядом с каждой строкой появится «(×N)»: сколько раз она встречалась в исходном списке.
- Сортировать результат — уникальные строки выстроятся по алфавиту. Без этой опции сохраняется исходный порядок первых появлений.
Как пользоваться
Вставьте список из Excel, Google Таблиц или текстового файла — удалить дубли онлайн получится за секунду, бесплатно и без регистрации.
- Скопируйте список в левое поле — по одному значению на строку.
- При необходимости включите «без учёта регистра» и «игнорировать пробелы по краям», чтобы «Москва» и «москва » считались одинаковыми.
- Справа останутся только уникальные строки. Включите «показать число повторов», чтобы видеть, сколько раз встречалась каждая. Нажмите «Скопировать результат».
| Способ | Сохраняет порядок | Для чего удобнее | О чём помнить |
|---|---|---|---|
| Этот инструмент | да | списки ключей, адресов, почт | работает в браузере, список никуда не отправляется |
| Excel, «Удалить дубликаты» | да | таблицы с несколькими столбцами | меняет исходный лист, отменяется только откатом |
Google Таблицы, UNIQUE | да | таблицы, где нужен живой пересчёт | результат живёт в отдельном диапазоне |
| Notepad++ | нет | большие текстовые файлы | в старых сборках убирает только подряд идущие, список нужно сортировать |
| Python | да, через dict.fromkeys | разовые скрипты и автоматизацию | через set порядок теряется |
| SQL | по сортировке запроса | данные, которые лежат в базе | DISTINCT только выбирает; удаление — через ROW_NUMBER() |
Частые вопросы
Что делает инструмент?
Оставляет в списке только уникальные строки, удаляя все повторы. Порядок первых появлений сохраняется.
Как считать «Москва» и «москва» одинаковыми?
Включите опцию «не учитывать регистр». Опция «игнорировать пробелы по краям» дополнительно убирает лишние пробелы в начале и конце строки перед сравнением.
Можно увидеть, сколько раз повторялась строка?
Да, включите «показать число повторов» — рядом с каждой строкой появится «(×N)».
Есть ли ограничение по количеству строк?
Жёсткого лимита нет — инструмент обрабатывает списки в десятки тысяч строк прямо в браузере. Скорость зависит только от вашего устройства, потому что данные никуда не отправляются.
Работает ли инструмент без интернета?
Сама обработка идёт офлайн — в браузере, без обращений к серверу. Но страницу нужно сначала открыть, поэтому для первого захода интернет всё же требуется.
Чем отличается от удаления дубликатов в Excel?
Результат тот же, но быстрее для разовой задачи: не нужно открывать таблицу, выделять диапазон и искать пункт меню. Вставил список — забрал уникальные строки. Для постоянной работы с большими таблицами удобнее Excel, для быстрой чистки списка — этот инструмент.
Умеет убирать неявные дубли — с разным порядком слов?
Нет, этот инструмент сравнивает строки по точному совпадению (с поправкой на регистр и пробелы), поэтому «купить диван» и «диван купить» останутся обе. Для неявных дублей и дублей ключевых слов по нормальной форме используйте инструмент лемматизации — он приводит фразы к начальной форме и сравнивает по составу слов.
Как удалить повторяющиеся строки в Word?
Отдельной кнопки для этого в Word нет. Список обычно переносят в таблицу и сортируют, а дубли убирают вручную, либо пишут макрос на VBA. Быстрее вставить список сюда и вернуть в документ уже без повторов.
Как в SQL убрать повторяющиеся строки?
Для выборки достаточно SELECT DISTINCT — он вернёт уникальные строки, ничего не меняя в таблице. Чтобы удалить дубли физически, строки нумеруют оконной функцией ROW_NUMBER() OVER (PARTITION BY нужные_поля ORDER BY id) и удаляют всё, где номер больше единицы.
Как удалить дубликаты строк в Notepad++?
В меню «Правка → Операции со строками» есть удаление подряд идущих дубликатов, а в свежих сборках — и удаление всех дублей сразу. Если пункт только про последовательные, список сначала сортируют, иначе повторы, разбросанные по файлу, останутся.
Как убрать дубли из списка в Python?
list(dict.fromkeys(lines)) убирает повторы и сохраняет исходный порядок. Через set(lines) короче, но порядок теряется — для списков ключевых слов и адресов это обычно мешает.
Где этому учат
Skillbox
Академия Synergy
Нетология
GeekBrains
DigitalSkillsAcademy
VideoFormeУдалить дубликаты в Excel, Google Таблицах и LibreOffice
Если список уже в таблице, чистить дубли удобнее на месте. Разберём встроенные способы — а для быстрой разовой чистки текста инструмент на этой странице обходится без открытия файла.
Google Таблицы. Выдели диапазон → Данные → Очистка данных → Удалить повторяющиеся строки. Сравнивает строки по выбранным столбцам.
LibreOffice Calc. Готовой кнопки нет: примени Стандартный фильтр с опцией «Без повторений» и скопируй результат — либо выгрузи список и почисти его инструментом выше.
Быстрая чистка списка. Когда данные в тексте — выгрузка ключей, список URL, строки из лога — инструмент выше уберёт дубликаты онлайн, без открытия файла и поиска пункта меню.
| Что включено над полем | Что считается одной строкой | Останется из 7 | Что в результате |
|---|---|---|---|
| ничего | различается всё, включая пробел в конце строки | 6 | строки идут в порядке первого появления |
| игнорировать пробелы по краям | «москва» и та же строка с пробелом в конце | 5 | пробелы по краям срезаются и в самом результате |
| не учитывать регистр | «Москва», «москва» и «МОСКВА» | 5 | остаётся написание, которое встретилось первым |
| обе галочки сразу | регистр и хвостовые пробелы перестают мешать | 4 | москва, санкт-петербург, казань, СПБ |
Похожие инструменты
Приводит ключи к основе (стемминг) и схлопывает словоформы. Умный дедуп семантики: ловит дубли по падежам, числу и порядку слов.
ОткрытьОбернуть строкиДобавляет кавычки, скобки или теги вокруг каждой строки и соединяет разделителем — готовый SQL IN(...), массив, <li>.
ОткрытьФорматирование телефоновПриводит список номеров к одному виду: +7 (999) 123-45-67, E.164, только цифры и хеши MD5 и SHA-256. Убирает дубли, отбраковывает битые.
ОткрытьРазделить на столбцыРазбивает список по разделителю: запятая, точка с запятой, табуляция, свой символ. Учитывает кавычки, отдаёт готовые столбцы для Excel.
ОткрытьПроверка email спискомСинтаксис, дубли, опечатки в доменах вроде gmail.ru, одноразовые почты, ролевые адреса и кириллица в латинском написании.
ОткрытьНумерация строкНумерует строки списка: точкой, скобкой или пробелом, с ведущими нулями. Для оформления списков, ТЗ и нумерованных перечней.
ОткрытьКак применять это в продвижении — в разборе Семантическое ядро и других материалах блога.
Ещё инструменты для списков
Удаление дубликатов и сравнение двух списков, сортировка, столбец в строку и обратно, нумерация, частотность и шаблонизатор — в разделе 17 инструментов.