Фильтр строк списка

Условия фильтра на примерах

Восемь условий, которые закрывают почти все задачи с списками: от чистки семантического ядра до разбора лога. Каждое работает в режимах «оставить» и «убрать».

Как список делится на две колонки

Что умеет фильтр строк

Фильтр берёт список построчно и раскладывает его на две колонки по условию: слева то, что прошло, справа то, что отсеяно, так что ничего не пропадает. Режим «оставить» держит подходящие строки слева, режим «убрать» — справа; условие одно, но условий одиннадцать: содержит любое из слов, начинается, заканчивается, равно, регулярное выражение, длина в символах, число слов, только цифры, есть латиница, есть кириллица, есть цифры.

Слова для условия «содержит» пишутся через запятую или с новой строки, подходит любое из них; галочка «целые слова» не даёт «пере» поймать «перевозку», галочка регистра делает сравнение точным. Регулярные выражения работают в синтаксисе JavaScript, ошибка в выражении показывается под условием и фильтр ждёт исправления. Пустые строки по умолчанию убираются, пробелы по краям обрезаются.

Каждая колонка копируется и скачивается отдельно, а кнопка «Взять как список» делает колонку новым входом, чтобы применить следующее условие: сначала убрать минус-слова, потом оставить фразы из двух-трёх слов, потом отсеять латиницу. Сотни тысяч строк фильтруются мгновенно в браузере.

От сита до grep

Отбирать нужное из массы — операция древнее письменности: сито отделяло муку от отрубей, а старатель промывал породу лотком, оставляя тяжёлое золото. С появлением картотек фильтром стал человек с пачкой карточек, и в 1925 году IBM выпустила сортировальную машину Type 80: перфокарты шли через щётку, и по пробитой позиции каждая падала в свой карман — тринадцать карманов, четыреста карт в минуту.

В программировании фильтр появился как команда grep в Unix 1973 года: Кен Томпсон вынес поиск по регулярному выражению из редактора в отдельную утилиту, и её имя происходит от команды редактора g/re/p — «глобально найти по регулярному выражению и напечатать». Ключ -v инвертировал условие, и с тех пор любая фильтрация строк описывается парой «оставить или убрать».

Регулярные выражения, придуманные математиком Стивеном Клини в 1951 году для описания нейронных сетей, через Unix попали во все языки, а из них в почтовые фильтры, рекламные кабинеты и текстовые редакторы. Инструмент даёт тот же grep с режимом -v в браузере, добавляя простые условия для тех, кому выражение писать не хочется.

Как отфильтровать список

Вставьте список в левое поле. Справа выберите режим — «оставить» или «убрать» — и условие; для условий со словами введите слова через запятую, для длины и числа слов — границы «от» и «до». Результат считается на лету, счётчики над колонками показывают, сколько строк куда попало.

Уточните отбор галочками: «учитывать регистр» для точного совпадения, «целые слова» для условия «содержит», «оставлять пустые строки», если пустые строки несут смысл. При ошибке в регулярном выражении под условием появится подсказка, и фильтр покажет список целиком до исправления.

Заберите нужную колонку: «Копировать» кладёт её в буфер, «Скачать .txt» сохраняет файл, «Взять как список» делает колонку новым входом для следующего условия. Кнопка «Пример» показывает чистку восьми запросов про диваны от минус-слов.

Фильтр удобно ставить в цепочку с соседними инструментами раздела: сначала «Удаление дубликатов», затем отбор по условию, затем «Сортировка списка» или «Подсчёт и частотность». Для семантического ядра типичный порядок такой: убрать строки с минус-словами, оставить фразы от двух до четырёх слов, отсеять латиницу отдельной колонкой и посмотреть, что в ней осталось.