Комбинатор списков

Что делает комбинатор и как быстро растут списки

Инструмент перемножает два списка: каждая строка первого соединяется с каждой строкой второго. Три города и три уточнения дают девять фраз, десять на десять — сотню, сто на сто — уже десять тысяч. Математически это декартово произведение, в базах данных та же операция называется перекрёстным соединением.

Чаще всего так собирают ядро запросов «услуга плюс город», варианты заголовков для объявлений, метки для ссылок и комбинации свойств товара — цвет на размер. Ручная сборка тех же наборов занимает часы и почти всегда даёт пропуски: глаз теряет строки в середине списка.

Рост числа комбинаций — главная ловушка. Списки по сотне строк дают десять тысяч фраз, и половина из них окажется бессмысленной: «эвакуатор Норильск дёшево круглосуточно» существует, а «эвакуатор Норильск отзывы бесплатно» — уже нет. Поэтому перемножение хорошо работает как черновик, который потом проверяют по частотности.

История: круги Луллия, треугольник Паскаля и перфокарты

Перебор вариантов занимал людей задолго до компьютеров. В XIII веке Раймунд Луллий строил вращающиеся бумажные круги, которые механически сочетали понятия, — эту машину считают одним из первых устройств для комбинаторики. Треугольник, где каждое число равно сумме двух над ним, знали в Китае у Ян Хуэя и в Индии задолго до Европы, а Блез Паскаль описал его свойства в трактате 1654 года, изданном посмертно в 1665-м.

Механический перебор больших списков начался с перфокарт: Герман Холлерит применил их на переписи населения США 1890 года, и сортировка миллионов карточек впервые пошла машинным темпом. Современные базы данных делают то же самое одной строкой запроса, и комбинаторный взрыв из безобидной задачи превращается в реальную проблему: перемножение трёх списков по тысяче строк даёт миллиард сочетаний.

Как собрать пары и чем чистить результат

Для рекламных ссылок пары удобно сразу превращать в адреса с метками — этим занимается генератор UTM. А для семантики полезно держать третий список из стоп-слов и вычёркивать пары, куда они попали: так черновик из десяти тысяч фраз сокращается до пары тысяч рабочих ещё до проверки спроса. Тот же приём работает в товарных карточках: перемножив свойства, легко получить полный набор вариантов и увидеть, каких сочетаний в каталоге не хватает. Только выгружать такой список сразу на сайт не стоит — страницы под пары без спроса создают дубли и размывают вес раздела. Разумный порядок такой: сначала перемножение, потом чистка и проверка частотности, и только после этого страницы или объявления. Полезно сразу сохранять исходные списки: когда добавится новый город, достаточно перемножить его с готовым вторым списком.