Кластеризация запросов

Инструмент читает список построчно, разбивает каждый запрос на слова, выбрасывает предлоги и союзы и приводит остальное к основе: «виниров», «виниры» и «винир» становятся одним словом. Дальше запросы сравниваются попарно по числу общих основ. Первый запрос открывает первую группу; каждый следующий либо присоединяется к группе, с которой у него достаточно общих слов, либо открывает свою.

Порог «сила группировки» и задаёт это «достаточно». При единице любой общий корень сводит запросы вместе, и группы получаются крупными: всё со словом «окна» ляжет в одну. При двух-трёх словах группы дробятся, и «пластиковые окна цена» отделяется от «пластиковые окна отзывы». Порядок строк тоже влияет: группа получает имя по первому запросу, поэтому список, отсортированный по частоте, даёт более понятные заголовки.

Синонимы и разные формулировки одного смысла метод не видит: «заказать окна» и «окна под ключ» окажутся в разных группах, хотя ведут на одну страницу. Это цена скорости: расчёт идёт в браузере за доли секунды на десятках тысяч строк, и ему не нужны данные выдачи.

Перед группировкой почистите список: уберите точные повторы в удалении дубликатов и неявные — в удалении неявных дублей. Иначе одна фраза в трёх написаниях создаст три группы, а частотность посчитается трижды. Отсортируйте список по частоте, чтобы группы получали имена по самым ходовым запросам.

Начинайте с порога в одно слово и смотрите на размер групп. Если группа со словом «ремонт» собрала половину ядра, поднимите порог до двух и прогоните ещё раз. Группы из одного запроса оставляйте на потом: обычно это либо мусор, либо редкая формулировка, которую стоит вручную присоединить к соседям.

Готовые группы проверяйте на смешение намерений: «что такое», «цена» и «отзывы» внутри одной группы означают три разные страницы. Информационные запросы уводите в статьи, коммерческие — в категории и карточки. Дальше слова из групп пригодятся в генераторе минус-слов для рекламы и в проверке длины заголовков для будущих страниц.