Как работает поиск и зачем нужно SEO

Техника не приносит трафик сама по себе, но без неё не работает ничего. Хорошая новость: критичных вещей немного, и большинство можно сделать руками за выходные.

Разберём пять блоков, в порядке приоритета.

Блок 1. robots.txt — что разрешать роботу

robots.txt — это текстовый файл в корне сайта, доступный по адресу ваш-сайт.ru/robots.txt. В нём вы говорите поисковому роботу, куда можно ходить, а куда нет. Без файла робот считает что можно везде. С криво написанным — может случайно закрыть весь сайт от индексации.

Минимальный рабочий robots.txt для большинства сайтов:

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /search
Disallow: /*?utm_
Allow: /

Sitemap: https://ваш-сайт.ru/sitemap.xml

Что тут происходит. User-agent: * — правила для всех роботов. Disallow — что закрываем (админку, корзину, внутренний поиск, страницы с UTM-метками — это дубли). Allow: / — всё остальное можно индексировать. Sitemap: — ссылка на карту сайта (про неё ниже).

Пример: интернет-магазин на Bitrix. В robots добавляем Disallow: /personal/ (личный кабинет), Disallow: /search/ (поиск по сайту), Disallow: /bitrix/ (служебные пути CMS). Не закрываем /catalog/ и /news/ — это коммерческие и контентные разделы.

Подробный гайд с готовыми шаблонами под разные CMS — в отдельной статье.

Блок 2. sitemap.xml — карта всех важных страниц

sitemap.xml — это список всех страниц сайта в XML-формате. Робот заходит, видит список — обходит все. Без sitemap робот ходит по ссылкам и может месяцами не находить страницы, на которые мало ссылаются.

Большинство CMS делают sitemap автоматически. WordPress — через плагин Yoast SEO или RankMath. Tilda — встроено, в настройках сайта. Bitrix — модуль «Поисковая оптимизация». Проверьте, открыв ваш-сайт.ru/sitemap.xml — должен показаться XML с URL.

Если файла нет — для маленького сайта можно сделать вручную или через XML-Sitemaps.com (бесплатно до 500 URL). Простой образец:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://ваш-сайт.ru/</loc>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://ваш-сайт.ru/uslugi/</loc>
    <priority>0.9</priority>
  </url>
</urlset>

После создания обязательно подайте файл в Яндекс.Вебмастер (раздел «Индексирование → Файлы Sitemap») и Google Search Console. Это ускоряет индексацию в разы.

Блок 3. Скорость и Core Web Vitals

Медленный сайт теряет и людей, и позиции. С 2021 года Google официально учитывает скорость как фактор ранжирования. Яндекс — неофициально, но эффект тот же.

Проверяется через PageSpeed Insights. Три главные метрики называются Core Web Vitals:

• LCP (Largest Contentful Paint) — за сколько отрисовался самый крупный элемент на экране. Цель: меньше 2,5 секунды.
• INP (Interaction to Next Paint) — насколько быстро сайт реагирует на клик или тап. Цель: меньше 200 мс.
• CLS (Cumulative Layout Shift) — насколько прыгает вёрстка при загрузке. Цель: меньше 0,1.

Если хоть одна метрика в красной зоне — позиции страдают. Топ-3 способа быстро улучшить скорость:

1. Сжать и перевести изображения в WebP (часто весят в 3–5 раз меньше JPEG).
2. Включить lazy-load для картинок ниже первого экрана.
3. Удалить неиспользуемые скрипты и плагины (особенно в WordPress).

Пример: лендинг на Tilda загружался 6 секунд из-за тяжёлой обложки 4 МБ. После пересохранения в WebP размер упал до 280 КБ, LCP — с 4,8 до 1,9 секунды.

Блок 4. Мобильная версия — главная для поиска

С 2018 года Яндекс и Google используют mobile-first индексацию: смотрят в первую очередь на мобильную версию сайта. Если на телефоне неудобно — позиции падают и на десктопе тоже.

Что проверить:

• Сайт помещается по ширине экрана, нет горизонтального скролла;
• Текст читаемого размера (минимум 14 пикселей);
• Кнопки и ссылки достаточно крупные, чтобы попасть пальцем;
• Меню работает на телефоне (часто это бургер-меню);
• Формы заявок удобно заполнять с экранной клавиатуры.

Быстрая проверка — открыть сайт в Chrome DevTools (F12) в режиме мобильного устройства, или на реальном телефоне. Также есть Mobile-Friendly Test от Google — он покажет статус и проблемы.

Блок 5. Микроразметка Schema.org

Микроразметка — это структурированные данные, которые помогают поисковику понимать, что у вас на странице. Без неё страница тоже ранжируется, но без расширенных сниппетов в выдаче (звёзды, цена, FAQ, хлебные крошки).

Базовый минимум — четыре типа разметки в формате JSON-LD:

• Organization — кто вы, контакты, соцсети. Ставится на главной.
• BreadcrumbList — хлебные крошки. На каждой внутренней странице.
• Article — для статей блога: автор, дата, заголовок.
• FAQPage — для блоков «Часто задаваемые вопросы». Часто попадает в featured snippets.

Пример минимальной разметки FAQ — добавляется в <head> страницы:

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "FAQPage",
  "mainEntity": [{
    "@type": "Question",
    "name": "Сколько стоит SEO?",
    "acceptedAnswer": {
      "@type": "Answer",
      "text": "От 50 000 ₽/мес для малого бизнеса."
    }
  }]
}
</script>

Проверяется через Schema.org Validator. Если разметка валидна — поисковик начнёт её использовать в выдаче через 1–4 недели.

Финальный чек-лист

Перед тем как переходить к контенту, пройдитесь по списку:

• ✓ robots.txt существует, не закрывает важные разделы, ссылается на sitemap;
• ✓ sitemap.xml существует, подан в Вебмастер и Search Console;
• ✓ PageSpeed: LCP/INP/CLS в зелёной зоне на мобильных;
• ✓ Сайт нормально открывается и используется на телефоне;
• ✓ Минимальная микроразметка стоит хотя бы на главной и в типовых страницах;
• ✓ HTTPS включён (без замка в адресной строке поиск считает сайт небезопасным).

Если хотите системно разобрать технические основы и получить шаблоны под разные CMS — есть PRO-курс «Технический SEO-аудит за выходные» (1 900 ₽) с 80-пунктовым чек-листом.