Опубликовали страницы, ждёте трафик, а в поиске сайта нет. Причин ровно десять, и почти все проверяются за десять минут. Разберу каждую по порядку: как понять, что дело именно в ней, и как починить. Начинайте с того, что закрывает сайт целиком — robots.txt и ответ сервера, — а потом спускайтесь к точечным проблемам.
Откройте ваш-сайт.ru/robots.txt — нет ли там Disallow: /. Посмотрите код ответа сервера: нужен 200, а не 404, 301 или 5xx. Проверьте страницу на meta noindex. Убедитесь, что есть sitemap.xml и он подан в Вебмастер. Если всё чисто, а домен новый — просто подождите и ускорьте обход. Ниже — каждая причина отдельно.
1. Сайт закрыт в robots.txt
Самая частая причина, почему сайт целиком выпал из индекса. Файл robots.txt лежит в корне и говорит роботу, куда можно ходить. Одна строка Disallow: / закрывает от индексации весь сайт.
Откуда она берётся: robots.txt переносят с тестового сервера, где полный запрет ставят специально, чтобы черновик не попал в поиск. При переезде на боевой домен файл забывают поправить.
Как проверить. Откройте в браузере https://ваш-сайт.ru/robots.txt. Ищите такие строки:
User-agent: *
Disallow: /Если видите Disallow: / отдельной строкой — сайт закрыт. Ещё проверьте, не закрыты ли по ошибке нужные разделы (Disallow: /catalog/, Disallow: /blog/) и служебные CSS/JS.
Как починить. Уберите Disallow: /, оставьте закрытыми только служебные разделы. Рабочий минимум:
User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /
Sitemap: https://ваш-сайт.ru/sitemap.xmlСобрать корректный файл с нуля поможет генератор robots.txt — задаёте разделы галочками, получаете готовый текст. Полный разбор синтаксиса — в статье про robots.txt и sitemap.xml. После правки проверьте доступ в Яндекс.Вебмастере, инструмент «Анализ robots.txt».
2. Meta noindex и X-Robots-Tag
Даже с открытым robots.txt отдельная страница может запрещать индексацию сама. Это делают двумя способами.
Мета-тег в коде страницы. В секции <head> прячется строка:
<meta name="robots" content="noindex, nofollow">Такой тег роботы Яндекса и Google соблюдают строго — страница в индекс не попадёт. Появляется он от плагинов SEO (в WordPress галочка «Запретить индексацию» в Yoast или RankMath) или остаётся с этапа разработки.
HTTP-заголовок X-Robots-Tag. То же самое, но не в HTML, а в ответе сервера — его в коде страницы не видно:
X-Robots-Tag: noindexЭто коварный вариант: смотришь исходник страницы — чисто, а робот всё равно не индексирует.
Как проверить. Мета-тег — через «Просмотр кода страницы» (Ctrl+U), поиск по слову noindex. Заголовок X-Robots-Tag виден только в ответе сервера — посмотрите его через проверку ответа сервера: инструмент показывает все HTTP-заголовки, включая X-Robots-Tag.
Как починить. Мета-тег убирают в настройках CMS или SEO-плагина — снимите запрет индексации для нужной страницы. Заголовок X-Robots-Tag правится на стороне сервера: ищите директиву в конфиге nginx/Apache или в коде движка и убирайте для боевых страниц.
3. Нет sitemap.xml или он битый
Sitemap — карта со списком всех важных страниц. Без неё робот находит страницы медленнее, а на большом сайте или при слабой перелинковке может не найти вовсе. Ещё хуже, когда sitemap есть, но битый: отдаёт ошибку, содержит закрытые от индексации URL или адреса с другого домена.
Как проверить. Откройте https://ваш-сайт.ru/sitemap.xml — он должен отвечать кодом 200 и показывать список URL. Прогоните его через анализ карты сайта: инструмент вытащит из sitemap все адреса и покажет, какие отвечают ошибкой, где редиректы, а какие вообще с чужого домена.
Как починить. Если sitemap нет — сгенерируйте (в большинстве CMS это плагин или встроенная настройка). Уберите из карты мусор: страницы с noindex, закрытые в robots.txt, битые ссылки и дубли с canonical. Готовый файл подайте в Яндекс.Вебмастер, раздел «Индексирование → Файлы Sitemap». Подробности — в гайде про sitemap.xml.
4. Сервер отдаёт не 200
Робот индексирует только страницы, которые отвечают кодом 200 OK. Если сервер вместо контента отдаёт что-то другое, страница в поиск не попадёт:
- 404 Not Found — страницы для робота не существует, даже если в браузере она открывается (бывает при кривой настройке ЧПУ);
- 5xx (500, 502, 503) — ошибка сервера. Если робот застаёт сайт лежащим, он откладывает обход, а при систематических 5xx выкидывает страницы из индекса;
- 301/302 редиректы — робот идёт по цепочке дальше. Проблема, когда редирект зациклен или ведёт не туда: страница-источник в индекс не идёт;
- 403 Forbidden — сервер закрывает доступ, иногда по ошибке блокируя робота Яндекса по User-agent.
Как проверить. Посмотрите реальный код ответа через проверку ответа сервера — вставляете URL, видите код и всю цепочку редиректов. Проверьте и главную, и внутренние страницы: коды могут отличаться.
Как починить. 404 на нужных страницах — чинить маршрутизацию и ЧПУ в CMS. 5xx — разбираться с хостингом и логами сервера, часто это нехватка ресурсов. Лишние редиректы — сокращать цепочки до одного шага и вести на актуальный URL. 403 для робота — снять блокировку по User-agent на стороне сервера.
5. Медленный ответ сервера
У робота на каждый сайт есть бюджет обхода — сколько страниц он готов запросить за визит. Если сервер отвечает по несколько секунд, робот успевает обойти меньше страниц и часть новых остаётся без внимания. На большом сайте это заметно тормозит попадание разделов в индекс.
Как проверить. В Яндекс.Вебмастере есть отчёт «Скорость обхода» и данные по времени ответа сервера. Тревожный сигнал — время ответа стабильно выше 1–2 секунд. Разовое время загрузки видно и в проверке ответа сервера.
Как починить. Ускоряйте бэкенд: кеширование, оптимизация запросов к базе, переезд на хостинг помощнее. Уберите из-под обхода мусорные URL (фильтры, UTM-метки) через robots.txt и canonical, чтобы робот не тратил бюджет на дубли и доходил до полезных страниц быстрее.
6. Дубли и неправильные канониклы
Если несколько URL показывают одинаковый контент, Яндекс выбирает одну версию, а остальные помечает как дубли и в поиск не пускает. Управляют этим тегом rel=canonical — он указывает роботу главную версию страницы. Проблема, когда canonical настроен неверно.
Типовые ситуации:
- Canonical со всех страниц ведёт на главную — тогда в индекс идёт только главная, остальные считаются её копиями;
- Canonical указывает на страницу с noindex или на 404 — сигналы противоречат друг другу;
- Один контент доступен по адресам с www и без, с http и https, со слэшем и без — без склейки это дубли.
Как проверить. В коде страницы (Ctrl+U) найдите <link rel="canonical" и посмотрите, на какой URL он ведёт — должен на саму себя (для основной версии) или на верную главную. В Яндекс.Вебмастере исключённые дубли видны в разделе «Страницы в поиске» со статусом о склейке.
Как починить. Настройте canonical так, чтобы каждая уникальная страница ссылалась сама на себя, а реальные дубли — на основную версию. Настройте один основной адрес (https + один вариант домена) и 301-редирект с остальных.
7. Новый домен — сайту просто рано
Если сайту несколько дней или пара недель, отсутствие в поиске — это норма, а не поломка. Роботу нужно сначала найти домен, обойти его и провести страницы через фильтры качества. Для нового домена без истории это занимает от нескольких дней до месяца, иногда дольше.
Как проверить. Зайдите в Яндекс.Вебмастер, раздел «Индексирование → Страницы в поиске» и «Обход». Если робот уже загрузил страницы и они в статусе ожидания — всё идёт своим чередом, нужно просто время. Если робот вообще не приходил — помогите ему.
Как ускорить. Добавьте сайт в Вебмастер и подтвердите права, подайте sitemap, отправьте главные страницы через «Переобход страниц», настройте перелинковку и получите первые внешние ссылки. Полный список приёмов — в статье про ускорение индексации.
8. Бан или фильтр Яндекса
Если сайт был в индексе и резко из него вылетел, при этом robots.txt и сервер в порядке, — возможен фильтр или бан. Яндекс исключает сайты за переспам ключами, накрутку поведенческих факторов, покупные ссылки, вирусы, агрессивную рекламу и обманные тексты.
Как проверить. В Яндекс.Вебмастере откройте разделы «Диагностика» и «Безопасность и нарушения» — там показаны наложенные санкции, угрозы и заражения. Если фильтр есть, Вебмастер обычно называет причину.
Как починить. Устраните нарушение: почистите переоптимизированные тексты, снимите накрутку, уберите покупные ссылки, вылечите сайт от вируса, приберите навязчивую рекламу. После этого отправьте сайт на перепроверку через Вебмастер. Восстановление занимает от нескольких недель до пары месяцев — мгновенно фильтр не снимается.
9. Страницы-сироты без внутренних ссылок
Робот находит страницы, переходя по ссылкам. Если на страницу не ведёт ни одна внутренняя ссылка и её нет в sitemap, робот про неё просто не знает — это страница-сирота. Частый случай: карточку товара или статью опубликовали, но нигде на неё не сослались.
Как проверить. Прогоните сайт краулером (Screaming Frog, Netpeak Spider) и посмотрите отчёт по orphan-страницам — тем, на которые нет входящих ссылок. Сверьте список URL из sitemap с тем, что реально доступно по ссылкам из меню и разделов.
Как починить. Свяжите такие страницы перелинковкой: добавьте ссылки из тематических разделов, блоков «похожее», меню и хлебных крошек. Убедитесь, что все важные URL есть в sitemap. Правило простое — до любой страницы должен быть путь по ссылкам за 2–3 клика с главной.
10. Запрет или недосмотр в Вебмастере
Иногда сайт не индексируется из-за настроек в самом Яндекс.Вебмастере или из-за того, что он туда не добавлен. Возможные причины:
- Сайт не добавлен в Вебмастер — робот может найти его и сам, но с подтверждёнными правами, sitemap и переобходом дело идёт быстрее и прозрачнее;
- Не подтверждены права — часть инструментов (переобход, статистика) недоступна;
- Не подан sitemap — робот не получает списка страниц напрямую;
- Главное зеркало выбрано не то — если основным назначен другой домен или www-версия, страницы уходят под чужой адрес.
Как проверить и починить. Добавьте сайт в Яндекс.Вебмастер и подтвердите права. Подайте sitemap, проверьте настройку основного зеркала и региона. Отправьте главные страницы через «Переобход страниц». Как устроен сервис целиком — в разборе про Яндекс.Вебмастер. Официальную справку по индексированию держит помощь Яндекс.Вебмастера.
Как проверить, есть ли сайт в индексе
Прежде чем чинить, убедитесь, что проблема реальна. Три способа посмотреть, что из сайта попало в поиск.
- Оператор site: в Яндексе. Введите в поиске
site:ваш-сайт.ru— покажет примерное число проиндексированных страниц. Ноль результатов — сайта в индексе нет. Число сильно меньше реального количества страниц — часть выпала. - Оператор url: для конкретной страницы. Запрос
url:ваш-сайт.ru/stranicaпроверяет, в индексе ли отдельный адрес. Удобно, когда весь сайт есть, а конкретная страница не находится. - Яндекс.Вебмастер — точные данные. Раздел «Индексирование → Страницы в поиске» показывает, какие страницы в индексе, а раздел исключённых — что и почему выпало (дубль, малополезная, ошибка сервера, noindex). Это надёжнее операторов, потому что показывает причину.
Для технической проверки под рукой держите три бесплатных инструмента: проверка ответа сервера (код 200 и заголовки), генератор robots.txt (собрать корректный файл) и анализ карты сайта (что реально в sitemap). Общий разбор темы — в статье про индексацию сайта.
Главное
Диагностику ведите сверху вниз. Сначала то, что закрывает сайт целиком: Disallow: / в robots.txt и код ответа сервера — нужен 200, а не 404, 5xx или лишние редиректы. Потом точечное: meta noindex и X-Robots-Tag, битый или отсутствующий sitemap, неправильные канониклы и дубли.
Если техника чистая, а домен новый — сайту просто рано. Добавьте его в Вебмастер, подайте sitemap, отправьте страницы на переобход и настройте перелинковку, чтобы у робота были пути ко всем разделам.
Резкий вылет из индекса при исправной технике — повод проверить фильтры в разделе «Безопасность и нарушения». Если разобраться самому не выходит — приходите на SEO-аудит, найду причину и составлю план.
Частые вопросы
Как быстро сайт должен попасть в индекс Яндекса?
Новую страницу Яндекс обычно индексирует за срок от нескольких дней до 2–4 недель. Новый домен без истории может ждать дольше — робот сначала должен его найти и обойти. Если прошло больше месяца, а страниц в поиске нет, дело уже не в сроках: проверяйте robots.txt, noindex, ответ сервера и статус в Вебмастере.
Как проверить, есть ли сайт в индексе Яндекса?
Введите в поиске Яндекса запрос site:ваш-сайт.ru — покажет примерное число проиндексированных страниц. Запрос url:ваш-сайт.ru/stranica проверит конкретный адрес. Точные данные — в Яндекс.Вебмастере, раздел «Индексирование → Страницы в поиске»: там видно, какие страницы в индексе, а какие и почему исключены.
Почему страница есть в Вебмастере, но нет в поиске?
Страница может быть загружена роботом, но исключена из поиска. Частые причины: статус «Малополезная», дубль (склеена с другой по canonical), недостаточное качество контента или страница слишком новая и ещё не прошла в основной индекс. Откройте в Вебмастере статус конкретного URL — там указана точная причина исключения.
Может ли robots.txt закрыть весь сайт от индексации?
Да. Строка Disallow: / без дополнительных условий закрывает от робота весь сайт. Это самая частая причина, почему сайт внезапно вылетел из индекса — обычно robots.txt переносят с тестового сервера, где стоит полный запрет. Откройте ваш-сайт.ru/robots.txt в браузере и проверьте, нет ли там Disallow: / на отдельной строке.
Как ускорить индексацию нового сайта в Яндексе?
Добавьте сайт в Яндекс.Вебмастер и подтвердите права, подайте sitemap.xml, отправьте главные страницы через «Переобход страниц», настройте внутреннюю перелинковку, чтобы у робота были пути ко всем разделам, и получите несколько внешних ссылок. Проверьте, что сервер отвечает кодом 200 и robots.txt не закрывает нужные разделы. Подробный разбор способов — в отдельной статье про ускорение индексации.
Что делать, если сайт попал под фильтр Яндекса?
Сначала подтвердите сам факт: в Яндекс.Вебмастере раздел «Диагностика» и «Безопасность и нарушения» показывает наложенные санкции и угрозы. Если фильтр есть, устраните причину — переспам ключами, накрутка поведенческих, покупные ссылки, вирус или агрессивная реклама — и отправьте сайт на перепроверку. Восстановление занимает от нескольких недель до пары месяцев.
Под рукой: проверка ответа сервера, генератор robots.txt и анализ карты сайта — продиагностировать индексацию за минуту.