404 — стандартный код, который сервер отдаёт, когда запрошенная страница не существует. Поисковик через какое-то время удаляет такие URL из индекса. Важно, чтобы старые удалённые страницы реально отдавали 404, а не 200 с пустым контентом (soft 404).
Кастомная 404-страница должна помочь пользователю не уйти с сайта: дать поиск, навигацию, популярные разделы, контакт. Если страница переехала, лучше делать 301-редирект на новый URL, а не отдавать 404.
| Код | Название | Что означает / когда отдавать |
|---|---|---|
| 200 | OK | Страница есть и отдаётся нормально |
| 301 | Moved Permanently | Постоянный редирект — старый URL переехал навсегда. Передаёт ≈90% ссылочного веса |
| 302 | Found | Временный редирект. Старый URL остаётся в индексе |
| 304 | Not Modified | Контент не изменился, используй кэш. Экономит трафик |
| 403 | Forbidden | Доступ запрещён. Часто из-за неправильных прав или WAF |
| 404 | Not Found | Страница не существует. Из индекса выпадает за ≈4–8 недель |
| 410 | Gone | Удалён намеренно и навсегда. Выпадает из индекса быстрее, чем 404 |
| 500 | Internal Server Error | Ошибка сервера. Сильно бьёт по индексации и поведенческим |
| 503 | Service Unavailable | Временно недоступно (например, на время техработ). Робот вернётся позже |
Удалили старый артикул товара → возвращаем 404 → ставим редирект на категорию, если она ещё актуальна.
Проверять реальный код ответа нужно инструментами, а не глазами: страница может выглядеть как «не найдено», но отдавать 200 — это и есть soft 404, который засоряет индекс и размывает краулинговый бюджет. В Яндекс.Вебмастере такие страницы видны в разделе «Страницы в поиске» и «Исключённые», в Google Search Console — в отчёте «Индексирование» со статусом «Soft 404». Быстрая ручная проверка: curl -I по URL или расширение для просмотра заголовков — в ответе должно стоять HTTP/1.1 404 Not Found.
Массовый всплеск 404 после переноса сайта или смены CMS бьёт по позициям, потому что теряются накопленные ссылки и история URL. Правило простое: если у удалённой страницы был трафик или внешние ссылки — ставьте 301-редирект на близкий по смыслу раздел; если страница пустая и бесполезная — честный 404 лучше редиректа в никуда. Не редиректьте всё подряд на главную: Google и Яндекс расценивают такой массовый редирект как soft 404 и всё равно выкидывают URL из индекса, а пользователь попадает не туда, куда шёл.
Сервер отдаёт код 404, поисковик со временем убирает URL из индекса — это штатно.
Страница «не найдено» отдаёт код 200 — мусор в индексе и потеря краулингового бюджета.
Был трафик и ссылки — 301 на близкий раздел; пусто и бесполезно — оставить честный 404.
После переезда на новую CMS Вебмастер показал 12 000 страниц с кодом 404. Разобрали: 9 000 — старые фильтры каталога без трафика, оставили 404; 3 000 — карточки товаров со ссылками и историей, поставили 301 на актуальные категории. Через 3 недели число исключённых URL в индексе упало вчетверо, позиции категорий вернулись.