Что такое технический аудит и зачем он
Можно написать идеальные тексты и закупить ссылки, но если поисковый робот не доходит до страниц или получает вместо контента пустой HTML — сайта в выдаче нет. Технический аудит отвечает ровно на этот вопрос: видит ли сайт поиск — и, что новее, видят ли его нейросети.
В 2026-м к роботам Яндекса и Google добавились AI-краулеры (GPTBot, ClaudeBot, PerplexityBot): они тоже обходят сайт и решают, попадёшь ли ты в ответы ChatGPT и Нейро. Поэтому пройдём весь путь робота по сайту — от «пустил ли сервер» до «смогла ли нейросеть достать факт» — и на каждом шаге дам бесплатный инструмент, чтобы проверить свой сайт прямо сейчас.
Техничка — фундамент. Пока робот не видит сайт, работа над контентом и ссылками впустую. Быстрый общий чек-лист сайта — в статье «Как проверить сайт за 15 минут»; здесь копаем глубже, именно в доступность.
Быстрый прогон инструментами
Четыре стадии, на которых сайт «пропадает» из глаз робота, и инструмент под каждую. Дальше разберём каждую подробно, но начать можно прямо с этой таблицы.
| Стадия | Что проверяем | Инструмент |
|---|---|---|
| Доступ | код ответа, robots.txt, SSL | Ответ сервера, SSL |
| Рендеринг | контент без JS, скорость, метатеги | On-page аудит |
| Индексация | canonical, sitemap, редиректы | Анализ Sitemap, 301 |
| Доступ для AI | llms.txt, микроразметка, доступ ботам | llms.txt, микроразметка |
1. Доступ: пускает ли сайт робота
Первое, что делает робот, — стучится на страницу. Здесь три частые причины, по которым его разворачивают на пороге.
Код ответа. Робот должен получить 200 OK. Коды 4xx (страницы нет) и 5xx (сервер лёг) выкидывают страницу из обхода, а лишние 301/302 в цепочке тратят краулинговый бюджет. Проверь коды по списку адресов в ответе сервера.
robots.txt. Один Disallow: / по ошибке закрывает весь сайт от индексации. Проверь, что нужные разделы открыты, а мусор (корзина, поиск, фильтры) закрыт — собрать корректный файл поможет генератор robots.txt.
SSL и HTTPS. Просроченный сертификат пугает и людей, и роботов, а смешанный контент (http внутри https) ломает доверие. Срок и цепочку сертификата покажет проверка SSL.
2. Рендеринг: доходит ли контент
Робот пустили — но увидит ли он текст? Частая беда современных сайтов: контент подгружается скриптами, и в исходном HTML пусто. Робот Яндекса рендерит JS через раз, AI-краулеры — почти никогда.
Контент в HTML. Открой страницу и посмотри исходный код (Ctrl+U): если основной текст там есть — хорошо, если вместо него пустые <div> и один скрипт — робот видит болванку. Что реально отдаётся по URL, покажет on-page аудит: он тянет страницу серверным запросом, как это делает бот.
Скорость и первый байт. Медленный ответ сервера съедает краулинговый бюджет — робот успевает обойти меньше страниц. Скорость и Core Web Vitals — в отдельном гайде по CWV.
Метатеги и заголовки. Тот же аудит проверит Title, Description, один ли H1, нет ли noindex там, где он не нужен, и целы ли canonical и Open Graph.
3. Индексация: попадает ли в индекс
Страница открыта и отрендерена — теперь важно, чтобы робот выбрал правильную версию и не утонул в дублях. Здесь ломается чаще всего.
Canonical и дубли. Один и тот же контент по разным адресам (со слешем и без, с UTM, с фильтрами) размывает сигналы. Укажи каноничный URL и склей дубли — типовые ситуации разбирал в статье почему сайт не индексируется.
Sitemap.xml. Карта сайта подсказывает роботу все страницы и частоту обновления. Проверь, что в ней нет закрытых в robots и битых URL — это делает анализ Sitemap, а собрать карту заново поможет генератор sitemap.
Редиректы. После переезда или смены структуры нужны аккуратные 301 без цепочек и петель. Собрать правила разом — в генераторе 301-редиректов. Полный разбор robots и sitemap — в отдельном гайде.
4. Доступность для AI: видят ли нейросети
Новый слой техаудита. Нейросети отвечают пользователям, ссылаясь на сайты, — и если твой контент им недоступен или непонятен, в ответах ChatGPT и Нейро окажутся конкуренты. Три вещи решают, попадёшь ли ты туда.
Доступ AI-краулерам. В robots.txt пропиши осознанную политику для GPTBot, ClaudeBot, Google-Extended и PerplexityBot: пускаешь их за видимость в AI или закрываешь ради защиты контента. Готовые правила соберёт генератор robots.txt для AI.
Файл llms.txt. Это карта смыслов сайта для нейросетей: что за проект, где ключевые страницы, какие факты важны. Собрать и проверить его — в том же генераторе llms.txt, а зачем он нужен — в разборе «llms.txt: что это и как создать».
Извлекаемые факты. Нейросеть берёт то, что размечено и подтверждено: цены, услуги, факты о компании в чистом HTML и микроразметке Schema.org. Что реально размечено на странице, покажет проверка микроразметки.
Диагностика и чек-лист
Если сайт где-то теряется — прогони ситуацию через дерево. Оно доведёт до стадии, на которой рвётся цепочка.
И держи под рукой полный технический чек-лист:
| Что проверяем | Как понять, что в порядке | Чем проверить |
|---|---|---|
| Коды ответа | нужные страницы отдают 200, переезды через один 301 без цепочек | ответ сервера |
| robots.txt | рабочие разделы открыты, закрыты корзина, поиск и фильтры | генератор robots.txt |
| SSL и HTTPS | сертификат не просрочен, смешанного http-контента нет | проверка SSL |
| Контент без JavaScript | в исходном коде есть основной текст и заголовки | просмотр кода страницы, on-page аудит |
| Canonical и дубли | у страницы один канонический адрес, версии со слешем и UTM склеены | разбор дублей |
| Sitemap.xml | в карте только живые открытые адреса, она отдана в панели | анализ sitemap |
| Доступ AI-краулерам | политика для GPTBot и других задана осознанно, есть llms.txt | robots для AI |
| Разметка ключевых фактов | цены, услуги и контакты в чистом HTML и в Schema.org | проверка микроразметки |
Что должно быть в отчёте по аудиту
Аудит без приоритета бесполезен: список из сорока замечаний одинаковой важности парализует работу. Полезный отчёт отвечает на три вопроса — что сломано, чем это грозит и в каком порядке чинить.
| Уровень | Что сюда попадает | Когда чинить |
|---|---|---|
| Критично | недоступность, случайный Disallow: /, массовые 404 и 5xx, пустой HTML | в тот же день |
| Поправить | дубли и canonical, битые редиректы, медленные шаблоны, отсутствие разметки | ближайший спринт |
| Доделать | мелкие ошибки разметки, устаревшие адреса в карте, единичные битые ссылки | по остаточному принципу |
Частые находки: с чем сталкиваешься чаще всего
Список собран по чужим сайтам, которые доводилось разбирать. Порядок примерно отражает частоту.
| Находка | Как проявляется | Чем лечится |
|---|---|---|
| Тестовый robots.txt в проде | после релиза сайт закрыт целиком, трафик падает через несколько дней | вернуть боевой файл и отправить на переобход |
| Контент рисует JavaScript | страницы в индексе есть, но без текста и без позиций | серверный рендер или отдача основного текста в HTML |
| Каталог плодит дубли | фильтры и сортировки в индексе, каннибализация категорий | canonical, правила robots, Clean-param для Яндекса |
| Цепочки редиректов | по три-четыре перехода на один адрес, обход буксует | переписать правила на прямой 301 |
| Старые адреса после переезда | массовые 404 и просадка через 1–2 недели | карта редиректов один в один |
| Медленный ответ сервера | робот успевает обойти меньше страниц за визит | кэш, хостинг, оптимизация шаблонов |
| Закрытые CSS и скрипты | поиск видит страницу иначе, чем человек | открыть ресурсы в robots.txt |
| AI-краулеры заблокированы | сайт не попадает в ответы нейросетей | осознанная политика в robots.txt и llms.txt |
Делать самому или отдавать
Половина технического аудита закрывается бесплатными инструментами за вечер. Вопрос в том, где заканчивается самостоятельная проверка.
| Задача | Своими силами | Когда нужен специалист |
|---|---|---|
| Коды ответа, robots, SSL | да, инструменты бесплатные | если ошибок сотни и нужен разбор причин |
| Контент без JavaScript | да, просмотром кода страницы | если нужен серверный рендер и правки в шаблонах |
| Дубли и canonical | частично | каталог с фильтрами: там логика правил нетривиальная |
| Скорость и Core Web Vitals | замер да, правки нет | почти всегда: нужен разработчик |
| Приоритизация задач | сложно | здесь и есть основная ценность аудита со стороны |
Если разбирать некогда, я делаю такой аудит под ключ: прохожу все четыре стадии, собираю находки с приоритетом и отдаю список задач для разработчика — подробности на странице SEO-аудита сайта.
Частые вопросы
Что такое технический аудит сайта?
Как провести технический аудит сайта бесплатно?
Как проверить, видит ли сайт поисковый робот?
Как сделать сайт доступным для нейросетей и AI?
Чем технический аудит отличается от SEO-аудита?
Как часто делать технический аудит сайта?
Как понять, что робот видит контент страницы?
Сколько времени занимает технический аудит?
Как часто нужно проверять техническую часть?
Главное
Технический аудит проверяет, видит ли сайт поиск и нейросети, — по пути робота: пускает ли сервер (коды ответа, robots, SSL), доходит ли контент (рендеринг, скорость), попадает ли в индекс (canonical, sitemap, редиректы) и достаёт ли факты AI (llms.txt, микроразметка, доступ краулерам). Каждую стадию можно проверить бесплатным инструментом прямо в браузере. Прогоняй техничку раз в месяц и после каждого крупного изменения — именно там ломается доступность и утекает трафик.
Нужен глубокий разбор, где сайт теряет робота и трафик? Проведу технический аудит и дам план по шагам — SEO-аудит сайта или быстрый прогон в on-page аудите по URL.
