Что такое технический аудит и зачем он
Можно написать идеальные тексты и закупить ссылки, но если поисковый робот не доходит до страниц или получает вместо контента пустой HTML — сайта в выдаче нет. Технический аудит отвечает ровно на этот вопрос: видит ли сайт поиск — и, что новее, видят ли его нейросети.
В 2026-м к роботам Яндекса и Google добавились AI-краулеры (GPTBot, ClaudeBot, PerplexityBot): они тоже обходят сайт и решают, попадёшь ли ты в ответы ChatGPT и Нейро. Поэтому пройдём весь путь робота по сайту — от «пустил ли сервер» до «смогла ли нейросеть достать факт» — и на каждом шаге дам бесплатный инструмент, чтобы проверить свой сайт прямо сейчас.
Техничка — фундамент. Пока робот не видит сайт, работа над контентом и ссылками впустую. Быстрый общий чек-лист сайта — в статье «Как проверить сайт за 15 минут»; здесь копаем глубже, именно в доступность.
Быстрый прогон инструментами
Четыре стадии, на которых сайт «пропадает» из глаз робота, и инструмент под каждую. Дальше разберём каждую подробно, но начать можно прямо с этой таблицы.
| Стадия | Что проверяем | Инструмент |
|---|---|---|
| Доступ | код ответа, robots.txt, SSL | Ответ сервера, SSL |
| Рендеринг | контент без JS, скорость, метатеги | On-page аудит |
| Индексация | canonical, sitemap, редиректы | Анализ Sitemap, 301 |
| Доступ для AI | llms.txt, микроразметка, доступ ботам | llms.txt, микроразметка |
1. Доступ: пускает ли сайт робота
Первое, что делает робот, — стучится на страницу. Здесь три частые причины, по которым его разворачивают на пороге.
Код ответа. Робот должен получить 200 OK. Коды 4xx (страницы нет) и 5xx (сервер лёг) выкидывают страницу из обхода, а лишние 301/302 в цепочке тратят краулинговый бюджет. Проверь коды по списку URL в ответе сервера.
robots.txt. Один Disallow: / по ошибке закрывает весь сайт от индексации. Проверь, что нужные разделы открыты, а мусор (корзина, поиск, фильтры) закрыт — собрать корректный файл поможет генератор robots.txt.
SSL и HTTPS. Просроченный сертификат пугает и людей, и роботов, а смешанный контент (http внутри https) ломает доверие. Срок и цепочку сертификата покажет проверка SSL.
2. Рендеринг: доходит ли контент
Робот пустили — но увидит ли он текст? Частая беда современных сайтов: контент подгружается скриптами, и в исходном HTML пусто. Робот Яндекса рендерит JS через раз, AI-краулеры — почти никогда.
Контент в HTML. Открой страницу и посмотри исходный код (Ctrl+U): если основной текст там есть — хорошо, если вместо него пустые <div> и один скрипт — робот видит болванку. Что реально отдаётся по URL, покажет on-page аудит: он тянет страницу серверным запросом, как это делает бот.
Скорость и первый байт. Медленный ответ сервера съедает краулинговый бюджет — робот успевает обойти меньше страниц. Скорость и Core Web Vitals — в отдельном гайде по CWV.
Метатеги и заголовки. Тот же аудит проверит Title, Description, один ли H1, нет ли noindex там, где он не нужен, и целы ли canonical и Open Graph.
3. Индексация: попадает ли в индекс
Страница открыта и отрендерена — теперь важно, чтобы робот выбрал правильную версию и не утонул в дублях. Здесь ломается чаще всего.
Canonical и дубли. Один и тот же контент по разным адресам (со слешем и без, с UTM, с фильтрами) размывает сигналы. Укажи каноничный URL и склей дубли — типовые ситуации разбирал в статье почему сайт не индексируется.
Sitemap.xml. Карта сайта подсказывает роботу все страницы и частоту обновления. Проверь, что в ней нет закрытых в robots и битых URL — это делает анализ Sitemap, а собрать карту заново поможет генератор sitemap.
Редиректы. После переезда или смены структуры нужны аккуратные 301 без цепочек и петель. Собрать правила разом — в генераторе 301-редиректов. Полный разбор robots и sitemap — в отдельном гайде.
4. Доступность для AI: видят ли нейросети
Новый слой техаудита. Нейросети отвечают пользователям, ссылаясь на сайты, — и если твой контент им недоступен или непонятен, в ответах ChatGPT и Нейро окажутся конкуренты. Три вещи решают, попадёшь ли ты туда.
Доступ AI-краулерам. В robots.txt пропиши осознанную политику для GPTBot, ClaudeBot, Google-Extended и PerplexityBot: пускаешь их за видимость в AI или закрываешь ради защиты контента. Готовые правила соберёт генератор robots.txt для AI.
Файл llms.txt. Это карта смыслов сайта для нейросетей: что за проект, где ключевые страницы, какие факты важны. Собрать и проверить его — в том же генераторе llms.txt, а зачем он нужен — в разборе «llms.txt: что это и как создать».
Извлекаемые факты. Нейросеть берёт то, что размечено и подтверждено: цены, услуги, факты о компании в чистом HTML и микроразметке Schema.org. Что реально размечено на странице, покажет проверка микроразметки.
Диагностика и чек-лист
Если сайт где-то теряется — прогони ситуацию через дерево. Оно доведёт до стадии, на которой рвётся цепочка.
И держи под рукой полный технический чек-лист — галочки сохраняются в браузере:
Disallow: /.Частые вопросы
Что такое технический аудит сайта?
Как провести технический аудит сайта бесплатно?
Как проверить, видит ли сайт поисковый робот?
Как сделать сайт доступным для нейросетей и AI?
Чем технический аудит отличается от SEO-аудита?
Как часто делать технический аудит сайта?
Главное
Технический аудит проверяет, видит ли сайт поиск и нейросети, — по пути робота: пускает ли сервер (коды ответа, robots, SSL), доходит ли контент (рендеринг, скорость), попадает ли в индекс (canonical, sitemap, редиректы) и достаёт ли факты AI (llms.txt, микроразметка, доступ краулерам). Каждую стадию можно проверить бесплатным инструментом прямо в браузере. Прогоняй техничку раз в месяц и после каждого крупного изменения — именно там ломается доступность и утекает трафик.
Нужен глубокий разбор, где сайт теряет робота и трафик? Проведу технический аудит и дам план по шагам — SEO-аудит сайта или быстрый прогон в on-page аудите по URL.