robots.txt для AI-краулеров и llms.txt
Соберите блок robots.txt для ботов нейросетей и файл llms.txt. Решите, кого пускать к контенту: закрыть сайт от обучения ИИ, оставить доступ для цитирования в ответах — или открыть всё для максимальной AI-видимости. Всё считается в браузере, ничего не уходит на сервер.
Как пользоваться
- В первом блоке отметьте, каких AI-краулеров закрыть. Пресеты помогут: «закрыть всех», «закрыть только обучение» (оставить ботов, что дают ссылки в ответах) или «открыть всех».
- Справа появится готовый блок с директивами Disallow. Добавьте его в свой robots.txt в корне сайта — обычные поисковые боты он не трогает.
- Во втором блоке впишите название, описание и ключевые страницы — получите llms.txt, который кладут в корень сайта как карту для нейросетей.
Частые вопросы
Что такое AI-краулеры и зачем ими управлять?
Это боты нейросетей: GPTBot и OAI-SearchBot у OpenAI, ClaudeBot у Anthropic, Google-Extended у Google, PerplexityBot у Perplexity и другие. Одни собирают тексты для обучения моделей, другие подтягивают страницы в момент ответа пользователю. robots.txt позволяет решить, кого пускать: закрыть контент от обучения, но оставить доступ ботам, которые дают ссылку на вас в ответе.
Закрывать AI-ботов или открывать?
Зависит от стратегии. Контентному и услуговому сайту обычно выгоднее открыть доступ ботам, которые цитируют источники (OAI-SearchBot, PerplexityBot, ChatGPT-User) — это шанс попасть в ответы ИИ и получить AI-видимость. Закрывают чаще от обучения (GPTBot, Google-Extended, CCBot), если не хотят, чтобы контент ушёл в датасеты без отдачи. Пресет «закрыть обучение» делает ровно это.
Что такое llms.txt и обязателен ли он?
llms.txt — предложенный стандарт: текстовый файл в корне сайта (по аналогии с robots.txt), где простым языком описаны сайт и список главных страниц. Он помогает нейросетям быстрее понять, что у вас есть, и сослаться на нужные разделы. Это не обязательный и пока не гарантированно учитываемый файл, но его уже поддерживают и он почти ничего не стоит.
Точно ли боты слушаются robots.txt?
Крупные официальные AI-краулеры (GPTBot, Google-Extended, ClaudeBot, PerplexityBot, Applebot) заявляют, что уважают robots.txt. Но файл — это просьба, а не техническая блокировка: «серые» парсеры могут её игнорировать. Для жёсткого запрета нужна блокировка на уровне сервера по User-agent или IP.
Данные куда-то отправляются?
Нет. Всё работает прямо в браузере на JavaScript — список никуда не загружается и не сохраняется на сервере.
Ещё инструменты для SEO и маркетинга
Кластеризатор запросов, генераторы sitemap и robots.txt, минус-слова, разметка Schema.org и калькуляторы — в разделе инструментов.