Поисковый робот (краулер, паук) переходит по ссылкам, скачивает HTML и передаёт в индекс. Googlebot и Яндекс-бот — основные для рунета.
Управление роботом: robots.txt, meta robots, каноникал, sitemap. Анализ логов показывает, какие страницы робот реально обходит.
Поисковый робот (краулер) обходит сайт по ссылкам, проверяет правила robots.txt и meta, и формирует индекс поисковика
