Проверка битых ссылок

Те, что отвечают кодом 404 или 410 — страницы нет и не будет. Рядом с ними в отчёт идут ошибки сервера 500–503: страница может существовать, но сейчас недоступна, и для робота разница невелика. Отдельно помечаются адреса, до которых вообще не удалось достучаться: домен не разрешается, сертификат просрочен, соединение обрывается по таймауту.

Ссылка через переадресацию работает, поэтому её редко замечают. Но каждый переход — это лишний запрос: робот тратит на него бюджет обхода, а посетитель — доли секунды. Особенно обидно, когда редирект внутренний и правится в одну строку: например, все ссылки в меню ведут на адрес без слеша, а сайт триста первым отправляет на адрес со слешом. Цепочка из двух и более переходов уже считается ошибкой и в отчётах поисковых систем.

Часть сайтов отвечает по-разному человеку и программе: отдаёт 403 всему, что не похоже на браузер, требует куки или прячется за защитой от ботов. Такие адреса стоит открыть глазами прежде, чем убирать. Верно и обратное: ссылка может открываться у вас из кэша, а для всех остальных быть мёртвой.

Страница обходит адреса порциями по двенадцать, пока не кончится список или пока вы не остановите. Ограничение техническое: одним запросом сотню адресов не проверить, соединение оборвётся по таймауту. Порядок обхода — сначала внутренние, потом внешние: свои ссылки важнее и чинятся быстрее.

Нет, только обычные ссылки в разметке. Битые картинки, стили и скрипты — отдельная задача: их не видно в списке ссылок, и ищут их по консоли браузера или логам сервера. Здесь речь о том, куда может кликнуть человек и пойти робот.

Внутренние — поправить адрес или поставить редирект со старого на новый, если страница переехала. Внешние — заменить на живой источник или снять ссылку; если материал ценный, ищите его копию в веб-архиве. Ссылки на закрывшиеся сервисы обычно проще убрать вместе с абзацем, который на них опирался.

Одна. Обход всего сайта — это краулер, который ходит по ссылкам вглубь и работает часами; в браузере такое не делается. Для точечной проверки страницы этого инструмента достаточно, а чтобы обойти сайт целиком, берите десктопный краулер.

На сервер уходит только адрес страницы: обход чужих сайтов из браузера невозможен, коды ответа собирает наш сервер.