Проверка битых ссылок

Введите URL — сканер обойдёт внутренние ссылки (до 200 страниц) и сообщит о каждой, которая не работает: 404 и другие 4xx, 5xx, тайм-ауты и ошибки загрузки. К каждой битой ссылке прилагаются страницы, которые на неё указывают, и текст ссылки, чтобы вы могли исправить ссылку или страницу, а не просто знать, что что-то сломано. Запрашивается только ваш сайт — ссылки на другие сайты подсчитываются, но никогда не загружаются. Скачивание в CSV. Ничего не хранится дольше 24 часов.

Сканирование выполняется на нашем сервере: один запрос в секунду, с соблюдением robots.txt, без JavaScript. Хранятся только стартовый URL и эта сводка — 24 часа.

Как это работает

1. Наш сканер (InsighthackerzBot, один запрос в секунду, без JavaScript) сначала загружает robots.txt и объявленные в нём sitemap, затем начинает с указанного URL и обходит внутренние ссылки в ширину — только тот же хост; www и домен без www считаются одним сайтом
2. Ограничения: 50, 100 или 200 страниц за запуск, 2 МБ на страницу, 15 с на запрос, 5 редиректов на URL; URL, закрытые в вашем robots.txt для нашего user-agent, пропускаются и подсчитываются; страницы с nofollow загружаются, но их ссылки не обходятся
3. Каждая HTML-страница проходит через тот же движок, что и проверка on-page SEO: title, description, H1, canonical, директивы robots, число слов, изображения без alt — предупреждения и ошибки сохраняются по странице, HTML — нет
4. Внутренние ссылки, оказавшиеся битыми при обходе (4xx, 5xx, тайм-ауты), перечисляются вместе со страницами, которые на них ссылаются; ссылки на другие сайты подсчитываются по страницам, но никогда не запрашиваются — сканер обращается только к указанному вами сайту
5. Результат — одна задача на нашем сервере: она содержит только стартовый URL и сводку, удаляется через 24 часа и ни для чего другого не используется
6. Ссылка считается битой, если целевая страница отвечает 4xx или 5xx либо запрос не удался (тайм-аут, DNS, TLS, отказ в соединении, страница больше 2 МБ). Редиректы на рабочую страницу не битые — они показаны во вкладке аудита

О битых ссылках и о том, как их находит проверка

Битая ссылка — это ссылка, цель которой больше не отвечает: 404, потому что страницу удалили или переименовали, 410, 5xx, потому что за ней что-то упало, или вообще нет ответа. Для посетителей это тупик; для поисковых систем — впустую потраченное сканирование и сигнал, пусть небольшой, что сайт не поддерживается. Внутренние битые ссылки целиком ваша забота и обычно возникают из-за смены URL, о которой никто не позаботился — переименованный slug, удалённая категория, переезд, при котором редиректы поставили для большинства страниц, но не для всех.

Проверка находит их сканированием. Каждая загруженная страница разбирается на ссылки; каждая внутренняя ссылка ставится в очередь; каждый URL из очереди, ответивший ошибкой, — битая ссылка, и поскольку сканер пришёл туда по ссылкам, он уже знает, какие страницы его привели. Ссылки на другие сайты подсчитываются по страницам (вкладка внутренних ссылок их показывает), но никогда не запрашиваются: сканер обращается только к сайту, на который вы его направили, поэтому не может подвести ваш сайт под ограничения где-то ещё, а его находки — то, что вы действительно можете исправить.

Исходные страницы важнее самого битого URL. 404, на который ссылается одна старая запись в блоге, чинится за пять секунд; тот же 404 в подвале стоит на каждой странице и заслуживает редиректа. Таблица показывает до пяти исходных страниц на ссылку и текст ссылки, чего обычно хватает, чтобы догадаться, куда ссылка должна была вести.

Некоторые «битые» ссылки таковыми не являются. Страница за логином отвечает 401 или 403; страница, грузившаяся дольше 15 секунд, показана как тайм-аут, хотя существует; страница больше 2 МБ пропущена как слишком большая. Столбцы статуса и ошибки говорят, что именно произошло — откройте URL в браузере, прежде чем удалять ссылку, отмеченную по причине, отличной от 404.

Частые вопросы

Проверяются ли ссылки на другие сайты?
Нет. Внешние ссылки подсчитываются по страницам — вкладка внутренних ссылок показывает, сколько отдаёт каждая страница, — но никогда не запрашиваются. Проверка сканирует только указанный вами сайт: это сохраняет вежливость к чужим серверам и ограничивает отчёт тем, что вы можете исправить на своём сайте. Ссылку на другой сайт, которую вы подозреваете в смерти, откройте в браузере.
Почему ссылка показывает 403 или 401?
Страница существует, но отвергла сканер: форма входа, правило по IP или защита от ботов, не знающая InsighthackerzBot. Для посетителя это не битая ссылка, но и Google такую страницу просканировать не сможет — решите, стоит ли вообще ссылаться на неё с публичных страниц.
Отслеживает ли проверка редиректы?
Да — ссылка на URL, который через 301 ведёт на рабочую страницу, не битая. Редирект показан во вкладке аудита, чтобы вы могли направить ссылку на конечный URL и сократить цепочку; редирект, заканчивающийся на 404, отмечается как битый.
Почему проверка не находит ссылку, о которой я знаю, что она битая?
Либо страница, содержащая её, была вне обхода (за пределами лимита страниц, запрещена в robots.txt или недостижима по ссылкам от стартового URL), либо ссылка ведёт на другой сайт, либо она вставляется через JavaScript — сканер читает HTML как есть и не выполняет скрипты. Вкладка аудита показывает, какие страницы были просканированы.
А изображения, скрипты и стили?
Отслеживаются только ссылки <a href>. Отсутствующее изображение или стиль с 404 — реальная, но другая проблема; проверка on-page сообщает об изображениях без alt, а инструменты разработчика в браузере показывают неудавшиеся запросы ресурсов для отдельной страницы.
Как часто проверять?
Внутренние ссылки ломаются при смене URL — проверяйте сразу после любого переезда, редизайна, массового переименования или обновления CMS, а в остальное время раз в месяц-два. Сайтам больше 200 страниц нужен инструмент, способный обойти их целиком; этот даёт выборку — начните с раздела, который вы меняли.
SEO-аудитВведите URL — сканер проверит до 200 страниц так, как это сделал бы первый проход поисковой системы: коды статуса, директивы noindex и canonical, отсутствующие или дублирующиеся title и description, отсутствующие H1, тонкие страницы, изображения без alt, цепочки редиректов, битые ссылки, страницы-сироты, покрытие robots.txt и sitemap. Каждая страница получает те же on-page проверки, что и проверка одной страницы; отчёт группирует их по проблеме и по странице. Без баллов, без выдуманных приоритетов — находки с числами. Скачивание в CSV. Ничего не хранится дольше 24 часов.Анализ внутренних ссылокВведите URL — сканер построит граф внутренних ссылок до 200 страниц: сколько страниц ссылается на каждый URL, сколько ссылок отдаёт каждая страница, на сколько кликов каждая страница отстоит от старта и на какие страницы никто не ссылается — сироты, о которых знает только sitemap. Таблица отсортирована по входящим ссылкам, так что страницы, которые ваш собственный сайт считает неважными, оказываются внизу. Скачивание в CSV. Ничего не хранится дольше 24 часов.Генератор SitemapВведите URL — сканер обойдёт внутренние ссылки (до 200 страниц), оставит только страницы, которые поисковик мог бы проиндексировать (статус 200, без noindex, canonical на саму себя), и запишет простой XML sitemap, который можно скачать или скопировать. Он также прочитает sitemap, который сайт уже публикует, и покажет оба пробела: индексируемые страницы, которых в нём нет, и URL из sitemap, до которых обход не добрался. lastmod, priority и changefreq не выдумываются. Ничего не хранится дольше 24 часов.Проверка редиректовВставьте до 20 URL и увидьте каждый переход цепочки редиректов: код статуса, цель, Cache-Control и время на переход, конечный URL и статус, циклы, цепочки длиннее трёх переходов, временные 302/307 вместо 301, двойные цепочки http→https→www, meta refresh и JavaScript-редиректы на конечной странице, canonical, не совпадающий с конечным URL, — а также, по желанию, отправляют ли Googlebot не туда, куда браузер. Экспорт в CSV. Ничего не сохраняется.