リンク切れチェッカー
URLを入力すると、クローラーが内部リンクをたどり(最大200ページ)、失敗するすべてのリンクを報告します: 404 などの 4xx、5xx、タイムアウト、取得エラー。切れたリンクにはそれを指しているページとアンカーテキストが付くので、何かが壊れていると知るだけでなく、リンクかページを修正できます。リクエストするのはあなたのサイトだけ — 他サイトへのリンクは数えるだけで取得しません。CSVでダウンロード。24時間を超えて保存されるものはありません。
クロールは当社サーバーで実行されます: 1秒に1リクエスト、robots.txt を遵守、JavaScript は実行しません。保持するのは開始URLとこの要約のみで、24時間後に削除されます。
仕組み
1. 当社のクローラー(InsighthackerzBot、1秒に1リクエスト、JavaScriptなし)はまず robots.txt とそこに宣言されたサイトマップを取得し、指定したURLから内部リンクを幅優先でたどります — 同一ホストのみ、www ありなしは同じサイトとして扱います 2. 上限: 1回あたり50・100・200ページ、1ページ2 MB、1リクエスト15秒、1URLあたりリダイレクト5回。robots.txt が当クローラーのUAに禁止するURLはスキップして計数し、nofollow 指定のページは取得しますがそのリンクはたどりません 3. すべてのHTMLページは on-page SEOチェッカーと同じエンジンを通ります: title、description、H1、canonical、robots ディレクティブ、語数、alt のない画像 — 警告と失敗はページごとに保持し、HTMLは保持しません 4. クロール中に切れていると判明した内部リンク(4xx、5xx、タイムアウト)はリンク元ページとともに一覧化。他サイトへのリンクはページごとに数えるだけで一切リクエストしません — クローラーは指定されたサイトとしか通信しません 5. 結果は当社サーバー上の1ジョブです: 開始URLと要約のみを保持し、24時間後に失効し、他の用途には一切使いません 6. リンク先ページが 4xx か 5xx を返すか、リクエストが失敗(タイムアウト、DNS、TLS、接続拒否、2 MB超のページ)した場合にリンク切れとみなします。動作するページへのリダイレクトは切れていません — 監査タブに表示されます
リンク切れと、チェッカーがそれをどう見つけるかについて
リンク切れとは、リンク先がもう応答しないリンクです: ページが削除・改名されたための404、410、背後で何かが落ちているための5xx、あるいは応答がまったくないケース。訪問者にとっては行き止まりで、検索エンジンにとってはクロールの無駄であり、小さいながらもサイトが保守されていないというシグナルです。内部のリンク切れは完全にあなたが直すもので、たいてい誰も反映しなかったURL変更が原因です — 改名されたスラッグ、削除されたカテゴリ、大半のページはリダイレクトしたが全部ではなかった移行など。
チェッカーはクロールで見つけます。取得した各ページからリンクを抽出し、内部リンクをすべてキューに入れ、キューのURLがエラーを返せばそれがリンク切れです。クローラーはリンクをたどってそこへ来たので、どのページが送ったかをすでに知っています。他サイトへのリンクはページごとに数えるだけで(内部リンクタブに表示)、一切リクエストしません。クローラーが通信するのは指定されたサイトだけなので、あなたのサイトが他所でレート制限を受ける原因にならず、報告される内容はあなたが実際に直せるものです。
リンク元ページは、切れたURL自体より重要です。古いブログ記事1本からリンクされた404は5秒で直せますが、同じ404がフッターにあれば全ページに存在し、リダイレクトに値します。表にはリンクごとに最大5つのリンク元ページとアンカーテキストが載り、リンクが本来どこを指すはずだったかを推測するのにたいてい十分です。
「切れている」リンクの一部は切れていません。ログインが必要なページは 401 か 403 を返し、15秒以上かかったページは存在していてもタイムアウトと表示され、2 MBを超えるページは大きすぎるとしてスキップされます。ステータスとエラーの列がどれに当たるかを示します — 404以外の理由でチェッカーが指摘したリンクは、削除する前にブラウザで開いてください。
よくある質問
- 他サイトへのリンクも確認しますか?
- いいえ。外部リンクはページごとに数えるだけで — 内部リンクタブに各ページの発リンク数が表示されます — リクエストはしません。チェッカーは指定されたサイトだけをクロールするので、他所のサーバーに対して礼儀正しく、レポートは自分のサイトで直せることに限られます。切れていると疑われる他サイトへのリンクはブラウザで開いてください。
- リンクが 403 や 401 と表示されるのはなぜですか?
- ページは存在しますが、クローラーを拒否しました: ログイン壁、IPルール、InsighthackerzBot を知らないボット対策など。訪問者にとってはリンク切れではありませんが、Google もクロールできないページです — 公開ページからリンクすべきかどうか判断してください。
- チェッカーはリダイレクトをたどりますか?
- はい — 動作するページに301するURLへのリンクは切れていません。リダイレクトは監査タブに表示されるので、リンクを最終URLに向けてチェーンを短くできます。404で終わるリダイレクトはリンク切れとして報告されます。
- 切れていると分かっているリンクをチェッカーが見つけないのはなぜですか?
- そのリンクを含むページがクロール対象外だった(ページ上限外、robots.txt で禁止、開始URLからリンクをたどって到達不能)か、リンクが他サイトを指しているか、JavaScript で挿入されているかです — クローラーは配信されたHTMLを読み、スクリプトは実行しません。監査タブでどのページがクロールされたか確認できます。
- 画像、スクリプト、スタイルシートは?
- たどるのは <a href> リンクだけです。欠けた画像や404のスタイルシートは本物の問題ですが、別の問題です。オンページチェッカーは alt のない画像を報告し、ブラウザの開発者ツールは1ページ分の失敗したアセットリクエストを表示します。
- どのくらいの頻度で確認すべきですか?
- 内部リンクはURL変更で切れます。移行、リニューアル、一括リネーム、CMS更新の直後、それ以外は1〜2か月ごとに確認してください。200ページを超えるサイトには全体をクロールできるツールが必要で、このツールはサンプルを提供します — 変更したセクションから始めてください。