robots.txt テスター

仕組み

1. robots.txt を読み込む — サイトのホストから取得（/robots.txt、最大 512 KB、リダイレクトに追従）するか貼り付ける。ファイルがない場合（4xx）はすべて許可、サーバーエラー（5xx）の場合は Google は復旧まで何もクロールしない
2. グループに解析する: 連続する User-agent 行がグループを開始し、その後に続く Allow と Disallow のルールを保持する。Sitemap 行はグローバル。不明なディレクティブは保持したうえで警告を出す
3. クローラーに対応するグループを選ぶ: クローラーのプロダクトトークンに一致する最も具体的な User-agent トークン（大文字小文字を区別しない。例: Googlebot より Googlebot-Image が優先）。一致しない場合のみ User-agent: * のグループ。どちらもなければすべて許可
4. そのグループのすべてのルールとパスを照合する — * は任意の文字列に一致し、$ は末尾を固定し、それ以外はパーセント正規化したパスとクエリに対する前方一致
5. 一致するパターンが最も長いルールが判定を決める。同じ長さなら Allow が優先。一致がなければ許可
6. 既知の 20 のクローラー（検索、AI 学習、AI 回答エンジン、ソーシャルプレビュー、SEO ツール）についてルートとテスト対象のパスで繰り返し、構文の警告と Sitemap 行を一覧にする

robots.txt とクローラーの読み取り方について

robots.txt は、ホストのルートに置かれたプレーンテキストのファイルで、クローラーに取得してよいパスを伝えます。これは要請であり、鍵ではありません: ルールに従うクローラー — 主要な検索エンジンすべてと、ユーザーエージェントを公開している AI ボット — はクロール前にこのファイルを読みますが、無視するクローラーを止める手段はありません。ルールが影響するのはクロールだけで、インデックス登録には影響しません: ブロックされたページでも、他のページからリンクされていれば説明文なしで検索結果に表示されることがあります。ページをインデックスから外すには、クロール可能な状態で noindex タグを付ける必要があります。

照合のルールは厳密で、しかも多くの場合誤解されています。クローラーが使うグループは 1 つだけです: User-agent トークンが最も具体的に一致するグループ、なければ * のグループ — 両方を使うことはありません。そのグループ内では、行の順序に関係なく一致するパスパターンが最も長いルールが優先され、Allow と Disallow が同じ長さで一致した場合は Allow が優先されます。* は任意の文字列に一致し、$ はパターンをパスの末尾に固定します。$ がなければすべてのルールは前方一致です。このテスターは RFC 9309 と Google のドキュメントが記述するとおりにこれらのルールを実装し、判定結果だけでなく、判定を決めた行を表示します。

クローラーごとの一覧表があるのは、robots.txt が「誰が自社コンテンツを AI に使ってよいか」を決める場所になったからです。GPTBot、ClaudeBot、CCBot、Google-Extended、Bytespider、meta-externalagent は学習データを収集します。OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-Web は質問に答えるためにページを取得し、トラフィックを送ることがあります。Googlebot と Bingbot は検索のためにインデックスします。User-agent: * の下の Disallow: / 1 行でこれらすべてが一度にブロックされ、訪問者を送ってくるボットも含まれます。一覧表は、書かれたファイルに対して各ボットがどう動くかを示し、トレードオフを偶然ではなく目に見える形にします。

警告は、動作を静かに変えてしまう間違いを対象にしています: User-agent 行より前に置かれたルール（無視される）、空の Disallow（すべて許可）、先頭のスラッシュがないパス、相対 URL の Sitemap、Crawl-delay（Google と Bing は無視）、Noindex ディレクティブ（2019 年以降サポート外）、重複したグループ、バイトオーダーマーク、Google が読み取るサイズを超えたファイル。これらは何をブロックすべきかという助言ではありません — それはサイトによって異なります。ファイルが作者の意図どおりに書かれているかどうかだけを確認します。

よくある質問

robots.txt の Disallow でページは Google から削除されますか？

いいえ。Googlebot がそのページを取得することは止まりますが、URL は他の場所のリンクからインデックスされ、スニペットなしで表示されることがあります。ページをインデックスから削除したり除外したりするには、クロールを許可したうえで meta robots の noindex タグか X-Robots-Tag ヘッダーを追加してください。robots.txt でブロックしながら同時に noindex を付けても機能しません。noindex が読まれることがないからです。

Allow と Disallow の両方が一致した場合、どちらが優先されますか？

パスパターンが長い方です。Disallow: /admin/ と Allow: /admin/help はどちらも /admin/help/start に一致しますが、Allow のパターンの方が長いため、このパスは許可されます。2 つのパターンがまったく同じ長さなら Allow が優先されます。行の順序は関係ありません。

User-agent: * のグループは Googlebot にも適用されますか？

Googlebot を指定したグループがない場合に限ります。クローラーが従うグループは 1 つだけです — そのトークンに最も具体的に一致するグループ、なければ * です。グループをまたいでルールが統合されることはありません。そのため、Googlebot のグループに Disallow 行がないサイトでは、* のグループがブロックしているものをすべて Googlebot がクロールできます。

検索エンジンをブロックせずに AI ボットだけをブロックするには？

AI クローラーごとに独自のグループを作るか、複数のトークンを 1 つのグループにまとめます: User-agent: GPTBot、User-agent: CCBot、続けて Disallow: /。* のグループと Googlebot や Bingbot のグループはそのまま残します。一覧表で、どの名前付きボットがブロックされ、どの検索クローラーが影響を受けないかを確認できます。なお、Google-Extended は Gemini の学習への利用を制御しますが、Googlebot のクロールには影響しません。

Disallow 行があるのに、テスターが「すべて許可」と表示するのはなぜですか？

多くの場合、Disallow 行が User-agent 行より前に置かれているか、選んだクローラーにそのルールを含まない独自のグループがあるためです。行のハイライトで、どのグループが適用されたかが分かります。警告の一覧には、どのグループにも属さないルールが表示されます。

Crawl-delay はサポートされていますか？

Google と Bing ではサポートされていません — Google はこのディレクティブを完全に無視し、Bing は Webmaster Tools のクロール頻度設定を推奨しています。Yandex も 2018 年に対応を終了しており、いまも尊重するのは一部の小規模なクローラーだけです。テスターはこれを解析して警告し、2 大検索エンジンに対しては期待どおりに動作しないことを知らせます。

robots.txt がエラーを返すとどうなりますか？

404 などの 4xx は robots.txt が存在しないことを意味し、クローラーはすべて許可と見なします。5xx やタイムアウトは、Google では一時的な全面ブロックとして扱われます: クロールを停止し、ルールなしと見なすまで最長 30 日間その状態を維持することがあります。別のホストへのリダイレクトには追従しますが、ファイルが見つかった場合に限り、そのルールは元のホストに適用されます。