robots.txt 規則による URL 許可判定

サイト運営者や技術担当者が、新しいページの公開や移行に先立ち、クローラー向けの規則を点検する場面に適しています。

robots.txt の規則を URL に当てはめ、対象ページへのアクセスが許可されるかを公開前に確認して意図しない制限を見つけられます。

使い方

  1. robots.txtファイルの内容を入力エリアの最初の部分に貼り付けます。
  2. ツールに表示された区切り文字を追加し、2番目の部分にテストしたいパスまたはアドレスを入力します。
  3. テストを実行して、指定したルールの下でパスが許可されているかブロックされているかを確認します。
  4. 結果が意外な場合は、ルールまたはパスを変更して再度テストし、結果を比較します。

使用例

サンプルでは、フォルダをブロックするルールと、そのフォルダ内のパスを組み合わせています。テスト後、表示された判定がルールと一致するか、選択したクローラーが確認したいものであるかを確認してください。

入力

User-agent: Googlebot
Disallow: /admin/
--
/admin/page

制限と形式

処理の場所

チェックはブラウザ内でローカルに実行されます。robots.txtの内容とテストしたパスはデバイス上に保持され、外部サイトへのリクエストは行われず、判定はページに直接表示されます。

よくある質問

テストがGoogleの動作と一致しないのはなぜですか？

テストは貼り付けたルールを適用します。Googleは異なるバージョンのファイルを使用したり、キャッシュされたコピーに依存したり、他のシグナルを適用したりする場合があります。結論を出す前に、実際にオンラインでアクセスできるファイルを確認してください。

ルールとパスの間の区切り文字は必要ですか？

はい、ツールはrobots.txtの内容とテストするパスを明確に分離する必要があります。区切りがないと2つの部分を区別できず、結果が一貫しないか生成できない可能性があります。

複数のアドレスを一度にテストできますか？

ツールは通常、一度に1つのパスを処理します。複数のアドレスを確認するには、各パスについてテストを再度実行し、判定を記録します。これにより、範囲が広すぎるルールや順序が悪いルールを見つけやすくなります。

同じカテゴリのツール