🔍
サイト運営者やコンテンツ制作者が、新しいページの公開や共有を準備する場面に向いています。サイトマップ付きのrobots.txtファイルを作成します。
サイトマップ付きのrobots.txtファイルを作成します。結果はブラウザーにすぐ表示され、登録、アップロード、保存なしでそのままコピーできます。
サンプルでは単純なドメインアドレスを使用しています。生成後、サイトマップ行がそのドメインを反映しているか、ディレクティブがインデックスさせたいページをブロックしていないかを確認してください。
入力
https://example.com出力
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlrobots.txtの内容はブラウザ内で生成されます。入力したアドレスはデバイスから離れず、ツールによって何も保存されず、テキストはページからコピーできる状態になります。
ドメインのルート、通常のrobots.txtアドレスでアクセスできる必要があります。サブフォルダに置かれたファイルは、クローラーによってメインのrobots.txtファイルとして扱われません。
入力したドメインに基づいてサイトマップの場所を指す行を生成します。サイトマップファイル自体は作成しません。告知するアドレスに有効なサイトマップが利用可能である必要があります。
生成されるファイルには一般的なディレクティブが含まれます。サイト全体をブロックしたい場合は、ファイルに一致するルールを追加するか、結果を編集する必要があります。公開する前に必ず内容を確認してください。