🔍
クロール障害を調べるSEO担当者や、サイト変更後に検索ロボット向けの指示を点検したい運営者に便利です。
robots.txtが取得できるか、サイトがどの応答を返すか、想定した指示をクローラーが読めるかをまとめて確認できます。公開後の点検にも役立ちます。
リニューアル後、SEO担当者はドメインをテストしてrobots.txtがまだ応答することを確認できます。結果は、検索エンジンが重要なページにアクセスできなくなる前に、リダイレクト、エラーページ、空のコンテンツを見つけるのに役立ちます。
あなたのドメインはYOORfreeサーバーに送信され、サーバーが対象サイト自体からrobots.txtファイルを取得します。ローカルファイルはアップロードされず、ステータスと取得した内容が表示のために返されます。
404ステータスは、ファイルが期待されるアドレスに見つからないことを意味します。クローラーはその後、サイトにルールがないものとして扱うことがあります。ファイルがドメインルートにあり、正しいファイル名であることを確認してください。
サイトがキャッシュされたバージョン、リダイレクト、またはサーバー上で変更されたファイルを提供している可能性があります。テストしたアドレスとローカルファイルを比較し、必要に応じてキャッシュをクリアしてから再度チェックを実行してください。
はい、完全なサブドメインを入力すれば可能です。各サブドメインは独自のrobots.txtファイルを持つことができます。したがって、結果は入力したホストにのみ適用され、メインドメインには適用されません。