web-dev-qa-db-ja.com

Googleはrobots.txtの別のファイル名へのリダイレクトヘッダーを尊重しますか？

Robots.txtのリクエストに関しては、Google states "有効な結果が見つかるまでリダイレクトは通常フォローされます"。

これは、http://www.example.com/robots.txtからhttp://www.example.com/myrobots.txtへの301リダイレクトを作成すると、Googleはhttp://www.example.com/myrobots.txtから提供されるコンテンツを有効なrobots.txtコンテンツとして解析することを意味しますか？または、結果URLの名前がrobots.txtでないという事実により、これは無効な結果になるため、無視されますか？

googlegoogle-search-console301-redirectrobots.txt
3
Craig Sefton

ロボットは ロボット除外標準 に従います。これは、ロボット除外プロトコルとしても知られています。 WC3によると、ロボットディレクティブは、サイトのルートディレクトリにある「/robots.txt」を含むURIのファイルにすべて小文字で指定する必要があります。詳細については、以下を参照してください。 WC3-robots.txtファイル

そこに記載されているとおり：The Robot will simply look for a "/robots.txt" URI on your site。そのため、一部のロボットは、異なるファイル名または場所のrobots.txtを認識しない場合があります。

Googleウェブマスターツールでは、サイトのrobots.txtファイルへのURLをCrawl-> Blocked URLsで見ることができます。 Googleウェブマスターツール-robots.txtファイルを使用してページをブロックまたは削除する （「robots.txtファイルをテストする」下矢印）。

Robots.txtが欠落している場合、それを見つけられなかったか、認識していなかった可能性があります。これを再確認するには、テストするURLをリストし、「テスト」をクリックします。

2
dan