空のrobots.txtとないrobots.txtに違いはありますか？
ウェブサーバーでは、robots.txtが空であることに気付きました。空のrobots.txtとファイルがまったくない場合に違いがあるのではないかと思いました。
これら2つのケースでクローラーの動作は異なりますか？それでは、空のrobots.txtを削除するだけで安全ですか？
これら2つのケースでクローラーの動作は異なりますか？
空のrobots.txtファイルは、実際には見つからないファイルと違いはありません。どちらもクロールを許可しません。
ただし、この質問に示されているように、クローラーがrobots.txtファイルを要求すると、サーバーログに多くの404エラーが表示される場合があります- ここ 。
それでは、空のrobots.txtを削除するだけで安全ですか？
はい、上記の注意事項があります。
いいえ。違いはありません。
サーバーログに404エラーが記録されます。GoogleWeb Masterツールなどに登録している場合は、エラーは発生していませんが、クローラーロボットの動作に関しては同じです。気になるロボット。