web-dev-qa-db-ja.com

ネットワークに到達できません:robots.txtに到達できません

有効なサイトマップをGoogle Webmasterに追加しようとしています。それでも、それは言います:

ネットワークにアクセスできません:robots.txtにアクセスできませんサイトのルートにrobots.txtファイルが見つかりましたが、ダウンロードできなかったため、サイトマップをクロールできませんでした。アクセス可能であることを確認するか、完全に削除してください。

そして

ネットワークにアクセスできません:robots.txtにアクセスできませんサイトのルートにrobots.txtファイルが見つかりましたが、ダウンロードできなかったため、サイトマップをクロールできませんでした。アクセス可能であることを確認するか、完全に削除してください。

それでも、 robots.txtsitemap.xml の両方にアクセスできます。私はあちこちで他の投稿を読んでいますが、この問題の原因を解決/理解できませんでした。誰もが知っていますか?

2

詳細については、サイトのホスティング業者に確認してください。これらのメッセージは基本的に、Googlebotがサイトに到達できないことを意味します。これは一般に、ホスティング側でより多く発生します。ドメイン全体で多くの「到達不能」な障害が見られますが、その価値はあります。したがって、Googleの検索結果にそれらのサイトを一覧表示したい場合、これらのリクエストがドロップされる理由を理解することはおそらく理にかなっています。

2
John Mueller

残念ながら、ファイルにアクセスできるという事実は、Googleがアクセスできることを保証するものではありません。干渉している可能性のあるユーザーエージェントの検出などを行っていますか? Fetch as Googlebotツールを使用してページをダウンロードしてみて、問題が発生するかどうかを確認します。問題が解決する場合は、他にも問題があることを示します。

サイトによっては、Googleがファイルにアクセスしようとするまでに数日以上かかる場合があります。そのため、couldで問題が発生し、現在は消滅しています(サーバーの停止など)。したがって、Fetchツールで問題が示唆されない場合は、問題が再発するかどうかを確認するためにしばらく待つことを検討します。

3
GDav