web-dev-qa-db-ja.com

「Googleでサイトのrobots.txtが見つかりません」というエラーを解決するにはどうすればよいですか？

最近、クロールエラーで「Googleがサイトのrobots.txtを見つけられない」を発見しました。 Googleとしてフェッチを試みたときに、結果が「成功」になり、クロールエラーを調べてみましたが、「Googleはサイトのrobots.txtを見つけることができません」と表示されます。

この問題を解決するにはどうすればよいですか？この問題が発生する前に、私のサイトは数分以内にインデックスに登録されていましたが、Googleの検索でインデックス登録するのに時間がかかることがわかりました。

http://mydomain.com/robots.txt にアクセスすると、以下のデータが表示されます。

User-agent:

*Disallow: /wp-admin/

Disallow: /wp-includes/

ブロックされたURL = 0で、他のエラーも見つかりませんでした。

他に変更する必要があるものはありますか？または、これに対する解決策は何ですか？任意の助けをいただければ幸いです。

googlegoogle-search-consolerobots.txtgooglebotcrawl-errors
3
Manivasagam

チェックしたバックエンドの[設定]→[プライバシー]で検索エンジンにこのサイトのインデックスを作成することを許可するであり、他の1つではないことを確認してください検索エンジンにこのサイトのインデックスを作成しないように。

また、これはおそらく単なるタイプミスですが、robots.txtは次のようになります。

User-agent: * 

Disallow: /wp-admin/
Disallow: /wp-includes/
2
stealthyninja

同じサーバーに多数のWebサイトが保存されており、それらすべてに同じGoogle Analyticsアカウントを使用し、GoDaddy、NetWork Solutionsなどのサードパーティホスティングサービスを専用サーバーで使用している場合、ホスティング会社は、ホストしている特定の数のWebサイトを試行した後、Googlebotをブロックしている可能性があります。

GooglebotとFetch as Googleツールは2つの異なるIP番号で実行されます。これにより、Fetch as Googleを正常に実行できますが、Googlebotはrobots.txtを見つけることができませんでした。

0
thatdude38

サイドノート：robots.txtの構文は正しくありません：

User-agent:

*Disallow: /wp-admin/

Disallow: /wp-includes/
  • *が誤って次の行に移動したと思います。 User-agent: *である必要があります
  • *Disallowはほとんどのパーサーに認識されないため、従ったルールは無視されます。
  • ブロック内での改行は許可されていません

したがって、次のようになります。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
0
unor