web-dev-qa-db-ja.com

Googleは、robots.txtによってブロックされたルートURLのレポートを開始しましたが、そうではありません-

私のウェブサイトは何年も問題なく稼働していますが、最近GoogleのルートURLに説明/タイトルが表示されないことに気付きました。

ウェブマスターツールはこのエラーを報告します：

クロールは許可されていますか？

いいえ：robots.txtページの取得によりブロック失敗：robots.txtによりブロック

これは非常にシンプルですべてのリクエストを許可する私のrobots.txtです：

User-agent: *
Allow: /

インデックスをブロックするHTMLタグがないことを確認しました。メタロボットは<meta name="robots" content="index, follow" />です

このエラーメッセージが表示される理由がわかりません。 robots.txtテスター（ https://www.google.com/webmasters/tools/robots-testing-tool ）はエラーを報告しませんが、まだ3週間以上この問題が発生しています。

また、ルートURLはHTTP 200を返します

HTTP/1.1 200 OK
Date: Sat, 15 Sep 2018 18:41:34 GMT
Content-Type: text/html
Connection: keep-alive
Last-Modified: Sat, 15 Sep 2018 18:20:13 GMT
Expect-CT: max-age=604800, report-uri="https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct"
Server: cloudflare
CF-RAY: 45ad3a6cab3192d6-SJC

何が問題になる可能性がありますか？これはルートURLでのみ発生します。

seogoogle-search-consoleweb-crawlersgooglebot
2
woop

これは、次の理由による可能性があります。

  1. キャッシュ（WebサイトまたはDNSがWebサイトをキャッシュすると、Googleは更新されたrobots.txtファイルを読み取ることができません。）

  2. Robots.txtファイルの構文を次のように変更します。

    User-agent: *
Disallow:
1
Nandla