robots.txtファイルがなくても、Google Search Consoleに「送信されたURLはrobots.txtによってブロックされました」と表示される
今日、私のサイトに検索の問題があったことをGoogleからメールで通知しました。 Google Search Consoleにログインしました。これは、1つのファイルがrobots.txtによってブロックされており、数日間続いていることを示しています。
そのファイルに対してRobotsチェックを実行すると、「robot.txt fileがありません」と表示されます。そのため、エラーメッセージは、1つのファイルが、私が持っていないファイルのためにインデックスを作成できないと主張しています。
「Fetch as Google」を実行すると、期待どおりの結果が表示されます。
Googleにフィードバックを送信しました。
ここで他の回答を確認しましたが、これまでのところ、すべてrobots.txtファイルのフォーマット/構文について説明しています。 robots.txtファイルがない場合にURLをブロックする組み合わせは見つかりませんでした。
なぜ1つのファイルだけなのですか？一時的なサービスの問題であった場合、5日後もまだ存在する理由>
これは、たまたま発生したものの1つであり、消滅するのでしょうか？
メールまたはSearch Consoleでメッセージを受け取りましたか？
メール経由の場合は無視します。メッセージが検索コンソールにある場合、上書きしてみてください robots.txtを追加して、すべてのボットがWebサイトをクロールできるようにします。例：
User-agent: *
Disallow:
また、以下が表示される場合は、メタロボットタグが存在しないことを確認し（すべてのページを確認）、削除します。
<META NAME="ROBOTS" CONTENT="NOINDEX">
また、HTTPヘッダーに対してX-Robots-Tagを介してアクセスをブロックしているかどうかも確認します
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)
私の悪い：
私のhttpd設定は403エラーをカスタムエラーページにリダイレクトしますが、明らかにエラーとして報告しません。
Robots.txtが存在しないため、httpdは想定どおりに動作し、代わりにカスタムエラーページを返しました。
うまくいけば、これは他の人の助けになります。