web-dev-qa-db-ja.com

まだグーグルのインデックスにある410ページにX-Robots-Tagを置くのは良いことですか？

Googleはまだ2〜3か月前に実装された410ページのインデックスを作成しています。これらのページは、現時点ではなくなっているはずです。

それで、X-Robots-Tag：Noindex、Noarchiveを410 HTTPステータスで実装するのは論理的でしょうか？

あなたの提案は何ですか？

410-gone
3
Sanjay Kumar

いいえ、その必要はありません。 John Muellerの発言 ウェブマスターセントラル

私たちの観点から見ると、中長期的には、404は410と同じです。したがって、どちらの場合でも、これらのURLをインデックスから削除します。

GoogleがこれらのURLを時々クロールするのは正常です：

引き続き戻って再確認し、それらのページが本当になくなったか、またはページが再び生き返ったことを確認します。

それらのページがまだインデックスに登録されている場合は、あまり人気がなく、Googlebotがあまり頻繁にクロールしないことが原因である可能性があります。しばらく待つか、 RL削除ツール を使用してプロセスを高速化します。

3
Emirodgar

あなたのログファイルを見てください-グーグルボットは410になって以来410ページにアクセスしていますか？はいの場合-待って、そうでない場合-410ページのみを含むサイトマップを作成して、検索コンソールにアップロードします。

1
Evgeniy

X-Robots-Tag: Noindex,Noarchiveを使用する必要はありません。 Googleは、クロールしてから数時間以内に、インデックスから410ページを自動的に削除します。 （それらが戻ってくるかどうかを確認するために24の猶予期間を与える404ページと比較。）

通常、Googleは2〜3か月以内に410ページをクロールしてインデックスを解除していました。

  • これらのページが[〜＃〜] [〜＃〜]でrobots.txt。 Googleがページをクロールできない場合、410ステータスは表示されません。 （robots.txtでページを削除することを拒否する人もいますが、robots.txtはクロールをブロックするためだけのものです。Googleは、以前にクロールした場合、または外部リンクに基づいて、許可されていないページをインデックスに登録する場合があります。）
  • Google Search Consoleから RLの削除ツール を使用して、残りのURLを個別に削除します。 （ ドキュメント ）
  • ページが多すぎて一度に1つを送信できない場合は、 それらの一時的なサイトマップを作成し、それをSearch Consoleに追加します 。
  • それ以外の場合は、さらに数か月待ってみてください。 Googlebotは最終的にすべてのページを再度クロールしますが、ページにどこからのリンクもない場合、クロールの間隔は6か月になる可能性があります。
1
Stephen Ostermiller