大量の帯域幅を使用する深刻なGooglebotクロールスパイク

Question

私が管理しているサイトの1つでは、Googlebotが今月23GBの帯域幅を使用していることが確認されています。

これは私にとってまったく精神的なことのように思えますが、どうすればよいでしょうか？

ウェブマスターツールのクロールレートを下げ、robots.txtを編集して、サイトマップを送信しました。

このような深刻なスパイクはハッキングのように感じられますが、Googlebotはなりすまされる可能性がありますか？

Answer 1

User-Agentヘッダーをスプーフィングし、Googleボットのふりをするのは非常に簡単です。しかし、IPを偽造するのははるかに難しいリクエストの送信元。

これらのリクエストを行うI.PがGoogleによって所有されていることを確認してください。

Answer 2

Googlebotはクロール速度に追従しません（Googleのウェブマスターツールで報告されています）。しかし、とにかく他のボット用に設定するのは良いことです。ページの潜在的な無限ループを確認します（検索結果や並べ替え/フィルタリングなどのさまざまな方法を使用した記事のリストなど）。それらにnoindexまたはnofollowを適用し、リンクrel=canonicalページを表示して、Googleがそれらを一度だけ表示するようにします。