存在しないリンクを報告するGoogleウェブマスターツール
GWTは、ウェブサイトの一部ではないページで404クロールエラーを報告しています。
たとえば、mysite.net/blog/how-can-i-improve-seo-rankingなどの存在しないページのクロールエラーを報告しています。 [リンク元]タブには、このページがリンクされていない内部ページがいくつか表示されます。また、[リンク元]タブには、週1回更新されるサイトマップが一覧表示され、これらの存在しないページへのリンクはありません。
何がこれを引き起こしているのかを正確に把握することはできません。ウェブサイト自体と関係があるのか、GWTがページを誤って識別しているのですか？これらのページがサイトマップにリストされていない、または内部ページからリンクされていない場合、GWTがこれを報告するのはなぜですか？誰もこれを修正する方法を知っていますか？
こんにちは。これは、存在しないサイトのページにドメインにリンクしているサードパーティのサイトが原因です。 Googleは別のWebサイトからあなたのリンクをたどっていますが、Googleがあなたのサイトにアクセスしたときに他のWebサイトでリンクが正しくないため、リンク先のページが存在しないため404エラーが発生します。これは通常、他のWebサイトの誤植またはスパムによるものであるため、あなたのせいではありません。
しばらくの間、DNSエントリが台無しにされたり、誤って提供されたりした可能性があります。その後、サイトのドメイン名が、しばらくの間、別のサイトを持つ別のサーバーを指していた可能性があります。 Googleはそのドメイン名で他のサイトをクロールした可能性があり、その期間に見つかったページについて不平を言っています。
別の可能性は、一時的に誤って設定された共有ホスティングを使用していることです。ホストがドメイン名の間違ったコンテンツを表示している可能性があります。
サイトにマルウェアがインストールされており、Googleに異なるコンテンツを表示している可能性もあります。 Google Webmasterツールの「fetch as Google」機能を使用して、Googleが期待するコンテンツを取得していることを確認します。
現在サイトに正しいコンテンツとリンクが表示されている限り、Googleウェブマスターツールで報告されるこれらの404エラーはあなたを傷つけることはありません。以下は、GoogleのJohn Mueller（ウェブマスターツールとサイトマップで作業している） がウェブマスターツールに表示される404エラーについて述べていることです ：
ヘルプ！私のサイトには939クロールエラーがあります!! 1
私はこの種の質問を週に数回見ます。あなただけではありません-多くのウェブサイトにはクロールエラーがあります。
- 404の無効なURLのエラーは、サイトのインデックス作成やランキングに悪影響を与えません。 1億または1千万であっても、サイトのランキングを損なうことはありません。 http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
- 場合によっては、クロールエラーは、WebサイトまたはCMS内の正当な構造上の問題に起因する場合があります。どうやって言うの？クロールエラーの原因を再確認してください。サイトの壊れたリンクがページの静的HTMLにある場合は、常に修正する価値があります。 （ありがとう + Martino Mosna ）
- 「明らかに壊れている」ファンキーなURLについてはどうでしょうか？あなたのサイトのような当社のアルゴリズムは、たとえばJavaScriptで新しいURLを見つけようとすることで、より素晴らしいコンテンツを見つけようとします。これらの「URL」を試して404を見つけたら、それは素晴らしいことであり、期待されています。重要なものを見逃したくないだけです（ここに過剰に添付されたGooglebotミームを挿入してください）。 http://support.google.com/webmasters/bin/answer.py?answer=1154698
- ウェブマスターツールでクロールエラーを修正する必要はありません。 「修正済みとしてマークする」機能は、進捗状況を追跡したい場合にのみ役立ちます。 Googleのウェブ検索パイプラインでは何も変わりませんので、不要な場合は無視してください。 http://support.google.com/webmasters/bin/answer.py?answer=2467403
- ウェブマスターツールのクロールエラーは、いくつかの要因に基づいて優先度順にリストされています。クロールエラーの最初のページが明らかに無関係である場合、他のページで重要なクロールエラーを見つけることはおそらくないでしょう。 http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
- ウェブサイトのクロールエラーを「修正」する必要はありません。 404を見つけることは正常であり、健全で適切に構成されたWebサイトに期待されます。同等の新しいURLがある場合は、そのURLにリダイレクトすることをお勧めします。それ以外の場合は、偽のコンテンツを作成したり、ホームページにリダイレクトしたり、robots.txtでこれらのURLを禁止したりしないでください。これらのすべてにより、サイトの構造を認識して適切に処理することが難しくなります。これらを「ソフト404」エラーと呼びます。 http://support.google.com/webmasters/bin/answer.py?answer=181708
- 明らかに-これらのクロールエラーが、関心のあるURL、おそらくサイトマップファイルのURLで表示されている場合は、すぐに対処する必要があります。 Googlebotが重要なURLをクロールできない場合、検索結果から削除され、ユーザーもそれらにアクセスできない可能性があります。