Googleはまだクロールし、インデックスに登録していますが、これは古いダミーのテストページで、現在404は見つかりません
サンプルページとデータ（lorem ipsumなど）を使用してサイトをセットアップし、Googleはこれらのページをクロールしました。これらのページをすべて削除し、実際のコンテンツを実際に追加しましたが、ウェブマスターツールでは、Googleがこれらのページをクロールしようとすると404エラーが多く発生します。 「解決済みとしてマーク」するように設定しましたが、一部のページはまだ404として返されます。
さらに、Googleで自分のサイトを検索すると、これらのサンプルページの多くがまだリストされています。それらを削除する方法。これらの無関係なページが私の評価を傷つけていると思います。
私は実際にこれらのページをすべて消去し、新しいサイトとして自分のサイトのインデックスを作成したいのですが、それは不可能だと読みましたか？ （サイトマップを送信し、「Fetch as Google」を使用しました。）
はい。まず最初に。 404をfixedとしてマークしないでください。あなたは実際に問題を長引かせています。 Googleは、あきらめる前に404を返すページを数回取得しようとします。これは、404エラーが、ページがgoneであると410エラーで示される一時的な状況を示しているためです。したがって、404をfixedとしてマークするたびに、実際にGoogleに再試行するよう指示し、排除プロセスを最初からやり直します。
これらのページをしばらく404にしておくと、Googleはそれらの検索を停止し、インデックスからページを削除します。時間がかかりますが、410エラーがなければ、これが最も簡単な方法です。 410エラーはプロセスを高速化しますが、410エラーを表示するのは難しく、404がデフォルトであるため、より簡単で自然なソリューションになります。
削除できるページは、お待ちいただければ約30〜60日で消えます。 Googleがページにアクセスする頻度によって異なります。時間がかかる場合がありますが、404が見つかると、Googleは最初にサイトをスポットチェックし、404の数に応じてサイトをより積極的にスパイダーする可能性があります。
通常、サイトマップを使用しても、インデックスの問題は解決されません。それは、検索エンジンの生活をシンプルにするだけです。サイトのすべてのページのすべてのリストとして解釈されることはありません。検索エンジンがサイトマップを読み取り、それでもサイトマップにリストされていないページが見つかった場合、それらのページは引き続きインデックス付けされます。
行うのが理にかなっている場合の1つのオプションは、これらのページをrobots.txtファイルにリストすることです。あまり多くない場合（できることを意味し、robots.txtファイルが長すぎない場合）、それはより高速なソリューションになります。そうでなければ、私はただ待って、404エラーがそれ自身で期限切れになるようにします。
最後の言葉。大丈夫です。本当に。あなたが辛抱している場合、それはすべてあなたのために非常にうまくいくでしょう。
ページを公開すると、Googleはそれを決して忘れません。 15年前にページを削除したサイトがあります。 Googlebotは引き続き戻って、それらのページを時々チェックします。
検索エンジンでページが表示されないようにするには、404エラーで問題を解決します。 Googlebotが次にクロールした後、インデックスからページを削除するのに1日かかる場合があります。より速く削除したい場合は、代わりに「410 Gone」ステータスを返します。 Googleは1日待つのではなく、クロールした直後に410ページを削除します。 Googleは404ページをすぐに削除せず、ウェブマスターが自分の足で撃つのを防ぎます Matt Cuttsによる説明 ：
404で、401と多分403で、ページが表示されて404が表示されたら、クロールシステムで24時間そのページを保護するので、ちょっと待って、一時的な404、おそらくページが見つからないことを意図していなかったかもしれません。
考えられるもう1つの方法は、リダイレクトです。古いページを置換ページにリダイレクトする301では、Googleウェブマスターツールでエラーとして表示されなくなります。これは、古いページごとに新しいページがある場合にのみ可能です。すべてのテストページをホームページにリダイレクトしても、Googleはホームページへのリダイレクトをレポートに引き続き表示される「ソフト404」エラーと見なすため、役に立ちません。
ウェブマスターツールで404エラーが発生しても問題はありません。サイトに404エラーがあると、サイトが正しく構成されていることがGooglebotに示されるため、さらに役立つ場合があります。ここに、GoogleのJohn Mueller（ウェブマスターツールとサイトマップで作業している）があります ウェブマスターツールに表示される404エラーについて言わなければなりません ：
ヘルプ！私のサイトには939クロールエラーがあります!! 1
私はこの種の質問を週に数回見ます。あなただけではありません-多くのウェブサイトにはクロールエラーがあります。
- 404の無効なURLのエラーは、サイトのインデックス作成やランキングに悪影響を与えません。 1億または1千万であっても、サイトのランキングを損なうことはありません。 http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
- 場合によっては、クロールエラーは、WebサイトまたはCMS内の正当な構造上の問題に起因する場合があります。どうやって言うの？クロールエラーの原因を再確認してください。サイトの壊れたリンクがページの静的HTMLにある場合は、常に修正する価値があります。 （ありがとう + Martino Mosna ）
- 「明らかに壊れている」ファンキーなURLについてはどうでしょうか？あなたのサイトのような当社のアルゴリズムは、たとえばJavaScriptで新しいURLを見つけようとすることで、より素晴らしいコンテンツを見つけようとします。これらの「URL」を試して404を見つけたら、それは素晴らしいことであり、期待されています。重要なものを見逃したくないだけです（ここに過剰に添付されたGooglebotミームを挿入してください）。 http://support.google.com/webmasters/bin/answer.py?answer=1154698
- ウェブマスターツールでクロールエラーを修正する必要はありません。 「修正済みとしてマークする」機能は、進捗状況を追跡したい場合にのみ役立ちます。 Googleのウェブ検索パイプラインでは何も変わりませんので、不要な場合は無視してください。 http://support.google.com/webmasters/bin/answer.py?answer=24674
- ウェブマスターツールのクロールエラーは、いくつかの要因に基づいて優先度順にリストされています。クロールエラーの最初のページが明らかに無関係である場合、他のページで重要なクロールエラーを見つけることはおそらくないでしょう。 http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
- ウェブサイトのクロールエラーを「修正」する必要はありません。 404を見つけることは正常であり、健全で適切に構成されたWebサイトに期待されます。同等の新しいURLがある場合は、そのURLにリダイレクトすることをお勧めします。それ以外の場合は、偽のコンテンツを作成したり、ホームページにリダイレクトしたり、robots.txtでこれらのURLを禁止したりしないでください。これらのすべてにより、サイトの構造を認識して適切に処理することが難しくなります。これらを「ソフト404」エラーと呼びます。 http://support.google.com/webmasters/bin/answer.py?answer=181708
- 明らかに-これらのクロールエラーが、関心のあるURL、おそらくサイトマップファイルのURLに表示される場合、すぐに対処する必要があります。 Googlebotが重要なURLをクロールできない場合、検索結果から削除され、ユーザーもそれらにアクセスできない可能性があります。
Googleは、これらのページを長時間クロールしようとし続ける可能性があります。ウェブマスターがミスをしたり、何らかの理由でサイトが利用できなくなったりするため、404の最初のサインでコンテンツを削除しません。
または、代わりに410 Goneを提供することもできます。これは、ページが文字通り「なくなって」戻ってこないという、はるかに強力な（つまり、意図的な）シグナルです。これにより、GoogleにSERPからページをより早く削除するよう促すことができます。
「解決済みとしてマーク」するように設定しましたが、一部のページはまだ404として返されます。
ページを元に戻した場合にのみ「解決」されます。解決済みとしてマークし、ページが存在しない場合、クロールエラーが繰り返し発生します。ページが存在しない場合は、そのままにしておきます。
本物の404は検索ランキングに悪影響を与えません。 GWTの404レポートは、主にあなたの利益のためのものであり、問題が発生したときや、見つかったはずのページが見つからなかったときを確認できます。
SERPのこれらの無関係なページは、おそらくユーザーにとってはささいな不快感ですが、あなたのlorem ipsumを見つけるために何を検索していますか？