検索エンジンがコンテンツのインデックスを作成しないのはなぜですか？
これは一般的なコミュニティWikiです catch-all サイトまたは特定のサイトコンテンツが検索エンジンに表示されない理由に関する質問に対処するための質問と回答のペア結果
質問がこの質問の複製として閉じられ、ここで提供される情報では十分な答えが得られないと感じた場合は、 Pro Webmasters Meta 。
サイト（またはサイトの特定のページ）が検索エンジンの結果に表示されません。
コンテンツがインデックスに登録されないのはなぜですか？
検索エンジンの結果にコンテンツが表示されない理由はいくつかありますが、検索エンジンの index には に表示されないページが含まれている可能性があることに注意してください結果ページ 。
コンテンツが実際にインデックス付けされているかどうかを確認する方法
実際、コンテンツがインデックス化されているかどうかを判断するのは難しいかもしれません。
- サイトからすべてのドキュメントを検索し、リストされているドキュメントの数を確認してください
- 8〜12語の一意の文で特定のドキュメントを検索し、引用文でその文を検索します。たとえば、このドキュメントを見つけるには、「コンテンツが検索エンジンの結果に表示されない理由の数」を検索することを選択できます
上記に加えて、
inurl:とintitle:を使用してキーワードを検索すると、keyword with another keyword inurl:example.comのようなものを試すことができます。これにより、指定されたドメインのみにインデックスが付けられたupiページが表示されます。- ウェブマスターツールにログインして、サイトからインデックスされたページ数に関する検索エンジン自体の統計情報を確認します
- Googleウェブマスターツール –情報は[健康]"[インデックスステータス]で確認できます。サイトマップを送信した場合は、各サイトマップファイル内のドキュメントのインデックスが作成されている数も確認できます。
- Bing Webmaster Tools
場合によっては、これらのメソッドのいずれかを使用してドキュメントがインデックス付けされていないように見えることもありますが、ドキュメントは他のメソッドを使用してインデックス内で見つけることができます。たとえば、ウェブマスターツールは、文章を検索して検索エンジンでドキュメントを見つけることができる場合でも、ほとんどのドキュメントがインデックス付けされていないことを報告する場合があります。このような場合、ドキュメントは実際にインデックス付けされます。
コンテンツのインデックス作成方法
検索エンジンがコンテンツのインデックスを作成する前に、 web crawler。 を使用して検索する必要があります。検索エンジンのクローラー（ユーザーエージェントによって識別される- Googlebot =、 Bing/MSNbot ）はサイトにアクセスしています。
GoogleやBingなどの大規模な検索エンジンは通常、サイトを頻繁にクロールしますが、クローラーは新しいサイトを知らない場合があります。サイトの存在を検索エンジンに通知するには、ウェブマスターとして登録するか（ Googleウェブマスターツール 、 Bingウェブマスターツール ）、または検索エンジンがこの機能を提供しない場合、クローラーへのリンクを送信します（例： Yahoo ）。
サイト/コンテンツはどれくらいの間オンラインになっていますか？
検索エンジンは、コンテンツが検出された後、非常に迅速にインデックスを作成する場合がありますが、これらの更新が遅れることがあります。小規模な検索エンジンの応答性も大幅に低下し、新しいコンテンツのインデックス作成に数週間かかる場合があります。
コンテンツが数日間だけオンラインであり、他のサイトからのリンクがない場合（または、クローラーが頻繁にアクセスしないサイトからのリンクである場合）、おそらく索引付けされていません。サイトが数か月以上稼働していない場合、検索エンジンは、サイトの多くのコンテンツをまだインデックスに登録するのに十分な信頼を得ていない可能性があります。
コンテンツはウェブマスターによって除外されていますか？
このステップは、他の誰かからサイトを引き継いでいて、特定のページまたはディレクトリに問題がある場合に特に重要です： robots.txt および META robots 除外を確認しますクローラーが除外するコンテンツのインデックスを作成するようにしたい場合は削除します。
コンテンツのインデックス作成を妨げる技術的な問題はありますか？
サイトが確立されているが、特定のコンテンツがインデックスに登録されていない場合（コンテンツが存在するURLでWebクローラーがヒットしない場合）、GoogleおよびBingが提供するWebマスターツールは有用な診断情報を提供します。
Googleの クロールエラー ドキュメントは、コンテンツのインデックス登録を妨げるWebクローラーの一般的な問題に関する広範な背景を提供します。Googleウェブマスターツールを使用すると、これらの問題のいずれかがサイトで検出されると、アラートを受信します。
エラーと設定の誤りをできるだけ早く修正して、サイトのすべてのコンテンツがインデックスに登録されるようにします。
コンテンツは低品質ですか？
検索エンジンは、クロールするほとんどのページをインデックスに登録しません。最高品質のコンテンツのみをインデックス化します。次の場合、検索エンジンはコンテンツのインデックスを作成しません。
- スパム、意味不明、またはナンセンスです。
- 他の場所にあります。検索エンジンが重複するコンテンツを見つけると、インデックスに重複するものの1つだけを選択します。通常、それはより多くの評判とリンクを持っているオリジナルです。
- 薄いです。数行の元のテキストが必要です。できればそれ以上。ユーザーごとのページなど、コンテンツがほとんどない自動作成ページは、インデックスに登録されることはほとんどありません。
- 十分な評判やリンクがありません。ページがランク付けするにはサイトの奥深くに埋まっている可能性があります。外部リンクがなく、ホームページからの数回以上のクリックがないページは、インデックスに登録されません。
一部のコンテンツはインデックス化されていますが、すべてではありませんか？
サイトに数百のページがある場合、Googleはすべてのページをインデックスに登録することを選択することはほとんどありません。サイトに何万ものページがある場合、Googleがそれらのページのごく一部のみをインデックス化することを選択することは非常に一般的です。
Googleは、サイトの全体的な評判とコンテンツの品質に基づいて、サイトからインデックスを作成するページ数を選択します。 Googleは通常、サイトの評判が高まるにつれて、時間の経過とともにサイトの大部分をインデックス付けします。
上記と同じことを繰り返す必要はないと思いますが、新しいツールに慣れていない場合は、以下で確認できます。
Robot.txtファイルがコンテンツをブロックしていないかどうかを確認するには、 古いGoogleウェブマスターrobots.txtテスター ツールに移動します
Google Search Console（新バージョン）
Google検索コンソールは、古いバージョンよりも貴重な情報を提供します。ページがクロールされているかどうか、インデックス付けされているかどうか、公開されているかどうか、問題がある場合は、Google Search Consoleから直接問題を確認してください。
- ウェブサイトの Google Search Console にログインします
- 複数のドメインプロパティがある場合は、目的のプロパティを選択したことを確認してください。
Google Webmasterの非推奨ツール
これは、新しいSearch Consoleを使用する方法です
ルートディレクトリにrobots.txtファイルがある場合は、サイトのインデックスを作成しないようにGoogleに指示している可能性があります。
確認しましたか？
通常、これらのファイルを削除（または名前変更）するだけで、インデックスを作成する必要があるように聞こえます。
重要：これは、Google Adsenseをサイトで機能させようとしている場合、契約違反になる可能性があります。
特別なコードをどこに配置しても、インデックスが作成されていない場合は、サイトがダウンしていると通知されるため、確認できません。