Googleはクロールしていますが、サイトのインデックスを作成していません
約12,000ページのサイトがあります。数日前にサイトをアップロードし、robots.txtからdisallowオプションを削除し、「fetch as Google」を実行してメッセージを受け取りました。
インデックスに送信されたURLおよびリンクされたページ。
問題は、Googleボットがクロールを開始したにもかかわらず、サイトがまだインデックスに登録されていないことです。 Googleでドメイン名を検索すると、次の結果が得られます。
このサイトのrobots.txtのため、この結果の説明は利用できません
disallowオプションを削除しました。実際、過去2日間のrobots.txtは次のとおりです。
User-agent: Googlebot-Image
Disallow: /
実際、ウェブマスターツールでrobots.txtファイルをテストすると、次のようになります。
許可された
ディレクトリとして検出。特定のファイルには異なる制限がある場合があります
Googleはゆっくりとクロールしています（1日あたり約400ページ）。
クロールプロセスを完了する前に、サイトにインデックスを付けるようにGoogleに指示するにはどうすればよいですか？これが不可能な場合、クロールを高速化できますか？
許可しないオプションを削除しました。実際、過去2日間robots.txtは空です。
robots.txtファイルがなくなるか空になった場合、Googleはこれがエラーであると見なし、しばらくの間変更を無視することがあります。空のrobots.txtファイルの代わりに、すべてを明示的に許可するファイルを作成する必要があります。
User-agent: *
Disallow:
robots.txtファイルを変更した後、Googleは通常、少なくとも1週間、場合によっては1か月もかけてWebサイトのインデックスを作成します。あなたはそれを待つ必要があります。
Webサイト全体をクロールしていない場合、サイト全体のクロールを完了する前に、クロールしたページのインデックスを作成します。
クロールプロセスを高速化する唯一の方法は、より高品質の受信リンクでサイトの評判を高めることです。 Googlebotがクロールするページの数と、再クロールするために戻る速度は、主にPagerankによって管理されます。