Googleが何百万ものユーザープロフィールページにインデックスを作成する方法
多くのユーザープロファイル（LinkedInなど）を含むWebサイトがあります。 Googleは各パブリックユーザープロフィールページのインデックスを作成する必要があります。私の心にはいくつかのことがあります。
1-ページにユーザーのリストがありません。また、ウェブサイトにリストされているすべてのプロファイルページを表示したくありません。 Googleはどのようにしてすべてのプロファイルページのインデックスを作成できますか？
私は何をすべきか？
Googleは、評判の高いサイトから数百万ページだけをインデックスに登録します。 Googleがあなたのサイトのそのような多くのページのインデックスを作成する前に、少なくともあなたのサイトは少なくともPageRank 6を持たなければならないと推測します。これは、ページがサイトマップにのみリストされている場合に特に当てはまります（ tillinberlinが示唆する ）。
多くの場合、ユーザープロフィールページは低品質です。私のほとんどのサイトでは、多くのユーザーがアクティビティを作成せずにサインアップする傾向があります。多くの場合、メールアドレスとパスワード以外はほとんどありません。このようなユーザーのページは、検索エンジンでは役に立ちません。さらに、サイトに多数の低品質のページをインデックスに登録すると、GoogleのPandaアルゴリズムがサイト全体を低品質として識別し、サイト全体にペナルティを科す可能性があります。
まず、最も多くのコンテンツがインデックス付けされた10,000個のユーザーページを取得することから始めます。それがうまく機能する場合は、20,000、40,000、80,000の順に展開します。ページのインデックス作成に問題がある場合、またはページに十分なコンテンツがない場合は停止します。
サイトマップを使用することをお勧めします–まだ使用していない場合：
多数の個々のページをリストできます。
Google（および他の検索エンジン）は、サイトマップをクロールします。
サイトマップにリストされているページは、Webサイトで「公開」する必要はありません。したがって、すべてのユーザープロファイルをリストするページを持つ必要はありません。
サイトマップの構築はプログラムで行うことができます-独自のスクリプトを作成するか、多くの無料サービスのいずれかを使用して実際のサイトマルファイルを作成できます（ただし、ほとんどの無料サービスは数千ページに制限されています）。
このページ「 sitemapの管理 support.google.com/webmastersで開始するのが適切な開始点です。しかし–サイトマップを使用しても何も保証されません–そして、Googleに百万のユーザーページサイトマップを通じて、実際にはさまざまな理由で不可能に近いように聞こえます（Stephen Ostermillerが指摘しているように）。
プロフィールページをサイトマップに追加する場合は必ずGoogleパンダによってペナルティが発生します。送信リンクを制御できない場合は、Googleペンギンによってもペナルティが発生します。 nofollow 属性について学ぶことを忘れないでください。
私の本当のアドバイスでは、すべてのプロファイルURLをサイトマップに追加せず、robots.txtの/ profileディレクトリを単純に禁止します
Facebook.com/robots.txtを見ると、クモからブロックされているものがたくさんあるため、Googleはすべてのアイテムのインデックスを作成しません。また、GoogleはそのページをFacebookから直接クロールしません。
ここで、ユーザーが自分のサイトでFacebookプロフィールをリンクしたと仮定すると、GoogleはFacebook robots.txtによってブロックされているため、Facebookサイトからではなくユーザーサイトからそのページをクロールします。現実にはFacebookがプロフィールページをインデックスにブロックしていますが、一部の人々はWebページでFacebookプロフィールに言及しているため、Googleはそのページを検索結果にインデックスします。 Facebook Home Pagerankを見てください。9です。プロフィールpagerankが0であることに注目してください。