膨大な数のURLに関するSEOの質問
この状況に対処するための最善の方法を考えています。検索エンジンでクロールおよびインデックス登録できる可能性のある文字通り何億ものURLの組み合わせがあるWebサイトに新しいセクションをリリースしようとしています。これは、 Zappos と同様に、チェックボックスを使用して絞り込みを選択するオプションをユーザーに提供しており、可能な組み合わせが多数あるためです。
現在、ウェブサイトにはGoogleによってインデックス付けされた約10万のURLがありますが、ウェブサイトのこの新しいセクションをリリースすると、その数がvery大幅に増加します。これは間違っている可能性がありますが、クロールされたページが急増するとWebサイトがペナルティを受ける可能性があると聞きました。これは本当ですか？もしそうなら、これを処理する最良の方法は何ですか？私の目標は「ページランクスカルプト」などではありませんが、これから行う変更に対してペナルティを科せられたくありません。
Robots.txtファイルに「許可しない」ディレクティブを追加することを考えましたが、それは、私が望んでいないすべての新しいページのインデックス作成をブロックします。最も重要なもの（1つまたは2つのフィルターの組み合わせ）にインデックスを付けるのが最善だと思いますが、極端に長いテールの組み合わせにインデックスを付ける必要は本当にないと思います。だから私は私の質問だと思う：これを行うには良い方法がありますか、それともクモを自分のものにするのが最善ですか？
Johnの答えに応じてURLを共有できることについてのあなたの意見を見ると、それはユーザーの利益として理解できることです。しかし、ここでは検索エンジンについて話しているので、これらの詳細な比較ページにnoindexを適用する場合や、選択した3つの機能のようなしきい値を超える場合がありますか？
単一製品のページ、およびいくつかの上位レベルのカテゴリなど、インデックスを作成するのに明らかに重要なものがありますが、機能のすべての順列をインデックスに登録すると、結果のサイトの有効性が薄れてしまい、ユーザーをドロップする可能性があります探している製品だけではありません。
同じコンテンツに複数のURLでアクセスできる場合、重複したコンテンツに間違いなく問題があります。各ページに 正規URL を指定する必要があります。これにより、Googleがどのページが「メイン」ページであるかを認識し、そのURLを検索結果に表示します。同じコンテンツを取得する他のすべてのURLは同じページとして表示されます（つまり、それらへのリンクはメインページへのリンクとしてカウントされます）。
一度に多くのコンテンツを追加しても、実際の問題はありません。すべてがすぐにインデックス化されることを期待しないでください。また、すぐにランクが上がるとは思わないでください。
注：これがユーザーのログインを必要とするカスタマイズされたコンテンツである場合、アカウントの作成もログインも行わないため、検索エンジンには表示されません。したがって、これらのURLにはアクセスできません。
また、これがユーザー設定に基づいたカスタムコンテンツの場合、設定をセッションに保存し、URLが破損しないようにしてください。
それはすべて、各支払いが表示するコンテンツの種類に依存します。 Google Panda （Googleのランキングアルゴリズム）は、サイトの各ページを評価するため、サイトの全体的なランクに影響します。
サイトをPandaに最適に機能させる方法については、多くの議論があります。しかし、パンダは、自動生成された、または一般的にスパムであると思われるページに出くわした場合、サイトのランクを下げると一般に理解されています。たとえば、www.siteinfo.xyzがあり、任意のドメイン（www.siteinfo.xyz/stackoverflow.comなど）を配置でき、サイトはそのドメインのページタイトル、使用しているJSエンジンを単純に出力するとします。 Googleアナリティクスなどを使用します。したがって、www.siteinfo.xyzの各ページは自動生成されるため、各支払いはそれほど一意ではありません。その後、Pandaは、見つけたこれらのページのそれぞれについてサイトのランクを下げます。
有効なサイトがランクダウンされた問題のいくつかを修正したと言われているパンダの更新が最近ありました。
全体として、Pandaはコンテンツの価値と有効性に基づいてサイトをランク付けしようとします。だから、あなたのサイトが持っているページが良いコンテンツを提供している限り、それは問題ないはずです。安全にするには、Googleがフローをよりよく理解できるように sitemap を作成するのが最善です。
また、Googleの 品質ガイドライン も確認してください。
パンダの詳細については こちらを参照 。