検索エンジンはまだnoindexページをクロールしますか
検索エンジンは、「noindex」メタ属性を持つページをクロールしますか？
私が尋ねる理由は、ファセットナビゲーションによって引き起こされるコンテンツがほぼ重複しており、フィルター処理されたページに「noindex」と表示されており、これらのページがまだ重複として検出されるかどうか疑問に思っているためです。
これらのページを一意にする一方で、リンクに「nofollow」属性を追加する必要がありますか？
Goylloが既に述べたように、検索エンジンボットはnoindexメタタグを持つページをクロールします。考えてみると、最初にnoindexメタタグを見るために、ページをクロールするneedです。 （代わりにX-Robots-Tag HTTP応答ヘッダーを使用できます。理論的には、ボットはHEADリクエストを行うだけでnoindex属性を確認できますが、そうではありませんGoogleのロール方法。）
ページがnoindexの場合、follow（明示的にnofollowを明示的に指定しない限り、デフォルトのまま）になる可能性があるため、ページを明らかにクロールする必要があります。フォローするリンクを見つけるために。
これらのページを一意にする一方で、リンクに「nofollow」属性を追加する必要がありますか？
それは単にランキングアルゴリズムからその特定のリンクを割引きます。そのため、その特定のリンクは、ターゲットURLのランキング要因として使用されません。そのページへの他のインバウンドリンクもある可能性が高いと思いますか？
...ページに「noindex」と記載されていて、これらのページがまだ重複として検出されるかどうか疑問に思っていましたか？
何の重複？ページは、インデックスが作成されている場合にのみ（検索エンジンのインデックスから見て）重複と見なすことができます。インデックスが作成されていない場合、重複することはできません。
重複コンテンツの「問題」は、クロールされた2つ（またはそれ以上）の重複ページがあり、インデックス付きである場合、検索エンジンはSERPで返すページを決定する必要があります。この重複コンテンツを自分で解決しない限り（リダイレクト、正規タグ、またはsimplyコンテンツを一意にする）、それはあなたの制御外です-検索エンジンがあなたのために決定を下します。また、ユーザーがさまざまなページを発見し、いずれかのページにリンクするため、検索ランキングを潜在的に希釈している可能性があります。
ページがクロール（つまり、リクエストされていない）にならないようにするには、robots.txtファイルにエントリを含めることができます。ただし、これは、検索エンジンがnoindexメタタグを表示できないことを意味します。これにより、ページがnormal検索結果に表示されないようにする必要がありますが、リンクされている場合、ページがSERPにリンクのみの結果（つまり「インデックス付き」）として表示されるとは限りません。 。ただし、コンテンツは読み取られず、インデックス付きであるため、「重複」と見なすことはできません。
はい。Googleは、まだインデックスタグがないウェブページをクロールします。
ただし、2つの異なるWebページに同じコンテンツがあり、1つのURLにnoindexタグが含まれていて、2つ目のURLに含まれていない場合、重複するコンテンツの1つだけがGoogleによってインデックス付けされるため、心配する必要はありません。残りのウェブページはクロール可能ですが、Googleの検索結果でインデックスに登録されていないため、問題ありません。