内部検索結果：NOINDEXまたはrobots.txtブロック？
ダウンロードセクションには、独自の内部検索結果ページがあります。
これらの結果は現在クロール可能ですが、NOINDEXメタタグがあるため、検索インデックスに表示されません。
人々はこれらの結果にリンクしていますが、これらの結果は数万ページあり、クロールの予算を使い果たしている可能性があります。
これらのページへのrobots.txtを使用したインデックス作成を禁止する必要がありますか、またはこれらの検索結果ページにリンクしているユーザーが引き続き「リンクジュース」を渡すようにMETA NOINDEX（フォロー）を続行する必要がありますか？
Googleは（ウェブマスターガイドラインで）「ウェブサーバー上のrobots.txtファイルを使用して、検索結果ページなどの無限のスペースのクロールを防止することでクロール予算を管理します。」
アドバイス、提案、意見は大歓迎です。前もって感謝します。
興味深い質問です！私にとっては、実際にはクロール予算とリンクジュースの問題のようです。
- 結果ページセットの特定の部分をブロックすることはおそらく可能ですか？例えば、誰もリンクしていない特定のパラメーターを持っているものは？
- サイトのクロール予算にすでに問題があるように見えますか？そうでない場合は、代わりにリンクジュースを保持することをお勧めします。
- これらのリンクは高品質のWebサイトからのものですか？クロール予算の中で、リンクジュースは価値がありますか？
- これらの検索結果ページは、キーワードのセットに最適化されていますか？ドメインへのリンクジュースの増加はプラスですが、検索結果ページがトラフィックを獲得したり、コンバージョンを生成したりする可能性はありますか？
- これらの検索結果ページにはかなり一意のコンテンツが含まれていますか、それともほとんど同じ検索結果の別の順序ですか？
- おそらく最もリンクされた検索結果ページを取得し、代わりにあなたのウェブサイトでそれらのための優れたリソースを作成し、ウェブマスターに上位ページへのリンクを変更するようにリクエストできますか？
ご覧のとおり、残念ながら、ここには簡単な解決策はないようですが、詳細は次のとおりです。