robots.txtを使用して、利用規約、プライバシーポリシーなどの法的ページへのアクセスを禁止することには、メリット/デメリットがありますか？
私が理解しているように、繰り返しコンテンツを持っていると、検索エンジンの配置が損なわれます。
同様の法的用語または同じソースからのコピー＆ペーストのために、類似または同一の「利用規約」および「プライバシーポリシー」ページを使用する多くのWebサイトを考えると、これらのページへのアクセスをrobots.txt、「非オリジナルコンテンツ」のペナルティを回避するために？
または、逆に、検索エンジンはこれを迂回と特定し、コンテンツを隠そうとすることでサイトを罰することができますか？
またはそれは重要ではありませんか？
いいえ、それほど重要ではありません。
マット・カッツはこれに集中するのではなく、コンテンツに集中することをお勧めします。 http://www.youtube.com/watch?v=unEML5n5vTo
一方では、Googleはおそらくあなたのサイトのこれらのページをインデックスに登録したくないでしょう。これらのページのほとんどの単語は、サイトの他の部分とは関係がありません。誰かがこれらの単語を検索した場合、あなたのサイトは素晴らしいランディングページになりません。
一方、非常に多くのサイトにこのような種類のページがあるため、Googleがクロールできるようにするために問題が発生することはありません。他のサイトではそれらをクロールできますが、サイトでも可能です。以下に、wantをクロールする理由をいくつか示します。
- 検索に表示する用語には、「<brand>に連絡する」または「<brand> TOS」という用語があります。
- 多くの場合、優れた「サイトリンク」（誰かがあなたのブランドを検索したときにGoogleがリスティングの下に表示するリンク）を作成します。
- これらのページを持つことは、評判の良いサイトのマークです。確かに、これらのページがあることをGoogleに知らせて、サイトが評判の良いサイトであると見なしてもらいたいのです。
サイトをrobots.txtに掲載してもペナルティは発生しませんが、これらのページをクロールできるようにすることでサイトを改善できます。