Google検索結果に特定のディレクトリ/ページが表示されないようにする
私の個人的なホームページがあり、メインページ自体を検索結果に表示したい。ただし、特定のディレクトリとそのサブディレクトリをGoogle検索結果に表示したくないのです。どうすればいいですか？
これを行うために使用できるメカニズムがいくつかあります。
最初は robots.txt ファイルです。これは、グーグルによる「良い」検索エンジンが自発的に従うプロトコルであり、あなたが彼らが従わないサイトのセクションをリストすることができます。
ユーザーエージェント： *
禁止：/ myfolder /
次はメタタグです。個々のページにメタデータをタグ付けして、ロボットにインデックスを作成したり表示したりしないように指示できます。 Googleには これらの実装方法に関する素晴らしい記事 があります。
<meta name="robots" content="noindex,nofollow">
ページがすでにインデックス付けされている場合、最後のメカニズムは、存在する場合は検索エンジンの削除メカニズムを使用することです。 Google、Bing、およびYahooの削除メカニズムのドキュメントにリンクしています。
検索ボットによるこれらの場所の入力を禁止します。
http://www.robotstxt.org/robotstxt.html
googleは手順を説明します pretty good 、例を挙げます：
User-agent: *
Disallow: /folder1/
これにより、すべてのボットが「/ folder1 /」のコンテンツのインデックスを作成できなくなります
メインフォルダーでrobots.txtファイルを使用し、次のように設定します。
User-agent: *
Allow: /
フォルダーに、誰もアクセスしたくない場合は、この本文を含むrobots.txtファイルを配置します。
User-agent: *
Disallow: /
チェックアウト http://www.robotstxt.org/ robot.txtファイルの詳細について。