web-dev-qa-db-ja.com

Google /検索エンジンのSEO結果からサブドメインを非表示にしますか?

検索エンジンの結果に表示したくないサブオマインがあります。私が持っているとしましょう:

  • http://www.example.com
  • http://child.example.com

検索エンジンの結果に現在表示されているallchild.example.comドメインのURLを非表示にするにはどうすればよいですか?

11
夏期劇場

サブドメインWebサイトのディレクトリのルートで、次を含むrobots.txtというファイルを追加します。

User-agent: *
Disallow: /

これにより、Webクローラーにサイトのインデックスを作成しないよう指示します。彼らは従う必要はありませんが、主なものは従います。

14
Paul

サブドメインでrobots.txtファイルを使用すると役に立ちます(そしてGoogleはこれに従います)が、このサブドメインをインデックスに登録したくないことをGoogle Webmastersアカウントで指定することもできます。サブドメイン内のすべてのページでメタタグを使用することもできます。

    <meta name="robots" content="noindex">

これがたまたま内部テストにのみ使用しているサイトである場合、仮想ホストファイル内の特定のIPアドレスセットに可視性を制限すると、サイトがさらに非表示になります。

6
Kenzo

KenzoとPaulのソリューションは優れています。メタタグnoindexをWebページに追加し、robots.txtを追加してロボットを禁止できます。

しかし、私の意見では、最善の解決策は、サブドメインでパスワード認証を使用することです。これは、ロボットがWebサイトにアクセスしてインデックスを作成できる唯一のソリューションです。 Apacheを使用する場合、 htpasswd を実装できます。

2
Zistoloen

...現在SEOの結果に表示されていますか?

他の答えは積極的にpreventing検索結果からページを積極的に削除するのではなく、(サブ)ドメイン(主に質問で尋ねているもの)のインデックス付けに関するものです。 他の質問 で判断すると、あなたは何を望んでいますか。

robots.txtでサイトをブロックし、noindexmetaタグ(またはX-Robots-Tag HTTP応答ヘッダー)、他の回答に記載されていますが、ページへのアクセスをブロックし、404または410ステータスコードを返す必要もあります。

詳細については、Googleウェブマスターツールのヘルプページをご覧ください。
コンテンツを削除するための要件

これらをすべて設定したら、Google Webmaster ToolsのRemove URLsツールを使用できます。ただし、これは個々のURLにのみ適用され、サイト全体には適用されませんが、開始点です。 (Googleは、GWT削除ツールを使用するための要件はrobots.txt、noindexの使用、および404の提供であると述べています。)

ただし、通常のユーザーがURLを入力してサイトにアクセスできるようにする場合は、コンテンツが使用できなくなるため問題になります。 Zistoloenが示唆しているように、パスワードを設定できますが、これはデフォルトで403(禁止)を返しますが、404/410を返すにはオーバーライドする必要があります。 cloakコンテンツを作成して、410をGooglebotに返し、他のすべてのユーザーが入力できるようにしますが、SERPの結果をクリックするとどうなりますか?

ただし、Googleにできるだけ早くコンテンツを削除する場合は、「Google」インターネットから削除する必要があります。

2
MrWhite