web-dev-qa-db-ja.com

Googleによってインデックス化された開発サイト

サブドメイン（dev.oursite.com）でサイトの新しいバージョンを開発していましたが、robots.txtがDisallowに置き換えられたため、サイトのインデックスが作成されましたGoogleおよびその他の検索エンジン。結果などで高く表示されていませんが、すべてのコンテンツが重複しているため、表示されないようにします。

これでサブドメインはなくなり、各ページをdev.oursite.com/page-nameからhttp://oursite.com/page-nameにリダイレクトする301があります。

開発サイトを削除してGoogleに表示するために必要なことは他にありますか？最終的には自然に消えますか？

search-engines301-redirectsubdomaingoogle-index
8
Kyle

GoogleウェブマスターツールのURL削除ツールをご覧ください。また、ページをリダイレクトする代わりに404でページを削除して、削除を高速化することもできます。将来的には、robots.txtにドロップして、rel="canonical"をドロップして、devサイトがメインサイトの単なるコピーであり、インデックスには登録されません。

7
Joshak

私は常に、開発サイトがインデックス化されることを心配しています。私はrobots.txtまたはmeta noindexを信用していませんが、それらを使用している間、不便でなければサイトをパスワードで保護しています。しかし、別のオプションは、。htaccessを使用して、社内および同僚や開発者のIP以外のすべてのユーザーへのアクセスを拒否することです。クラスCを追加するだけです。

3
Anagio

Joshakが提供する正しい答えに加えて、これを防ぐ方法についてのヒントを提供したいと思います。

このまったく同じ問題を解決するために行ったことは、vhostのApache httpd定義でrobot.txtを強制することです。この方法では、開発中のWebサイトのコードによって「禁止」が消えたり変更されたりすることはありません。私の仮想ホストの定義はすべて次のようになります。

<VirtualHost *:80>
    DocumentRoot /var/www/html/Hosting/test.example.com/newsite.com
    ServerName newsite.com.test.example.com
    ServerAlias *.newsite.com.test.example.com
    UseCanonicalName on
    RewriteEngine on
    RewriteRule ^/robots.txt /var/www/no-indexing-robots.txt [NC,L]
</VirtualHost>
1
Niels Basjes