web-dev-qa-db-ja.com

robots.txtのすべてのページに `nofollow、noindex`を追加するにはどうすればよいですか？

構築中にサイトにnofollowとnoindexを追加したいと思います。クライアントから、これらのルールを使用するように要求されました。

気がついた

<meta name="robots" content="noindex,nofollow">

しかし、私はrobots.txtファイルにしかアクセスできません。

noindex, nofollowファイルを介してrobots.txtルールを適用するために使用できる正しい形式を知っている人はいますか？

robots.txt
6
MeltingDog

noindexとnofollowは、サイトが検索エンジンでクロールされないようにすることを意味します。

したがって、robots.txtにコードを入力するだけですUser-agent: * Disallow: /

noindexとnofollowを意味します。

6
Ankit Gujarati

非標準のNoindexフィールドがあります Google（そしておそらく他の消費者は）実験的機能としてサポートしていません 。

Robots.txtの仕様に従って、robots.txtのインデックス作成やリンクのフォローを禁止することはできません。

まだ開発中で、まだインデックスに登録されておらず、クロールされる可能性のあるページからバックリンクを取得していないサイトの場合、robots.txtを使用するだけで十分です。

# no bot may crawl 
User-agent: *
Disallow: /

サイトのページがすでにインデックスに登録されている場合、および/またはクロールされる可能性のある他のページがそのサイトにリンクしている場合は、noindexを使用する必要があります。これは、HTMLで指定できるだけでなく、 HTTPヘッダーとして ：

X-Robots-Tag: noindex, nofollow
1
unor