web-dev-qa-db-ja.com

画像またはファイルのインデックス作成を防ぐ

一般的に画像やページがインデックスに登録されるのを防ぐために次のことができることを理解しています。

ページのメタセクションに追加します。

<meta name="robots" content="noindex" />

Robots.txtファイルを編集します。

User-agent: *
Disallow: /images/

User-agent: *
Disallow: /$folder/whatever.jpg

User-agent: *
Disallow: /$folder/*.gif$

User-agent: Googlebot-Image
Disallow: /$folder/*.gif$

インデックス化されたページがあり、スタイルシートで参照されている画像（背景画像など）または通常のimgタグの画像があるとします。

<img src="/$folder/img.gif" alt="whatever title="yadda" />

そのため、robots.txtによると、フォルダーまたは特定の画像はインデックス付けされませんが、ページはインデックス付けされます（インデックスなし）。

特定のGooglebot-Imageの検索エンジンはリクエストを尊重しますか？ imgタグ内の画像の除外にページをインデックス付けしますか？

また、スタイル付き背景画像に関するリクエストを尊重しますか？

search-enginesindexingimagesrobots.txtbackground-image
4
Bob M

特定のGooglebot-Imageの検索エンジンはリクエストを尊重しますか？ imgタグ内の画像の除外にページをインデックス付けしますか？

はい。サイトでの画像の参照方法（img要素、CSS背景画像など）に関係なく、robots.txtによってブロックされている場合、Googlebot-Imageはその画像をクロールできません。おそらく、その画像がインデックスに登録され、Google画像検索で返されるのを防ぐでしょう。

ページがrobots.txtでクロールされないようにブロックされている場合、他の外部ページがそれらにリンクしていれば、インデックスを付けることができます（SERPで返される可能性があります）ページ自体のクロールされていないSERP）。しかし、画像に関しては同様の結果は見ていません。画像がrobots.txtによってブロックされている場合、インデックスは作成されません。

また、必要に応じてページにできるのと同じrobots "メタタグ"（具体的には、非HTMLリソースの場合はX-Robots-Tag HTTP応答ヘッダー）を画像に適用できます。一般に無条件になります-すべてのボットとユーザーエージェントに適用されます。

2
MrWhite

この場合、X-Robots-Tag「noindex」が理想的だと思います。

ヘッダーセットX-Robots-Tag "noindex"

png、jp（e）g、およびgifファイルをnoindexする方法の例を見ることができます。これは特にApache .htaccessファイル用です。他のサーバーでは実装が少し異なりますが、アイデアはわかります。

まだインデックスが作成されていない場合は、robots.txtブロックで問題を修正することもできますが、インデックスが作成されたら、noindexを使用してそれらを削除する必要があります。

0
Brandon Holtzman