web-dev-qa-db-ja.com

JS、CSS、および画像ファイルにNOINDEXヘッダーを設定する必要がありますか?

私のサイトがすべての静的アセットに対してNOINDEXヘッダーを送信した場合、問題はありますか?

画像ファイルについては、これらの価値のないもの、例えば背景画像、ボタン画像など.

更新:詳細な背景情報

この懸念は、最近のGoogleがJSも実行しており、Ajax経由でコンテンツを取得する可能性があると言っているためです。たとえば、jQueryスクリプトにnoindexを送信して、Googleがそれらを使用してAjaxをロードできない場合、サイトのSEOに適していないと思いますか?

7
Yoga

(Googleのクロールおよびインデックス作成チームと連携しています)簡単なものから始めましょう:これらのファイルをインデックス作成に使用したくない場合、robots.txtファイルを使用して、スクリプトと応答のクロールを禁止できます。これにより、GooglebotがURLにアクセスできなくなります。もちろん、他の目的でURLを使用することもできなくなります。 URL自体は(クロールされずにURLへのリンクなどの要因に基づいたURLのように)インデックス付けされますが、処理または実行することはできません。 robots.txt reference には、詳細が好きな人のための詳細があります。

一方、コンテンツ(および潜在的に応答など)のインデックスを作成する場合:埋め込みコンテンツ(JavaScript、CSS)にnoindex x-robots-tag HTTPヘッダーを使用しないことをお勧めします、レスポンスなど)インデックス作成に使用する可能性がある場合たとえば、JavaScriptファイルがAJAXリクエストを使用してサーバーからコンテンツを取得する場合その後、これらの要素はすべてクロール可能にする必要があり(robots.txtファイルで禁止されていない)、「noindex」x-robots-tag HTTPヘッダーを提供しないことをお勧めします。すべてのJavaScriptを処理およびインデックス付けできることを保証することはできませんが、システムは時間の経過とともに より良く、より良く を得ています。

一般に、ほとんどのサイトは通常のHTMLリンクを使用してJavaScriptまたはCSSファイルにリンクせず、HTMLファイル内でそれらを参照するだけです。そのため、ほとんどの場合、これらのファイルのインデックスを個別に作成しません(そして、たとえ作成したとしても、JavaScriptファイルで見つけるよりも関連性の高いコンテンツをWebサイトが持っている可能性が高いです)。

8
John Mueller

まず最初に。 Googleは、CSS、JavaScript、画像などの特定のファイルタイプのインデックスを作成しません。しかし、あなたは言う、Googleは画像のインデックスを作成します。はい、いいえ。画像を囲むテキストと画像に関連付けられたリンク値を使用して、画像のインデックスを作成します。はい、機能を更新する際の苦痛の中で、Googleはこれらのファイルの一部をインデックスに登録しましたが、Googleはそれをコンテンツまたは直接価値があるとは見なしません。これは、インデックス内の同じJavaScriptの多くのバージョンで発見され、おしゃべりが本格的に始まりました。私も数年前にCSSファイルのインデックスを作成しましたが、それはもうなくなっています。 それは2009年です!それはもはや当てはまらない古いニュースです。それだ。ここで心配することはありません。

第二に、GoogleはすべてのAjax要素にアクセスできません。少なくとも、Googleが検索に使用するようなAjax対応のテキストボックスは使用できません。実際、彼らはここでAjax要素をクロール可能にする方法を説明しています: https://developers.google.com/webmasters/ajax-crawling/ 。 Googleは、Ajax対応のテキストボックスに値を入力することはできません。彼らは実際にそう言う。 Google Ajaxの範囲は明確に定義されており、FacebookとDisqusでコメントを開始しました。 http://www.seroundtable.com/google-ajax-indexing-14241.html

混乱の一部は、GoogleがJavaScriptを実行し、Ajaxにアクセスできるという初期の報告です。これが本当の場合は、JavaScriptがURLを生成します。これには3つの理由があります。 1つは有効なリンクをより深く検索し、2つはキーワードの読み込みについてJavaScriptを評価し、3つはJavaScriptの膨張をチェックします。その後、ページのプレビューや応答時間の評価など、他の理由が追加されました。これにより、Googleはページの可能性をすべてインデックス化できます。ここで完全な範囲を見ることができます: https://www.distilled.net/blog/seo/google-stop-playing-the-jig-is-still-up-guest-post/

明確にするために、これまでのところGoogleはウェブサイトを悪用しておらず、心配する必要はありません。インデックスを作成したくない要素は、インデックスを作成していません。ただし、Googleなどを使用する場合は、BTW-Bingもこれらの要素にアクセスすることでこれを行います。Googleは、通常どおりrobots.txtファイルの各要素/リソースに特定の行を追加することをお勧めします。このページの下半分についての推奨事項を読むことができます: http://googlewebmastercentral.blogspot.com/2011/11/get-post-and-safely-surfacing-more-of.html

ただし、これには反対です。あなたが問題を抱えていない限り、私は何もしません。理由はあなたの質問のSEO部分に答えます。一部の要素をブロックすると、Googleや他の要素がサイトに適切にインデックスを付け、完全に関連する結果を返すことに悪影響を与える可能性があります。ただし、たとえばJavaScriptニュース要素(サイトニュースではなく実際のニュース)がある場合、実際には検索結果が歪む可能性があります。そのため、この場合、robots.txtを使用してJavaScriptへのアクセスを制限することができます。これはあなたがあなたの思考のキャップをかぶる必要があるところです。ゆっくりしてください。対処する危機はありません。サイトを評価したら、情報に基づいた決定を下し、アクションを起こします。ほとんどの場合、JavaScriptの結果がコンテンツトピックを表していないか、GoogleなどがJavaScriptをトリガーして問題を引き起こしていない限り、何もする必要はありません。

4
closetnoc

TLDR;いいえ

たとえば、jQueryスクリプトにnoindexを送信して、Googleがそれらを使用してAjaxをロードできない場合、サイトのSEOに適していないと思いますか?

いいえ、NOINDEXが実際に行うことは混乱しているように見えます。

NOINDEX:クロールを許可し、その中のリンクをたどります。インデックス作成を許可しません(自動的にNOARCHIVEとNOSNIPPETが含まれます)

NOFOLLOW:インデックス付けを許可します(通常は許可しませんが、許可する場合があります)。クロールを禁止し、リンクをたどってスニペットを表示します。

Googleが推奨するもの は、ボットがページを「フォロー」できるようにすることです。 NOINDEXヘッダータグを設定すると、Googleはページをフォロー/クロールできますが、インデックスは作成できません。

したがって、「NOFOLLOW」タグを設定しないでください。これにより、ボットがブロックされてスクリプトを解析するのがブロックされます。 NOINDEXタグの設定は問題ありません。

PS: 「robots.txt」や「sitemap.xml」などのファイルにNOINDEXヘッダータグを設定する と同等です。 Googleは頻繁にインデックスを作成するためです。

例:www.google.com/search?q=filetype%3Atxt+%22robots%22&gws_rd=ssl

多くのための:

3
user40461

jQueryスクリプトにnoindexを送信して、Googleがそれらを使用してAjaxをロードできない場合、サイトのSEOに適さないと思いますか?

あなたは正しい、これは良くない。 Googleは、CSSファイルとJavaScriptファイルを使用して、検索結果でサイトをより適切に表現する方法をよく知っています。

CSS、JavaScript、クロール、インデックス作成に関するMatt Cuttsのこのレッスンをご覧ください。 https://www.youtube.com/watch?v=m293K8JR2j4

1
Marian Popovych