web-dev-qa-db-ja.com

モバイルサイトのクロールを防止する

ボットがモバイルサイトをクロールし、モバイルユーザーがデスクトップユーザーにヒットを返すという問題があります。

モバイルコンテンツは/ mobile /にあります。通常のサイトは、モバイルユーザーを/ mobile /サイトにリダイレクトします。通常のデスクトップブラウザーは/ mobile /サイトにアクセスでき、モバイルバージョンが表示されます（デスクトップからのモバイルコンテンツの簡単なテストに使用）。

GoogleとBingで動作するこのサイトの正気なrobots.txtを誰かが助けてくれますか。両方のクローラーにホールサイトのインデックスを作成したいのですが、モバイルサイトのインデックスを作成するのはモバイルクローラーのみです。

ユーザーエージェント：Google向けGoogleBot-Mobileを見つけましたが、BingBot-Mobileのようなものがありますか、それともbingbotのみでクロールしますか？また、msnbotはなくなりましたか？

これでいい？

User-agent: *
Allow: /

User-agent: Googlebot,bingbot
Disallow: /mobile/
Allow: /

User-agent: Googlebot-Mobile,bingbot-mobile
Disallow: /
Allow: /mobile/

デスクトップユーザーが/ mobile /サイトから通常のコンテンツにリダイレクトされた方が良いと思いますが、それは少し質問の範囲外です。

ご協力ありがとうございました！

robots.txtbinggooglebot
2
grm

この問題を異なる方法で処理する必要があると思います。 googleに、さまざまな画面サイズ用の代替ページバージョンであることを理解してもらいたい。彼は、デスクトップユーザーが適切な場所（およびモバイルユーザー）に確実に誘導されるようにします。

以下をお勧めします。

すべての/ mobile /ページで使用するもの：

  <link rel="canonical" href="/non-mobile-url"/>

そして、非モバイルURLにこれを入れて

  <link rel="alternate" media="only screen and (max-width: 640px)" href="/mobile/..." />
2
Noam

各ボットには独自の行が必要です。

Robots.txtは次のようになります。

User-agent: *
Allow: /

User-agent: Googlebot
Disallow: /mobile/
Allow: /

User-agent: bingbot
Disallow: /mobile/
Allow: /

User-agent: Googlebot-Mobile
Disallow: /
Allow: /mobile/

User-agent: bingbot-mobile
Disallow: /
Allow: /mobile/

追加は常にNoindexとRobots.txtを使用するのが最善です

ロボットとnoindexの両方の使用を検討する必要があります...次のメタを使用するだけです。

通常のサイトではなくモバイルサイト

<meta name="Googlebot" content="nofollow, follow">
<meta name="bingbot" content="noindex, follow">

モバイルサイトではなくすべての通常ページで使用：

<meta name="Googlebot-Mobile" content="nofollow, follow">
<meta name="bingbot-mobile" content="noindex, follow">
2
Simon Hayter