web-dev-qa-db-ja.com

Bingは、Googlebot、Yahoo-Slurp、およびMsnbotを除くすべてのクローラーを禁止した後、サイトのインデックス作成を停止しました

Bingは私のトップページを結果から削除しました。3日前に最初のページに表示されていました。多分私はrobots.txtファイルを数週間前に更新しました。トップページのインデックスを作成するためにbingbotをブロックしている問題がある場合、誰かが以下のテンプレートをチェックできますか。前もって感謝します

User-agent: * 
Crawl-Delay: 20

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

User-agent: Yahoo-Slurp
Disallow: 

User-agent: Msnbot
Disallow:
robots.txtbingbing-webmaster-toolsbingbot
3
Rebbica

Msnbotは、Bingユーザーが使用するユーザーエージェントの1つにすぎず、メインのエージェントでもありません。 https://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec

  • Bingbot-メインのBingクローラー
  • Msnbot-古いクローラー、まだいくつか使用
  • MSNBot-Media-画像および動画クローラー
  • AdIdxBot-広告クローラー
  • BingPreview-クローラーのプレビュー

Bingがサイトのインデックスを作成できるようにするには、少なくともBingbotを許可する必要があります。

User-agent: Bingbot
Disallow:

Msnbotセクションを保持し、他のBingユーザーエージェントを追加することもできます。

Yahooのユーザーエージェントも正しくありません。 https://help.yahoo.com/kb/learn-submit-website-yahoo-robotstxt-directive-sln2213.html それはただSlurpYahoo-Slurpではなく。

Googlebotのメインユーザーエージェントは正しいのですが、Googleはクロールする多くのユーザーエージェントを持っています。他の一部のクロールも許可したい場合があります。ドキュメントはこちら： https://support.google.com/webmasters/answer/1061943?hl=en

もう1つの問題は、2つのUser-agent: *セクションがあることです。それらを組み合わせる必要があると言いますが、Crawl-Delayディレクティブは何にも使用されません。そのセクションを使用するすべてのクローラーを禁止します。 Googlebot、Yahoo、またはBingのクロール遅延を指定する場合は、セクションにクロール遅延を追加する必要があります。ボット用に特定のセクションを作成すると、*セクションは完全に無視されます。 Googlebotはクロールの遅延をまったくサポートしていないことに注意してください。

あなたが望むことをするために、少なくとも以下のrobots.txtをお勧めします。また、GoogleとBingの一部の広告クローラーを許可することもできます。

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow:

User-agent: Slurp
Crawl-Delay: 20
Disallow: 

User-agent: MSNBot
Crawl-Delay: 20
Disallow:

User-agent: MSNBot-Media
Crawl-Delay: 20
Disallow:

User-agent: Bingbot
Crawl-Delay: 20
Disallow:
2
Stephen Ostermiller