Yahoo!を許可する理由はありますか私のサイトをクロールするために丸lurみ？
1年以上前にYahoo!結果に別の検索エンジンを使用し、独自のSlurpボットを使用しなくなります。ただし、私がYahoo!を管理しているサイトはいくつかあります。 Slurpは引き続きページをクロールしますが、返されると（終了し続けるため）Goneステータスコードを無視しているようです。
Yahoo!をブロックしたくない理由はありますか？ robots.txtまたはIPを使用してスラープします（とにかくrobots.txtを無視する傾向があるため）
ボットがヒットした場合、Yahoo！からのものであることを確認しました。 IP。したがって、これはボットの合法的なインスタンスだと思います。
Yahoo検索は今Bing検索と同じですか？ は関連する質問ですが、newボットのブロック。
約3か月前に読んだ記事を見つけてほしい。ただし、短いバージョンでは、YahooはBingのインデックス（全体）とアルゴリズム（ほとんど）を使用しています。 Yahooは、検索結果やその他のプロジェクトに小さな修正を加えるために、まだ独自のボットでクロールしています。
つまり、ボットを禁止すると、Yahoo SERPから完全に除外される可能性があります（ただし、Bingには影響しません）。
更新： webmasterworldのこのスレッド には興味深い投稿があります。