web-dev-qa-db-ja.com

一部のWebサイトがサイトマップを非表示にし、robots.txtファイルから言及を除外するのはなぜですか?これはSEOにまったく影響しますか?

多くのWebサイトは、sitemap.xmlファイルを隠しています。

つまり、ユーザーが推測できないURLを作成し、robots.txtファイルに記載しないということです。

私の質問は、なぜウェブサイトがこれを行うのですか?

そして、これはSEOに影響しますか?

1
CP3O

サイトマップを非表示にすると、悪意のあるボットがサイトマップのみで宣伝され、ウェブサイトでは宣伝されていないリンク(特別な管理ページなど)を含むウェブサイト全体を発見する可能性が低くなります。

SEOには実際に影響はありません。私が心配するのは、サイトマップファイルにリストされているURLの少なくとも1つが200以外のステータスコードの結果になる場合(URLが実際のWebページを返さない場合)だけです。

1
Mike

これはSEOには影響しません。 Webクローラーは、それを指すリンクがある限り、WebサイトのHTMLサイトマップを見つけることができます。

ほとんどの検索エンジンコンソールにサイトマップを送信できることに注意してください。 robots.txtに記載する必要はありません。任意の検索エンジンコンソールUIを使用して、robots.txtで指定したり、Webサイトでリンクを指定したりする必要のないsitemap-name-you-would-like.xmlを送信できます。

1
Raul Reyes