web-dev-qa-db-ja.com

サイトマップにすべてを含めるか、新しいコンテンツのみを含める必要がありますか?

動的なコンテンツ(新しいコンテンツが絶えず追加されている)を備えたWebサイトの場合、最新のコンテンツのみをサイトマップに含めるか、すべてを(サイトマップインデックスと共に)含める必要がありますか?サイトマップespのベストプラクティスは何ですか。大規模サイトの場合

また、Google(および他の検索エンジン)がサイトマップのページのみをクロールするようにする方法はありますか?

ありがとう

更新:
また、stackoverflowがこれをどのように処理するのか考えていますか?知りたいのですが、残念ながら(また nderstandingly )彼らはサイトマップへのアクセスをブロックしました。

13
Mee

すべてのページを含めます。 XMLサイトマップの目的は、すべてのコンテンツについて検索エンジンに伝えることです。新しいものだけではありません。

Sitemaps.org Webサイト(エンファシス鉱山)から:

サイトマップは、ウェブマスターが検索エンジンに、クロールに利用できるサイトのページを通知する簡単な方法です。

多くのコンテンツがある場合は、 複数のXMLサイトマップ を使用できます。

クロールまたはインデックス登録したくないコンテンツがある場合は、検索エンジンにそれらのページをクロールおよびインデックス登録しないように特に指示する必要があります。 robots.txt ファイルを使用して、クロールしないページまたはディレクトリをブロックします。 meta tag を使用することもできます。ただし、非公開ページをクロールしないようにXMLサイトマップで指定することはできません。

13
John Conde