web-dev-qa-db-ja.com

httpからhttpsに移動した後にsitemap.xmlとrobots.txtを変更する

Webサイトをhttpからhttpsに完全に移行しています。すべてのhttp URLには、対応するhttpsへの301リダイレクトがあります。

から https://support.google.com/webmasters/answer/6033049

HTTPサイトマップはrobots.txtで参照します。 robots.txtを更新して、新しいHTTPSサイトマップを含める必要がありますか？

HTTPとHTTPSに別々のサイトマップファイルを指定して、HTTPとHTTPSに別々のrobots.txtファイルを使用することをお勧めします。また、1つのサイトマップファイルのみに特定のURLをリストすることをお勧めします。

リダイレクト（HTTPからHTTPSまたはその逆）がある場合、サイトマップにはどのURLをリストする必要がありますか？

ユーザーがページにアクセスしたときのリダイレクトに関係なく、HTTPサイトマップのすべてのHTTP URL、およびHTTPSサイトマップのすべてのHTTPS URLをリストします。リダイレクトに関係なくページをサイトマップにリストすると、検索エンジンが新しいURLをより早く発見するのに役立ちます。

このことから、私は以下が正しいはずだと思います：

  1. http://example.com/robots.txt が存在し、http urlを持つ古いsitemap.xmlを指すSitemapディレクティブが必要です。

  2. https://example.com/robots.txt が存在し、古いものと同じhttps URLを持つ新しいsitemap.xml（sitemap_https.xmlのようなものと呼ばれることもある）を指すSitemapディレクティブを持つ必要がありますただし、httpではなくhttpsを使用します。

しかし、Googleのガイドラインをさらに読むと、これと矛盾する別のアプローチが示されています（または、何か誤解しているのではないでしょうか？）

回答から https://support.google.com/webmasters/answer/603308 ：

Robots.txtファイルを更新します。

  • ソースサイトで、すべてのrobots.txtディレクティブを削除します。これにより、Googlebotは新しいサイトへのすべてのリダイレクトを検出し、インデックスを更新できます。

  • 宛先サイトで、robots.txtファイルがすべてのクロールを許可していることを確認します。これには、クロールしたくないと確信しているURLの他に、画像、CSS、JavaScript、およびその他のページアセットのクロールが含まれます。

宛先サイトで、古いURLと新しいURLを含む以前に準備した2つのサイトマップを送信します。これにより、クローラーが古いURLから新しいURLへのリダイレクトを発見し、サイトの移動を容易にします。

これは私がこのアプローチを理解する方法です：

  1. http robots.txtが存在し、ディレクティブが含まれていない（空である）必要があります。

  2. https robots.txtが存在し、2つのサイトマップディレクティブが必要です。1つは古いsitemap.xmlに、もう1つは新しいsitemap_https.xmlに

「2つのサイトマップを送信する」とは、robots.txtにリストするのとは異なることを意味するのでしょうか？ Search Consoleなどを使用したいですか？それは明確ではなく、「送信」するだけです...

また、このアプローチのポイント1は、最初のアプローチのポイント1と矛盾します。

httpssitemaprobots.txt
3
Vilial

最初のアプローチは正しいアプローチです。高いトラフィックとランキングのWebサイトをHTTPからHTTPSに完全に移行しました。 Googleのガイドラインに基づいたアプローチは次のとおりです。

  1. すべてのHTTP URLは、HTTPSへの301永続リダイレクトを実行します。

  2. http://www.example.com/robots.txtはHTTPSバージョンhttps://www.example.com/robots.txtにリダイレクトします

  3. 新しいサイトマップにはすべてのHTTPSリンクが含まれます。

これに関するGoogleからの良い投稿を以下に示します。

https://plus.google.com/+JohnMueller/posts/PY1xCWbeDVC

4
DhruvPathak

HTTPとHTTPSの両方を保持していて、すべてをHTTPSにリダイレクトする予定がない場合は、Googleのアドバイスが理にかなっている可能性があります。しかし、それ以外にも、私には奇妙なアドバイスのようです。

おそらくすべてを最終的にHTTPSに移動する必要があるため、可能な限りHTTPS URLを使用する必要があります。 robots.txtファイルでは、http://example.com/robots.txtとhttps://example.com/robots.txtの両方にHTTPSサイトマップリンクが表示されます。サイトマップについても同様に、両方のバージョンでHTTPS URLが表示されます。

これは技術的な観点からはるかに簡単で、GoogleのHTTPS URLを優先します。

2
DisgruntledGoat