HTTPSに移行した後、HTTPのクロールを禁止する必要がありますか？
よくインデックスされたWebサイトをHTTPからHTTPSのみに移行しています。
計画されたステップ：
- すべてのHTMLページが標準のHTTPSになりました
- すべてのHTTPページは、同じURLでHTTPSに301リダイレクトします
- すべてのサイトマップにはHTTPS URLがあります
- HTMLページ上のすべてのリンクはHTTPSになります
問題1：
現在、HTTPSレベルのrobots.txtは、すべてクローラがHTTPSページをクロールすることを望まないため、すべて許可しません。
今のアプローチはどうあるべきか：すべてのリンクにhttpsを許可するのは明らかです。
しかし、HTTPの許可/禁止についてはどうでしょうか（HTTPをクロールしなかったかのように、新しいことは何も起こらず、HTTPのみがHTTPSに移行していることがわかります）。301はそれを示しますが、 HTTP。
問題2：
サイトマップにすべてのHTTPSリンクを追加すると、上記と同じ質問が表示されます。クローラーはhttpsリンクのクロールを開始し、インデックスを作成します。ただし、同じHTTPバージョンであり、ランキングを渡すことを認識してほしい
理想的には、すべてのリンクがHTTPSでインデックス付けされるまでの一定の期間、サイトマップにHTTPとHTTPSの両方を含める必要がありますか？
現在の理解に従って、計画は次のとおりです：
Googleがhttpのクロールを停止すると、ランキングは通過しません。だから私はロボットが懸念しているようにhttpとhttpsの両方を許可することを計画しています。
しかし、Webサーバー上でクロールする方法がわからないので、すべてのhttpリンクを対応するhttpsリンクに301リダイレクトしています。だから私のサイトのルートをクロールしても http://www.example.com と言うと、最終的に https://www.example.com にリダイレクトされますすべてのhttpsリンクを見つけて、それに従ってください。
すでにインデックスが作成されているリンク（すべてのhttpリンク）をクロールして、リダイレクトされていることがわかりますが、それはクローラーの動作と頻度に依存します。クローラーが301を理解してからhttpsバージョンもクロールするまでの間に、コンテンツの重複の問題が発生し、ランキングに影響します。
HTTPトラフィックをHTTPSに301リダイレクトしている場合は、すでに最大のステップを実行しています。 HTTPページへのリンクはすべて関連するHTTPSページにリダイレクトされ、検索エンジンは実際のユーザーと同じように追跡します。サイトマップがHTTPSバージョンを参照している限り、問題ありません。
さらに厄介なビットについては、以下を確認することもお勧めします。
サイトマップ
これを更新することについて言及しましたが、一部の人々はプラグインを使用してこれを定期的に再生成します。使用するスクリプトが、何らかの自動化プロセスによって誤ってHTTPSをHTTPに置き換えないようにしてください。
Canonicals
サイト全体に正規のリンクがある場合は、それらがHTTPSを指していることを確認してください。 WordPressプラグインを使用する場合、新しい「サイトアドレス」が自動的に選択されない可能性があるため、SEOプラグインを特に確認してください。カスタムサイトがある場合は、含めるプロトコルを確認してください。
Robots.txt
robots.txtのHTTPバージョンは、HTTPSバージョンにリダイレクトされている場合は読み取りできなくなります。 HTTPS経由で提供するバージョンが、実際にクロールするページをブロックしないようにしてください。
内部リンク
サイト内のページへのリンクでは、常にHTTPSを使用する必要があります。グローバルメニューで確認するのは簡単かもしれませんが、ページ内リンクを確認するのはより難しくなります。 phpMyAdminには適切な検索機能があるため、http://www.example.comを検索してそこから更新する場合は、他のDBツールにも同様の機能が必要です。 WordPressには、インプレース検索/置換を行うことさえできるプラグインがあります。
外部リンク
あなたのウェブサイトに来るすべての外部リンクを制御することはできません （ああ、なんて素敵だろう） しかし、あなたはおそらくあなたが思っている以上のことをコントロールできます。すべてのソーシャルメディアプロファイル（Facebook/Twitter /＆c。）を更新して、WebサイトのHTTPSバージョンにリンクします。ベースをカバーするためだけに、メールの署名からのリンクも確認してください。
HSTS
HTTP Strict Transport Securityは、Webサイトに戻ったときにHTTPSを使用するonlyをブラウザに通知する方法です。ユーザーがHTTPリンクをクリックしても、HSTSポリシーを知っている場合、ブラウザはリダイレクトを待たずにHTTPSバージョンを自動的に要求します。 Webサイトを「STSプリロードリスト」に送信して、ブラウザにドメインがプリロードされ、デフォルトでHTTPSを介してリソースが自動的にリクエストされるようにすることもできます。 Strict-Transport-Security: max-age=10886400; includeSubDomains; preloadヘッダーを追加して、 https://hstspreload.appspot.com/ に送信するか、 https：//www.owaspを送信します。詳細については、org/index.php/HTTP_Strict_Transport_Security .
問題1
いいえ、HTTPのクロールをブロックする利点はないので、クロールする理由はありません。さらに、これは少し推測にすぎず、古いHTTPバージョンを参照する外部リンクからの価値の流れを妨げる可能性があります。
問題2
繰り返しますが、これには利点はありません。 301リダイレクトは、新しいURLに値を渡す役割を果たします。
いいえ。単純にシフトを実行します：httpからhttps。私はあなたのビジネスモデルを知りませんが、あなたのウェブサイトの権威に応じて、Googleランキングはあなたに大きな混乱を見るでしょう。古いページを新しいページに移動した場合、4週間以内にGoogleとの均衡が確立されます。簡単な答えは、httpからの中間リンクをブロックしないことです。