メタロボットnoindexのページでGoogleクロール/フォローリンクを実行します
一部のページに次のメタタグを追加しました。
<meta content="noindex" name="robots"/>
グーグルはこのページのコンテンツとリンクをクロールしますが、グーグルの検索結果には表示しません。
はいの場合、このページのコンテンツとリンクをクロールしないようにボットを停止するにはどうすればよいですか？
デフォルトでは、Googleまたはその他の最新の検索エンジンは、上記のメタタグがない場合、ページ内のリンクをクロール、インデックス登録、および追跡します。
あなたの例では、Googleはnoindex命令を見つけます。これが起こることが予想されます：
- Googleボットがページをクロールします（ロボットのtxtで許可されている場合）
- ページはインデックスに登録されず、最終的にSERPから削除されます。
- 検索エンジンは、ページ内のすべてのリンクをたどります。
- リンクされたページはインデックス化されます。
nofollowを追加
この指示をメタタグに追加すると、Googleはリンクをたどらないようになります。ただし、これらのページがこの指示なしで他のページからリンクされている場合、ページは索引付けされます。
Googleによるページのクロールを許可しない
Robots txtを介したブロックアクセスを許可しないようにしてください。ただし、Googleがページをクロールし、noindex、nofollow命令を認識した後にこれを実行します。
ページが公開されると、Googleはそのページをクロールし、それを吸い上げ、広大で非常に長期的なメモリに保持します。
削除したいページがGoogleのSERPにある場合、noindexだけではこれを解決できず、新しい検索エンジンにランク付けしないようにアドバイスします。 nofollow、noarchiveをそのページのrobotsコマンド（すべて1つのコマンドに含めることができます）を追加して、Googleなどの検索キャッシュからフラッシュし、そのページのリンクに従ってクローラーを停止する必要があります。
許可を使用して、robots.txtファイルを介してそのページをクロールするようにしてください。そうしないと、このリクエストは表示されません。
ページがSERPから削除されたら（Google検索ボックスでいくつかのsite：[yourdomain]クエリを実行して確認します）、robots.txtを使用して、そこに行かないように検索をアドバイスできます。 robots.txtファイルが編集された場合に備えて、ページ内にもnoindex、nofollow、noarchiveページレベルコマンドを保持して、SERPから除外することを選択します。
これを修正するにはしばらく時間がかかりますが、そこに到達します。
このタグは、リストにページを含めないように検索エンジンに指示します。私が知る限り、タグを削除するかどうかを確認するためにページをクロールする必要があるため、検索エンジンがページをクロールするのを停止することはできません。 （気が変わってページを一覧表示する場合）