web-dev-qa-db-ja.com

robots.txtの「Noindex：」はどのように機能しますか？

今日、私のSEOニュースで この記事 に出会いました。 robots.txtの標準のNoindex:ディレクティブに加えて、Disallow:ディレクティブを使用できることを暗示しているようです。

Disallow: /page-one.html
Noindex: /page-two.html

検索エンジンがページ1をクロールするのを防ぎ、ページ2のインデックスを作成するのを防ぐようです。

このrobots.txtディレクティブはGoogleや他の検索エンジンでサポートされていますか？動作しますか？文書化されていますか？

web-crawlersrobots.txtgooglebotnoindex
10
Stephen Ostermiller

Googleは以前、robots.txtでNoindexディレクティブを非公式にサポートしていましたが、2019年には それらが発表しました ディレクティブは機能しなくなりました。

Googleの ジョンミューラーは、robots.txt でNoindex:について次のように述べています。

Robots.txtのno-indexディレクティブを実験的な機能としてサポートしていました。しかし、それは私が頼りにしたくないものです。そして、私は他の検索エンジンがそれをまったく使用していないと思います。

Googleが機能の廃止を発表する前に、deepcrawl.comはこの機能のテストを行いました を発見しました。

  • 2019年まで、それはまだGoogleで働いていました
  • URLが検索インデックスに表示されないようにしました
  • robots.txtでインデックスが作成されていないURLは、Google Search Consoleでそのようにマークされていました

Googleがこの機能を廃止したことを考えると、この機能はもう使用すべきではありません。

代わりに、 十分にサポートされ文書化されている であるrobotsメタタグを使用して、インデックス作成を防止します。

<meta name="robots" content="noindex" />
9
Stephen Ostermiller