web-dev-qa-db-ja.com

robots.txtファイルで正規表現を使用してURLをブロックできますか？

いくつかの動的に生成されたURLがあります。

正規表現を使用して、robots.txtファイルでこれらのURLをブロックできますか？

robots.txtregular-expression
21
Sudheera Njs

Robots.txtでは正規表現は有効ではありませんが、Google、Bing、およびその他のボットはパターンマッチングを認識します。

URL内のexampleがあるすべてのURLをブロックする場合は、ワイルドカードエントリを使用できます*

User-agent: *
Disallow: /*example

また、ドル記号$を使用して、URLをそのように終了する必要があることを指定できます。したがって、exampleで終わるすべてのURLをブロックしたいが、URLのどこかにaexampleがあるURLはブロックしたくない場合は、次のように使用できます。

User-agent: *
Disallow: /*example$

Googleの詳細については、こちらをご覧ください： Robots.txt仕様 、Bingはこちら： Robots.txtファイルの作成方法 と、インタラクティブなガイドがありますMoz ここ

25
Max