web-dev-qa-db-ja.com

特定のファイルをブロックするrobots.txtは、不要なURLもブロックします

私は自分のサイトの1つにMagentoを使用しています。 Magentoには、このファイルをブロックするためのファイルmage（拡張子ファイル名はmageのみ）がありますrobots.txt as

# Files
User-agent: * 
Disallow: /mage

ただし、これはMagenta-color-item.htmlのようなmageで始まるURLもブロックします。

mageで始まるURLではなくmageをブロックするためにロボットに書き込む方法は？

urlweb-crawlersrobots.txtmagento
6
Sandesh

文字列の末尾にドル記号を追加できます。これは、そのエントリにのみ一致することを意味します。

# Files
User-agent: * 
Disallow: /mage$

これは、ルートドメインの直後にある場合にのみ、mageファイルをブロックします。

www.example.com/mage

前に他のディレクトリがある場合は、これらをエントリに追加する必要があります。そのため、以下にあるファイルをブロックするには：

www.example.com/somedirectory/mage

以下を使用する必要があります。

# Files
    User-agent: * 
    Disallow: /somedirectory/mage$
9
Max