web-dev-qa-db-ja.com

Googleサイトでrobots.txtを編集する

次のURLのWebサイトで多くの404エラーを取得しています。

/system/app/pages/admin/revisions*

Robots.txtにDisallowを追加するつもりでしたが、Googleサイトでrobots.txtを編集する方法はないようです。オプションを見逃しましたか?存在しない場合、Webmasterツールを使用する回避策はありますか?

2
Neolisk

404ページのクロールを禁止する必要はありません。404を返すURLは絶対に問題なく正常です。存在しないURLで404エラーが発生しても、サイト全体のクロール、インデックス作成、ランキングに影響しません( 404 404's my site? を参照)。

また、このようなURLのクロールを許可しないことにより、 実際にインデックスが作成される可能性があります (URLの背後にあるものがわからないため)にも注意してください。一方、URLが404を返し、それをクロールしてそれを確認できる場合、そのURLのインデックスは作成されません。

2
John Mueller