特別な動作を設定したくない場合、robots.txtファイルを持っていなくてもかまいませんか？
特別な動作を設定したくない場合、robots.txtファイルを持っていなくても大丈夫ですか？
または、1つの欠如は有害ですか？
Robots.txtファイルがなくても害はありません。 robotstxt.org Webサイト から：
すべてのロボットに完全なアクセスを許可するには
ユーザーエージェント： *
禁止：（または空の「/robots.txt」ファイルを作成するか、まったく使用しないでください）
ただし、robots.txtファイルで何も指定していない場合でも、 XMLサイトマップの場所を検索エンジンに通知する の良い方法です。これを行うには、robots.txtファイルの先頭に次のような行を追加します。
また、これがないと、Webログに多くの404エントリが作成されることに注意する必要があります。
「robots.txt」がない場合、エラーログにはファイルに多くの404が記録されます。これは、ファビコンがない場合と同様に、一種の迷惑になる可能性があります。
haveは大丈夫だと思います。さもないと、Webの巨大な帯がWebスパイダーによってインデックス化できなくなります。
robots.txtは、ほぼ全員が「全員によるインデックス作成を許可する」robots.txtと同じです。
Robots.txtファイルが存在しないため、クローラが処理できる内容と実行できない内容を決定します。あいまいさを避けるのに数秒しかかからないので、すべてのエージェントがすべてにアクセスできるようにするだけではどうでしょうか。
さて、robots.txtには sitemap のアドレスが含まれているため、アドレスがないと潜在的に有害です。
コンテンツによっては、サイトのすべてのページに検索エンジンのインデックスを作成することを望んでいる限り、ロボットファイルがなくても問題はありません。