簡単な質問:robots.txtにUnixの行末を必ず使用する必要がありますか、それとも問題ではありませんか?
関係ありません。仕様によると:
ファイルは、1つ以上の空白行(CR、CR/NL、またはNLで終了)で区切られた1つ以上のレコードで構成されます。
これは、\rを使用できることを意味します。 \n、または\r\nであり、動作します。
\r
\n
\r\n