web-dev-qa-db-ja.com

改行で終わらないかもしれない行指向のファイルを読む

各行がURLを表す/tmp/urlFileという名前のファイルがあります。次のようにファイルから読み取ろうとしています：

cat "/tmp/urlFile" | while read url
do
    echo $url
done

最後の行が改行文字で終わっていない場合、その行は読み取られません。なんでかしら？

新しい行で終わるかどうかに関係なく、すべての行を読み取ることはできますか？

bashshelltext-processingnewlines
11
Tim

あなたがします：

while IFS= read -r url || [ -n "$url" ]; do
  printf '%s\n' "$url"
done < url.list

（事実上、そのループは、欠落した改行を最後の（非）行に追加します）。

以下も参照してください。

13
Stéphane Chazelas

これはreadarray -tによって部分的に解決されるようです：

readarray -t urls "/tmp/urlFile"
for url in "${urls[@]}"; do
    printf '%s\n' "$url"
done

ただし、これは適度なサイズのファイルに対しては機能しますが、このソリューションは非常に大きなファイルで潜在的な新しい問題を引き起こすことに注意してください。最初にファイルを配列に読み込んでから、反復する必要があります。非常に大きなファイルの場合、これは時間とメモリの両方を消費する可能性があり、障害が発生する可能性があります。

6
DopeGhoti

definition の場合、テキストファイルは一連の行で構成されます。 line は改行文字で終わります。したがって、テキストファイルは、空でない限り、改行文字で終わります。

readビルトインは、テキストファイルの読み取り専用です。テキストファイルを渡していないため、シームレスに機能することは望めません。シェルはすべての行を読み取ります。スキップしているのは、最後の行の後の余分な文字です。

最終行が欠落している可能性のある不正な入力ファイルがある場合は、念のため改行を追加できます。

{ cat "/tmp/urlFile"; echo; } | …

テキストファイルでなければならないが、最後の改行が欠落しているファイルは、多くの場合、Windowsエディターによって作成されます。これは通常、UnixのLFではなく、CR LFであるWindowsの行末と組み合わされます。 CR文字はどこでもめったに役に立たず、URLには表示されないので、削除する必要があります。

{ <"/tmp/urlFile" tr -d '\r'; echo; } | …

入力ファイルが整形式で改行で終わっている場合、echoは余分な空白行を追加します。 URLは空にできないため、空白行は無視してください。

また、readは行を簡単に読み取らないことに注意してください。先頭と末尾の空白は無視されますが、URLの場合はおそらく望ましいでしょう。これは、行末のバックスラッシュをエスケープ文字として扱い、次の行を最初の行からバックスラッシュと改行のシーケンスを除いたものに結合させますが、これは明らかに望ましくありません。したがって、-rオプションをreadに渡す必要があります。 read -rではなくreadが正しいものであることは非常にまれです。

{ <"/tmp/urlFile" tr -d '\r'; echo; } | while read -r url
do
  if [ -z "$url" ]; then continue; fi
  …
done
5
Gilles 'SO- stop being evil'

まあ、readは改行の前にファイルの終わりに出会うと偽の値を返しますが、出会ったとしても、読み込んだ値を割り当てます。したがって、readの最後の呼び出しが空の行以外のものを返すかどうかを確認し、通常どおりに処理できます。したがって、readがfalseを返した後にのみループを終了しますand行は空です：

#!/bin/sh
while IFS= read -r line || [ "$line" ]; do 
    echo "line: $line"
done

$ printf 'foo\nbar' | sh ./read.sh 
line: foo
line: bar
$ printf 'foo\nbar\n' | sh ./read.sh 
line: foo
line: bar
3
ilkkachu

別の方法は次のようになります：

読み取りが行の終わりではなくファイルの終わりに到達すると、データを読み取って変数に割り当てますが、ゼロ以外のステータスで終了します。ループが構築されている場合、「読み取り中に;何かを行う;完了

したがって、読み取り終了ステータスを直接テストする代わりに、フラグをテストし、ループ本体内から読み取りコマンドにそのフラグを設定させます。このように、読み取りの終了ステータスに関係なく、ループ本体全体が実行されます。これは、読み取りは他のループと同様に、ループ内のコマンドのリストの1つにすぎず、ループが実行されるかどうかの決定要因ではありません。

DONE=false
until $DONE ;do
read || DONE=true
echo $REPLY 
done < /tmp/urlFile

こちら から参照。

1
Hunter.S.Thompson
猫 "/ tmp/urlFile" | url 
 do 
を読み取りながらecho $ url 
 done

これは catの無用の使用 です。

皮肉なことに、ここでcatプロセスを実際に役立つものに置き換えることができます。それは、POSIXシステムが欠落している改行を追加し、ファイルを適切なPOSIXテキストファイルにするためのツールです。

sed -e '$ a \' "/ tmp/urlFile" |読み取り中-r url 
 do 
 printf "％s\n" "$ {url}" 
完了

参考文献

1
JdeBP