web-dev-qa-db-ja.com

Linux / Bashの行をランダムにシャッフルする

Linuxにいくつかのファイルがあります。たとえば、2と1つのファイルのファイルをシャッフルする必要があります。

例えば

$cat file1
line 1
line 2
line 3
line 4
line 5
line 6
line 7
line 8

そして

$cat file2
linea one
linea two
linea three
linea four
linea five
linea six
linea seven
linea eight

そして、後で2つのファイルをシャッフルすると、次のようなものを取得できます：

linea eight
line 4
linea five
line 1
linea three
line 8
linea seven
line 5
linea two
linea one
line 2
linea four
line 7
linea six
line 1
line 6
linuxbashshellsh
44
Code Geas Coder

shufコマンドを使用する必要があります=）

cat file1 file2 | shuf

またはPerlの場合：

cat file1 file2 | Perl -MList::Util=shuffle -wne 'print shuffle <>;'
79
Gilles Quenot

並べ替え：（同​​様の行がまとめられます）

cat file1 file2 | sort -R

シャフ：

cat file1 file2 | shuf

Perl：

cat file1 file2 | Perl -MList::Util=shuffle -e 'print shuffle<STDIN>'

BASH：

cat file1 file2 | while IFS= read -r line
do
    printf "%06d %s\n" $RANDOM "$line"
done | sort -n | cut -c8-

Awk：

cat file1 file2 | awk 'BEGIN{srand()}{printf "%06d %s\n", Rand()*1000000, $0;}' | sort -n | cut -c8-
41
jm666

MacPortsを使用するOS Xユーザーへの注意：shufコマンドはcoreutilsの一部であり、gshufという名前でインストールされます。

$ Sudo port install coreutils
$ gshuf example.txt # or cat example.txt | gshuf
19
Messa

これは、shufやsort -Rに依存しないワンライナーです。これは、私のMacにはありませんでした。

while read line; do echo $RANDOM $line; done < my_file | sort -n | cut -f2- -d' '

これは、my_fileのすべての行を繰り返し、ランダムな順序で再印刷します。

11
Tyler

ここでパイプを使用する必要はありません。並べ替えだけで、ファイルをパラメーターとしてこれを行います。私はただやる

sort -R file1

または、複数のファイルがある場合

sort -R file1 file2
8
davvs

shufも使用します。

別のオプション、gnuソートには次のものがあります。

   -R, --random-sort
          sort by random hash of keys

あなたが試すことができます：

cat file1 file2|sort -R
6
Kent

これは私のために働いた。 Fisher-Yatesシャッフルを採用しています。

randomize()
{   
    arguments=("$@")
    declare -a out
    i="$#"
    j="0"

while [[ $i -ge "0" ]] ; do
    which=$(random_range "0" "$i")
    out[j]=${arguments[$which]}
    arguments[!which]=${arguments[i]}
    (( i-- ))
    (( j++ ))
done
echo ${out[*]}
}


random_range()
{
    low=$1
    range=$(($2 - $1))
    if [[ range -ne 0 ]]; then
        echo $(($low+$RANDOM % $range))
    else
        echo "$1"
    fi
}
1
mmore500

明らかにバイアスがかかっています（リストが最初の行で始まる時間の半分のように）が、bashビルトインのみを使用した基本的なランダム化では問題ありませんか？各行をyes/noで印刷し、残りを印刷するだけです...

shuffle() {
    local IFS=$'\n' tail=
    while read l; do
        if [ $((RANDOM%2)) = 1 ]; then
            echo "$l"
        else
            tail="${tail}\n${l}"

        fi
    done < $1
    printf "${tail}\n"
}
0
untore