web-dev-qa-db-ja.com

diskdump（dd）によるディスククローン作成に適したブロックサイズ

私は、最も単純な形式のddを使ってハードドライブをクローンします。

dd if=INPUT of=OUTPUT

しかし、私はマンページでddがブロックサイズパラメータを知っていることを読みました。クローン作成手順をスピードアップするblocksizeパラメーターに最適な値はありますか？

linuxhard-drivebackupclone
46
Phi

64kが良い選択のようです。

Results:

  no bs=        78s     144584+0 records
  bs=512        78s     144584+0 records
  bs=1k         38s     72292+0 records
  bs=2k         38s     36146+0 records
  bs=4k         38s     18073+0 records
  bs=5k         39s     14458+1 records
  bs=50k        38s     1445+1 records
  bs=500k       39s     144+1 records
  bs=512k       39s     144+1 records
  bs=1M         39s     72+1 records
  bs=5M         39s     14+1 records
  bs=10M        39s     7+1 records

（ こちらから ）。

これは私がかつて@workを軽蔑していたio重いコンバータープログラムをスピードアップするための読み取り/書き込みバッファリングに関する私自身の発見と一致します。

32
akira

ddはあなたが望むものは何でもBSを使って喜んでコピーし、（最後に）部分ブロックをコピーします。

基本的に、ブロックサイズ（bs）パラメータは、その塊をもう一方のディスクに書き込もうとする前に、1つのディスクからまとめて読み取るのに使用されるメモリの量を設定するようです。

大量のRAMがある場合は、BSを大きく（ただし、完全にRAMに含まれるように）することは、大量の読み取りと書き込みを行うことによってI/Oサブシステムをできるだけ利用することを意味します。 BSを小さくするということは、総アクティビティの割合としてのI/Oオーバーヘッドが上がることを意味します。

もちろん、これには収益を減少させる法則があります。私のおおよその概算では、約128Kから32Mの範囲のブロックサイズはおそらくオーバーヘッドが普通のI/Oと比べて小さく、大きくしてもそれほど大きな違いはないようなパフォーマンスをもたらすでしょう。下限が128Kから32Mになる理由は、OS、ハードウェアなどに依存します。

それが私であれば、128KのBSと16Mを使ってコピー/クローンのタイミングをとる実験をいくつか行います。かなり速い場合は、それを使用してください。そうでない場合は、2つのうち小さい方のBSを使用してください。

22
quickly_now

たとえこの議論が少し古くても、Google経由でここで終わる人のために...

Ddは理由があるため愚かであることに注意してください。それが単純であるほど、それが台無しにすることができるより少ない方法です。

複雑なパーティショニングスキーム（LinuxシステムにLVMを追加で使用するデュアルブートハードドライブを検討してください）は、Clonezillaのようなプログラムの木工からバグを取り除き始めます。アンマウントされていないファイルシステムはntfscloneを空に飛ばすことができます。

セクターごとに複製された破損したファイルシステムは、元のファイルシステムよりも悪くありません。 「スマートコピー」が失敗した後の破損したファイルシステムは、本当に申し訳ありませんでした。

疑問がある場合は、ddを使用して法医学を行ってください。フォレンジックイメージングにはセクターごとのコピーが必要です（実際には、ddを使用して処理できるようになるには、さらに多くのセクターが必要になる可能性がありますが、これは長い話です）。それは遅くて退屈ですが、それは仕事を正しく終わらせるでしょう。

また、 "conv = noerror、sync"オプションを知っておくと、失敗し始めたドライブのクローンを作成したり、ISOをスクラッチから作成することができます（咳）CD - 数か月かかることなく。

10
Matt Heck

他の人が言っているように、普遍的な正しいブロックサイズはありません。ある状況やあるハードウェアにとって最適なものは、別の状況にとっては非常に非効率的な場合があります。また、ディスクの状態によっては、「最適」なブロックサイズとは異なるブロックサイズを使用することをお勧めします。

現代のハードウェアでかなり信頼できることの1つは、512バイトのデフォルトブロックサイズがより最適な代替よりもほぼ1桁遅い傾向があるということです。疑問があるときは、64Kがかなり堅実な現代のデフォルトであることがわかりました。 64Kは通常最適なブロックサイズではありませんが、私の経験ではデフォルトよりはるかに効率的になる傾向があります。 64Kも確実に実行可能であるという確かな歴史を持っています。2002年頃のEug-Lugメーリングリストから、64Kのブロックサイズを推奨するメッセージを見つけることができます。 http：// www .mail-archive.com/eug-lug @ efn.org/msg12073.html

最適な出力ブロックサイズを決定するために、デフォルトの512バイトから最大64Mまで、さまざまなブロックサイズの範囲でddを使用して128Mのテストファイルをテストする次のスクリプトを作成しました。このスクリプトは内部でddを使用しているので注意してください。

dd_obs_test.sh：

#!/bin/bash

# Since we're dealing with dd, abort if any errors occur
set -e

TEST_FILE=${1:-dd_obs_testfile}
TEST_FILE_EXISTS=0
if [ -e "$TEST_FILE" ]; then TEST_FILE_EXISTS=1; fi
TEST_FILE_SIZE=134217728

if [ $EUID -ne 0 ]; then
  echo "NOTE: Kernel cache will not be cleared between tests without Sudo. This will likely cause inaccurate results." 1>&2
fi

# Header
PRINTF_FORMAT="%8s : %s\n"
printf "$PRINTF_FORMAT" 'block size' 'transfer rate'

# Block sizes of 512b 1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 4M 8M 16M 32M 64M
for BLOCK_SIZE in 512 1024 2048 4096 8192 16384 32768 65536 131072 262144 524288 1048576 2097152 4194304 8388608 16777216 33554432 67108864
do
  # Calculate number of segments required to copy
  COUNT=$(($TEST_FILE_SIZE / $BLOCK_SIZE))

  if [ $COUNT -le 0 ]; then
    echo "Block size of $BLOCK_SIZE estimated to require $COUNT blocks, aborting further tests."
    break
  fi

  # Clear kernel cache to ensure more accurate test
  [ $EUID -eq 0 ] && [ -e /proc/sys/vm/drop_caches ] && echo 3 > /proc/sys/vm/drop_caches

  # Create a test file with the specified block size
  DD_RESULT=$(dd if=/dev/zero of=$TEST_FILE bs=$BLOCK_SIZE count=$COUNT conv=fsync 2>&1 1>/dev/null)

  # Extract the transfer rate from dd's STDERR output
  TRANSFER_RATE=$(echo $DD_RESULT | \grep --only-matching -E '[0-9.]+ ([MGk]?B|bytes)/s(ec)?')

  # Clean up the test file if we created one
  if [ $TEST_FILE_EXISTS -ne 0 ]; then rm $TEST_FILE; fi

  # Output the result
  printf "$PRINTF_FORMAT" "$BLOCK_SIZE" "$TRANSFER_RATE"
done

GitHubで見る

私はこのスクリプトをDebian（Ubuntu）システムとOSX Yosemiteでテストしただけなので、他のUnixフレーバでも作業するにはおそらく少し調整が必要です。

デフォルトでは、コマンドはカレントディレクトリにdd_obs_testfileという名前のテストファイルを作成します。あるいは、スクリプト名の後にパスを指定することで、カスタムテストファイルへのパスを指定できます。

$ ./dd_obs_test.sh /path/to/disk/test_file

スクリプトの出力は、テスト済みのブロックサイズとそれぞれの転送速度のリストです。

$ ./dd_obs_test.sh
block size : transfer rate
       512 : 11.3 MB/s
      1024 : 22.1 MB/s
      2048 : 42.3 MB/s
      4096 : 75.2 MB/s
      8192 : 90.7 MB/s
     16384 : 101 MB/s
     32768 : 104 MB/s
     65536 : 108 MB/s
    131072 : 113 MB/s
    262144 : 112 MB/s
    524288 : 133 MB/s
   1048576 : 125 MB/s
   2097152 : 113 MB/s
   4194304 : 106 MB/s
   8388608 : 107 MB/s
  16777216 : 110 MB/s
  33554432 : 119 MB/s
  67108864 : 134 MB/s

（注：転送速度の単位はOSによって異なります）

最適な読み取りブロックサイズをテストするには、ほぼ同じプロセスを使用できますが、/ dev/zeroから読み取り、ディスクに書き込む代わりに、ディスクから読み取り、/ dev/nullに書き込むことになります。これを実行するスクリプトは次のようになります。

dd_ibs_test.sh：

#!/bin/bash

# Since we're dealing with dd, abort if any errors occur
set -e

TEST_FILE=${1:-dd_ibs_testfile}
if [ -e "$TEST_FILE" ]; then TEST_FILE_EXISTS=$?; fi
TEST_FILE_SIZE=134217728

# Exit if file exists
if [ -e $TEST_FILE ]; then
  echo "Test file $TEST_FILE exists, aborting."
  exit 1
fi
TEST_FILE_EXISTS=1

if [ $EUID -ne 0 ]; then
  echo "NOTE: Kernel cache will not be cleared between tests without Sudo. This will likely cause inaccurate results." 1>&2
fi

# Create test file
echo 'Generating test file...'
BLOCK_SIZE=65536
COUNT=$(($TEST_FILE_SIZE / $BLOCK_SIZE))
dd if=/dev/urandom of=$TEST_FILE bs=$BLOCK_SIZE count=$COUNT conv=fsync > /dev/null 2>&1

# Header
PRINTF_FORMAT="%8s : %s\n"
printf "$PRINTF_FORMAT" 'block size' 'transfer rate'

# Block sizes of 512b 1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 4M 8M 16M 32M 64M
for BLOCK_SIZE in 512 1024 2048 4096 8192 16384 32768 65536 131072 262144 524288 1048576 2097152 4194304 8388608 16777216 33554432 67108864
do
  # Clear kernel cache to ensure more accurate test
  [ $EUID -eq 0 ] && [ -e /proc/sys/vm/drop_caches ] && echo 3 > /proc/sys/vm/drop_caches

  # Read test file out to /dev/null with specified block size
  DD_RESULT=$(dd if=$TEST_FILE of=/dev/null bs=$BLOCK_SIZE 2>&1 1>/dev/null)

  # Extract transfer rate
  TRANSFER_RATE=$(echo $DD_RESULT | \grep --only-matching -E '[0-9.]+ ([MGk]?B|bytes)/s(ec)?')

  printf "$PRINTF_FORMAT" "$BLOCK_SIZE" "$TRANSFER_RATE"
done

# Clean up the test file if we created one
if [ $TEST_FILE_EXISTS -ne 0 ]; then rm $TEST_FILE; fi

GitHubで見る

この場合の重要な違いは、テストファイルがスクリプトによって書き込まれるファイルであるということです。このコマンドを既存のファイルに向けないでください。存在するファイルはランダムデータで上書きされます。

私の特定のハードウェアでは、128KがHDD上で最も最適な入力ブロックサイズであり、32KがSSD上で最も最適であることがわかりました。

この答えは私の調査結果のほとんどを網羅していますが、私はそれについてブログ記事を書いたのに十分な時間この状況に遭遇しました： http://blog.tdg5.com/tuning-dd- block-size / 私が行ったテストの詳細はこちらをご覧ください。

このStackOverflowの投稿も役に立つかもしれません： dd：最適なブロックサイズの計算方法？

9
tdg5

はい、でもたくさんのテストがなければ見つけることはできません。私は32Mを使用するのが良い値だと思いました。

3
Ignacio Vazquez-Abrams

古いブートドライブを外部sata上の新しいssdに複製する（ssdからssd）

  • linux Ubuntu 18.04.2 LTS 64bitを使用する
  • hp xw4600（8GB RAM、Intel Core 2 Quad Q6700 @ 2.66GHz 4c/4t no-HT）

ディスクの使用（ツール）>フォーマット> ATA Secure Erase（2min）

$ lsblk -l /dev/sd?
NAME MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda    8:0    0 119,2G  0 disk 
sda1   8:1    0 119,2G  0 part /
sdb    8:16   0   2,7T  0 disk 
sdc    8:32   0   2,7T  0 disk 
sdd    8:48   0  12,8T  0 disk 
sde    8:64   0   2,7T  0 disk
sdf    8:80   1 465,8G  0 disk 

$ Sudo fdisk -l /dev/sda
Disk /dev/sda: 119,2 GiB, 128035676160 bytes, 250069680 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

$ Sudo fdisk -l /dev/sdf
Disk /dev/sdf: 465,8 GiB, 500107862016 bytes, 976773168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
  • sda：Kingston SSD（old;ディスクの平均速度は263 MB/s、ピークは270 MB/sに近い - システムディスクによる書き込みテストなし）
  • sdf：Crucial MX500、500GB、CT500MX500SSD1（ディスクレポート：平均rd/wrレート284/262MB/s、アクセス時間0.05ms、ピークは約290/270MB/s）

テスト実行：

$ Sudo dd if=/dev/sda of=/dev/sdf
250069680+0 records in
250069680+0 records out
128035676160 bytes (128 GB, 119 GiB) copied, 3391,72 s, 37,7 MB/s
#       --vvvvv--                            *********
$ Sudo dd bs=1M if=/dev/sda of=/dev/sdf
122104+1 records in
122104+1 records out
128035676160 bytes (128 GB, 119 GiB) copied, 473,186 s, 271 MB/s
#                                            *********  ********

同じ結果で安全な消去の後に二度目の試行：

128035676160 bytes (128 GB, 119 GiB) copied, 472,797 s, 271 MB/s
1
kgSW.de