web-dev-qa-db-ja.com

MDADMは、3つの「失敗した」ドライブでRAID6を再構築します

私は次の問題に遭遇しました：

3つのディスクがアレイから外れた後、RAID 6（/ dev/md6）が失敗しました。ディスクの1つはしばらくの間使用されていなかったはずです（SMARTでは、6つのディスクのうち5つは1年の稼働時間で、もう1つは8か月と21日です）

最初に、不足している3つのドライブをアレイに追加し直そうとしましたが、sdf1は「ビジー」でした。私が追加できる他の2つ。

sdf1がビジー（または何か）であると表示されたので、再起動しました。もう一度やり直しました。

出力は次のようになります。

root@server:~# mdadm --assemble --run --force --update=resync /dev/md6 /dev/sd[abcdef]1
mdadm: ignoring /dev/sdd1 as it reports /dev/sda1 as failed
mdadm: ignoring /dev/sde1 as it reports /dev/sda1 as failed
mdadm: ignoring /dev/sdc1 as it reports /dev/sda1 as failed
mdadm: Marking array /dev/md6 as 'clean'
mdadm: failed to RUN_ARRAY /dev/md6: Input/output error
mdadm: Not enough devices to start the array.

その他の手がかり：

mdadm --examine /dev/sd[a-f]1 | egrep 'Event|/dev/sd'
/dev/sda1:
         Events : 523989
/dev/sdb1:
         Events : 523989
/dev/sdc1:
         Events : 523989
/dev/sdd1:
         Events : 523989
/dev/sde1:
         Events : 523989
/dev/sdf1:
         Events : 0

そして

root@server:~# mdadm --examine /dev/sd[abcdef]1
/dev/sda1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : f0f7a964:3a8f5f80:a539aff3:cab7a6a5
           Name : fileserver:6  (local to Host fileserver)
  Creation Time : Mon Mar 16 15:07:55 2015
     Raid Level : raid6
   Raid Devices : 6

 Avail Dev Size : 7813774957 (3725.90 GiB 4000.65 GB)
     Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
  Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : active
    Device UUID : 839401fb:04c596d0:78eca459:78d3d7fc

Internal Bitmap : 8 sectors from superblock
    Update Time : Tue Dec 15 12:46:10 2015
       Checksum : f1607072 - correct
         Events : 523989

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 4
   Array State : AAA.AA ('A' == active, '.' == missing)
/dev/sdb1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : f0f7a964:3a8f5f80:a539aff3:cab7a6a5
           Name : fileserver:6  (local to Host fileserver)
  Creation Time : Mon Mar 16 15:07:55 2015
     Raid Level : raid6
   Raid Devices : 6

 Avail Dev Size : 7813774957 (3725.90 GiB 4000.65 GB)
     Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
  Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : a887f904:144d0e39:b306b3a6:29f0a22b

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Jan  4 19:43:04 2016
       Checksum : dfc3e244 - correct
         Events : 523989

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAA.AA ('A' == active, '.' == missing)
/dev/sdc1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : f0f7a964:3a8f5f80:a539aff3:cab7a6a5
           Name : fileserver:6  (local to Host fileserver)
  Creation Time : Mon Mar 16 15:07:55 2015
     Raid Level : raid6
   Raid Devices : 6

 Avail Dev Size : 7813775360 (3725.90 GiB 4000.65 GB)
     Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
  Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
    Data Offset : 258048 sectors
   Super Offset : 8 sectors
          State : active
    Device UUID : 87c811fc:b96d2e28:459ae3a6:917b380e

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Jan  4 20:03:32 2016
       Checksum : a8c5591f - correct
         Events : 523989

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 5
   Array State : .AA..A ('A' == active, '.' == missing)
/dev/sdd1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : f0f7a964:3a8f5f80:a539aff3:cab7a6a5
           Name : fileserver:6  (local to Host fileserver)
  Creation Time : Mon Mar 16 15:07:55 2015
     Raid Level : raid6
   Raid Devices : 6

 Avail Dev Size : 7813774957 (3725.90 GiB 4000.65 GB)
     Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
  Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : active
    Device UUID : 18880035:fc631ea4:ee518ad5:b94d2720

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Jan  4 20:03:32 2016
       Checksum : 9e3a0a2d - correct
         Events : 523989

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : .AA..A ('A' == active, '.' == missing)
/dev/sde1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : f0f7a964:3a8f5f80:a539aff3:cab7a6a5
           Name : fileserver:6  (local to Host fileserver)
  Creation Time : Mon Mar 16 15:07:55 2015
     Raid Level : raid6
   Raid Devices : 6

 Avail Dev Size : 7813774957 (3725.90 GiB 4000.65 GB)
     Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
  Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : active
    Device UUID : 6da68475:bc853f0f:b05e6cd1:43f28656

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Jan  4 20:03:32 2016
       Checksum : 7c20988f - correct
         Events : 523989

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 2
   Array State : .AA..A ('A' == active, '.' == missing)
/dev/sdf1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : f0f7a964:3a8f5f80:a539aff3:cab7a6a5
           Name : fileserver:6  (local to Host fileserver)
  Creation Time : Mon Mar 16 15:07:55 2015
     Raid Level : raid6
   Raid Devices : 6

 Avail Dev Size : 7813774957 (3725.90 GiB 4000.65 GB)
     Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
  Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : active
    Device UUID : bef4edfe:272fcf21:2f23e64d:b811cb04

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Jan  4 19:43:04 2016
       Checksum : 42cc70aa - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : spare
   Array State : AAA.AA ('A' == active, '.' == missing)

合計6台の4TBドライブ。どんな助けでも大歓迎です

ubunturaidmdadm
1
Stefanvds

ディスク上のデータが無傷である（つまり、一時的な障害のためにドライブがアレイから追い出された）と仮定すると、アレイを再構築できます。 6台のドライブのうち5台のイベント数は同じであるため、データが失われることはおそらくありません。

これを行うには2つの方法があります。

  1. 高速でリスクの高い方法：mdadm --assemble --force --run /dev/sd[abcde]1。動作する場合、これにより、アレイが劣化モード（1つのディスクが欠落）で実行され、/dev/sdfを再度追加して再構築するのを待ちます。

  2. 遅くて安全な方法： Linux RAID wiki の修復手順に従ってください。完全なステップバイステップの手順はここで再現するには長すぎますが、重要なのは、dmsetupを使用してRAIDアレイの各コンポーネントボリュームのオーバーレイを作成し、ドライラン修復を試行できるようにすることです。実際にディスクに書き込むことなく、何が機能するかを確認してください。ここでも、ドライブ/dev/sda1から/dev/sde1を操作して、劣化モードでアレイを再構築します。

3
Mark