web-dev-qa-db-ja.com

FreeNAS 9.3にはスペースがありません。しかし、「du -sh」コマンドに基づいて実際に使用されているスペースの半分だけ

今朝、FreeNAS 9.3マシンで「スペースが足りません」という警告を受けました

warning: The capacity for the volume 'SeanVolume' is currently at 85%, while the recommended value is below 80%.

しばらくしてからscrubコマンドを実行しても無駄です。

SSHを使用してFreeNASホストにログインし、いくつかの情報を入手しました：

[root@freenas] ~# zpool list
NAME           SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
SeanVolume    21.8T  18.6T  3.16T         -    38%    85%  1.00x  ONLINE  /mnt
freenas-boot   111G   680M   110G         -      -     0%  1.00x  ONLINE  -

ALLOCスペースは18.6Tの容量であることが示されていますが、du -shコマンドによって6.7Tがまだありました。

[root@freenas] ~# du -sh /mnt/SeanVolume/
6.7T    /mnt/SeanVolume/

追加情報：

[root@freenas] ~# zpool status
  pool: SeanVolume
 state: ONLINE
  scan: scrub repaired 0 in 20h32m with 0 errors on Thu Jul 16 07:48:34 2015
config:

        NAME                                            STATE     READ WRITE CKSUM
        SeanVolume                                      ONLINE       0     0     0
          raidz3-0                                      ONLINE       0     0     0
            gptid/f4986ea8-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
            gptid/f51a05f7-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
            gptid/f595d78e-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
            gptid/f62490d4-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
            gptid/f6a8e41e-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
            gptid/f7266471-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
            gptid/f7f3bf28-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
            gptid/f8b8fa7b-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
        cache
          gptid/f901ec00-f822-11e4-a7d4-d05099265144    ONLINE       0     0     0
          gptid/dfa53351-1baa-11e5-ba0e-d05099265144    ONLINE       0     0     0

errors: No known data errors

df -THコマンドの結果：

[root@freenas] ~# df -TH
Filesystem                                                  Type      Size    Used   Avail Capacity  Mounted on
freenas-boot/ROOT/default                                   zfs       115G    698M    114G     1%    /
devfs                                                       devfs     1.0k    1.0k      0B   100%    /dev
tmpfs                                                       tmpfs      33M    5.5M     28M    16%    /etc
tmpfs                                                       tmpfs     4.2M    8.2k    4.2M     0%    /mnt
tmpfs                                                       tmpfs      11G     67M     11G     1%    /var
freenas-boot/grub                                           zfs       114G    8.1M    114G     0%    /boot/grub
SeanVolume                                                  zfs       1.6T    822k    1.6T     0%    /mnt/SeanVolume
SeanVolume/CandyDataset                                     zfs       1.6T    299k    1.6T     0%    /mnt/SeanVolume/CandyDataset
SeanVolume/CandyDataset/Applications                        zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/CandyDataset/Applications
SeanVolume/CandyDataset/Documents                           zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/CandyDataset/Documents
SeanVolume/CandyDataset/Downloads                           zfs       2.9T    1.3T    1.6T    46%    /mnt/SeanVolume/CandyDataset/Downloads
SeanVolume/CandyDataset/Music                               zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/CandyDataset/Music
SeanVolume/CandyDataset/Pictures                            zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/CandyDataset/Pictures
SeanVolume/CandyDataset/Temporary                           zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/CandyDataset/Temporary
SeanVolume/CandyDataset/Videos                              zfs       1.8T    221G    1.6T    12%    /mnt/SeanVolume/CandyDataset/Videos
SeanVolume/PublicDataset                                    zfs       1.6T    243k    1.6T     0%    /mnt/SeanVolume/PublicDataset
SeanVolume/PublicDataset/Applications                       zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/PublicDataset/Applications
SeanVolume/PublicDataset/Documents                          zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/PublicDataset/Documents
SeanVolume/PublicDataset/Downloads                          zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/PublicDataset/Downloads
SeanVolume/PublicDataset/Music                              zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/PublicDataset/Music
SeanVolume/PublicDataset/Pictures                           zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/PublicDataset/Pictures
SeanVolume/PublicDataset/Temporary                          zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/PublicDataset/Temporary
SeanVolume/PublicDataset/Videos                             zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/PublicDataset/Videos
SeanVolume/SeanDataset                                      zfs       3.9T    2.3T    1.6T    60%    /mnt/SeanVolume/SeanDataset
SeanVolume/SeanDataset/AppData                              zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/SeanDataset/AppData
SeanVolume/SeanDataset/Applications                         zfs       1.6T    261k    1.6T     0%    /mnt/SeanVolume/SeanDataset/Applications
SeanVolume/SeanDataset/Documents                            zfs       3.0T    1.5T    1.6T    48%    /mnt/SeanVolume/SeanDataset/Documents
SeanVolume/SeanDataset/Downloads                            zfs       2.2T    647G    1.6T    29%    /mnt/SeanVolume/SeanDataset/Downloads
SeanVolume/SeanDataset/Music                                zfs       1.6T    411k    1.6T     0%    /mnt/SeanVolume/SeanDataset/Music
SeanVolume/SeanDataset/Pictures                             zfs       1.6T    2.2M    1.6T     0%    /mnt/SeanVolume/SeanDataset/Pictures
SeanVolume/SeanDataset/Saved Games                          zfs       1.6T    243k    1.6T     0%    /mnt/SeanVolume/SeanDataset/Saved Games
SeanVolume/SeanDataset/Temporary                            zfs       1.6T    533k    1.6T     0%    /mnt/SeanVolume/SeanDataset/Temporary
SeanVolume/SeanDataset/Videos                               zfs       2.4T    850G    1.6T    35%    /mnt/SeanVolume/SeanDataset/Videos
SeanVolume/jails                                            zfs       1.6T    710M    1.6T     0%    /mnt/SeanVolume/jails
SeanVolume/jails/.warden-template-pluginjail                zfs       1.6T    619M    1.6T     0%    /mnt/SeanVolume/jails/.warden-template-pluginjail
SeanVolume/jails/.warden-template-pluginjail-9.3            zfs       1.6T    619M    1.6T     0%    /mnt/SeanVolume/jails/.warden-template-pluginjail-9.3
SeanVolume/jails/pluginjail                                 zfs       1.6T    660M    1.6T     0%    /mnt/SeanVolume/jails/pluginjail
SeanVolume/ownCloudDataset                                  zfs       1.8T    259G    1.6T    14%    /mnt/SeanVolume/ownCloudDataset
SeanVolume/.system                                          zfs       1.6T    3.4M    1.6T     0%    /var/db/system
SeanVolume/.system/cores                                    zfs       1.6T    1.4M    1.6T     0%    /var/db/system/cores
SeanVolume/.system/samba4                                   zfs       1.6T      6M    1.6T     0%    /var/db/system/samba4
SeanVolume/.system/syslog-cd1fc29ce94d4a81a24df77359252261  zfs       1.6T      6M    1.6T     0%    /var/db/system/syslog-cd1fc29ce94d4a81a24df77359252261
SeanVolume/.system/rrd-cd1fc29ce94d4a81a24df77359252261     zfs       1.6T    224k    1.6T     0%    /var/db/system/rrd-cd1fc29ce94d4a81a24df77359252261
devfs                                                       devfs     1.0k    1.0k      0B   100%    /mnt/SeanVolume/jails/pluginjail/dev
procfs                                                      procfs    4.1k    4.1k      0B   100%    /mnt/SeanVolume/jails/pluginjail/proc
SeanVolume/jails/customplugin_2                             zfs       1.6T    1.4G    1.6T     0%    /mnt/SeanVolume/jails/customplugin_2
SeanVolume/SeanDataset/ISOImage                             zfs       1.6T    318k    1.6T     0%    /mnt/SeanVolume/SeanDataset/ISOImage
devfs                                                       devfs     1.0k    1.0k      0B   100%    /mnt/SeanVolume/jails/customplugin_2/dev
procfs                                                      procfs    4.1k    4.1k      0B   100%    /mnt/SeanVolume/jails/customplugin_2/proc
/mnt/SeanVolume/ownCloudDataset                             nullfs    1.8T    259G    1.6T    14%    /mnt/SeanVolume/jails/customplugin_2/media

スクラブステータスの実行（Web GUI）：

Scrub status: Completed
Errors: 0     Repaired: 0     Date: Thu Jul 16 07:48:34 2015

これを修正するために何ができますか（ownCloudプラグインがオンラインで実行されているため、再起動を除く）？

PS：2015/07/17追加：

[root@freenas] ~# zfs list
NAME                                                         USED  AVAIL  REFER  MOUNTPOINT
SeanVolume                                                  10.7T  1.34T   803K  /mnt/SeanVolume
SeanVolume/.system                                           304M  1.34T  3.21M  legacy
SeanVolume/.system/cores                                    5.53M  1.34T  1.32M  legacy
SeanVolume/.system/rrd-cd1fc29ce94d4a81a24df77359252261      219K  1.34T   219K  legacy
SeanVolume/.system/samba4                                    218M  1.34T  5.59M  legacy
SeanVolume/.system/syslog-cd1fc29ce94d4a81a24df77359252261  61.4M  1.34T  5.62M  legacy
SeanVolume/CandyDataset                                     1.42T  1.34T   292K  /mnt/SeanVolume/CandyDataset
SeanVolume/CandyDataset/Applications                         365K  1.34T   219K  /mnt/SeanVolume/CandyDataset/Applications
SeanVolume/CandyDataset/Documents                            365K  1.34T   219K  /mnt/SeanVolume/CandyDataset/Documents
SeanVolume/CandyDataset/Downloads                           1.22T  1.34T  1.22T  /mnt/SeanVolume/CandyDataset/Downloads
SeanVolume/CandyDataset/Music                                365K  1.34T   219K  /mnt/SeanVolume/CandyDataset/Music
SeanVolume/CandyDataset/Pictures                             365K  1.34T   219K  /mnt/SeanVolume/CandyDataset/Pictures
SeanVolume/CandyDataset/Temporary                            365K  1.34T   219K  /mnt/SeanVolume/CandyDataset/Temporary
SeanVolume/CandyDataset/Videos                               206G  1.34T   206G  /mnt/SeanVolume/CandyDataset/Videos
SeanVolume/PublicDataset                                    3.03M  1.34T   237K  /mnt/SeanVolume/PublicDataset
SeanVolume/PublicDataset/Applications                        365K  1.34T   219K  /mnt/SeanVolume/PublicDataset/Applications
SeanVolume/PublicDataset/Documents                           365K  1.34T   219K  /mnt/SeanVolume/PublicDataset/Documents
SeanVolume/PublicDataset/Downloads                           365K  1.34T   219K  /mnt/SeanVolume/PublicDataset/Downloads
SeanVolume/PublicDataset/Music                               365K  1.34T   219K  /mnt/SeanVolume/PublicDataset/Music
SeanVolume/PublicDataset/Pictures                            365K  1.34T   219K  /mnt/SeanVolume/PublicDataset/Pictures
SeanVolume/PublicDataset/Temporary                           365K  1.34T   219K  /mnt/SeanVolume/PublicDataset/Temporary
SeanVolume/PublicDataset/Videos                              365K  1.34T   219K  /mnt/SeanVolume/PublicDataset/Videos
SeanVolume/SeanDataset                                      8.04T  1.34T  2.14T  /mnt/SeanVolume/SeanDataset
SeanVolume/SeanDataset/AppData                              2.64M  1.34T   219K  /mnt/SeanVolume/SeanDataset/AppData
SeanVolume/SeanDataset/Applications                          178G  1.34T   256K  /mnt/SeanVolume/SeanDataset/Applications
SeanVolume/SeanDataset/Documents                            2.58T  1.34T  1.33T  /mnt/SeanVolume/SeanDataset/Documents
SeanVolume/SeanDataset/Downloads                            1.07T  1.34T   661G  /mnt/SeanVolume/SeanDataset/Downloads
SeanVolume/SeanDataset/ISOImage                              103G  1.34T   310K  /mnt/SeanVolume/SeanDataset/ISOImage
SeanVolume/SeanDataset/Music                                51.7G  1.34T   402K  /mnt/SeanVolume/SeanDataset/Music
SeanVolume/SeanDataset/Pictures                              131G  1.34T  2.08M  /mnt/SeanVolume/SeanDataset/Pictures
SeanVolume/SeanDataset/Saved Games                          75.7G  1.34T   237K  /mnt/SeanVolume/SeanDataset/Saved Games
SeanVolume/SeanDataset/Temporary                            9.63G  1.34T   520K  /mnt/SeanVolume/SeanDataset/Temporary
SeanVolume/SeanDataset/Videos                                846G  1.34T   792G  /mnt/SeanVolume/SeanDataset/Videos
SeanVolume/jails                                            3.80G  1.34T   678M  /mnt/SeanVolume/jails
SeanVolume/jails/.warden-template-pluginjail                6.33M  1.34T   591M  /mnt/SeanVolume/jails/.warden-template-pluginjail
SeanVolume/jails/.warden-template-pluginjail-9.3             597M  1.34T   591M  /mnt/SeanVolume/jails/.warden-template-pluginjail-9.3
SeanVolume/jails/customplugin_2                             1.17G  1.34T  1.27G  /mnt/SeanVolume/jails/customplugin_2
SeanVolume/jails/pluginjail                                 1.28G  1.34T   630M  /mnt/SeanVolume/jails/pluginjail
SeanVolume/ownCloudDataset                                  1.21T  1.34T   255G  /mnt/SeanVolume/ownCloudDataset
freenas-boot                                                 680M   107G   144K  none
freenas-boot/ROOT                                            670M   107G   144K  none
freenas-boot/ROOT/Initial-Install                              8K   107G   659M  legacy
freenas-boot/ROOT/default                                    670M   107G   665M  legacy
freenas-boot/grub                                           7.76M   107G  7.76M  legacy

2015/07/17追加：

zfs list -t snapshotコマンドを使用した後は、多数の小さなスナップショット（合計2,534ファイル...）が表示されます。

確認して、それらのスナップショットファイルを削除します。

削除後、再度df -THを実行してください！

2015/07/20追加：

多くのスナップショットファイルを削除した後、空き領域ができました！

だが...

FreeNAS 9.3 Web GUIがクラッシュしました...

多数のスナップショット（約1500）を消去した後、FreeNAS 9.3 Web GUIに「エラーが発生しました。」と表示されます

[root@freenas] /etc/defaults# df -TH
Filesystem                                                  Type      Size    Used   Avail Capacity  Mounted on
freenas-boot/ROOT/default                                   zfs       115G    698M    114G     1%    /
devfs                                                       devfs     1.0k    1.0k      0B   100%    /dev
tmpfs                                                       tmpfs      33M    5.5M     28M    16%    /etc
tmpfs                                                       tmpfs     4.2M    8.2k    4.2M     0%    /mnt
tmpfs                                                       tmpfs      11G     67M     11G     1%    /var
freenas-boot/grub                                           zfs       114G    8.1M    114G     0%    /boot/grub
SeanVolume                                                  zfs         4T    822k      4T     0%    /mnt/SeanVolume
SeanVolume/CandyDataset                                     zfs         4T    299k      4T     0%    /mnt/SeanVolume/CandyDataset
SeanVolume/CandyDataset/Downloads                           zfs       5.3T    1.3T      4T    25%    /mnt/SeanVolume/CandyDataset/Downloads
SeanVolume/CandyDataset/Videos                              zfs       4.2T    221G      4T     5%    /mnt/SeanVolume/CandyDataset/Videos
SeanVolume/PublicDataset                                    zfs         4T    224k      4T     0%    /mnt/SeanVolume/PublicDataset
SeanVolume/SeanDataset                                      zfs       9.6T    5.6T      4T    59%    /mnt/SeanVolume/SeanDataset
SeanVolume/jails                                            zfs         4T    710M      4T     0%    /mnt/SeanVolume/jails
SeanVolume/jails/.warden-template-pluginjail                zfs         4T    619M      4T     0%    /mnt/SeanVolume/jails/.warden-template-pluginjail
SeanVolume/jails/.warden-template-pluginjail-9.3            zfs         4T    619M      4T     0%    /mnt/SeanVolume/jails/.warden-template-pluginjail-9.3
SeanVolume/jails/pluginjail                                 zfs         4T    661M      4T     0%    /mnt/SeanVolume/jails/pluginjail
SeanVolume/ownCloudDataset                                  zfs       4.3T    336G      4T     8%    /mnt/SeanVolume/ownCloudDataset
SeanVolume/.system                                          zfs         4T    3.4M      4T     0%    /var/db/system
SeanVolume/.system/cores                                    zfs         4T    1.4M      4T     0%    /var/db/system/cores
SeanVolume/.system/samba4                                   zfs         4T    6.1M      4T     0%    /var/db/system/samba4
SeanVolume/.system/syslog-cd1fc29ce94d4a81a24df77359252261  zfs         4T     11M      4T     0%    /var/db/system/syslog-cd1fc29ce94d4a81a24df77359252261
SeanVolume/.system/rrd-cd1fc29ce94d4a81a24df77359252261     zfs         4T    224k      4T     0%    /var/db/system/rrd-cd1fc29ce94d4a81a24df77359252261
devfs                                                       devfs     1.0k    1.0k      0B   100%    /mnt/SeanVolume/jails/pluginjail/dev
procfs                                                      procfs    4.1k    4.1k      0B   100%    /mnt/SeanVolume/jails/pluginjail/proc
SeanVolume/jails/customplugin_2                             zfs         4T    1.4G      4T     0%    /mnt/SeanVolume/jails/customplugin_2
devfs                                                       devfs     1.0k    1.0k      0B   100%    /mnt/SeanVolume/jails/customplugin_2/dev
procfs                                                      procfs    4.1k    4.1k      0B   100%    /mnt/SeanVolume/jails/customplugin_2/proc
/mnt/SeanVolume/ownCloudDataset                             nullfs    4.3T    336G      4T     8%    /mnt/SeanVolume/jails/customplugin_2/media
zfsfreenasdfduzpool
4
陳敬翔

私は与えられた情報を要約し、いくつかの説明を与えようとします（私が知っている場合、それが何を意味するか）：

zpool listの出力について：
SIZEは、冗長性に使用されるディスクを含むすべてのディスクのサイズです（つまり、zpool statusの出力と一緒に、 RAID-Z3構成で8つの3TBドライブをまとめました）
ALLOCは使用済みスペースであり、冗長性に使用されるディスクも含まれます（したがって、8つのディスクのうち3つは実際のデータサイズよりも（5 + 3）/ 5 = 1,6倍大きくなります。冗長性に使用）
空き容量は空き容量であり、冗長性に使用されるディスクも含まれます（したがって、使用可能な空き容量は最大で5 /（5 + 3）= 0,625表示されている空きサイズです）

zfs listコマンドは、1,34Tが使用可能である、zpool listは3,16Tの空き容量から、約1,975Tと予想される冗長スペースを差し引いたものです。
知っています。zfsにはメタデータ用にある程度のスペースが必要ですが、RAID-Z1に2 TBドライブが4つあるLinuxシステムでは、差は約6％で、ここでの差は約47％です。違いは由来します。

df -Thの出力について
dfはzfsスナップショットを見つけられないため、それらを計算できません。そのため、使用されるスペースはzfsファイルシステムで使用されるスペースではありません。 zfsファイルシステムに割り当てられたスペースについては、zfs listを使用します

スナップショットを削除すると、わかったように時間がかかる場合があります。これは仕様によるものであると思われます。詳しくは http://nex7.blogspot.de/2013/03/readme1st.html をご覧ください。 =

スナップショットを削除した後、df出力をカウントすると、プールに約7,2Tのデータがあり、約4Tが空き、すべてが11,2Tになります。
完全なサイズ（21,8T）から冗長ディスクを差し引いた場合、約5 /（5 + 3）* 21,8T = 13,6T（約20％の差）になると予想します

zfsが必要とするメタデータの20％は少し多めだと思いますが、どこで失われるのかはわかりません。非常に多くの非常に小さなファイルがあり、それほど多くの大きなファイルよりも多くのメタデータ領域を使用している可能性があります。
申し訳ありませんが、zfsの内部はそれほど深くないので、メタデータのスペース使用量を取得する場所を教えてくれます。
zfs listを再試行して、そこの使用済みスペースをdfから取得した使用済みスペースと比較できます。ヒントかもしれません。

2015年7月21日編集
サイズについて：3Tドライブの実際の容量は2,7 TiBです（ドライブの製造元が1TB = 1.000.000.000.000バイトを使用しているため、1TiBを使用するコンピューター= 1 * 1024 * 1024 * 1024 * 1024 = 1.099です。 511.627.776バイト。
2,7 * 8ドライブ= 21,8T
通常のRAIDシステムでは、最小のドライブが、大きいドライブの使用可能なサイズを決定します。

1
Sunzi