web-dev-qa-db-ja.com

ブロックレベルの重複排除ファイルシステム

/homeなどの一般的なユーザーデータとそのバックアップ用の重複排除コピーオンライトファイルシステムソリューションを探しています。 SHA256や TTH などの安全なハッシュ(衝突の可能性はほとんどない)を使用して、ブロックレベルでオンライン/インライン/同期重複排除を使用する必要があります。重複ブロックはディスクに触れる必要さえありません。

考えは、バックアップを行うために、同じファイルシステムを使用して/home/<user>を外部HDDにコピーするだけでよいということです。シンプル。スナップショットの破損がほとんどすべての後続のスナップショットを破壊する増分バックアップに手を加えたり、スナップショットを削除または「チェックアウト」するために特定のツールを使用する必要はありません。心配することなく、ファイルブラウザからすべてを行う必要があります。これがどれほど簡単か想像できますか?バックアップについて二度と考える必要はありません!

パフォーマンスの低下は気にせず、信頼性が主な関心事です。 cpmvおよびscpの特定の実装、およびファイルブラウザプラグインでは、これらの操作は非常に高速になります。特に必要なのは重複が多い場合です。欠けているブロックを転送します。誤ってFSと統合されていない従来のコピーツールを使用すると、時間がかかり、リモートコピー時に帯域幅が浪費され、CPUが浪費されます。ハッシュされます(ただし、何も書き換えられません)が、絶対にnot何も破損しません。 (一部のファイル共有ソフトウェアは、FSと統合することでメリットが得られる場合もあります。)

それで、これを行う最善の方法は何ですか?

私はいくつかのオプションを見てきました:

  • lessfs -メンテナンスされていないように見えます。いいですか
  • Opendedup/SDFS -Java?これをAndroidで使用できますか?! SDFS は何を表していますか?
  • Btrfs -メーリングリストのアーカイブに浮かぶパッチがいくつかありますが、実際のサポートはありません。
  • ZFS -いつか真のフリー/オープンソースGPL互換ライセンスの下で再ライセンスされることを願っています。

また、2年前、ファイルレベルでFuseを使用してPythonでEXT4などの典型的なソリッドFSの上に使用する試みをしましたが、 PythonのFuseが文書化されておらず、すべてのシステムコールを実装することができませんでした。

8
James Haigh

私はまったく同じことを探して調査していますが、提案することができます https://attic-backup.org/quickstart.html#automating-backups 今のところ、静かでシンプルで、 Linux。

この機能を備えたバキュラもありますが、ほとんどの場合、屋根裏部屋で十分なようです。

1
pablodav

これは非常にエンタープライズに聞こえます(高価な場合など)。

datadomainはデータの重複排除を提供し、waflファイルシステムを備えたnetappを提供します。しかし、高コストで。

「無料」の代替手段はzfsです。

私によると、「最高」で最もLinuxyの代替は、「ブロックレベル」ではなくファイルレベルですが、rsnapshotになります。 rsyncとハードリンクを使用してバージョン管理を管理します。

私はむしろ、Btrfsのような新しいファイルシステムを使用するよりも、実績のある古いツールを信頼しています。

1
tomodachi