テラバイトのデータのオフサイトバックアップ
約8TBのデータのオフサイトバックアップを作成する方法を探しています。現在、データを2〜4 TBのファイルシステムに分割しており、ShadowProtectを使用して、毎週の完全バックアップと夜間の増分を使用して、SBS2003サーバーからWindows2003バックアップサーバーにデータをバックアップしています。
さまざまな理由から、このソリューションにはあまり満足していません。
- バックアップに時間がかかりすぎます。
- 1週間以上のバックアップを保持するには、大量のスペースが必要です。
- 外部HDDへのオフサイトバックアップには、必要なディスクが多すぎ、時間がかかりすぎます。
- インターネットを介したオフサイトバックアップでは、帯域幅が多すぎます。
可能であれば私が探しているのは、 faubackup のように重複データを保存せずに、多くのスナップショットを格納するローカルバックアップサーバーを用意することです。また、ファイルシステムが単一のディスクに収まるよりも大きいため、データが重複することなく、外部ディスクのセット全体で作成されたバックアップにまたがることができるようにしたいと思います。
私が間違っている場合は訂正してください。ただし、ハードリンクを使用しているため、faubackup自体が使用するよりも多くのファイルシステムに新しいデータをまたがるのは少し不可能な状況です。
同じ目標を達成するためにopenfilerを使用することも考えていましたが、まだ方法を考えていません。
他の人は、このような大量のデータのオフサイトバックアップにどのように対処しますか。
編集：
もう少し背景情報として、私たちは比較的小規模な（約15人の従業員）地質会社であり、基本的に膨大なデータセットを取得して読み取り可能にしています。プロジェクトはしばしば何百ものギグにぶつかります。オフサイトバックアップの重要性にもかかわらず、私たちが見ている種類のデータを処理するテープオートローダーを購入するために必要なお金を得るのに苦労します。私は試してみましたが、基本的に別の方法があるはずだと言われ、それを見つけなければなりません。
2台のサーバーがあります。 SBS2003サーバーとバックアップサーバーとして使用されるWindows2003R2サーバー。どちらのマシンにも、データを格納する20TBRAID6アレイがあります。通常のものと同様に、特定の日に、多くの非常に大きなファイルに小さな変更が加えられます。
最大1TBのデータがあり、カスタムrsyncスクリプトを使用して毎晩すべてをバックアップします。 rsyncの良いところは、変更されたバイトのみをコピーすることです（変更されたファイル全体ではありません）...さらに、転送する前にデータを圧縮します。
以前のシステムでは、毎日約200 GBのファイルが変更されていたため、テープとディスクをカートに入れて家に持ち帰る必要がありました。しかし、rsyncを使用すると、これらのファイル内の1GB程度の変更されたデータのみが送信され、最大200MBに圧縮されます。その結果、T1を介して数分で（非常に重いメンテナンス日には1時間以内に）すべてをリモートサイトにバックアップすることができます。また、スクリプトはLinuxハードリンクを利用して、わずか2〜4 TB（圧縮前）のスペースを使用して、30日間の完全なアーカイブ（増分ではない）を維持します。そのため、オフサイトのストレージを維持しながら、アーカイブされたデータを数秒で復元できるようになります。
幸いなことに、ディスクドライブの容量は当社の成長に追いついてきました...両方の場所でのソリューション全体のコストは約1000ドルだと思います。
これがまさに、ほとんどの企業がテープへのバックアップ（ディスクよりも低コストのメディア、高速ストリーミング書き込み速度）を行い、テープを物理的にオフサイトに移動する理由です。
IT担当者にテープを持ち帰ってもらうこともできますし、データアーカイブ会社があなたのビジネスにやって来て、テープを受け取り、安全な施設に保管することもできます。リカバリは、会社に電話してテープを持ち込み、ロードして、データにアクセスするのと同じくらい簡単です。
インターネットは多くのことに適していますが、テラバイト単位のデータの移動はその1つではありません。 帯域幅の経済学 に関するJeffの記事を参照してください。これは、JimGrayの優れたMicrosoftResearchホワイトペーパーを参照しています TeraScale SneakerNet （。DOC）
データ重複排除を提供するストレージシステムを探しています： http://en.wikipedia.org/wiki/Data_deduplication
これにより、データをオフサイトに移動する必要がなくなるわけではありませんが、ホット/ライブバックアップに必要なスペースの量を確実に減らすことができます。
backuppcを調べたいと思うかもしれませんが、Linuxボックスで実行する必要がありますが、ハードリンクを使用してファイルを保存するため、最後のinc/full以降にファイルが変更されていない場合は、ファイルにハードリンクするだけです（つまり、保存するスペースの量） 4xフルバックアップは他のバックアップシステムよりもはるかに小さいです）それはsambaを介してWindowsマシンをバックアップすることができ、明らかにlinux/unix/macsもバックアップします
スナップしてバックアップする別のデータセンターにレプリカSANがあります。