20 TB以上のデータをバックアップする方法
私たちのNAS私が働いている会社のサーバーは、写真セッションの保存に使用されています。各セッションは約100GBです。過去数年間で、このサーバーは10+を蓄積していますTBのデータがあり、写真撮影の量は指数関数的に増加しています。来年末までに、このNASに20+ TBが保存されると予測しています。現在、Symantec BackupExecでLTO-5テープを使用してこのサーバーをテープにバックアップしています。このサーバーのサイズが大きくなったため、このサーバーの完全バックアップは一夜で完了していません。この量のデータをバックアップする方法について何か提案はありますか？テープにバックアップする必要がありますか？より良い他のオプションはありますか？
一歩下がって、「NASバックアップが必要です！）に20TBある」と考えるのをやめ、データの性質を考慮したストレージ戦略を開発する必要があります。
- それはどこから来て、どのくらいの新しいデータを取得していますか？ （あなたはあなたの質問でこれを持っています）
- 入手したデータはどのように使用されますか？人々は写真を編集していますか？オリジナルを保持し、編集したバージョンを生成しますか？
- すべてのデータをどのくらいの期間保持する必要がありますか？人々はまだ2年前の写真に変更を加えていますか？
最後の2つの質問に対する回答によっては、根本的に異なるバックアップシステムよりもアーカイブシステムが必要になる可能性があります。
静的なデータ（たとえば、「念のため」保持する2年前の写真）は、毎晩、または毎週バックアップする必要がなく、アーカイブする必要があります。あなたが実際に行うことはもっと複雑かもしれませんが、概念的には、古い写真はすべてテープに書き出すことができ（複数のコピー！）、もうバックアップすることはできません。
あなたのコメントに基づいて、いくつかの追加の考え：
各撮影のオリジナルをそのまま維持し、コピーで作業するため、少なくともいくつかのオリジナルの写真が不正確であると想定すると、バックアップする必要があるデータの量を半分に削減できる可能性があります。
それでも時間内に完全バックアップを完了できない場合、処理を高速化する一般的な方法は、最初にディスク間バックアップを実行してから、後でバックアップセットをテープにコピーすることです。
次の2つのオプションがあります。
オプション1：
- 別のNASを購入する
- ユーザーにRO new_NASへのアクセス権を与える
- 2年以上前のすべてのファイルをnew_NASに移動します
- 通常どおりold_NASをバックアップし続けます
- 6か月ごとに2年より古いファイルをnew_NASに移動します
オプション2：
- 別のNASを購入する
rsyncを毎時間実行：old_NAS-> new_NASまたは、 rdiff-backup のようなものを使用することをお勧めします。これにより、rsync +はファイルの変更でデルタを保持します（ファイルの古いバージョンを復元できます）
rdiff-backup user1@old_NAS::/source-dir user2@new_NAS::/dest-dir6か月ごとに、次のような古いファイルを実行してクリーンアップします。
rdiff-backup --remove-older-than 2Y old_NAS::/dest-dir
バックアップが一晩で完了する必要があるのはなぜですか？ファイルサーバーのパフォーマンス？バックアップソフトウェアの帯域幅を制限して、日中の影響を制限できる場合があります。または、他のトラフィックへの影響を制限するためにテープドライブと通信するために、NAS=.
週末にフルダンプを実行し、週の間にのみ増分を実行できますか？週末に誰もいないときにテープを交換することが問題である場合、安価なテープライブラリ/オートチェンジャは、誰かにテープを交換してもらうよりもはるかに安い費用で済みます。
データをバックアップウィンドウ内で完了するのに十分なほど小さい複数のグループにセグメント化できますか？
NASに約50TBのデータがあり、2つのテープドライブを使用して全体のフルダンプを取得するのに1週間以上かかります（1つのボリューム自体には、小さなファイルです。データを2番目のNASに複製します。セカンダリNASはオンサイトです（ただし、プライマリとは異なるデータセンターにあります）ので、データをスプールします。オフサイトバックアップ用のテープ。そのセカンダリからバックアップを実行しますNASので、バックアップによって速度が低下することはありません。
セカンダリと同じ場所に配置できる場合NAS十分に離れていれば、それはバックアップであり、テープは不要です。
このための最善の解決策は、給与データを使用して行うことだと思います。これにより、最小限の労力で実装できます。
最初は、毎日バックアップされる残りのサーバーデータと共に保持されます。これらのバックアップの保存期間は13か月です。
データを変更する必要がなくなると（2支払い期間後、IIRC）、データは（スクリプトを介して）通常のバックアップから除外されたアーカイブボリュームに保存されます。
アーカイブボリュームは毎年テープにバックアップされ、テープは無期限のストレージのためにCintasに送られます。
これにより、不変のデータへの簡単なオンラインアクセスが可能になり（会計士が何かを見たいときにテープを呼び出す必要がなくなります）、永久に保持する必要があるデータのオフサイトアーカイブを無期限に維持できます。 、そして私たちのバックアップシステムを壊すことなく。同じ種類の設定のように聞こえるかもしれませんが、オンラインで保持するデータの量を調整する必要があるかもしれませんが、このデータにタイムリーにアクセスする必要に応じて、20TBのエンタープライズグレードのストレージははるかに高価ですオフサイトの保管庫に保管する2つまたは3つのLTO5テープセットにアーカイブするよりも。
各撮影セッションのサイズがわからないのですが、本当に100 GB /セッションですか？あなたの会社は毎月何回セッションをしていますか？
主に頻繁に使用されない古いセッションなどを保存しているため、頻繁にその情報を回復する必要がないため、ある会社のサービスを使用してそのタスクを処理することをお勧めします。
たとえば、Amazon Glacierなどのオンラインサービスを使用してこれらの20 TBを保存すると、月額200ドルを少し超えるコストがかかります。これらのアーカイブを頻繁に取得する必要がある場合、または完全に回復する必要がある場合は、時間/コストの制約に達します。それらを「確実に保存する」ために保存するだけなら、おそらくサードパーティを使用すると、あなたの人生をより簡単にすることができます（別のNASやテープなどを購入するよりもさらに安くなります）。
full backups of this server are not completing overnight
次に、増分バックアップを試しますか？ xx日ごとに1つの完全バックアップ、残りは増分。
ハードディスクは安価でテープよりも高速で、バックアップに使用できます。
また、現在クラウドバックアップの優れた代替手段があるため、より多くの高速なテープを追加し続ける必要はありません。
例えば：
たぶん、独自のBackblazeポッドを構築できます：135Tbfor7384 $
詳細についてはここをクリックしてください：Backblaze Pod building info
必要な部品を購入して、自分で組み立てることができます。
そのうちの3つを構築して、2つをオンサイトに、1つをオフサイトに維持できます。次に、1つのポッドを「オンラインデータ」として使用し、2番目のオンサイトポッドを最初のポッドのバックアップとして使用し、3番目のオフサイトポッドを緊急オフサイトバックアップとして使用できます。
各ポッドに135Tbのストレージがあるため、変更の履歴を保持することを考えることもできます...
135Tb/20Tb = 19フルバックアップコピー。
または、10個の完全バックアップととんでもない量の差分バックアップを保持できます。
当然、オフサイトのバックアップが必要な場合は、何らかの大きな帯域幅が必要になります... :-)