転送10 TBファイルの米国から英国のデータセンターへ
サーバーを米国から英国に、あるデータセンターから別のデータセンターに移行しています。私のホストは、毎秒11メガバイトを達成できるはずだと言っていました。
オペレーティングシステムは、両端がWindows Server 2008です。
私の平均ファイルサイズは約100 MBで、データは5つの2 TBドライブに分割されています。
これらのファイルを転送するための推奨される方法は何ですか？
- FTP
- SMB
- Rsync/Robocopy
- その他？
いずれにしてもこれらは公開ファイルなので、セキュリティにそれほど気を使う必要はありませんが、合計転送時間を最小限に抑えるために、完全な11 MB /秒の転送速度をプッシュできるソリューションが欲しいだけです。
代わりに、海を越えてハードドライブを発送してください。
完全な使用率で11 Mbpsで、10 TBを転送するのにわずか90日間の余裕があります。
11 Mbps = 1.375 MBps = 116.015 GB /日。
10240 GB/116.015 GB /日= 〜88.3日。
私はrsyncと言います。11MB/sでは10〜14日で、中断された場合でも、rsyncは前回停止したところから簡単に開始します。
11 Mbpsでは、上記で提案したようにハードディスクを発送します:)
もちろんRsync。
少なくとも休憩後はいつでも続けることができ、痛みはありません。
テープでいっぱいのステーションワゴンの帯域幅を過小評価しないでください
-トラッド。
あなたの場合、ディスクまたはテープは宅配便で送られますが、原則はまだ適用されます。レイテンシを気にする必要がない場合、これは、妥当な時間内に10 TBのデータを転送するためのネットワーク帯域幅よりもはるかに安価です。
Rsyncを使用する必要があります。 compressデータとde-duplicate送信する前に。また、部分的な転送を再開することもできます。これは、大きな転送では非常に重要です。
10 TBは転送されない可能性があります。ログやテキストなどの場合、1 TB未満になる可能性があります。おそらく1 TB未満です。
Rsyncよりも優れた圧縮を行い、より多くの一致を見つける可能性のあるツールがあります。 lrzipなどを使用できます。
動画やその他のメディアなど、適切に圧縮されず、文字通りの複製が含まれない特定の種類のデータがあります。そのような場合、FTPとrsyncはほとんど同じことをしています。
これは既に受け入れられていますが、より多くの帯域幅を取得できるデータセンター/プロバイダー/ホストにディスクを移動することを検討しましたか？それはおそらくあなたにいくらかの費用がかかりますが、10240Gbをバックアップディスクにコピーして送信することは、時間とお金の両方（2 xお金）もかかります。
また、ディスクが輸送中に破損しないことも確認できます。
11Mbps？これは、ここでの制限です。あなたの状況では、私は単に：
- データを複製する
- 圧縮する
- 両端のサーバーを少なくとも10倍以上の帯域幅でレンタルします（同じデータセンター内、またはユーザーの近くのデータセンター内）。
- ファイルを転送する
- 新しいサーバーにデータを適用します。
帯域幅を増やすためのソリューションが本当にない場合...物理ドライブの発送ははるかに速くなります。
私の苦痛な経験から、ハードドライブはメールに侵入する傾向があります... USBフラッシュドライブは、頻繁なデータ転送のための優れたソリューションです。あなたの場合、それらのいくつかが必要になります:)したがって、複数のハードドライブにデータの2つのコピーを送信します。
持っているデータの量を考慮して、ドライブを接続する反対側に同じハードウェア/ソフトウェアがある場合は、RAID 5またはRAID 6アレイからドライブを送信することもできます。ただし、その場合は、ドライブの順序にマークを付けてください。そしてそれらのシリアル番号は再構成するときに混同しないようにします。
この場合、「ハードドライブを使用して出荷する」という回答に同意する必要がありますが、ここでは、大量のファイルを初めてコピーする必要があるときに使用するコピーソリューションを示します。
rsyncは2つのデータストレージの同期を保つのに適していますが、初期転送にかなりの不要なオーバーヘッドが発生します。最速の方法は tar をパイプする netcat にすることです。レシーバーサイトでは、netcatをlistenモードで使用して、着信データを抽出tarにパイプすることもできます。利点は、tarがすぐに送信を開始し、netcatが追加の高レベルのプロトコルオーバーヘッドのないプレーンなTCPストリームとして送信することです。これは、ただし、中断された転送を最後の位置から再開することは簡単ではありません。
適切なtarオプションを使用するか、パイプに圧縮ツールを追加することで、転送用のデータを簡単に圧縮することもできます。 netcatは日付を暗号化せずに送信することに注意してください。これがオプションではない場合、代わりに暗号化されたssh接続を使用できます（tar <options> | ssh <target> -c 'tar -x <options>'）。
すべてのデータが転送された場合、rsyncを使用して、その間に更新されたすべてのファイルを確実に同期させることができます。また、IIRC tarは、他の方法では失われるソケットを作成しませんが、データセンターデータには実際には使用されません。
ここでも、最初の提案はドライブを出荷することです。
2番目の提案は、SSHではなくrsyncをrsyncdに使用することです。私は多くのことを試しましたが、それは通常最速です。必ず圧縮をオンにしてください。また、最適な転送速度を取得するには、 rsyncバッファーサイズの増減 を確認します。 MTUサイズを増やす も役立ちます。これは、途中のルーターがパケットをフラグメント化しない場合にのみ役立ちます。彼らがそうであるかどうかを決定する方法があります。
残念ながら、常に最適な設定はありません。あなたはあなたの状況で何が最もうまくいくかを見つけるために実験する必要があります。
IPoAC を検討しましたか？
単一のハトは、約1時間で数十ギガバイトのデータを伝送できる可能性があります。これは、平均帯域幅ベースで、失われたドライブを考慮した場合でも、現在のADSL標準に比べて非常に有利です。
サーバーでWindows 2008が実行されているとのことですが、 Microsoft DFS は適切でしょうか？可能な限り多くの帯域幅を接続から引き出そうとする魔法があり、圧縮と重複排除（IIRC）も備えています。
ハードドライブ、DVD、またはBluRayの方が速いと思います。私の計算では、完全な11 MB /秒で11日間です...
これには急流を使用できます。
一方の端にプライベートトレントを作成し、もう一方の端でクライアントを使用します。
暗号化が導入されていますが、要件を確認する必要があります。