web-dev-qa-db-ja.com

大西洋上で非常に大きなファイル（2TB）を転送する良い方法はありますか？

私の会社は定期的に米国から英国に約2TBのデータを送信する必要があります（圧縮されたデルタのサイズは2TBです）。どちらの側もインターネット接続が良好ですが、ファイルを直接送信するのは遅すぎて信頼性がありません。 1MB /秒の場合、エラーなしで転送が完了すると、転送に20日以上かかります。

結果として、これまでに見つかった最善の解決策は、「レンガを出荷する」ことです。普通郵便でハードドライブを送る。

大陸間でより良いネットワーク接続を提供するサービスがあるかどうか疑問に思いましたか？ AWS S3を経由することを検討しましたが、そのアウトバウンド転送価格はかなり高価です...

注：問題はソフトウェアではありません。すでにrsyncを使用しています。それはうまく機能し、堅牢です。問題は、大西洋を越えたインターネット接続の速度と信頼性です。回答者が言ったように、専用リンクは私たちの予算にはありません。私が探しているのは、ディスクを出荷するよりも少し実用的な費用効果の高いソリューションです。

networkinginternetfile-transfer
2
static_rtti

さて、あなたの質問には特定の重要な情報が欠けています：

  • ファイルを転送する隣接する試行間でファイルを変更できますか？
  • サーバーとクライアントが実行されるプラットフォームは何ですか？

それでも、いくつかのオプション：

  • プレーンな古いHTTPは、ダウンロードの再開をサポートしています—リクエストヘッダーのRangeフィールドを介して。

    したがって、それをサポートするサーバー（実際には、nginx、Apache、lighthttpdなどの本番ソフトウェアやその他の数十億のソフトウェア）がある場合、ファイル全体を受信すると、次のようなものを実行することになりますクライアント上：

    while true; do
    wget -nd -c http://server:port/path/to/the/file && break
done

  • rsyncなどの高度なソフトウェアは、隣接する同期セッション間でファイルが更新されている場合でも2つのディレクトリ階層を同期できる高度な手法を使用して、ファイル転送の再開をサポートします。

    よくわかりませんが、Windows™では、robocopyは貧乏人のrsyncとしてサーバーできるはずです：それはthatソースの更新をサポートするのが得意ではありませんサイドですが、IIRCは転送を再開できます。

  • SyncThingなどの他の「何もしない」同期ツールは他にもあります。

HTTPとrobocopyは、サーバーとクライアントの間に通常のネットワーク接続があることを前提としていることに注意してください。 VPNによって提供される場合は、そのパフォーマンスの調整を確認する必要があります。

rsyncは、SSHを使用してリモートのrsyncインスタンスを生成し、通信することができます。また、SSH呼び出しを微調整して、利用可能な最速の暗号を使用するようにしたり、圧縮をオフにしたりする必要がある場合があります。

1
kostix

Webサーバーなどをセットアップするための完全な環境がない場合は、いつでも次を使用できます： https://github.com/warner/magic-wormhole

再起動/再試行機能があり、さまざまなサービスで実行できます。

ロンドンからニューヨークへの転送に使用した別のツール： https://github.com/fast-data-transfer/fdt

0
Tag

常に2TBの完全に新しいデータである場合は、実際の1GBファイバーインターネットリンク（商用）を確認します。ただし、予算内にない場合があります。 （侮辱しないでください）...

とは言うものの、2TBの変化が日々「少量」である場合、完全な2TBとは異なるデータのみを転送します。

rsyncはそのための素晴らしい仕事をします。インターネット上でrsyncを使用してそれを実現する方法についてのチュートリアルはたくさんあります。

そうは言っても、次の質問もあります。データは機密ですか。

もしそうなら、私は直接sshオプションでrsyncまたはrsyncの前にSSHトンネルを開始して開始します。

もう1つの方法は、TLS証明書でApacheなどのWebサービスを使用することです。

インターネットの場合、オプションがない場合は、3TBのハードドライブとUPS/FedExワークフローを使用して、スケジュールに従ってディスクを送受信します。そのためのインターネット接続よりも安価な場合があります...

テープでいっぱいのバン（または飛行機）のバンドウィズを過小評価しないでください！

0
yield