web-dev-qa-db-ja.com

リモートサイト間で1TBファイルを同期するためのDFS-RまたはWAFS

3つの場所の間で同期を維持したい1TBのファイルがあります。このデータは約150万のファイルで構成されており、1日あたり平均100MBで増加/変化します。

最初の場所はクイーンズランド州のオフィスで、20000/1024kbpsで同期する専用のADSL2 +が、10MBのリンクでデータセンター内の同じ場所にあるサーバーに接続されています。リモートサイトは、わずかなSDSL512/512リンク上にあるアルゼンチンのオフィスです。これは、最大2MbSHDSLにアップグレードできる可能性があります。

必要な構造は次のとおりです。QLDオフィス<-> QLDデータセンター（オフサイトバックアップのみ）<->アルゼンチンオフィス

QLDオフィスとアルゼンチンオフィスのspeedtest.netからいくつかの速度テストを実行しました。

QLDオフィスからのアップロード速度：0.95Mb/s

アルゼンチンオフィスからのアップロード速度：ローカルサーバーへの0.51Mb/s、QLDサーバーへの0.38Mb/s :(

タイムゾーンの違いによりデータが非常に複雑になるため、標準の同期ソフトウェア（rsync、viceversaなど）を使用してこのデータの同期を維持することはできません。そのため、分散ファイルシステムソリューションを検討しています。

私たちは、Windows2008サーバーまたは GlobalScape WAFS などのサードパーティのWAFSプロバイダーでMicrosoft DFS-Rを使用して、より実行可能なものを見つけようとしています。

私は次のことを行う解決策を見つけようとしています：

  1. リモートサイトなどに外部HDDを投稿することにより、最初にファイルにデータを入力する機能。
  2. セットアップ後に手動でデータを入力する機能。つまり、200 GBのファイルを追加する必要がある場合は、このデータを使用してドライブを再度投稿し、すべてのサイトに手動で追加できます。
  3. リモートサイトの大きなタイムゾーンの違いを適切に説明する機能
  4. ファイルのオフラインでの可用性-つまり、インターネット接続がダウンしている場合でも、ファイルを表示/編集できます
  5. Delta Sync圧縮またはファイル圧縮のいずれか–私たちが取り組んでいるファイルの多くは、大きな比率で簡単に圧縮できる大きなASCIIファイルであるため、圧縮が適切です。
  6. ファイルロックは便利ですが、ファイルは異なるタイムゾーンにあるため、必須ではありません。
  7. 説明されているように、遅いインターネットリンクで上記のすべてを実行する機能。

ほとんどのDFSとは異なり、ファイルを共有にコピーする代わりにファイルの場所を指定できるため、有望に見えるGlobalScape WAFSを見てきましたが、ソフトウェアだけで3つのエージェントに$ 10,000USDの見積もりがあるので、そこにあるかどうか疑問に思いました。より良い解決策です。

Microsoft DFS-Rも見栄えがしますが、非常に遅いリンクでこれほど多くのファイルを処理できるかどうかについては、多くの情報を見つけることができません。

私を指し示すための提案/指示は大歓迎です

replicationremotedfswide-area-networkdfs-r
2
person

現在、Server 2008DFSRを使用して900GBのファイルを転送しており、毎日約3GBが変更されています。私たちのトポロジーは、3本のスポークを備えた単一のハブです。各スポークは4Mb/1Mb ADSL接続で、約300〜500KM離れています。私たちのハブサイトには10​​Mb/10Mb接続があります。

ファイルロックがないことを除けば、いくつかの初期構成の問題の後、DFSRはスムーズに実行されており、非常に満足しています。低速リンクに役立つ多くの改善点があるため、DFSRにはServer2008またはServer2008R2を使用することを強くお勧めします。

あなたの質問に答えて：

  1. リモートサイトの外付けハードドライブを使用してデータを事前にシードし、初期レプリケーションを減らすことができます。
  2. 最初のレプリケーションが完了するとマルチマスタートポロジになるため、シード前の方法（200 GBの例）で追加情報を追加することはできないと確信しています。
  3. 特にデフォルトのレプリケーションスケジュールを変更していない場合は、タイムゾーンが影響を与えることはありません。
  4. オフラインアクセス-ローカルコピーは各スポークサーバーに保存されているため、WANがダウンしている場合は、ローカルコピーにアクセスできます。WANが復旧すると、 、レプリケーションは続行されます。
  5. DFSRはRDCを使用し、変更のみを複製するため、転送サイズが大幅に削減されます。現在のレプリケーションでは、57.88％の節約が報告されており、実際の176.55GBの実際のサイズから74.36GBが受信されています。これは、最後のサービスの再起動以降です。
  6. DFSRではファイルロックはサポートされていませんが、競合はイベントログを通じて監視できます。
  7. 理想的ではありませんが、同様のリンクがあるため、低速リンクでも機能するはずです。

このブログ投稿の最後のコメント（私の）に基づいて、Globalscape WAFSはお勧めしません： http://blogs.technet.com/b/askds/archive/2009/02/20/understanding-the-分散ファイルのロックの欠如-dfsr.aspx？CommentPosted = true＆PageIndex = 2＃comments おそらくそれ以来製品が変更されていますが、まだ数か月しか経っていません。

3
Jeff Miles

Globalscape WAFSに関して、私が学んだいくつかのこと：

  1. 文書化されていませんが、彼らのサポートによると、レプリケーションジョブは250GB未満および300Kファイル未満に保たれています。エージェントごとに最大60のジョブを持つことができます。
  2. ソフトウェアは現在32ビットのみであり、システムは2 GB相当のインデックスファイルしかメモリに保持できないため、上記の制限が発生します。 64ビットの場合、スケールははるかに大きくなります。
  3. ソフトウェアはシングルスレッドのように見えます。つまり、単一のCPUコアのみを利用します。このソフトウェアはCPUを集中的に使用することがあり、複数のCPUコアを利用できれば非常に有益です。
0
user1594322

PeerSoftwareをご覧になることをお勧めします。 www.peersoftware.com。彼らのソリューションは、あなたが探しているものを正確に提供し、Global Scape Productsよりも堅牢であり、より安価です。

0
Tech Support

dfsrを使用して、前段階に次の手順を実行します
http://support.Microsoft.com/kb/947726

どのプロセスとも非常に遅いリンクでは、ファイルロックは発生しません。また、dfsrを使用しない場合は、steeleyeでより安価なレプリケーションスキームを探してください。

0
tony roth