web-dev-qa-db-ja.com

4GBを超えるファイルのrsync

ばかげたもの、

最新のLinuxで大きな[> 4GB]ファイルをrsyncすることに問題はありますか? [32ビット、64ビット、大きなファイルのサポートがオンになっています]? 2つの64ビットボックス間で自分でいくつかのテストを実行しましたが、6〜10GBのファイルの転送に問題はありませんでした。徹底的にテストを行うには、ファイルを変更し、rsyncを再度実行し、md5をチェックしました...-すべて問題ないようです。

しかし、私が見た後 this バグレポート私は少し心配しました。いくつか検索しましたが、問題の確認が見つかりませんでした。

あなたの考えに感謝します!

編集:ファイルシステム:ext3、reiserfs

2
pQd

リンクしたエラーレポートは、4GB以上のファイルサイズ関連のエラーではないようです。 429796854バイトは410Mbに恥ずかしがり屋であり、rsyncエラーではなくトランスポートエラーのようです。場合

トランスポート接続(おそらくSSH)がドロップしたのではないかと思います。これは、CPUが非常に大きなファイルをチェックサムするなどの処理を行う必要があったため、送信と送信の間に非常に長い時間がかかったため、非アクティブなタイムアウトが原因である可能性があります。これが、rsyncが壊れたパイプ。

過去に32ビットクライアントとサーバーで4Gbを超えるファイルでrsyncを正常に使用したことがあり、少なくとも1回は、転送を検討するだけでなく、実際に4Gbを超えるファイルが転送されたと確信しています。

2
David Spillett

いいえ、私は常にrsyncを使用して約5-10GB VM画像をスローしますが、問題は発生していません。

3
womble

私が最近rsyncした最大のファイルは180GBで、これは15TBを含むディレクトリのセットにありました(同期を並行して実行できるスクリプトのセットを作成しました。1時間に約3TBでデータを移動できます...)

3
James

いいえ、2つの30TBデータセット(4〜20GBの範囲のファイルで構成されています)をrsyncと数か月間毎日同期します。問題ありません。

2
wazoox

使用しているファイルシステムによって異なります。 FAT32ファイルシステムで問題が発生しました。 200GBのポータブルハードドライブ(FAT32としてフォーマット)を持っていて、DVD.isoをコピーしようとしていました。 FAT32で4.somethingGBを超えるファイルを使用できないため、機能しませんでした

2
Rory