web-dev-qa-db-ja.com

圧縮ユーティリティの最大ファイルサイズ制限| Unix / Linux

Unix/Linuxには、圧縮ユーティリティ(gzip/compress)が圧縮できる最大ファイルサイズの制限があります。何年も前に、gzipページで最大4GBのファイルを圧縮できると言及されていたのを覚えています。実際、私は定期的に約512GBのフィリーを圧縮する必要があります。圧縮ユーティリティを使用していくつかのファイルをテストしたところ、圧縮前と解凍後のDBファイルのハッシュコード(MD5)が同じであることがわかりました。

1
Salman Raza

gzipは最近、4より大きいファイルを圧縮できますGiBサイズは、実際にはそれ自体の制限はありません(基盤となるファイルシステムによって制限されます) )。4より大きいファイルの唯一の制限GiBはgzip -lサイズが正しく報告されません。別の方法については、 大きなGZIPPEDファイルの非圧縮サイズを処理する最速の方法 を参照してください。

より良い圧縮や速度を提供する他の多くの圧縮ツールがあり、それらはより適切であると思われるかもしれません: [〜#〜] xz [〜#〜]7-Zip =.。

1
Stephen Kitt

Gzipは連結可能なストリームの圧縮であるため(manページの「高度な使用法」を参照)、アルゴリズムがハードエンコーディングの制限(*)に達した場合、現在のストリームを終了して新しいストリームを開始できます。

したがって、gzip自体のデータサイズに厳しい制限はありません

(*制限があるかどうかを言うのにXflateについて十分に知りません)

1
Jasen