web-dev-qa-db-ja.com

Pythonバイトのストリームを解凍しますか？

ここに状況があります：

  • Amazon S3からgzipされたxmlドキュメントを取得します

    import boto
from boto.s3.connection import S3Connection
from boto.s3.key import Key
conn = S3Connection('access Id', 'secret access key')
b = conn.get_bucket('mydev.myorg')
k = Key(b)
k.key('documents/document.xml.gz')

  • 私はファイルでそれらを読みました

    import gzip
f = open('/tmp/p', 'w')
k.get_file(f)
f.close()
r = gzip.open('/tmp/p', 'rb')
file_content = r.read()
r.close()

質問

ストリームを直接解凍してコンテンツを読み取るにはどうすればよいですか？

一時ファイルを作成したくありません。見た目が良くありません。

pythoncompression
30
daydreamer

はい、 zlib module を使用してバイトストリームを解凍できます。

import zlib

def stream_gzip_decompress(stream):
    dec = zlib.decompressobj(32 + zlib.MAX_WBITS)  # offset 32 to skip the header
    for chunk in stream:
        rv = dec.decompress(chunk)
        if rv:
            yield rv

32のオフセットは、gzipヘッダーが予期されているがスキップされたことをzlibヘッダーに通知します。

S3キーオブジェクトはイテレータなので、次のことができます。

for data in stream_gzip_decompress(k):
    # do something with the decompressed data
35
Martijn Pieters

私は同じことをしなければならなかった、そしてこれは私がそれをした方法である：

import gzip
f = StringIO.StringIO()
k.get_file(f)
f.seek(0) #This is crucial
gzf = gzip.GzipFile(fileobj=f)
file_content = gzf.read()
9
Alex

Python3xおよびboto3-の場合

そのため、BytesIOを使用して圧縮ファイルをバッファーオブジェクトに読み込み、zipfileを使用して圧縮解除されたストリームを非圧縮データとして開き、データを1行ずつ取得することができました。

import io
import zipfile
import boto3
import sys

s3 = boto3.resource('s3', 'us-east-1')


def stream_Zip_file():
    count = 0
    obj = s3.Object(
        bucket_name='MonkeyBusiness',
        key='/Daily/Business/Banana/{current-date}/banana.Zip'
    )
    buffer = io.BytesIO(obj.get()["Body"].read())
    print (buffer)
    z = zipfile.ZipFile(buffer)
    foo2 = z.open(z.infolist()[0])
    print(sys.getsizeof(foo2))
    line_counter = 0
    for _ in foo2:
        line_counter += 1
    print (line_counter)
    z.close()


if __name__ == '__main__':
    stream_Zip_file()
2
Shek

ファイルをダウンロードせずにPIPEを試してコンテンツを読むことができます

    import subprocess
    c = subprocess.Popen(['-c','zcat -c <gzip file name>'], Shell=True, stdout=subprocess.PIPE,         stderr=subprocess.PIPE)
    for row in c.stdout:
      print row

さらに、「/ dev/fd /」+ str（c.stdout.fileno（））は、他のプログラムに渡すことができるFIFOファイル名（名前付きパイプ））を提供します。

0
Priti Getkewar Joshi