web-dev-qa-db-ja.com

ファイル全体をロードせずにXLSファイルからシート名を取得する方法は？

現在、pandasを使用してExcelファイルを読み取り、シート名をユーザーに提示しているため、ユーザーは使用するシートを選択できます。問題は、ファイルが非常に大きいことです（70列x 65k行）、ノートブックに読み込むのに最大14秒かかります（CSVファイルの同じデータは3秒かかります）。

パンダの私のコードは次のようになります：

xls = pandas.ExcelFile(path)
sheets = xls.sheet_names

以前にxlrdを試しましたが、同様の結果が得られました。これはxlrdでの私のコードでした：

xls = xlrd.open_workbook(path)
sheets = xls.sheet_names

だから、ファイル全体を読むよりもExcelファイルからシート名を取得するより速い方法を誰かが提案できますか？

pythonexcelpandasxlrd
32
pcarvalho

xlrd ライブラリを使用し、「on_demand = True」フラグを使用してワークブックを開くと、シートが自動的にロードされなくなります。

パンダと同様の方法でシート名を取得できるより：

import xlrd
xls = xlrd.open_workbook(r'<path_to_your_Excel_file>', on_demand=True)
print xls.sheet_names() # <- remeber: xlrd sheet_names is a function, not a property
44
Colin O'Coal

私はxlrd、pandas、openpyxlなどのライブラリを試しましたが、ファイル全体が読み込まれるとファイルサイズが大きくなるため、それらはすべて指数関数的な時間がかかるようです。 'on_demand'を使用した上記の他のソリューションは、私にとってはうまくいきませんでした。次の関数は、xlsxファイルに対して機能します。

def get_sheet_details(file_path):
    sheets = []
    file_name = os.path.splitext(os.path.split(file_path)[-1])[0]
    # Make a temporary directory with the file name
    directory_to_extract_to = os.path.join(settings.MEDIA_ROOT, file_name)
    os.mkdir(directory_to_extract_to)

    # Extract the xlsx file as it is just a Zip file
    Zip_ref = zipfile.ZipFile(file_path, 'r')
    Zip_ref.extractall(directory_to_extract_to)
    Zip_ref.close()

    # Open the workbook.xml which is very light and only has meta data, get sheets from it
    path_to_workbook = os.path.join(directory_to_extract_to, 'xl', 'workbook.xml')
    with open(path_to_workbook, 'r') as f:
        xml = f.read()
        dictionary = xmltodict.parse(xml)
        for sheet in dictionary['workbook']['sheets']['sheet']:
            sheet_details = {
                'id': sheet['sheetId'], # can be @sheetId for some versions
                'name': sheet['name'] # can be @name
            }
            sheets.append(sheet_details)

    # Delete the extracted files directory
    shutil.rmtree(directory_to_extract_to)
    return sheets

すべてのxlsxは基本的にzip形式のファイルであるため、基礎となるxmlデータを抽出し、ワークブックからシート名を直接読み取ります。

ベンチマーク：（4シートの6MB xlsxファイル）
パンダ、xlrd： 12秒
openpyxl： 24秒
提案方法： 0.4秒

1
Dhwanil shah