web-dev-qa-db-ja.com

Pandas-大きなデータフレームをチャンクでスライス

関数を通過しようとしている大きなデータフレーム（3MMを超える行）があり（以下のものは大幅に簡略化されています）、Memory Errorメッセージ。

私は関数に大きすぎるデータフレームを渡していると思うので、私はしようとしています：

1）データフレームを小さなチャンクにスライスします（AcctNameでスライスすることが望ましい）

2）データフレームを関数に渡します

3）データフレームを連結して1つの大きなデータフレームに戻す

def trans_times_2(df):
    df['Double_Transaction'] = df['Transaction'] * 2

large_df 
AcctName   Timestamp    Transaction
ABC        12/1         12.12
ABC        12/2         20.89
ABC        12/3         51.93    
DEF        12/2         13.12
DEF        12/8          9.93
DEF        12/9         92.09
GHI        12/1         14.33
GHI        12/6         21.99
GHI        12/12        98.81

より小さなデータフレーム（40,000行など）で機能するため、関数が適切に機能することを知っています。次のことを試しましたが、小さなデータフレームを連結して1つの大きなデータフレームに戻すことに失敗しました。

def split_df(df):
    new_df = []
    AcctNames = df.AcctName.unique()
    DataFrameDict = {elem: pd.DataFrame for elem in AcctNames}
    key_list = [k for k in DataFrameDict.keys()]
    new_df = []
    for key in DataFrameDict.keys():
        DataFrameDict[key] = df[:][df.AcctNames == key]
        trans_times_2(DataFrameDict[key])
    rejoined_df = pd.concat(new_df)

分割されるデータフレームの構想：

df1
AcctName   Timestamp    Transaction  Double_Transaction
ABC        12/1         12.12        24.24
ABC        12/2         20.89        41.78
ABC        12/3         51.93        103.86

df2
AcctName   Timestamp    Transaction  Double_Transaction
DEF        12/2         13.12        26.24
DEF        12/8          9.93        19.86
DEF        12/9         92.09        184.18

df3
AcctName   Timestamp    Transaction  Double_Transaction
GHI        12/1         14.33        28.66
GHI        12/6         21.99        43.98
GHI        12/12        98.81        197.62
pythonpandasdataframeslice
13
Walt Reed

リスト内包表記を使用して、データフレームをリストに含まれるより小さなデータフレームに分割できます。

n = 200000  #chunk row size
list_df = [df[i:i+n] for i in range(0,df.shape[0],n)]

次の方法でチャンクにアクセスできます。

list_df[0]
list_df[1]
etc...

次に、pd.concatを使用して、1つのデータフレームに組み立てます。

AcctNameによる

list_df = []

for n,g in df.groupby('AcctName'):
    list_df.append(g)
25
Scott Boston