web-dev-qa-db-ja.com

forループ内でpandas .appendを使用

Forループ内でpandas DataFrameに行を追加していますが、最後にデータフレームは常に空です。行を配列に追加してからDataFrameコンストラクターを呼び出したくない私の実際のforループは大量のデータを処理するためです。また、pd.concat成功しなかった。 appendステートメントを機能させるために私が行方不明になっているものを誰かが強調できますか？ダミーの例を次に示します。

import pandas as pd
import numpy as np

data = pd.DataFrame([])

for i in np.arange(0, 4):
    if i % 2 == 0:
        data.append(pd.DataFrame({'A': i, 'B': i + 1}, index=[0]), ignore_index=True)
    else:
        data.append(pd.DataFrame({'A': i}, index=[0]), ignore_index=True)

print data.head()

Empty DataFrame
Columns: []
Index: []
[Finished in 0.676s]
pythonpandasappendconcat
22
calpyte

変数dataを追加されたデータフレームと等しく設定する必要があります。 pythonリストのappendメソッドとは異なり、pandas appendは所定の場所では発生しません

import pandas as pd
import numpy as np

data = pd.DataFrame([])

for i in np.arange(0, 4):
    if i % 2 == 0:
        data = data.append(pd.DataFrame({'A': i, 'B': i + 1}, index=[0]), ignore_index=True)
    else:
        data = data.append(pd.DataFrame({'A': i}, index=[0]), ignore_index=True)

print(data.head())

   A    B
0  0  1.0
1  2  3.0
2  3  NaN
15
johnchase

Appendを呼び出すたびに、Pandasは元のデータフレームと新しい行のコピーを返します。これは2次コピーと呼ばれ、すぐに非常に大きくなるO（N ^ 2）操作です。遅い（特にデータが多いため）。

あなたの場合、リストを使用してリストに追加し、データフレームコンストラクターを呼び出すことをお勧めします。

a_list = []
b_list = []
for data in my_data:
    a, b = process_data(data)
    a_list.append(a)
    b_list.append(b)
df = pd.DataFrame({'A': a_list, 'B': b_list})
del a_list, b_list

タイミング

%%timeit
data = pd.DataFrame([])
for i in np.arange(0, 10000):
    if i % 2 == 0:
        data = data.append(pd.DataFrame({'A': i, 'B': i + 1}, index=[0]), ignore_index=True)
else:
    data = data.append(pd.DataFrame({'A': i}, index=[0]), ignore_index=True)
1 loops, best of 3: 6.8 s per loop

%%timeit
a_list = []
b_list = []
for i in np.arange(0, 10000):
    if i % 2 == 0:
        a_list.append(i)
        b_list.append(i + 1)
    else:
        a_list.append(i)
        b_list.append(None)
data = pd.DataFrame({'A': a_list, 'B': b_list})
100 loops, best of 3: 8.54 ms per loop
30
Alexander

ループなしでデータフレームを構築できます：

n = 4
data = pd.DataFrame({'A': np.arange(n)})
data['B'] = np.NaN
data.loc[data['A'] % 2 == 0, 'B'] = data['A'] + 1

ために：

n = 10000

これは少し高速です：

%%timeit
data = pd.DataFrame({'A': np.arange(n)})
data['B'] = np.NaN
data.loc[data['A'] % 2 == 0, 'B'] = data['A'] + 1

100 loops, best of 3: 3.3 ms per loop

vs.

%%timeit
a_list = []
b_list = []
for i in np.arange(n):
    if i % 2 == 0:
        a_list.append(i)
        b_list.append(i + 1)
    else:
        a_list.append(i)
        b_list.append(None)
data1 = pd.DataFrame({'A': a_list, 'B': b_list})

100 loops, best of 3: 12.4 ms per loop
2
Mike Müller