web-dev-qa-db-ja.com

Python（pandas）：2つの列に基づいて重複を削除し、別の列の行を最大値で保持します

2つの列（AおよびB）に基づいて重複値を含むデータフレームがあります。

A B C
1 2 1
1 2 4
2 7 1
3 4 0
3 4 8

列Cに最大値を持つ行を維持する重複を削除したい。

A B C
1 2 4
2 7 1
3 4 8

どうすればいいのかわかりません。 drop_duplicates()などを使用する必要がありますか？

pythonpandasduplicates
37
Elsalex

Group byを使用してそれを行うことができます：

c_maxes = df.groupby(['A', 'B']).C.transform(max)
df = df.loc[df.C == c_maxes]

c_maxesは、各グループのSeriesの最大値のCですが、dfと同じ長さで同じインデックスを持ちます。 .transformを使用していない場合は、c_maxesを印刷することをお勧めします。

drop_duplicatesを使用する別のアプローチは

df.sort('C').drop_duplicates(subset=['A', 'B'], take_last=True)

どちらがより効率的かはわかりませんが、ソートを必要としない最初のアプローチだと思います。

編集：pandas 0.18から2番目のソリューションは

df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')

または、代わりに、

df.sort_values('C', ascending=False).drop_duplicates(subset=['A', 'B'])

いずれにせよ、groupbyソリューションのパフォーマンスは大幅に向上しているようです。

%timeit -n 10 df.loc[df.groupby(['A', 'B']).C.max == df.C]
10 loops, best of 3: 25.7 ms per loop

%timeit -n 10 df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')
10 loops, best of 3: 101 ms per loop
52
JoeCondron

これを行うには、pandas drop duplicates関数を使用します。

df.drop_duplicates(['A','B'],keep= 'last')
13
Sudharsan

Groupbyは機能するはずです。

df.groupby(['A', 'B']).max()['C']

データフレームを戻す必要がある場合は、インデックスのリセット呼び出しをチェーンできます。

df.groupby(['A', 'B']).max()['C'].reset_index()
9
b10n

必要に応じてdrop_duplicatesで実行できます

# initialisation
d = pd.DataFrame({'A' : [1,1,2,3,3], 'B' : [2,2,7,4,4],  'C' : [1,4,1,0,8]})

d = d.sort_values("C", ascending=False)
d = d.drop_duplicates(["A","B"])

同じ注文をすることが重要な場合

d = d.sort_index()
3
AlexT