web-dev-qa-db-ja.com

Pandas各グループ内の最上位nレコードを取得

次のようなpandas DataFrameがあるとします。

>>> df = pd.DataFrame({'id':[1,1,1,2,2,2,2,3,4],'value':[1,2,3,1,2,3,4,1,1]})
>>> df
   id  value
0   1      1
1   1      2
2   1      3
3   2      1
4   2      2
5   2      3
6   2      4
7   3      1
8   4      1

次のように、各IDの上位2レコードを含む新しいDataFrameを取得します。

   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

グループごとにグループ内のレコードに番号を付けることでそれを行うことができます：

>>> dfN = df.groupby('id').apply(lambda x:x['value'].reset_index()).reset_index()
>>> dfN
   id  level_1  index  value
0   1        0      0      1
1   1        1      1      2
2   1        2      2      3
3   2        0      3      1
4   2        1      4      2
5   2        2      5      3
6   2        3      6      4
7   3        0      7      1
8   4        0      8      1
>>> dfN[dfN['level_1'] <= 1][['id', 'value']]
   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

しかし、これを行うためのより効果的でエレガントなアプローチはありますか？また、各グループ内のレコード数をよりエレガントにする方法もあります（SQLウィンドウ関数 row_number（） など）。

pythonpandasgreatest-n-per-groupwindow-functionstop-n
124
Roman Pekar

df.groupby('id').head(2)を試しましたか

生成された出力：

>>> df.groupby('id').head(2)
       id  value
id             
1  0   1      1
   1   1      2 
2  3   2      1
   4   2      2
3  7   3      1
4  8   4      1

（データによっては、事前に注文/並べ替えが必要になる場合があることに注意してください）

編集：質問者が述べたように、df.groupby('id').head(2).reset_index(drop=True)を使用してmultindexを削除し、結果をフラット化します。

>>> df.groupby('id').head(2).reset_index(drop=True)
    id  value
0   1      1
1   1      2
2   2      1
3   2      2
4   3      1
5   4      1
138
dorvak

.14.1以降 、nlargestオブジェクトでnsmallestおよびgroupbyを実行できるようになりました。

In [23]: df.groupby('id')['value'].nlargest(2)
Out[23]: 
id   
1   2    3
    1    2
2   6    4
    5    3
3   7    1
4   8    1
dtype: int64

そこに元のインデックスを取得するというちょっとした奇妙さもありますが、元のインデックスが何であったかに応じて、これは本当に役立つかもしれません。

興味がない場合は、.reset_index(level=1, drop=True)を実行して完全に削除できます。

（注： .17.1以降 DataFrameGroupByでもこれを行うことができますが、現時点ではSeriesおよびSeriesGroupByでのみ機能します。）

108
LondonRob