web-dev-qa-db-ja.com

pandasを使用してカテゴリ値をバイナリに変換する

パンダを使用して、カテゴリ値をバイナリ値に変換しようとしています。アイデアは、すべての一意のカテゴリ値を特徴（つまり列）と見なし、特定のオブジェクト（つまり行）がこのカテゴリに割り当てられているかどうかに応じて1または0を入力することです。コードは次のとおりです。

data = pd.read_csv('somedata.csv')
converted_val = data.T.to_dict().values()
vectorizer = DV( sparse = False )
vec_x = vectorizer.fit_transform( converted_val )
numpy.savetxt('out.csv',vec_x,fmt='%10.0f',delimiter=',')

私の質問は、どのようにこの変換されたデータを列名と共に保存する？かです。上記のコードでは、numpy.savetxt関数を使用してデータを保存できますが、これは配列を保存するだけで、列名は失われます。または、上記の操作を実行する非常に効率的な方法はありますか？.

pythonnumpypandastype-conversioncategorical-data
12
Rkz

Scikit-learnのDictVectorizerを使用して、カテゴリ値をバイナリに変換しているようです。その場合、結果を新しい列名と共に保存するには、_vec_x_の値とDV.get_feature_names()の列を使用して新しいDataFrameを作成できます。次に、numpy配列の代わりにDataFrameをディスクに保存します（例：to_csv()を使用）。

または、pandasを使用して _get_dummies_ 関数で直接エンコードすることもできます。

_import pandas as pd
data = pd.DataFrame({'T': ['A', 'B', 'C', 'D', 'E']})
res = pd.get_dummies(data)
res.to_csv('output.csv')
print res
_

出力：

_   T_A  T_B  T_C  T_D  T_E
0    1    0    0    0    0
1    0    1    0    0    0
2    0    0    1    0    0
3    0    0    0    1    0
4    0    0    0    0    1
_
11
YS-L

「ワンホット」エンコーディングですか？

次のデータセットがあるとします。

import pandas as pd
df = pd.DataFrame([
            ['green', 1, 10.1, 0], 
            ['red', 2, 13.5, 1], 
            ['blue', 3, 15.3, 0]])

df.columns = ['color', 'size', 'prize', 'class label']
df

enter image description here

現在、複数のオプションがあります...

A）退屈なアプローチ

color_mapping = {
           'green': (0,0,1),
           'red': (0,1,0),
           'blue': (1,0,0)}

df['color'] = df['color'].map(color_mapping)
df

enter image description here

import numpy as np
y = df['class label'].values
X = df.iloc[:, :-1].values
X = np.apply_along_axis(func1d= lambda x: np.array(list(x[0]) + list(x[1:])), axis=1, arr=X)

print('Class labels:', y)
print('\nFeatures:\n', X)

収量：

Class labels: [0 1 0]

Features:
 [[  0.    0.    1.    1.   10.1]
 [  0.    1.    0.    2.   13.5]
 [  1.    0.    0.    3.   15.3]]

B）Scikit-learnのDictVectorizer

from sklearn.feature_extraction import DictVectorizer
dvec = DictVectorizer(sparse=False)

X = dvec.fit_transform(df.transpose().to_dict().values())
X

収量：

array([[  0. ,   0. ,   1. ,   0. ,  10.1,   1. ],
       [  1. ,   0. ,   0. ,   1. ,  13.5,   2. ],
       [  0. ,   1. ,   0. ,   0. ,  15.3,   3. ]])

C）パンダのget_dummies

pd.get_dummies(df)

enter image description here

18
user2489252