web-dev-qa-db-ja.com

scikit-learn cross_val_predict精度スコアはどのように計算されますか？

cross_val_predict（ doc 、v0.18を参照）k-foldメソッドで、以下のコードに示すように、それぞれの精度を計算します最終的に折りたたんで平均化するか？

cv = KFold(len(labels), n_folds=20)
clf = SVC()
ypred = cross_val_predict(clf, td, labels, cv=cv)
accuracy = accuracy_score(labels, ypred)
print accuracy
pythonscikit-learncross-validation
17
hiker

いいえ、違います！

クロス検証ドキュメント ページによると、_cross_val_predict_はスコアを返さず、ここで説明する特定の戦略に基づいたラベルのみを返します。

関数cross_val_predictにはcross_val_scoreと同様のインターフェースがありますが、入力の各要素について、テストセットにあったときにその要素に対して取得された予測を返します。すべての要素をテストセットに1回だけ割り当てるクロス検証戦略のみを使用できます（そうでない場合は、例外が発生します）。

したがって、accuracy_score(labels, ypred)を呼び出すことにより、前述の特定の戦略で予測されたラベルの正確度スコアを真のラベルと比較して計算するだけです。これも同じドキュメントページで指定されています。

これらの予測を使用して、分類子を評価できます。

_predicted = cross_val_predict(clf, iris.data, iris.target, cv=10) 
metrics.accuracy_score(iris.target, predicted)
_

この計算の結果は、要素がさまざまな方法でグループ化されているため、cross_val_scoreを使用して取得した結果とわずかに異なる場合があることに注意してください。

異なるフォールドの精度スコアが必要な場合は、次を試してください。

_>>> scores = cross_val_score(clf, X, y, cv=cv)
>>> scores                                              
array([ 0.96...,  1.  ...,  0.96...,  0.96...,  1.        ])
_

そして、すべてのフォールドの平均精度については、scores.mean()を使用します。

_>>> print("Accuracy: %0.2f (+/- %0.2f)" % (scores.mean(), scores.std() * 2))
Accuracy: 0.98 (+/- 0.03)
_

各分割のCohenカッパ係数と混同行列の計算方法

_Cohen Kappa coefficient_と混同行列を計算するために、真のラベルと各フォールドの予測ラベル間のカッパ係数と混同行列を意味すると仮定しました。

_from sklearn.model_selection import KFold
from sklearn.svm.classes import SVC
from sklearn.metrics.classification import cohen_kappa_score
from sklearn.metrics import confusion_matrix

cv = KFold(len(labels), n_folds=20)
clf = SVC()
for train_index, test_index in cv.split(X):
    clf.fit(X[train_index], labels[train_index])
    ypred = clf.predict(X[test_index])
    kappa_score = cohen_kappa_score(labels[test_index], ypred)
    confusion_matrix = confusion_matrix(labels[test_index], ypred)
_

_cross_val_predict_は何を返しますか？

KFoldを使用して、データをk部分に分割し、_i=1..k_反復に分割します。

  • _i'th_部分をテストデータとして、その他すべての部分をトレーニングデータとして使用します
  • モデルをトレーニングデータでトレーニングします（_i'th_を除くすべての部分）
  • 次に、このトレーニング済みモデルを使用して、_i'th_部分（テストデータ）のラベルを予測します

各反復で、データの_i'th_部分のラベルが予測されます。最終的に、cross_val_predictは、部分的に予測されたすべてのラベルをマージし、最終結果としてそれらを返します。

このコードは、このプロセスをステップごとに示しています。

_X = np.array([[0], [1], [2], [3], [4], [5]])
labels = np.array(['a', 'a', 'a', 'b', 'b', 'b'])

cv = KFold(len(labels), n_folds=3)
clf = SVC()
ypred_all = np.chararray((labels.shape))
i = 1
for train_index, test_index in cv.split(X):
    print("iteration", i, ":")
    print("train indices:", train_index)
    print("train data:", X[train_index])
    print("test indices:", test_index)
    print("test data:", X[test_index])
    clf.fit(X[train_index], labels[train_index])
    ypred = clf.predict(X[test_index])
    print("predicted labels for data of indices", test_index, "are:", ypred)
    ypred_all[test_index] = ypred
    print("merged predicted labels:", ypred_all)
    i = i+1
    print("=====================================")
y_cross_val_predict = cross_val_predict(clf, X, labels, cv=cv)
print("predicted labels by cross_val_predict:", y_cross_val_predict)
_

結果は次のとおりです。

_iteration 1 :
train indices: [2 3 4 5]
train data: [[2] [3] [4] [5]]
test indices: [0 1]
test data: [[0] [1]]
predicted labels for data of indices [0 1] are: ['b' 'b']
merged predicted labels: ['b' 'b' '' '' '' '']
=====================================
iteration 2 :
train indices: [0 1 4 5]
train data: [[0] [1] [4] [5]]
test indices: [2 3]
test data: [[2] [3]]
predicted labels for data of indices [2 3] are: ['a' 'b']
merged predicted labels: ['b' 'b' 'a' 'b' '' '']
=====================================
iteration 3 :
train indices: [0 1 2 3]
train data: [[0] [1] [2] [3]]
test indices: [4 5]
test data: [[4] [5]]
predicted labels for data of indices [4 5] are: ['a' 'a']
merged predicted labels: ['b' 'b' 'a' 'b' 'a' 'a']
=====================================
predicted labels by cross_val_predict: ['b' 'b' 'a' 'b' 'a' 'a']
_
49
Omid

github のcross_val_predictのコードからわかるように、関数は各フォールドに対して予測を計算し、それらを連結します。予測は、他のフォールドから学習したモデルに基づいて行われます。

これは、コードとコードで提供されている例の組み合わせです

from sklearn import datasets, linear_model
from sklearn.model_selection import cross_val_predict, KFold
from sklearn.metrics import accuracy_score

diabetes = datasets.load_diabetes()
X = diabetes.data[:400]
y = diabetes.target[:400]
cv = KFold(n_splits=20)
lasso = linear_model.Lasso()
y_pred = cross_val_predict(lasso, X, y, cv=cv)
accuracy = accuracy_score(y_pred.astype(int), y.astype(int))

print(accuracy)
# >>> 0.0075

最後に、あなたの質問に答えるために： "いいえ、精度は各フォールドの平均ではありません"

6
BloodyD

ドキュメントに書かれているとおり sklearn.model_selection.cross_val_predict ：

これらの予測を評価指標に渡すことは適切ではありません。 cross_validate を使用して、一般化エラーを測定します。

1
Enrico Damini

以前の開発者が貢献したものの上に、迅速かつ簡単な答えのためのオプションを追加したいと思います。

F1のミクロ平均を取ると、本質的に正確度が得られます。たとえば、次のようになります。

from sklearn.model_selection import cross_val_score, cross_val_predict
from sklearn.metrics import precision_recall_fscore_support as score    

y_pred = cross_val_predict(lm,df,y,cv=5)
precision, recall, fscore, support = score(y, y_pred, average='micro') 
print(fscore)

ミクロ平均は混同行列の加重平均を提供するため、これは数学的に機能します。

がんばろう。

0
Shlomo Koppel