web-dev-qa-db-ja.com

UndefinedMetricWarning：Fスコアが不明確で、予測サンプルのないラベルで0.0に設定されています

私はこの奇妙なエラーを受け取っています：

classification.py:1113: UndefinedMetricWarning: F-score is ill-defined and being set to 0.0 in labels with no predicted samples.
'precision', 'predicted', average, warn_for)`

しかし、それはまた、私が最初に実行したときにfスコアを出力します：

metrics.f1_score(y_test, y_pred, average='weighted')

2回目に実行すると、エラーなしでスコアが提供されます。何故ですか？

>>> y_pred = test.predict(X_test)
>>> y_test
array([ 1, 10, 35,  9,  7, 29, 26,  3,  8, 23, 39, 11, 20,  2,  5, 23, 28,
       30, 32, 18,  5, 34,  4, 25, 12, 24, 13, 21, 38, 19, 33, 33, 16, 20,
       18, 27, 39, 20, 37, 17, 31, 29, 36,  7,  6, 24, 37, 22, 30,  0, 22,
       11, 35, 30, 31, 14, 32, 21, 34, 38,  5, 11, 10,  6,  1, 14, 12, 36,
       25,  8, 30,  3, 12,  7,  4, 10, 15, 12, 34, 25, 26, 29, 14, 37, 23,
       12, 19, 19,  3,  2, 31, 30, 11,  2, 24, 19, 27, 22, 13,  6, 18, 20,
        6, 34, 33,  2, 37, 17, 30, 24,  2, 36,  9, 36, 19, 33, 35,  0,  4,
        1])
>>> y_pred
array([ 1, 10, 35,  7,  7, 29, 26,  3,  8, 23, 39, 11, 20,  4,  5, 23, 28,
       30, 32, 18,  5, 39,  4, 25,  0, 24, 13, 21, 38, 19, 33, 33, 16, 20,
       18, 27, 39, 20, 37, 17, 31, 29, 36,  7,  6, 24, 37, 22, 30,  0, 22,
       11, 35, 30, 31, 14, 32, 21, 34, 38,  5, 11, 10,  6,  1, 14, 30, 36,
       25,  8, 30,  3, 12,  7,  4, 10, 15, 12,  4, 22, 26, 29, 14, 37, 23,
       12, 19, 19,  3, 25, 31, 30, 11, 25, 24, 19, 27, 22, 13,  6, 18, 20,
        6, 39, 33,  9, 37, 17, 30, 24,  9, 36, 39, 36, 19, 33, 35,  0,  4,
        1])
>>> metrics.f1_score(y_test, y_pred, average='weighted')
C:\Users\Michael\Miniconda3\envs\snowflakes\lib\site-packages\sklearn\metrics\classification.py:1113: UndefinedMetricWarning: F-score is ill-defined and being set to 0.0 in labels with no predicted samples.
  'precision', 'predicted', average, warn_for)
0.87282051282051276
>>> metrics.f1_score(y_test, y_pred, average='weighted')
0.87282051282051276
>>> metrics.f1_score(y_test, y_pred, average='weighted')
0.87282051282051276

また、末尾に'precision', 'predicted', average, warn_for)エラーメッセージがあるのはなぜですか？開き括弧がないので、なぜ閉じ括弧で終わるのですか？ Windows 10のconda環境でPython 3.6.0を使用してsklearn 0.18.1を実行しています。

here も見ましたが、同じバグかどうかはわかりません。この SO post にも解決策はありません。

pythonscikit-learn
45
Sticky

コメントで述べたように、y_trueの一部のラベルはy_predに表示されません。特にこの場合、ラベル「2」は予測されません。

>>> set(y_test) - set(y_pred)
{2}

つまり、このラベルに対して計算するFスコアがないため、この場合のFスコアは0.0と見なされます。スコアの平均を要求したため、計算にスコア0が含まれていることを考慮する必要があります。これが、scikit-learnがその警告を表示している理由です。

これにより、エラーが再度表示されなくなります。前述したように、これは警告であり、Pythonのエラーとは異なる方法で処理されます。ほとんどの環境でのデフォルトの動作は、特定の警告を一度だけ表示することです。この動作は変更できます：

import warnings
warnings.filterwarnings('always')  # "error", "ignore", "always", "default", "module" or "once"

他のモジュールをインポートする前にこれを設定すると、コードを実行するたびに警告が表示されます。

warnings.filterwarnings('ignore')を設定する以外に、この警告が初めて表示されるのを避ける方法はありません。あなたがcanすることは、予測されなかったラベルのスコアに興味がないことを決定し、are興味のあるラベルを明示的に指定することです（ラベルです）少なくとも一度は予測された）：

>>> metrics.f1_score(y_test, y_pred, average='weighted', labels=np.unique(y_pred))
0.91076923076923078

この場合、警告は表示されません。

65
Shovalt

または、次のコード行を使用できます

from sklearn.metrics import f1_score
metrics.f1_score(y_test, y_pred, labels=np.unique(y_pred))

これにより、警告が削除され、必要な結果が得られます。

2
Amir Md Amiruzzaman

受け入れられた答えは、警告が発生する理由をすでに十分に説明しています。警告を単に制御したい場合は、 precision_recall_fscore_support を使用できます。警告をミュートするために使用できる（半公式の）引数warn_forを提供します。

(_, _, f1, _) = metrics.precision_recall_fscore_support(y_test, y_pred,
                                                        average='weighted', 
                                                        warn_for=Tuple())

すでにいくつかのコメントで述べたように、これは注意して使用してください。

0
normanius

エラーメッセージが示すように、Fスコアを取得するために使用される方法は、sklearnの「分類」部分からのものです。つまり、「ラベル」についての話です。

回帰問題がありますか？ Sklearnは、「機能選択」グループでの回帰のための「Fスコア」メソッドを提供します。 http://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.f_regression.html

分類に問題がある場合、@ Shovaltの答えは私には正しいようです。

0
Tw UxTLi51Nus