web-dev-qa-db-ja.com

Javaからscikit-learn分類子を呼び出すにはどうすればよいですか？

Pythonのscikit-learnを使用してトレーニングした分類子があります。 Javaプログラムから分類子をどのように使用できますか？Jythonを使用できますか？Pythonに分類子を保存してJavaにロードする方法はありますか？それを使用する他の方法はありますか？

javapythonjythonscikit-learn
30
Thomas Johnson

Scikit-learnは、多くのコンパイル済みCおよびFortran拡張機能を持つnumpyとscipyに大きく依存しているため、jythonでは機能しないため、jythonを使用することはできません。

Java環境でscikit-learnを使用する最も簡単な方法は、次のとおりです。

  • 分類子をHTTP/Jsonサービスとして公開します。たとえば、 flask または bottle または cornice などのマイクロフレームワークを使用し、Java HTTPクライアントライブラリを使用

  • コマンドラインラッパーアプリケーションをpythonで記述し、CSVやJSON（またはいくつかの下位レベルのバイナリ表現）などの形式を使用してstdinでデータを読み取り、stdoutで予測を出力し、pythonプログラムを呼び出します。たとえばJavaから Apache Commons Exec を使用します。

  • pythonプログラムに、フィット時に学習した生の数値パラメーターを出力させ（通常は浮動小数点値の配列として）、Javaで予測関数を再実装します（これは通常、予測線形に対して簡単です）多くの場合、予測が単にしきい値処理された内積であるモデル）。

Javaでも特徴抽出を再実装する必要がある場合、最後のアプローチはより多くの作業になります。

最後に、Javaからscikit-learnを使用する代わりに、必要なアルゴリズムを実装するWekaやMahoutなどのJavaライブラリを使用できます。

45
ogrisel

この目的のために [〜＃〜] jpmml [〜＃〜] プロジェクトがあります。

最初に、pythonから直接 sklearn2pmml ライブラリを使用してscikit-learnモデルをPMML（内部的にはXML）にシリアル化するか、ダンプすることができますpythonで最初に変換し、Javaで jpmml-sklearn を使用して、またはこのライブラリが提供するコマンドラインから変換します。次に、pmmlファイルをロードし、Javaコードで jpmml-evaluator を使用して、ロードされたモデルをデシリアライズして実行できます。

この方法は、すべてのscikit-learnモデルで機能するのではなく、 many で機能します。

16
Dmitry Spikhalskiy

ポーターを使用することもできます。私はsklearn-porter（ https://github.com/nok/sklearn-porter ）をテストしましたが、Javaでうまく機能します。

私のコードは次のとおりです：

import pandas as pd
from sklearn import tree
from sklearn_porter import Porter

train_dataset = pd.read_csv('./result2.csv').as_matrix()

X_train = train_dataset[:90, :8]
Y_train = train_dataset[:90, 8:]

X_test = train_dataset[90:, :8]
Y_test = train_dataset[90:, 8:]

print X_train.shape
print Y_train.shape


clf = tree.DecisionTreeClassifier()
clf = clf.fit(X_train, Y_train)

porter = Porter(clf, language='Java')
output = porter.export(embed_data=True)
print(output)

私の場合、DecisionTreeClassifierを使用しており、

印刷（出力）

コンソール内のテキストとしての次のコードです。

class DecisionTreeClassifier {

  private static int findMax(int[] nums) {
    int index = 0;
    for (int i = 0; i < nums.length; i++) {
        index = nums[i] > nums[index] ? i : index;
    }
    return index;
  }


  public static int predict(double[] features) {
    int[] classes = new int[2];

    if (features[5] <= 51.5) {
        if (features[6] <= 21.0) {

            // HUGE amount of ifs..........

        }
    }

    return findMax(classes);
  }

  public static void main(String[] args) {
    if (args.length == 8) {

        // Features:
        double[] features = new double[args.length];
        for (int i = 0, l = args.length; i < l; i++) {
            features[i] = Double.parseDouble(args[i]);
        }

        // Prediction:
        int prediction = DecisionTreeClassifier.predict(features);
        System.out.println(prediction);

    }
  }
}
4
gustavoresque

JPMMLソリューションのコードを以下に示します。

--PYTHON PART--

# helper function to determine the string columns which have to be one-hot-encoded in order to apply an estimator.
def determine_categorical_columns(df):
    categorical_columns = []
    x = 0
    for col in df.dtypes:
        if col == 'object':
            val = df[df.columns[x]].iloc[0]
            if not isinstance(val,Decimal):
                categorical_columns.append(df.columns[x])
        x += 1
    return categorical_columns

categorical_columns = determine_categorical_columns(df)
other_columns = list(set(df.columns).difference(categorical_columns))


#construction of transformators for our example
labelBinarizers = [(d, LabelBinarizer()) for d in categorical_columns]
nones = [(d, None) for d in other_columns]
transformators = labelBinarizers+nones

mapper = DataFrameMapper(transformators,df_out=True)
gbc = GradientBoostingClassifier()

#construction of the pipeline
lm = PMMLPipeline([
    ("mapper", mapper),
    ("estimator", gbc)
])

--Javaパート-

//Initialisation.
String pmmlFile = "ScikitLearnNew.pmml";
PMML pmml = org.jpmml.model.PMMLUtil.unmarshal(new FileInputStream(pmmlFile));
ModelEvaluatorFactory modelEvaluatorFactory = ModelEvaluatorFactory.newInstance();
MiningModelEvaluator evaluator = (MiningModelEvaluator) modelEvaluatorFactory.newModelEvaluator(pmml);

//Determine which features are required as input
HashMap<String, Field>() inputFieldMap = new HashMap<String, Field>();
for (int i = 0; i < evaluator.getInputFields().size();i++) {
  InputField curInputField = evaluator.getInputFields().get(i);
  String fieldName = curInputField.getName().getValue();
  inputFieldMap.put(fieldName.toLowerCase(),curInputField.getField());
}


//prediction

HashMap<String,String> argsMap = new HashMap<String,String>();
//... fill argsMap with input

Map<FieldName, ?> res;
// here we keep only features that are required by the model
Map<FieldName,String> args = new HashMap<FieldName, String>();
Iterator<String> iter = argsMap.keySet().iterator();
while (iter.hasNext()) {
  String key = iter.next();
  Field f = inputFieldMap.get(key);
  if (f != null) {
    FieldName name =f.getName();
    String value = argsMap.get(key);
    args.put(name, value);
  }
}
//the model is applied to input, a probability distribution is obtained
res = evaluator.evaluate(args);
SegmentResult segmentResult = (SegmentResult) res;
Object targetValue = segmentResult.getTargetValue();
ProbabilityDistribution probabilityDistribution = (ProbabilityDistribution) targetValue;
2
Volokh

私も同じような状況にありました。分類子マイクロサービスを切り分けることをお勧めします。 python=で実行される分類子マイクロサービスを作成し、JSON/XMLデータ交換形式を生成するRESTFul APIを介してそのサービスへの呼び出しを公開することができます。これはよりクリーンなアプローチだと思います。

1
theyCallMeJun

または、Pythonコードをトレーニング済みモデルから生成することもできます。これは、それを支援するツールです https://github.com/BayesWitnesses/m2cgen

0
Viktor Ershov