web-dev-qa-db-ja.com

Spark MLで分類するための正しいデータフレームを作成する方法

Spark ML api を使用してランダムフォレスト分類を実行しようとしていますが、パイプラインへの正しいデータフレーム入力の作成に問題があります。

サンプルデータを次に示します。

age,hours_per_week,education,sex,salaryRange
38,40,"hs-grad","male","A"
28,40,"bachelors","female","A"
52,45,"hs-grad","male","B"
31,50,"masters","female","B"
42,40,"bachelors","male","B"

ageおよびhours_per_weekは整数ですが、ラベルsalaryRangeはカテゴリ（文字列）です

このcsvファイル（sample.csvと呼ぶ）のロードは、 Spark csv library によって次のように実行できます。

val data = sqlContext.csvFile("/home/dusan/sample.csv")

デフォルトでは、すべての列が文字列としてインポートされるため、「age」と「hours_per_week」をIntに変更する必要があります。

val toInt    = udf[Int, String]( _.toInt)
val dataFixed = data.withColumn("age", toInt(data("age"))).withColumn("hours_per_week",toInt(data("hours_per_week")))

スキーマがどのように見えるかを確認するには：

scala> dataFixed.printSchema
root
 |-- age: integer (nullable = true)
 |-- hours_per_week: integer (nullable = true)
 |-- education: string (nullable = true)
 |-- sex: string (nullable = true)
 |-- salaryRange: string (nullable = true)

次に、クロスバリデータとパイプラインを設定します。

val rf = new RandomForestClassifier()
val pipeline = new Pipeline().setStages(Array(rf)) 
val cv = new CrossValidator().setNumFolds(10).setEstimator(pipeline).setEvaluator(new BinaryClassificationEvaluator)

この行を実行するとエラーが表示されます：

val cmModel = cv.fit(dataFixed)

Java.lang.IllegalArgumentException：フィールド「機能」が存在しません。

RandomForestClassifierでラベル列と機能列を設定することは可能ですが、1つだけでなく予測子（機能）として4つの列があります。

ラベルと機能列が正しく整理されるようにデータフレームを整理する方法は？

あなたの便宜のためにここに完全なコードがあります：

import org.Apache.spark.SparkConf
import org.Apache.spark.SparkContext
import org.Apache.spark.ml.classification.RandomForestClassifier
import org.Apache.spark.ml.evaluation.BinaryClassificationEvaluator
import org.Apache.spark.ml.tuning.CrossValidator
import org.Apache.spark.ml.Pipeline
import org.Apache.spark.sql.DataFrame

import org.Apache.spark.sql.functions._
import org.Apache.spark.mllib.linalg.{Vector, Vectors}


object SampleClassification {

  def main(args: Array[String]): Unit = {

    //set spark context
    val conf = new SparkConf().setAppName("Simple Application").setMaster("local");
    val sc = new SparkContext(conf)
    val sqlContext = new org.Apache.spark.sql.SQLContext(sc)

    import sqlContext.implicits._
    import com.databricks.spark.csv._

    //load data by using databricks "Spark CSV Library" 
    val data = sqlContext.csvFile("/home/dusan/sample.csv")

    //by default all columns are imported as string so we need to change "age" and  "hours_per_week" to Int
    val toInt    = udf[Int, String]( _.toInt)
    val dataFixed = data.withColumn("age", toInt(data("age"))).withColumn("hours_per_week",toInt(data("hours_per_week")))


    val rf = new RandomForestClassifier()

    val pipeline = new Pipeline().setStages(Array(rf))

    val cv = new CrossValidator().setNumFolds(10).setEstimator(pipeline).setEvaluator(new BinaryClassificationEvaluator)

    // this fails with error
    //Java.lang.IllegalArgumentException: Field "features" does not exist.
    val cmModel = cv.fit(dataFixed) 
  }

}

手伝ってくれてありがとう！

scalaapache-sparkapache-spark-sqlapache-spark-mllib
34
Dusan Grubjesic

以下に示すように、データフレームにVectorUDF型の"features"列があることを確認する必要があります。

scala> val df2 = dataFixed.withColumnRenamed("age", "features")
df2: org.Apache.spark.sql.DataFrame = [features: int, hours_per_week: int, education: string, sex: string, salaryRange: string]

scala> val cmModel = cv.fit(df2) 
Java.lang.IllegalArgumentException: requirement failed: Column features must be of type org.Apache.spark.mllib.linalg.VectorUDT@1eef but was actually IntegerType.
    at scala.Predef$.require(Predef.scala:233)
    at org.Apache.spark.ml.util.SchemaUtils$.checkColumnType(SchemaUtils.scala:37)
    at org.Apache.spark.ml.PredictorParams$class.validateAndTransformSchema(Predictor.scala:50)
    at org.Apache.spark.ml.Predictor.validateAndTransformSchema(Predictor.scala:71)
    at org.Apache.spark.ml.Predictor.transformSchema(Predictor.scala:118)
    at org.Apache.spark.ml.Pipeline$$anonfun$transformSchema$4.apply(Pipeline.scala:164)
    at org.Apache.spark.ml.Pipeline$$anonfun$transformSchema$4.apply(Pipeline.scala:164)
    at scala.collection.IndexedSeqOptimized$class.foldl(IndexedSeqOptimized.scala:51)
    at scala.collection.IndexedSeqOptimized$class.foldLeft(IndexedSeqOptimized.scala:60)
    at scala.collection.mutable.ArrayOps$ofRef.foldLeft(ArrayOps.scala:108)
    at org.Apache.spark.ml.Pipeline.transformSchema(Pipeline.scala:164)
    at org.Apache.spark.ml.tuning.CrossValidator.transformSchema(CrossValidator.scala:142)
    at org.Apache.spark.ml.PipelineStage.transformSchema(Pipeline.scala:59)
    at org.Apache.spark.ml.tuning.CrossValidator.fit(CrossValidator.scala:107)
    at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:67)
    at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:72)
    at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:74)
    at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:76)

EDIT1

基本的に、データフレームには、フィーチャベクトルの「機能」とインスタンスラベルの「ラベル」の2つのフィールドが必要です。インスタンスはDoubleタイプでなければなりません。

Vectorタイプの「機能」フィールドを作成するには、最初に以下に示すようにudfを作成します。

val toVec4    = udf[Vector, Int, Int, String, String] { (a,b,c,d) => 
  val e3 = c match {
    case "hs-grad" => 0
    case "bachelors" => 1
    case "masters" => 2
  }
  val e4 = d match {case "male" => 0 case "female" => 1}
  Vectors.dense(a, b, e3, e4) 
}

「ラベル」フィールドもエンコードするには、次のように別のudfを作成します。

val encodeLabel    = udf[Double, String]( _ match { case "A" => 0.0 case "B" => 1.0} )

次に、これら2つのudfを使用して元のデータフレームを変換します。

val df = dataFixed.withColumn(
  "features",
  toVec4(
    dataFixed("age"),
    dataFixed("hours_per_week"),
    dataFixed("education"),
    dataFixed("sex")
  )
).withColumn("label", encodeLabel(dataFixed("salaryRange"))).select("features", "label")

データフレームに余分な列/フィールドが存在する可能性がありますが、この場合、featuresとlabelのみを選択していることに注意してください。

scala> df.show()
+-------------------+-----+
|           features|label|
+-------------------+-----+
|[38.0,40.0,0.0,0.0]|  0.0|
|[28.0,40.0,1.0,1.0]|  0.0|
|[52.0,45.0,0.0,0.0]|  1.0|
|[31.0,50.0,2.0,1.0]|  1.0|
|[42.0,40.0,1.0,0.0]|  1.0|
+-------------------+-----+

学習アルゴリズムに適切なパラメーターを設定して、それを機能させるのはあなた次第です。

33
tuxdna

Spark 1.4では、Transformer org.Apache.spark.ml.feature.VectorAssembler を使用できます。機能にしたい列名を指定するだけです。

val assembler = new VectorAssembler()
  .setInputCols(Array("col1", "col2", "col3"))
  .setOutputCol("features")

パイプラインに追加します。

45
WeiChing Lin

spark mllibのドキュメント-ランダムツリー）によれば、使用しているフィーチャマップを定義し、ポイントをラベル付きポイントにする必要があるように思えます。

これにより、アルゴリズムに予測として使用する列と特徴の列がわかります。

https://spark.Apache.org/docs/latest/mllib-decision-tree.html

0
Adriano Almeida