web-dev-qa-db-ja.com

Spark DataFrameが値がリストにあるかどうかを他の条件でチェックすることによりDataFrame

簡単な例として、次のコードでSpark DataFrameをフィルタリングしようとしました：

val xdf = sqlContext.createDataFrame(Seq(
  ("A", 1), ("B", 2), ("C", 3)
)).toDF("name", "cnt")
xdf.filter($"cnt" >1 || $"name" isin ("A","B")).show()

それからエラー：

org.Apache.spark.sql.AnalysisException: cannot resolve '((cnt > 1) || name)' due to data type mismatch: differing types in '((cnt > 1) || name)' (boolean and string).;

それを行う正しい方法は何ですか？ name列の後に読み取りを停止するようです。パーサーのバグですか？私はSpark 1.5.1を使用しています

scalaapache-sparkapache-spark-sql
21
Bamqf

個々の式を括弧で囲む必要があります。

xdf.filter(($"cnt" > 1) || ($"name" isin ("A","B"))).show()
29
zero323

これがあなたを助けることを願っています：

val list = List("x","y","t") 
xdf.filter($"column".isin(list:_*))
36
pschilakanti